neoAIがGaudi 3の技術検証を実施

東京大学 松尾研究室発のAIスタートアップであるnaoAIは6月12日、同社が提供する生成AIオールインワンパッケージ「neoAI Chat」をIntelのGaudi 3 AIアクセラレーターベースで提供するための技術検証を、Intelと協力して実施したことを発表した。

それによると、今回の技術検証では、Gaudi 3を活用する形での生成AI基盤の構築可能性の評価を実施。その結果、LLMの推論処理では、複雑なRAG(Retrieval-Augmented Generation)処理においても安定したレスポンスを提供できることなどを確認し、同価格帯のアクセラレーターと比べてより多くの同時アクセス数、より速いLLMの推論が可能であることが実証されたとする。

30B級モデルの学習にも対応を確認

また、LLMの学習処理では、最新の30B級のモデルの学習を進めることが可能であることが実証されたとしており、これらの取り組みを踏まえ、高いパフォーマンス/コスト比による投資対効果の最大化とスケーラブルなインフラ構成による柔軟な拡張性といったメリットが期待できることが示されたという。

また、エンタープライズ向け機能として、将来的にneoAI Chatの持つ高度なRAG機能と管理機能を活用することが期待できるようになるほか、企業固有のデータを活用した精度の高い生成AI環境の構築も期待できるようになるとしている。

なお、naoAIとIntelは今後も継続的な技術連携を進め、日本企業の生成AI活用を加速させるソリューションの開発・提供に取り組んでいくとしている。