NVIDIAは2024年8月27日、開発者の生成AIアプリケーションの構築と展開を支援する、4つの新しいNVIDIA NIMマイクロサービスを提供すると発表した。
同サービスは、地域のニーズを想定して作られたコミュニティモデルに対応。また、これらのモデルは、現地の言語についての理解と対応力によって、ユーザーとの対話を向上させているという。詳細は以下のとおり。
地域の言語で大規模言語モデル（LLM）をトレーニング、アウトプットの効果向上
「Rakuten AI 7B」 は「Mistral-7B」 を基に、英語と日本語のデータセットにより学習を行った一連のモデル。同モデルのチャットモデルとインストラクションチューニング済みモデルが、それぞれのNIMマイクロサービスとして利用可能だとしている。
このように、地域の言語で大規模言語モデル（LLM）のトレーニングを行うことで、文化的および言語的に微妙な違いが理解されるという。そしてそれらが反映されるため、より正確でニュアンスのあるコミュニケーションが可能になり、アウトプットの効果が高まるとのことだ。
同サービスにより、企業、政府機関、大学などのそれぞれの環境でネイティブのLLMをホストできるようになり、開発者は高度なコパイロット、チャットボットおよびAIアシスタントを構築できるとしている。
ソブリンAI NIMマイクロサービスを使ったアプリケーション開発
開発者は、NIMマイクロサービスとしてパッケージ化されたソブリンAIモデルを本番環境に展開できるという。NVIDIA AI Enterpriseで利用可能なマイクロサービスは、NVIDIA TensorRT-LLMオープン ソースライブラリによって推論に最適化されているとのことだ。
新しいLlama–3-Swallow-70BとLlama-3-Taiwan-70B NIMのベースモデルとして使用されたLlama 3 70B向けのNIMマイクロサービスは、最大5倍のスループットを提供。これにより、本番環境でモデルを実行する際の総費用が削減され、レイテンシの低下によってユーザー体験が向上するとしている。
同サービスは、本日よりホステッドアプリケーションプログラミングインターフェース（API）として利用可能だという。
NVIDIA NIMの利用により、より高速で正確な生成AIの成果を実現
同サービスは、展開の加速を実現し、ヘルスケア、金融、製造、教育、法務などの様々な業界の組織に必要なセキュリティを提供するとしている。
実際に、東京工業大学は日本語データを使って、Llama-3-Swallow 70Bをファインチューニングしたという。そのほか、日本のAI企業であるPreferred Networksは、このモデルを使って日本語医療データの独自コーパスを用いてトレーニングされたヘルスケアに特化したモデル「Llama3-Preferred-MedSwallow-70B」を開発。台湾の病院などでも同サービスが活用されているとのことだ。
NVIDIA AI Foundry で、カスタムのエンタープライズモデルを作成
NVIDIA AI Foundryは、よく使われている基盤モデル、ファインチューニング用のNVIDIA NeMo、およびNVIDIA DGX Cloudの専用キャパシティを備えたプラットフォームおよびサービス。これにより、開発者はNIMマイクロサービスとしてパッケージ化された、カスタマイズ可能な基盤モデルを作成するためのフルスタックソリューションを利用できるという。
加えて、NVIDIA AI Foundryを使用している開発者は、セキュリティ、安定性、本番環境の展開でのサポートを行うNVIDIA AI Enterpriseソフトウェアプラットフォームを利用できるとのことだ。
NVIDIA AI Foundryは、開発者にAIアプリケーションを構築し、独自のカスタム地域語NIMマイクロサービスを展開するためのツールを提供。これにより、開発者は文化的および言語的に適切な成果をユーザーに届けられるとしている。
【関連記事】
・ピクセルカンパニーズ、コンテナ型データセンター販売開始 スーパーマイクロ・NVIDIAが開発に協力
・アクセンチュア、NVIDIAを活用したカスタムLlama LLMを開発 企業データでモデル作成が可能
・NVIDIA、Llama 3.1を利用した新サービス提供 企業や国家向けにスーパーモデル構築支援へ
