NECの国産LLM「cotomi」、Acompanyとの実証で秘匿環境下での推論実行に成功

　Acompanyは、NECが開発する生成AI「cotomi」を、Confidential Computing（※）を有効にした計算環境上で推論実行する技術実証に成功し、あわせて性能（ベンチマーク）測定を実施した。

　この実証では、AMD SEV-SNPによるCPUのTEE（Trusted Execution Environment：信頼された実行環境）と、NVIDIA Confidential Computing（NCC）によるGPUのTEEを同時に有効化した状態でcotomiの推論を動作させ、Confidential Computing機能の有無による性能差を計測。その結果、Confidential Computingの適用による速度への影響は、最大でも約10％程度にとどまることを確認したという。これは、生成AIの実用において十分に許容できる水準であり、機密性を担保したまま生成AIを運用することが現実的な選択肢となることを示すものだとしている。

　cotomiユーザーからは、「プロンプトや機密ファイルをクラウド事業者にも見せたくない」「自社でファインチューニングしたモデルを安全に運用したい」という要望が強く、Confidential Computingとの組み合わせによる実用性の検証が急務になっていたとのことだ。

　実証における両社の役割は以下のとおり。

• Acompany：Confidential Computing技術、およびCC上でのLLM推論環境の提供・検証
• NEC：生成AIモデル「cotomi」の提供

　具体的には、AMD SEV-SNP（CPU側TEE）とNVIDIA Confidential Computing（GPU側TEE）の双方を有効化したCVM（Confidential Virtual Machine）上でcotomiを動作させ、CC無効時との比較で推論性能（スループット・レイテンシ）を測定したという。

検証結果

• Confidential Computing機能を有効化した状態で、cotomiの推論が問題なく動作することを確認
• Confidential Computingの有無による速度への影響は、最大でも約10％程度の速度低下にとどまった
• この結果は、NVIDIAが公式に公表しているCC環境でのLLM推論性能データとも整合しており、特異な性能劣化のない順当な結果だった

実証の意義と今後の展望

　今回の結果は、生成AIの用途においてConfidential Computingによる性能影響が実用上、十分に許容できる範囲にあることを、実モデルで定量的に示したものだという。

　これにより、医療・金融・製造など機密なデータを日常的に扱う業務での生成AI活用、ファインチューニング済みモデルや商用モデルの知的財産保護、AIモデルを顧客のオンプレミス環境へ安全に提供するユースケースなど、これまでセキュリティ要件から生成AIの導入が難しかった領域においても、Confidential Computingを前提とした安心・安全なAI活用が現実的な選択肢になると述べている。

　さらに、国産LLMであるcotomiをConfidential Computing環境で運用することは、データの処理・保管を国内に閉じたまま高度なAI活用を実現するという観点からも、重要な意味を持つとのことだ。

【関連記事】
・さくらインターネットとAcompany、国内データセンターで「推論中も秘匿化できる計算環境」の構築検証に成功
・NEC、日本政府へ能動的サイバー防御ソリューション導入に向け英国企業と連携
・SB C&Sら、機密データを安全に活用可能なオンプレミス型LLM基盤の取り扱い開始