AIインフラの鍵となる「大規模クラスター」の成功に欠かせないGPU・CPU・ネットワークの要件とは？

「訓練」と「推論」の境界が消失、統合クラスターの需要が急浮上

マタス氏（モデレーター）：2022年11月にChatGPTが登場してから今日を迎えるまで、AIは超スピードで進化してきました。AIのモデルとデータセットが巨大化してきており、それに合わせて「事前学習済みモデル」をプライベートデータで“再学習”させるというケースが増えてきていますね。

タラジ氏（Dell）：モデルの「訓練」と「推論」の在り方にも変化が見られます。以前は、訓練と推論は分けて実行するのが一般的でしたが、最近では同じクラスターで訓練と推論の両方を実行しているケースが増えていますね。また、思考型モデル（Reasoning Models）の登場により、推論においても従来の約100倍のGPUが必要とされるようになりました。

　また、今日の企業はデータのプライバシーとセキュリティを非常に重視しています。そしてプライベートデータによる学習では、中間処理結果やモデル構成要素のキャッシング処理において、データへの高速アクセスと保存性能、そして思考型モデルで高いスループットを得るために、とても高い計算能力が求められています。

ホートン氏（Tensorwave）：以前は、訓練と推論でインフラが大きく異なると考えられていました。しかし今では、分散推論もインフラの観点では訓練とよく似た構成になっています。バックエンドネットワークを活用する必要が出てきたため、顧客からも訓練と推論の両方を実行できる統合クラスターの構築を求める声が増えていますね。もちろん小規模な推論用途もあるため、すべてがそうとは言えませんが、大規模クラスターでの分散推論が増えているのは明らかな傾向です。

マタス氏（モデレーター）：これだけの変化がたった2年ちょっとのうちに起こっているのですから、物凄いスピードですよね。

シヴァ氏（AMD）：ユーザー企業側では、技術進歩があまりに速いために、ある種の麻痺状態に陥っている様子も見られます。ほんの6ヵ月前には、小規模言語モデルを企業のプライベートデータで訓練するのが常識でしたが、思考型モデルの登場で状況が変わりました。

　何が正解か、何をすべきか課題は多いでしょうが、最終的にはビジネスの目的と成果に基づいて、突然の問題でも解決できるほどの十分な開放性と拡張性を備えたツールを選ぶべきだと思います。

ジュブラン氏（IBM）：私は、「AIインフラ」の観点で主に3つの興味深い事象を見ました。1つ目は訓練です。2023年には世界中の皆がこぞってモデルの訓練を行い、大規模モデルや小規模モデルを構築しました。2つ目は、推論による収益化です。推論といえば、以前は「1つのGPU、1つのシステム」が一般的でしたが、今は推論だけでなくその他の高度な機能のためのスケーリングも必要で、クラスター化が求められています。そして3つ目は、企業におけるユースケースでは自社データをパブリックモデルに送信できないという点です。

　たとえば、IBMの顧客にも多くいらっしゃる銀行や医療業界などのミッションクリティカルなユーザーは、データを外部に出すことができません。そのため、IBMやMeta、DeepSeekなどといったモデルを使い、自社で修正を行って、独自の知的財産として価値あるモデルを構築するファインチューニングが重視されています。