AIインフラの鍵となる「大規模クラスター」の成功に欠かせないGPU・CPU・ネットワークの要件とは？

AIインフラの構築で懸念すべきこと、軽んじてはいけないこと

マタス氏（モデレーター）：訓練と推論の両方に同じインフラが使われるという話でしたが、高性能システムを構築するに当たっての課題も教えてください。訓練と推論のインフラは同じ特性のものを揃えるべきなのか。たとえば、スケールアップの帯域幅やGPU間通信で求められる性能はどうでしょうか。

ジュブラン氏（IBM）：用途によって規模は異なりますから、一概には言えませんね。訓練用のインフラでは、数千のGPUが相互に通信でき、ある程度の障害を許容して復旧できる必要もあります。一方、推論とファインチューニングでは、もっと小規模にはなりますが同じインフラとネットワークが必要です。

　ファインチューニングのために複数のシステムをクラスター化する場合、訓練を行うシステムと同じ速度が求められますが、クラスター規模は10～50システム程度と、訓練時より小規模になります。推論の場合は、1システムでの実行から4システムのクラスター化まで様々です。

シヴァ氏（AMD）：AMDのソフトウェアスタックとインフラは、訓練にも対応しています。これまでのAIモデルはすべて、密結合された8GPU構成で訓練されたものです。そして直近では、より大規模なシステムが稼働し始めました。

　ユーザー企業における現実的なアプローチとして、ゼロから巨大モデルを構築する必要はないでしょう。既存の高性能モデルを基盤とし、ファインチューニング、プロンプトエンジニアリング、コンテキスト操作を組み合わせて企業データを活用する方法が効果的です。特に、最近登場したような100万トークン対応モデルであれば、企業の大量文書をそのまま処理できるため、この傾向はさらに強まるはずです。

ホートン氏（Tensorwave）：訓練を想定してインフラを構築すれば推論もそのままサポートできますが、その逆は困難です。業界では、推論サービスを提供する多くのスタートアップが登場していますが、小規模なデータセンターを多数持ちながらクラスター化の最適化に時間とリソースを費やしていない企業が多いです。これがボトルネックになっています。

マタス氏（モデレーター）：クラスター設計において最も懸念すべき要素とは何でしょうか。復旧可能性か、フルバイセクション帯域幅か、それともソフトウェア運用モデルでしょうか。

ホートン氏（Tensorwave）：何よりまずは「復旧可能性」でしょう。多くのクラスターワークロードでは、1つのノードがダウンするだけで全体のワークロードに影響します。多くのクラスタープラットフォームやワークロードは、GPUなどの障害に対する復旧能力を持っておらず、チェックポイントに戻ったり、ワークロードを再開したりする時間が無駄になるのです。クラスターのコストが1時間で100万ドル規模になる場合、時間の無駄は許されません。

　次に重要となるのが「ネットワーク最適化」です。クラスターにまつわる問題というのは、ほぼすべてがネットワークの話に帰結します。より高い性能、より多くの帯域幅、光学部品の温度管理、RoCE（Remote Direct Memory Access over Converged Ethernet）最適化など、多くの調整項目があるため、ユーザーごとに最適解が異なる場合もあります。

タラジ氏（Dell）：復旧可能性と性能の両方が重要であるというのは、まったく同意見です。復旧可能性は軽んじられることも多いですが、実現するのは非常に難しいのです。

　AIのための“GPU as a Service”クラウドについても、多くの人がクラウドサービスが長年存続するためには当然のものと考えていますが、そう単純な話ではありません。業界では、いまだ数十万のGPUを同時にオーケストレーションした事例は存在しないからです。真にオンデマンドで大規模なGPUオーケストレーションは、業界内でもまだ進行中の試みであり、冷却水の流れからGPU自体、サーバー内の信号品質、電力の品質に至るまで、すべてが密に連携しなければ実現できません。