同じAIモデルのプロンプト実行スピードを「vLLM推論の約6倍」に……新興企業MangoBoostが実現したイノベーション

ほとんどの企業は、最先端GPUを手に入れても期待通りのパフォーマンスは得られない

　MangoBoostは、データセンターなどのAIインフラ向けに特化した半導体チップ「DPU（Data Processing Unit：データ処理ユニット」を開発・提供するスタートアップ企業だ。世界中の投資家や大手企業から巨額の資金調達を受けているユニコーンである。

　DPUとは、CPUやGPUに代わってデータ処理を専門に行うプロセッサーであり、CPUの負荷を軽減し、システム全体の処理速度と効率を向上させるという代物である。AIに付きまとうエネルギーやコストの効率を改善する次世代技術として、世の中からの期待が高まっている。

　また、同社の技術はそれだけでなく、AIラックやストレージ、サーバー、さらにはストレージとGPU間のデータ転送を最適化したり、生成AIやLLMの推論を最適化したりするソフトウェアも製品ポートフォリオに含まれている。DPUと組み合わせて利用することで、パフォーマンスとコスト効率を両立したAIのためのフルスタック・インフラを構築できるというわけだ。

　今回シンガポールに駆けつけたジャンウ・キム（Jangwoo Kim）氏らは、2022年に米国西海岸でこの会社を設立した。現在の本社はシアトル近郊のベルビューにあり、他にはサンノゼ（シリコンバレー）、カナダのトロント、アジアでは韓国のソウルに拠点を構える。

　キム氏は今回、MangoBoostの製品の中でもソフトウェアに焦点を当てて講演を行った。なぜなら、同社自身もまたAMDのGPUを使った環境でパフォーマンスの最適化を実践しているからだ。それにより、顧客に提供するソフトウェアの技術・ノウハウを実証・実現しているとのこと。同氏は、「AMDのGPUは素晴らしいと以前から言い続けてきた。そのポテンシャルを活かし切れば、スペック面でもNVIDIAのソリューションより優れている」とAMDを絶賛した。

　しかし、最先端のGPUを使っていたとしても、顧客はいつもパフォーマンスについて不満を漏らす。なぜなら、期待通りのパフォーマンスを得られていないからだ。ハードウェアを動作させるためには相応のソフトウェアが必要だが、既存のソフトウェアで十分なパフォーマンスを実現するのは難しいという。

　たとえば、AMDのGPUを導入しているとある企業で、自社のAIモデルにおける推論や学習（トレーニング）を行うとする。すると社内のソフトウェアエンジニアたちは通常、オープンソースでAMD製品に対応しているソフトウェアを探すか、安価なソフトウェアを購入して、それらを統合しようとする。完成したものは恐らく問題なく機能するだろう。しかし、パフォーマンスが期待するレベルに達していない。

　もちろん、ソフトウェア・スタックを再設計して最適化すれば、この問題は克服できる。ただし、それを実行するには少なくとも100人、あるいは200人規模かつトップクラスの技術を持つエンジニアたちが必要だという。「そんなことができる企業はハイパースケーラーくらいしか存在しない」とキム氏は指摘する。

　つまり、ほとんどの企業では、優れたGPUを手に入れたとしても期待通りのパフォーマンスを実現するためのリソースを用意できないというのが現実だ。仮に最高のソフトウェアを揃えたとしても、それだけでは「フルスタック」にはならない。フルスタックとは、ボタンを押すだけで最大のパフォーマンスを得られる環境を意味する。要は、誰かがソフトウェア同士を完璧に統合しなければならないのである。皆さんはその方法をご存じだろうか。使用すべきオープンソース・フレームワークはvLLMか、SGLangか、それともLightLLMか……。