同じAIモデルのプロンプト実行スピードを「vLLM推論の約6倍」に……新興企業MangoBoostが実現したイノベーション

vLLMを用いたAIモデルは業務遂行に90秒、LLMBoostを使えば15秒に……

　キム氏らが初めて導入したGPUは、AMDのInstinct MI300シリーズだった。最初は300、次に325、続いて355……。あっという間に異なる世代のGPUが混在する環境となったが、自ら開発したLLMBoostによってそれらの配置と分業を最適化した。パフォーマンスにも劇的な改善が見られ、考え得る限りの効率性を実現したと、キム氏は当時を振り返る。

　Instinct MI300に対し、NVIDIAから出ている同世代のGPUはH100だった。MangoBoostは、自社内でMI300による32基のGPU、4つのノードによるクラスタを用いて、H100と並ぶ学習パフォーマンスを実現した。2025年の出来事だという。NVIDIAも実際にその現場を見て、MangoBoostの技術を認めたようだ。

　「すると今度はH100の後に出たB200を、AMDのMI300シリーズと比較するよう求められました。そこでも私たちは、同世代のMI325、355を用いた環境で、LLMBoostによってB200と同等のパフォーマンスを実現して見せました」（キム氏）

　LLMBoostは、市場的にはいわゆるAIの自動チューニング製品のカテゴリに属している。しかし、vLLMやSGLangのように推論だけをサポートしているわけではなく、Megatronのように学習に特化したソフトウェアでもない。推論、トレーニング、ファインチューニング、RAGなど、すべての実装・運用に対応している。これにより、ベンダーロックインに陥らずに済むとキム氏は述べる。

　最後には、MangoBoostとvLLMによる実際の推論パフォーマンスの比較が画面上でデモとして展開された。データセットはOpenOrca、4基のGPU（MI355）、単一ノード環境という条件下で、日常業務の中で想定されるのと同じプロンプトを、LLMBoostとvLLMそれぞれの推論エンジンを使用したDeepSeek-V3.2に対しテストする。

　結果、すべての質問や命令に対し90秒近くを要したvLLMに対し、LLMBoostによって最適化されたAIモデルは約15秒でタスクを完遂して見せた。