同じAIモデルのプロンプト実行スピードを「vLLM推論の約6倍」に……新興企業MangoBoostが実現したイノベーション

本来は手に入らないフルスタックを、「すぐに使える」ワンパッケージのソフトウェアで実現した

　加えて、何より忘れてはならないのが「AIの世界は非常に速く変化している」という点だ。新しいアイデアが浮かんでも、それを実際の製品に適用するのは難しく、時間もかかる。「既存技術でさえ、その論文をちゃんと理解できるのは一握りの博士号保持者だけ。その技術をソフトウェア製品に実装できる人も、一握りのエンジニアだけ。つまり、ほとんどのユーザー企業は形にする力を持っていない」とキム氏は語る。

　ただし、その技術やアイデアをなんとか実装しなければ、革新的な製品や機能でリードすることはできない。まとめると、素晴らしい技術やソフトウェアは世の中にたくさんあるが、それらすべてを統合しなければエンタープライズですぐに使える状態ではなく、ほとんどの組織はスペック通りの力を発揮するよう統合する術もリソースも持っていないということになる。

　そこでMangoBoostのソフトウェアが価値を発揮するとキム氏。それが「Mango LLMBoost（以下、LLMBoost）」だ。AI推論を最適化するためのフルスタック・コンテナ型ソリューションである。これにより、同社は異なる世代のGPUでも一緒に使用でき、AMDやNVIDIAが提供するような集団通信ライブラリ（RCCL）の最適化もでき、ほぼすべてのプロセスを自動で実行する世界を実現したという。先ほどまで述べてきた「ほとんどの企業で実現不可能なフルスタック」を、リソースの限られる組織でも導入後すぐに利用できるというわけだ。MicrosoftやAWS（Amazon Web Services）などの主要なクラウドマーケットプレイスで購入可能。もちろん、同社のハードウェア製品とあわせて導入すれば、ハードからソフトまでのフルスタック・インフラを構築できる。

　LLMBoostは、環境におけるパフォーマンスのボトルネックを特定し、エンジニアにヒントを提供し、自動最適化技術によって自動修正するソリューションだ。取材時点（2026年4月22日）で、マルチリージョン、マルチノードのスケーラビリティもサポートしており、先述した異なる世代のGPUに加え、異なる国・地域のデータセンター間でも使用できると説明があった。

　ただ、やはり最も重要なポイントとして、すぐに自社環境で利用でき、自動的に実行され、即座に適用できる点が強調された。実際のデモでは、それまで推論エンジンとしてvLLMのv1を使用していたある組織で、LLMBoostによるRCCLの最適化を行い、パフォーマンスのバグを修正してAIモデルの一部要素を変更した結果、推論において約2倍のパフォーマンス向上が得られた例が紹介された。これだけでも大規模な作業になるというが、数週間もかからずに完了したようだ。また、AIモデルの学習には大量のGPUが必要だが、それまでMegatronとRCCLのベースラインを使用していたある組織では、GPUの利用率を最大化するためにLLMBoostによってすべての並列化手法を最適化し、学習パフォーマンスを2倍にした。