コンテキストとは「情報量」ではない──エンタープライズでの大規模エージェント展開「第一の柱」とは？

エンタープライズAIの「本番稼働」が要求する技術的ハードル

　フラッグシップイベントの「Think」とは違い、TechXchangeはデベロッパーやインフラ・システム管理者、データサイエンティストなど、より実務レイヤーの技術者たちをターゲットとしたイベントとなっている。今年の参加者数は6,000人以上／85ヵ国、会期中は1,000超のハンズオンや分科会、講演が行われるほか、IBMエコシステムや協賛企業の展示ブース＆体験エリアが展開された。

　自律型のAIエージェントが組織の中にますます浸透しつつある昨今……。「昨年のTechXchangeではエージェントを『構築すること』がテーマだったが、今年はそれを『スケールさせる』フェーズへ移行した」とIBMのディネシュ・ニーマル（Dinesh Nirmal）氏は基調講演で語った。

　人間を遥かに超越したタスク量をこなし、精度も上がり続けるAIエージェントを「使わない」という選択肢は、もはや現実的ではない。となれば、いかにして使うか、使える環境を構築するかという命題から逃げることは、企業にとって競争から淘汰されていくことを意味する。ITリーダーたちは、厳格な要件や安全性が求められるエンタープライズの環境で、いかに大規模かつ安全にエージェントを本番稼働させるかを本格的に考えなければならない。

　では、本番稼働に向けて越えなければならないハードル、考慮すべき要件とは何だろうか。ニーマル氏は、5つの課題を挙げた。

　もはや、数種類程度の生成AIやエージェントを便利に使いこなすことは当たり前となった。今、我々が向き合っているのは、「複数のエージェントが大規模に連携・協働し、人間と肩を並べて働く環境」をどう作るかという問いである。

　ニーマル氏は、ある大手金融機関の例を挙げた。ユーザー数約3000万人規模の顧客向けモバイルサービスを運営する金融機関だ。これほどの規模になると、1日におけるAIモデルの呼び出し回数は約850万回、トークン数は月間約2.4兆、処理するツールは24種類に及ぶ。この規模感と複雑性の中で、どうやって推論の呼び出しや動的な認証情報をローテーションさせればよいのか。これを考え、解決するのが「スケールさせる」ということだ。

　スケールさせるために重要な柱は3つ──①Data（データ）、②Deployment（デプロイメント）、③Runtime（ランタイム）だ。まず、本稿ではデータの話を取り上げる