情シスを悩ます複雑なGPU運用をどう統制すべき？リソースの仮想化と一元管理で実現するAIインフラ刷新

コスパに優れた「SLM」に脚光、しかしこれにも落とし穴が……

　AI導入の障壁となる課題の中でも、特に多くの企業を悩ませているのが、パブリッククラウドにおける利用コストの高騰だ。初期投資を抑えるためにクラウドベースのAIサービスから利用しはじめたものの、利用部門の拡大とともに想定以上にコストが膨らみ、予算を圧迫する事態が頻発している。

　「AIエージェントや推論モデルなどの業務利用が拡大し、AIへのリクエスト回数やトークン消費量が急増したことでパブリッククラウドの利用コストが高騰。これが原因で“オンプレミス回帰”を指向する企業も増えています。また、全部門でAIを活用しようとする動きが強まる中、情報システム部門だけではGPUリソースの管理が限界に達しつつあるという、運用体制に関する課題も数多く耳にします」（村上氏）

　こうした問題に加えて、企業がAIを安全に活用するうえで避けて通れないのが、セキュリティとガバナンスの課題だ。利用者が情報システム部門の管理を通さずに外部のAIサービスを利用する「シャドーAI」が蔓延すれば、企業の機密情報や顧客データが意図せず外部に流出してしまうリスクが高まる。

　さらに、AIが事実に基づかない不正確な情報を生成してしまうハルシネーションの問題や、学習・推論に用いるデータを物理的にどこに配置すべきかという「データ主権」の問題も、エンタープライズ企業にとってはクリティカルな要件となる。

　そのほか、パブリッククラウドを利用する場合でも、AIへのリクエスト内容を事前にチェックし、不適切なプロンプトや機密データの送信を遮断するガードレールの仕組みが必須となる。しかし、これらをオンプレミス環境で実現しようとすれば、自社で独自のルールを策定し、強固な制御メカニズムをゼロから構築しなければならないという新たな負担も生じる。

　このような課題を背景に、AIを支えるインフラの要件は現在、大きな転換期を迎えつつある。すべての業務を単一の巨大な大規模言語モデル（LLM）で処理しようとするアプローチは、コストとパフォーマンスの両面で限界があるだろう。そこで、日常的な定型業務や特定の専門領域においては、小規模言語モデル（SLM）と呼ばれる用途に特化した軽量モデルを採用し、それらをワークフローとして連携させる手法が主流になりつつあるようだ。

　ただし、モデルやサーバーが分散すればするほど、リソース管理や既存システムとの連携はより一層複雑化し、情報システム部門に重い負担を強いることにもなる。