“複雑化したAs-Is”が最大の脅威になる？AIエージェント実装前に押さえておきたい「リスク管理術」

人間主体の既存ITシステムに、AIエージェントを実装するリスク

　エージェンティックAIが既存のチャットボットやAIアシスタントと大きく異なる点は何か。そう聞かれると、ほとんどの人が「自律性」と答えるだろう。達成すべき目的と、実行に必要な権限を与えられたAIエージェントは、社内の業務システムからSaaS、パブリッククラウドに至るまで、実に様々な環境を横断し、自律的に判断を重ね、情報収集やツールの選択を行う。ときには必要に応じて当初の計画を動的に変更することもある。

　そしてこうした一連のプロセスにおいて、AIエージェントは人間からの逐次的な指示を必要としない。カスタマーサポートやバックオフィス、ソフトウェア開発といった分野でAIエージェントの導入が進んでいるのは、人間が介在しなくてもこれらの業務フローを高いレベルで完結できるからである。既に大幅な生産性向上や人件費削減効果を得ている企業も少なくない。

　だが、ここで桂田氏が言うところの「As-Is」の問題が出てくる。AIエージェントの最大の特徴である自律性は、既存のITシステムのセキュリティポリシーに適合しない部分が多く、重大なセキュリティインシデントを引き起こす可能性すらあるのだ。既存のITシステム、つまりAs-Isは操作主体が人間であることを前提に構築されているため、アクセス権限やデータフロー、監査の仕組みなどが静的で予測可能な振る舞いとして最適化されている。しかし、AIエージェントは、自律的な判断を重ねながらあらゆるシステムを横断し、必要に応じて動的に行動を変化させるため、As-Isの前提を根底から揺るがす。

　「As-IsではAIエージェントのような不確実性の高い振る舞いは想定されていません。したがって、As-Is上にそのままエージェンティックAIシステムを構築すると、エージェントが制御不能に陥るリスクが生まれやすくなります。たとえば複数の業務システムやSaaSなどのアカウント・権限をAIエージェントに付与してしまえば、人間が知らないところで機密情報の漏洩などが起こる可能性が高くなります」（桂田氏）

見えないものは守れない　複雑化し可視化が進まない現状に課題

　行動を予測できないAIエージェントをAs-Isのまま制御することが難しいのであれば、企業はどのようにしてAIエージェントを制御していくべきなのだろうか。桂田氏はまず、AIエージェントの制御において懸念されるポイントとして以下の4つを挙げている。

　これらの課題を総合すると、やはりAIエージェントの動きが“見えない”ことが企業にとって最大の不安要素になっていることがわかる。AIエージェントはどこにいて、何をしていて、次に何をしようとしているのか。だが、見えないのはAIエージェントだけではない。桂田氏はAs-Isそのものの可視化が進んでいないことも、エージェンティックAIのセキュリティリスクを高める要因の一つだと指摘する。

　「エンタープライズ企業のほとんどは、2つ以上のクラウド（あるいはレガシーのオンプレミス）環境を適材適所で使い分けるマルチクラウド環境を活用しています。マルチクラウドは柔軟性や可用性を高める効果がありますが、その一方でシステムの複雑性も増大しており、全体像が見えにくい。複雑で見えにくいマルチクラウドというAs-Isで、不確実な振る舞いを日常的に行うAIエージェントを動かせば、当然ながら人間による制御が及ばない部分が生まれ、それがセキュリティリスクにつながることは避けられません」（桂田氏）

　見えないものは守れない──セキュリティの大原則はエージェンティックAIシステムにおいても同様に当てはまる。見えないのはAIエージェントだけではなく、システムの全体像、そしてそれぞれがどうつながっているのか、その関係性だ。逆にいえば、これらを可視化することでエージェンティックAIのセキュリティリスクを軽減することが可能になるといえる。