AIが大量のデータを無断削除、隠蔽まで図る……AIエージェントの暴走から自社を守るガバナンス権限設計

AIリスクは出現箇所×入力経路で膨大に……必要なガバナンスの考え方

　AIエージェント時代の到来がもたらすAIリスクの変化は、リスクの“発生箇所”そのものが増える点にあります。従来のITセキュリティと比較して考えてみましょう。

　これまで保護の対象となってきたのは、ネットワーク、エンドポイント、アプリケーション、IDといった領域でした。しかしエージェント時代においては、AIスタック全体がアタックサーフェス（攻撃対象領域）となります。モデル、学習データ、ベクターDB、MCPサーバー、Skills/Plugins、AIが生成したコード、IDE（Integrated Development Environment）、メモリ、ツール、AIエージェント間の通信など、対策すべき箇所は数多く存在するのです。

　このリスクをさらに厄介にしているのが、入力経路の増加。AIエージェントという“デジタルの人格”が誕生することで「①人間からAIエージェントへの入力」「②AIエージェントから外部ツールへの入力」という2つの経路が存在することになります。そして、ここで決定的に大きなリスクとなるのが②の経路です。

　AIエージェント時代において、攻撃者はユーザーの入力だけでなく、外部Webページ・MCP・ツールの応答のなかにも悪意ある指示を埋め込めるようになります。これによってAIは、“AI自身が見に行った情報”によってシステム全体を乗っ取られてしまう可能性すらあるのです。筆者自身、技術の進歩とその対策という観点から驚きを禁じえないのですが、連載当初に述べていた「チャットアプリに代表される生成AIのプロンプトの入出力を検査するだけ」では、原理的に防御することが難しくなってきているということです。

何から何を守るべきか──立ち返るべき3つの観点

　このエージェント型AI時代において、企業はAIリスク対策として何を行うべきなのでしょうか。

　ここまで見てきたとおり、AIエージェントの活用が本格的に社会実装されると、セキュリティが求められる対象は飛躍的に広がります。モデルやプロンプトだけでなく、MCPサーバー、外部ツール、RAG、さらにはAIエージェント間通信に至るまで、AIスタック全体が新たな攻撃対象となるのです。

　こうした広範なリスクに対応するうえで重要となるのが、AIを“動かす前に検査する（scan-before-run）”という考え方です。AIエージェントを事前に検査したうえで、「何を実行させるのか」を制御する必要があるということです。これは、従来の「誰がアクセスするのか」を中心とした管理からの、大きな発想の転換を意味します。

　これから企業が問うべきなのは、次の3点です。

1. AIは何を実行できるのか
2. いつまでその権限を許可するのか
3. 誰の権限として実行するのか

　つまり、アクセス制御（Access Control）から、AIの行動そのものを統制するアクション制御（Action Control）へと、セキュリティの重心が移り始めているのです。

　そして、こうしたセキュリティ概念のシフトに合わせて、企業におけるAIガバナンスの定義そのものも変化させていく必要があります。これまでのAIガバナンスは、利用ルールや社内ガイドライン、第三者委員会などによる、事前・事後の静的な統制が中心でした。しかし、AIがリアルタイムに判断し、行動し続けるエージェント型AIの時代においては、それだけでは不十分といえます。

　そこで重要になるのが、ゼロトラストの考え方にもとづく「新しいAIガバナンス」です。これを実現するためには、まずすべてのエージェントを把握することから始まります。企業・組織内に存在するAIエージェントを検出し、そのディレクトリ、所有者、ライフサイクルを管理していくことが欠かせません。言い換えれば、AIにもIDを付与し、“準社員”のように管理していくということです。

　さらに、すべてのアクションを認可することも大切です。先ほど紹介したAIツールによるデータベース削除のインシデントを考えればわかるとおり、AIにIDを付与し、認証を行うだけでは十分ではありません。必要なのは、「必要なときに」「必要な分だけ」「必要な期間だけ」権限を付与する、アクション単位での最小権限設計です。