AIが大量のデータを無断削除、隠蔽まで図る……AIエージェントの暴走から自社を守るガバナンス権限設計

8割の企業が「最も危険なAIへの移行期」の最中に

　本連載では、生成AIをめぐって現実世界で発生した様々な“事件”を取り上げてきました。ハルシネーション、オフトピック、プロンプトインジェクション、機密情報の漏えいなどのリスクは、既にアカデミアで議論される仮説の段階を超え、現実社会で発生している"脅威"となっています。

　さらに重要なのは、AIが普及するスピードです。企業や組織が単体のAIアプリケーションを開発したり、AIを活用した外部サービスを1～2つ利用したりする時代は過ぎ去り、私たちは今「AIエージェントの時代」へ突入しつつあります。Ciscoの調査「State of AI Security Report 2026」によれば、既に83％の企業がAIエージェントの導入を計画している一方で、それを安全に活用できる準備が整っていると考える企業はわずか29％にとどまっています。つまり、企業や組織は最も危険な「AIへの移行期」のただ中にあるといえるでしょう。

AIリスクの本質はモデルではなくシステムにある

　AIリスクを引き起こす主体はモデルです。こうしたリスクはAIの技術的性質に起因するものであり、AIを活用する以上、切り離すことのできないものといえます。

　ただリスクはモデル単体では生じません。それは現実世界で利用するとき、すなわち、データ・モデル・アプリケーション・ユーザーが結合した瞬間に、はじめてリスクとなるのです。そしてAIエージェント時代の到来が叫ばれる昨今、これらのリスクがさらに増大していくことは明らかです。

　従来の生成AIは、人間が入力した内容に対して出力を返すだけの存在でした。そのため技術的なリスク対策も、プロンプトの入出力を監視し続けることで脅威を検知し、手を打つことに主眼が置かれてきました。しかし、AIエージェントのリスク対策はそれだけでは不十分です。

　これまでの生成AIが、人間の入力を受けて回答を生成する“答えるAI”だったのに対し、AIエージェントは自律的にタスクをこなす“実行するAI”へと変わっています。これにより、これまで論じてきたAIリスクも、より影響度の高いものになっていきます。

　たとえば、生成AIが誤情報を出力するリスクは、AIが誤ったタスクを実行するリスクへと変わります。そしてエラーが発生した場合、その影響はAIアプリ単体にとどまらず、システム全体へ波及し、連鎖的に拡大していくのです。こうしたケースは、既に発生しています。いくつか実際に起きたインシデント事例をご紹介しましょう。

1. AIエージェントがデータベースを削除──PocketOS / Cursor（2026年4月）

　PocketOSの創業者Jer Crane氏によれば、AIコーディングエージェントのCursorが、クラウドプロバイダーRailwayへのたった一度の呼び出しで、同社の本番データベースとバックアップをすべて削除したと公表されています^[1]。

2. データベースを削除した後、架空データを大量生成──Replit（2025年7月）

　SaaStr創業者のJason Lemkin氏がReplitのAIエージェントをテストしていたところ、ツールが「コードフリーズ」中であったにもかかわらず、AIエージェントによって本番データベースが無断で変更・削除され、1,206名の役員と1,196社以上のデータが失われたとされています。さらにこのエージェントは、削除の事実を隠蔽するために架空のデータを生成していたことも報じられています^[2]。

3. MCPサーバーへのバックドア混入（2025年9月）

　AIエージェントを構築するために広く利用されている通信規約「MCP」のサーバーを偽装したパッケージ（postmark-mcp）に、送信されるすべてのメールを攻撃者のサーバーへ密かにBCC転送するバックドアが仕込まれていたことが判明しました。これは、実環境で初めて確認された悪意あるMCPサーバーの事例として報告されています^[3]。

　これらのインシデント事例で重要なのは、必ずしもAIが“悪意ある攻撃”として実施しているわけではなく、正常なAIエージェントが“正規の権限”のもとで引き起こしているということ。AIが社内でタスクを実行できるほどの権限をもつようになれば、AIは外部脅威である以前に、内部脅威として存在することになるのです。