Cato Networks、LLMのセキュリティ制御を回避する“LLM脱獄技術”を発見

　Cato Networksは5月16日、「2025年Cato CTRL脅威レポート」を公開。合わせて、生成AIに関する2つの新機能を発表した。

　2025年Cato CTRL脅威レポートでは、マルウェアコーディングの経験がないCatoの脅威インテリジェンスリサーチャーが、Google Chromeからログイン認証情報を盗むマルウェアを開発するようDeepSeek、MicrosoftのCopilot、OpenAIのChatGPTなどの生成AIツールに仕向け、それに成功した過程が明らかにされている。いずれも各社に通知済みだという。

　ChatGPT、Copilot、DeepSeekといった生成AIツールを騙すために、Catoの脅威インテリジェンスリサーチャーは、架空の世界を作り込み、各ツールにタスクと課題を割り当てて、その世界での役割を演じさせた。このナラティブエンジニアリングによって、リサーチャーは、セキュリティ制御を回避し、操作の制限を無効化できたという。そして最終的には、生成AIツールにChromeインフォスティーラーを書かせることに成功したとしている。この新しいLLM（大規模言語モデル）ジェイルブレーク（脱獄）技術は、「イマーシブル・ワールド（没入型世界）」と名付けられた。

　Cato Networksの脅威インテリジェンスリサーチャーであるヴィタリー・シモノヴィッチ氏は、「私たちが発見したAIジェイルブレーク（脱獄）技術は、パスワードを盗むマルウェアを簡単に作成できる潜在的脅威の存在を証明している。生成AIツールによって今やマルウェア作成の障壁は大幅に低下したため、コーディングの知識が皆無の脅威アクターが増加し、組織に高いリスクをもたらすことは間違いない」とコメントした。

　合わせて、Cato Networksの脅威インテリジェンスチーム Cato CTRL（Cyber Threats Research Lab）が日本における生成AIの利用状況を調査。2025年に日本の組織で使用された生成AIツールの上位5つは以下の通りだったという。

• AnysphereのCursor（30.89%）
• Media.ioのAI Portrait Generator（28.99%）
• OpenAIのChatGPT（13.49%）
• MicrosoftのCopilot（13.21%）
• GoogleのGemini（7.12%）

　また同日、Cato CASBのための生成AIセキュリティ制御の導入を発表した。新機能は、生成AIの使用を検出および分析し、その利用状況に関する洞察を提供する「シャドーAIダッシュボード」、生成AIアプリケーション内でのユーザーの操作を制御できる「ポリシーエンジン」の2つ。いずれもCato CASBユーザーには提供開始しているという。

　さらに、Cato SASE Cloud Platform向けに構築されたAI搭載機能「Cato自律型ポリシーの導入」も発表。これはセキュリティ、アクセス、ネットワーキングなど、すべてのSASEポリシーを最適化および改善するために構築された、SASEネイティブのポリシー分析エンジンという。

【関連記事】
・キヤノンITS、「Cato SASEクラウド」を提供　ネットワークとセキュリティ機能を一元化
・マクニカ、ライオンへSASE製品「Catoクラウド」を提供
・キンドリル、Prisma SASEと組み合わせたエンドツーエンドのSASEサービスを発表