ダークトレース、社内AIの振る舞いを検知・追跡・コントロールできるAIセキュリティ製品を発表

　ダークトレースは、新たなビヘイビア（振る舞い）AIセキュリティ製品「Darktrace / SECURE AI」を発表した。

　同製品は、AIシステムがどのように振る舞い、他のシステムや人間と相互動作し、経時的に変化していくかを理解できるという。

• AIシステムが異常な動作をする
• 意図された行動から逸脱する
• 許可されたアクセス権限を超える
• ポリシーに違反する
• 許可されていない行動をとるように操作されているように見える

などといった場合に介入することを可能にするとのことだ。静的なガードレールやポリシーベースのアプローチとは異なり、生成AIやエージェント型ワークフローが実際の環境でどのように動作するかを監視するという。これには、プロンプトの言語やデータアクセスのパターンが含まれ、従来のセキュリティツールや静的なガードレールではしばしば見逃されてしまうリスクの発生を、異常なアクティビティに基づいて検知するとしている。

　同製品は、既存のセキュリティオペレーションに組み込むことができ、新規のスタンドアロンユーザー、および既存の「Darktrace ActiveAI Security Platform」のユーザーの両方に対して、アクション可能な情報を提供するとのこと。組み込みSaaSアプリケーション、クラウドでホスティングされるモデル、ハイコードまたはローコード開発環境で開発された、自律的または半自律的なエージェントでAIを運用する企業のために設計されているという。

　機密性の高いデータの露出を防止し、社内のアクセスおよび利用ポリシーを徹底し、企業内AIアシスタントおよびエージェントによる自律的AIのアクティビティをコントロールするほか、AIの開発と展開を管理するのにも役立つと述べている。

「Darktrace / SECURE AI」の概要

　セキュリティ担当者が、企業全体のAIの使用を安全に実現し管理するためのソリューション。Darktrace ActiveAI Security Platformの一部として、生成AIツール、自律的エージェント、AI開発環境、シャドーAIツールに入出力される情報およびデータの可視化・分析を行い、AIシステムがどこで運用されているのか、どのような情報やシステムにアクセス可能か、そしてそれらの動作の状況を理解することが可能。

企業内AIアシスタント、ローコード、ハイコード、およびSaaS環境内での生成AIの利用をリアルタイムに監視およびコントロール

　ChatGPT EnterpriseやMicrosoft Copilotなどのツール、SalesforceやM365などの業務アプリケーションに組み込まれたAI機能、Microsoft Copilot Studioなどのローコードエージェントビルダー、Amazon BedrockなどのハイコードAI開発プラットフォームで使用されるプロンプト、セッション、モデル応答に対する可視性を得られるという。

　プロンプトや対話がどう変化していくかを理解することにより、機密性の高いデータの露出、通常とは異なるプロンプトの振る舞い、AIシステムを操作しようとする試みなどを特定できるとのことだ。

AIエージェントとそれらのアクセス権限を追跡しコントロール

　クラウドプラットフォーム、社内システム、およびサードパーティ環境内で運用されているアクティブなAIエージェントを自動的に見つけ出すという。それらがアクセスできるシステムおよびデータをマッピングし、MCP（Model Context Protocol）サーバーを含む他のサービスと、それらがどのように相互動作するかを監視するとのことだ。

　これにより、過剰な権限を持つエージェント、予期しない相互動作、不正使用の兆候や意図された動作からの逸脱等を識別し、エージェントが安全でないまたは許可されていないアクションを実行しようとした際に介入できるとしている。

AIのリスクを開発時と展開後の両方で評価

　AIのアイデンティティおよびローコードツール、SaaSプラットフォーム、ハイパースケーラー環境、社内ラボへのアクセスを可視化。アイデンティティ、権限、データがどのように設定され、AIコンポーネントがどのように重要システムに接続しているかを確認でき、設定ミス、過剰なアクセス権限、通常と異なるビルド動作などを見つけ出せるという。これらのデータは直接プロンプトの監視機能に伝達され、AIシステムがどのように作成されているかという情報と、展開後どのように振る舞っているかをリンクさせるとのことだ。

　アイデンティティの作成、ビルドイベント、新しいエージェントの機能などを、エージェントのロジックを定義するプロンプトと相関付けることで、リリース前の段階と、エージェントが本番環境で動作を始めた後の両方の段階でリスクを検知することが可能になるとしている。

シャドーAIを見つけ出し、管理

　承認されていないAIツール、承認されていないエージェント開発、予期されていなかったAI関連アクティビティを組織全体から見つけ出すという。これにより、管理されていないAIの使用がどこで発生しているか、データが外部のAIサービスにどのように流れているか、正規のツールがリスクのあるまたは一貫性のない方法で使用されていないかを調べられるとのことだ。

　ユーザーの活動をクラウド、ネットワーク、エンドポイントの動作と相関付けることで、未承認のツールの使用を制限し、ポリシーを徹底し、むやみな導入がリスクを生む前にユーザーを承認されたAIサービスへと導くことができるという。

【関連記事】
・ZscalerがAIセキュリティを強化する新サービス発表　社内のシャドーAIやプロンプトなど検出可能
・GartnerがAIセキュリティ強化のための4アプローチ発表、新攻撃手法を確認できる体制の構築が急務
・チェック・ポイント、生成AIセキュリティの新機能を発表　AIの安全な導入、データ損失防止が可能に