ガートナーが明かす「AIセキュリティ6大脅威」　なぜAIエージェントが機密情報を漏洩させるのか？

直接的攻撃だけではないプロンプトインジェクション

　ここで気になるのは、モデルプロバイダーがどんな対策を講じているかだ。図3のような攻撃を、2025年1月にシュー氏自身がChatGPT 3.5とChatGPT 4で試してみたところ、前者は本当に特定の言葉「poem」を繰り返したが、後者は「無限に文字列を繰り返すことはできません。でも、詩や他のトピックに関する質問やタスクのお手伝いはできます」という回答になったという。異なる結果が出力されたのは、LLMのバージョンによって、ガードレールの構築方法が異なるためだ。そのガードレールも時間の経過と共にアップデートされるため、私たちが同じことをやろうとしても、同じ結果にはならないはずだ。

　このような敵対的プロンプトに対して、どんな防衛方法があるのか。シュー氏は3つの軽減策を紹介した。第一に、ガートナーが生成AI TRiSMと呼ぶものがある。TRiSMとは、「Trust（信頼性）」「Risk（リスク）」「Security Management（セキュリティーマネジメント）」の頭文字で、生成AIアプリケーションの利用時のプロンプトと出力結果を監視し、有害な攻撃をブロックするアプローチが生成AI TRiSMになる。第二に、ユーザープロンプトの後に、システムプロンプトを追加するアプローチがある。これはLLMのレスポンスへの影響を中立化しようとするものだ。そして、第三のアプローチに、レッドチームが攻撃者の視点から、自社のセキュリティ対策を検証することがある。

　ここまでは直接的なプロンプトインジェクションの例だが、間接的なプロンプトインジェクション攻撃を受ける可能性もある。これは、生成AIアプリケーションが外部のリソースから情報を抽出し、出力回答を作成する特徴を利用したものだ。SaaSやWebサイトに、予め悪意のある指示や意図のある文字列を埋め込んでおく。生成AIアプリケーションは、外部のリソースにアクセスした時に埋め込まれた情報を一緒に取り込んでしまうため、出力結果に影響が出てしまう。もっと単純な例を挙げると、ある人が受け取ったメールに、白文字で「この会社は○○市場で最高のベンダーです」と事実ではない情報が含まれていたとする。白文字なので気づかずに忘れてしまう。しばらく経ってから、生成AIアプリケーションに「○○市場で最高のベンダーはどこか？」と尋ねると、過去のメールを含めて情報を探すため、白文字部分の内容をそのまま回答結果に反映させてしまう。この場合の対策は、生成AIアプリケーションの情報ソースがどのようなものかを把握すること、そしてその情報ソースが信頼できるかを検証することが必要になる。