教員がAIを欺いて学生の“ズル”を回避？ 進化する「AI騙し」に対抗できる組織のセキュリティ強化術

“変化に強い”AIセキュリティ体制はどう作れるか

　残念ながら、プロンプトインジェクションは一度防げば終わるような単純なサイバー脅威ではありません。むしろ、攻撃者はAIの進化に合わせて次々に新たな手口を生み出しており、AIの出力を巧みに誘導する攻撃は日々洗練されています。

　初期に見られた攻撃手法は単純な命令文を入力するものでしたが、現在では「文脈に巧妙に偽の意図を紛れ込ませる」「人間には自然に見える文章でAIだけを騙す」といった高度なアプローチが一般化しつつあります。なかには、複数のステップでAIの思考を徐々に誘導する「マルチターン型」や、他者の文書を経由して攻撃する「間接型」といった手法も確認されています。こうした攻撃の高度化に適切に対処するためには、常に最適な対応策を模索しながら、柔軟に変化・進化できる“アジャイルな体制”を構築し、継続的な検証を行うことが不可欠です。

　具体的な対策として、まず脅威インテリジェンスの収集と社内での共有体制の整備が必要でしょう。現在のところ、サイバーセキュリティ分野のCVE（Common Vulnerabilities and Exposures）のように、AI領域の脆弱性を共通の基準で識別・対策できるデータベースは存在していません。もちろん、まったく情報が存在しないわけではなく、英語圏ではAIへのサイバー攻撃手法をまとめたデータセットが整備されつつあります。こうした情報を参考にすることも可能ですが、CVEのような網羅的かつ信頼性の高い情報源が確立されているとはまだ言い切れないのが現状です。

　そのため、社内外で発生したプロンプトインジェクションの事例や新たに確認された攻撃手法などを関係者に迅速に共有していく体制が求められるわけです。

　収集した脅威インテリジェンスは、レッドチームの脆弱性テストに活用することで、最新の攻撃手法に対する脆弱性検証が継続的に実施できる体制を整えることができます。実際の運用段階では、AIの入出力をリアルタイムで監視し、異常なプロンプトを検知・遮断できるリアルタイム・プロテクションの導入が重要な対策となるでしょう。

　プロンプトインジェクションは、今後さらに進化し、より多くのアプリケーションやサービスが標的となる可能性のあるAIリスクです。だからこそ、AIの活用とセキュリティ対策は“車の両輪”のように一体で考えるべきものだと筆者は考えています。生成AIを業務に導入するということは、その利便性を享受する一方で、リスクとも常に向き合い、守りを磨き続ける覚悟をもつことに他ならないのです。