オフェンシブセキュリティの権威がGPTの脆弱性を証明──生成AIを使う攻撃者の視点と新たな攻撃手法
Check Point CPX Japan 2024 レポート

2024年7月18日、「Check Point CPX Japan 2024」が東京にて開催。それに合わせ、Check Pointのプロダクト脆弱性調査チームで責任者を務めるオデッド・ヴァヌヌ氏が来日し、「AIが現代のサイバー戦に与える影響」と題した講演を行った。ヴァヌヌ氏は20年以上にわたる情報セキュリティの専門知識を有し、オフェンシブセキュリティの権威として知られる。GPTの進化をきっかけに急速に認知が広がり、今やあらゆる企業が関心を示している生成AI。同氏はその脆弱性を発見し、誰もが簡単にAIを悪用できてしまう手法を講演で紹介した。
進化の裏に潜む、ChatGPTの脆弱性
20年以上にわたり、サイバー戦の最前線を見てきたオデッド・ヴァヌヌ氏。AIが目まぐるしい進化を遂げている今、その“裏側”にも目を向けてほしいと呼びかける。ChatGPTが登場したのは2022年11月30日。そこから2年も経たないうちに、生成AIは人々の働き方やビジネスモデル、産業の在り方などに巨大なインパクトを与えるまでに進化した。
非常に高精度なテキストを生成できるとして最初に世間で話題になったのは、GPT-3が登場した時だろう。その後、GPT-3.5モデルが出た際にチャット型のインターフェースを実装したことで、爆発的にGPTは人々の間に浸透していった。
ヴァヌヌ氏いわく、GPT-3には大きな脆弱性の問題があったという。それは、「誰もが簡単にAIから情報を得られてしまう」という点だ。それによって、本来はユーザーが触れられるべきではない、非合法的な情報までAIが提供してしまうことがあった。

オデッド・ヴァヌヌ氏
ヴァヌヌ氏はこのテクノロジーに直面してすぐに、脆弱性リサーチャーとしてこの脆弱性を悪用する手法や、脆弱性を分析して悪意あるペイロードを機能させてみることを試みた。すると、これまでのようなソフトウェアや脆弱性を相手にするのとはまったく勝手が違うことに驚かされたと、当時を振り返る。「生成AIの脆弱性を探すことは、まるで人間のマインドを持ったコンピューターと対峙するような感覚で、従来のセキュリティ対策の考え方とはコンセプトが大きく異なる」と同氏は述べた。
やがてGPT-4が開発されると、OpenAIは、非合法的な情報がジャックされないようGPTにフィルターを実装した。その発表を受けてヴァヌヌ氏のチームは、GPT-3の時と同じように、さっそく悪用できないかを試みた。結果はどうだったか。なんと「できてしまった」のだという。
では、実際にはどういった脆弱性があったのか。それは、「ユーザーのリクエストに基づいて新しい情報を提供する」、そして「非合法的な情報は提供してはいけない」という、2つの対立するコンセプトが1つのGPTモデルの中に存在していることだという。ヴァヌヌ氏は、実際にGPT-4の悪用を試みた検証の結果を例に、その脆弱性を証明して見せた。
この記事は参考になりましたか?
- この記事の著者
-
名須川 楓太(編集部)(ナスカワ フウタ)
サイバーセキュリティ、AI、データ関連技術やルールメイキング動向のほか、それらを活用した業務・ビジネスモデル変革に携わる方に向けた情報を発信します。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか?
この記事をシェア