SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

最新イベントはこちら!

EnterpriseZine Day Special

2024年10月16日(火)オンライン開催

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けの講座「EnterpriseZine Academy」や、すべてのITパーソンに向けた「新エバンジェリスト養成講座」などの講座を企画しています。EnterpriseZine編集部ならではの切り口・企画・講師セレクトで、明日を担うIT人材の育成をミッションに展開しております。

お申し込み受付中!

Security Online Press

オフェンシブセキュリティの権威がGPTの脆弱性を証明──生成AIを使う攻撃者の視点と新たな攻撃手法

Check Point CPX Japan 2024 レポート

 2024年7月18日、「Check Point CPX Japan 2024」が東京にて開催。それに合わせ、Check Pointのプロダクト脆弱性調査チームで責任者を務めるオデッド・ヴァヌヌ氏が来日し、「AIが現代のサイバー戦に与える影響」と題した講演を行った。ヴァヌヌ氏は20年以上にわたる情報セキュリティの専門知識を有し、オフェンシブセキュリティの権威として知られる。GPTの進化をきっかけに急速に認知が広がり、今やあらゆる企業が関心を示している生成AI。同氏はその脆弱性を発見し、誰もが簡単にAIを悪用できてしまう手法を講演で紹介した。

進化の裏に潜む、ChatGPTの脆弱性

 20年以上にわたり、サイバー戦の最前線を見てきたオデッド・ヴァヌヌ氏。AIが目まぐるしい進化を遂げている今、その“裏側”にも目を向けてほしいと呼びかける。ChatGPTが登場したのは2022年11月30日。そこから2年も経たないうちに、生成AIは人々の働き方やビジネスモデル、産業の在り方などに巨大なインパクトを与えるまでに進化した。

 非常に高精度なテキストを生成できるとして最初に世間で話題になったのは、GPT-3が登場した時だろう。その後、GPT-3.5モデルが出た際にチャット型のインターフェースを実装したことで、爆発的にGPTは人々の間に浸透していった。

 ヴァヌヌ氏いわく、GPT-3には大きな脆弱性の問題があったという。それは、「誰もが簡単にAIから情報を得られてしまう」という点だ。それによって、本来はユーザーが触れられるべきではない、非合法的な情報までAIが提供してしまうことがあった。

Check Point Software Technologies, Ltd. プロダクト脆弱性調査 責任者 オデッド・ヴァヌヌ氏
Check Point Software Technologies, Ltd. プロダクト脆弱性調査 責任者
オデッド・ヴァヌヌ氏

 ヴァヌヌ氏はこのテクノロジーに直面してすぐに、脆弱性リサーチャーとしてこの脆弱性を悪用する手法や、脆弱性を分析して悪意あるペイロードを機能させてみることを試みた。すると、これまでのようなソフトウェアや脆弱性を相手にするのとはまったく勝手が違うことに驚かされたと、当時を振り返る。「生成AIの脆弱性を探すことは、まるで人間のマインドを持ったコンピューターと対峙するような感覚で、従来のセキュリティ対策の考え方とはコンセプトが大きく異なる」と同氏は述べた。

 やがてGPT-4が開発されると、OpenAIは、非合法的な情報がジャックされないようGPTにフィルターを実装した。その発表を受けてヴァヌヌ氏のチームは、GPT-3の時と同じように、さっそく悪用できないかを試みた。結果はどうだったか。なんと「できてしまった」のだという。

 では、実際にはどういった脆弱性があったのか。それは、「ユーザーのリクエストに基づいて新しい情報を提供する」、そして「非合法的な情報は提供してはいけない」という、2つの対立するコンセプトが1つのGPTモデルの中に存在していることだという。ヴァヌヌ氏は、実際にGPT-4の悪用を試みた検証の結果を例に、その脆弱性を証明して見せた。

次のページ
GPT-4の脆弱性を悪用、麻薬のレシピを聞き出してみる

この記事は参考になりましたか?

  • Facebook
  • X
  • Pocket
  • note
Security Online Press連載記事一覧

もっと読む

この記事の著者

名須川 楓太(編集部)(ナスカワ フウタ)

2022年よりBiz/Zineで取材・編集・執筆を担当。2024年4月、EnterpriseZine編集部に加入。サイバーセキュリティ、データサイエンス等に携わる方、テクノロジーによる変革を牽引するCIOやCDO、CISOに向けた情報を発信します。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

この記事は参考になりましたか?

この記事をシェア

EnterpriseZine(エンタープライズジン)
https://enterprisezine.jp/article/detail/20008 2024/09/26 10:00

Job Board

AD

おすすめ

アクセスランキング

アクセスランキング

イベント

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング