敵となる生成AI「ディープフェイク」による偽情報の拡散や詐欺
生成AIサービスは、テキストやソースコード、画像、映像、音声、音楽など、多様なコンテンツを生成できるまでに進化を遂げている。そのため、攻撃者による生成AIの悪用を考える際、まずは「ディープフェイク」による偽情報の拡散や詐欺に注意を払いたい。
ディープフェイクとは、AI技術を用いて作成された、偽の動画や音声コンテンツ、あるいはそれらを作成する技術そのものを指す。攻撃者はこの技術を悪用し、偽情報の拡散や詐欺行為、偽の広告掲載、不正認証など、さまざまな攻撃を仕掛けている。
「ディープフェイクによる偽情報の拡散は、世論操作や特定の行動を誘導するための『インフルエンスオペレーション』の一環として行われるケースがあります」と清水氏。その事例の一つとして、2021年2月に行われた官房長官の記者会見時の中継映像の改ざんは記憶に新しいだろう。また、ウクライナのゼレンスキー大統領の偽動画、台風の水害被害の偽画像、首相の偽動画などもインターネット上に出回った。最近では、台湾総統選挙の候補者の偽動画やパリオリンピックに便乗した偽情報も確認されている。
では、こうした偽動画などは、どのように拡散するのか。トレンドマイクロでは「Kopeechka」という、ソーシャルメディア（SNS）のアカウントを自動作成するツールを発見している。InstagramやTelegram、FacebookなどのSNSにおいては、不正アカウントの作成を阻止するためにメールアドレス（ドメインなど）による識別、SMS認証などの対策を講じているが、これらを回避するためのサービスがKopeechkaだ。攻撃者は、Kopeechkaを使ってアカウントを自動で大量作成し、偽の画像や動画などを投稿している。
大量のアカウントから拡散された偽情報は、人々の目に触れる機会が増えるだけでなく、その認識や行動に影響を与える可能性もあるだろう。先述したように特定の政策や選挙結果を左右することはもちろん、企業の経営層の偽動画や偽音声を悪用すれば、株価や評判などにも深刻な影響を与える可能性も考えられる。
インフルエンスオペレーションに加え、ディープフェイクを悪用した代表的な攻撃の一つが、詐欺行為だ。その一例として、偽音声を悪用した「BVC（Business Voice Compromise）」が確認されている。2024年5月には、大手広告代理店のWPP社がBVCの標的となる、詐欺未遂事件が発生している。
攻撃者は、WPP社のCEOの公開画像を悪用し、不正に入手したアカウントで幹部とのオンラインミーティングを設定。そして、偽のビデオ会議でCEOのディープフェイク音声とYouTubeの公開動画を悪用することによって、新規ビジネスの立ち上げを持ち掛け、金銭や個人情報を要求した。幸いにも事件は未遂に終わったが、ディープフェイクを見破れなければ、金銭的被害が発生していた可能性も否定できない。
進化するマルウェア、「生成AI」が悪用される現状と未来
生成AIの悪用は、マルウェアの作成にも及んでいる。攻撃者たちが利用するアンダーグラウンド市場の1つ「Hack Forums」では、2023年にAI専門セクション「Dark AI」が登場した。サイバー犯罪者向けの生成AIサービス「WormGPT」が誕生するなど、アンダーグラウンド市場でも生成AIへの期待が高まっていることがうかがえる。
しかし、WormGPTのサービスはわずか2ヵ月ほどで終了した。大規模言語モデルの維持コスト、世間に広く知れ渡ったことが、サービス終了の理由と考えられる。
WormGPTは終了したが、ChatGPTをAPI経由で利用する「Evil-GPT」、スパム送信ソフトウェア「GoMailPro」にChatGPTが組み込まれるなど、正規の生成AIサービスを悪用する動きも見られるようになってきた。犯罪者の関心が“正規サービスを悪用すること”にシフトしていることを示唆していると言えるだろう。
もちろん、ChatGPTなどのサービスは、ランサムウェアの作り方を教えるプロンプトなどには、本来レスポンスを返さない仕様になっている。しかし、攻撃者は「脱獄」と呼ばれる手法を用いて、この仕様を回避しているという。通常、ChatGPTにランサムウェアや爆弾、銃の作り方を教えるようにプロンプトを実行しても、サービス側のフィルタリング機能により犯罪に関連すると判断され、レスポンスは拒否される。だが、攻撃者は脱獄手法を用い、特殊なプロンプトを入れることで、本来拒否されるはずのランサムウェア作成用のソースコードを生成させるなど、ポリシー違反に該当する要求をサービスに受け入れさせているのだ。
ただし、脱獄に成功して作成されたマルウェアは、かなり限定的なものであることもわかっている。トレンドマイクロがChatGPT 3.5を用いて、コード作成のテストを実施した結果、コード生成の達成率は52％、コードのエラー割合は43％に上った。つまり、コード生成を最後まで達成できる割合は約半分であり、生成されたとしてもAPIの使い方が誤っていたり、脆弱性を含むコードであったりするなど、「精度はまだ道半ばである」と清水氏は説明した。
また、トレンドマイクロでは、OpenAI社によるCodexを用いたマルウェア作成テストも実施している。「PayPalを偽装したログインページを作成して」というプロンプトに対しては、「Buy Now」との表記とクレジットカードのアイコンが並んでいるだけの、不十分な外観のページが生成された。また、「SEO対策を行った検索上位に表示されるフィッシングページを作成して」というプロンプトに対しても、生成されたページの文章は文法がバラバラで、英語以外の言語が混在するなど、多くの誤りがあったという。
このように悪用しようとしても生成結果は不十分であるが、既に攻撃者は生成AIを悪用し、一部を補完させるような使い方に着手している。清水氏は、「今後、生成AIの悪用状況が現状のまま推移することは考えにくい」と警鐘を鳴らす。たとえば、脆弱性に関する公開情報をGPT-4に学習させた場合、攻撃の成功率が87％まで上昇することがわかっている。そのままでは実用レベルに達しないとしても、特定の情報を学習させることで精度は大幅に向上するため、「近年の生成AIの成長速度を考慮すれば、今後生成AIを悪用したサイバー攻撃の質はさらに向上する見込みがある」と清水氏は指摘する。
加えて、生成AIの登場により、サイバー攻撃は高度な技術力を持つ犯罪者だけでなく、一般ユーザーでも実行できるようになってきた。生成AIがサイバー攻撃の技術的ハードルを著しく低下させている状況とも言えるのだ。
Microsoft社が提供する音声生成アプリケーション「VALL-E X」を使えば、たった3秒のサンプル音声だけで、その人物の声で設定した文言を自由に喋らせられる。つまり、一般ユーザーでも経営層の音声サンプルデータさえあれば、ソフトウェアを使って簡単かつ自由に喋らせたディープフェイクを作れるのだ。そして、これは音声だけでなく、動画作成においても同様だという。生成AIで作成された動画は、ビデオ会議などで流されても、すぐに見分けることが難しいレベルにまで達しており、詐欺被害が拡大する懸念がある。
さらには不正コードによるマルウェア作成においても、高度な技術を持たない攻撃者からの攻撃も確認されている。2024年5月、生成AIサービスを悪用してランサムウェアを作成した男性が逮捕された。供述によると、自宅のPCやスマートフォンを使い、インターネット上で公開されている無料の対話型生成AIサービスで、不正なソースコードを入手し、マルウェアを作成したという。日常的に利用されているPCやスマートフォンを使い、誰もがマルウェアを作成できることが証明された一例と言えるだろう。
「AIを味方に」トレンドマイクロの次世代セキュリティとは
攻撃者によるAIの悪用が増加している中、トレンドマイクロでは、生成AIを敵視するのではなく、セキュリティ対策に活用することで、より迅速かつ効果的なセキュリティ対策を実現しようとしている。その一環として提供されているのが「Trend Companion」だ。これは、セキュリティ運用をチャットボットでサポートする機能であり、たとえば発報されたセキュリティアラートについて質問をすれば、侵入経路や悪用された脆弱性など、専門的な解説をチャット形式で受け取れる。
担当者はチャットを通じて迅速に状況を判断し、対応することが可能だ。攻撃に利用されるコマンドは複雑なものが多く、人間がすぐに理解することは容易ではない。Trend Companionは、そうした複雑なコマンドを人間が理解できる自然言語による文脈に変換することで、セキュリティ運用の生産性と効率の向上に貢献してくれる。
また、“脅威検知の強化”にもAIを活用しているという。たとえば、「Writing Style DNA」という機能では、ビジネスメール詐欺対策にAIを活用している。経営層や財務担当者を装って金銭を要求するビジネスメール詐欺（BEC）は、AIの活用も相まって巧妙かつ自然な日本語で書かれているものが増えており、見破ることは容易ではない。そこでWriting Style DNAによって、ユーザーが普段書いているメールを事前学習し、メールの書き方の癖をAIで分析。これにより、本人になりすましたメールであっても、書き方の癖からBECの疑いがあるメールを検知できるという。Writing Style DNAをはじめ、トレンドマイクロでは従来のパターンファイルによる検知に加え、AIや機械学習を用いたコアテクノロジーにより、検知精度を向上させているのだ。
AIを活用した「Trend Companion」や「Writing Style DNA」は、トレンドマイクロの統合サイバーセキュリティプラットフォーム「Trend Vision One」上で提供されている。Trend Vision Oneでは、AIを活用した機能に加え、メールやエンドポイント、サーバーなど、あらゆるレイヤーに対する防御・検知・対応、そして自組織全体のリスク評価など、平時および有事のセキュリティ対策を1つのコンソール上で運用することが可能だ。
トレンドマイクロは、こうしたAIを活用したセキュリティ対策を「AI for Security」というキーワードで推進し、新機能・ソリューションを拡充させている。それに加え、AIを悪用したサイバー攻撃やAIの利用にともなうリスクからユーザーを保護するためのセキュリティ対策には、「Security for AI」というキーワードでも機能・ソリューションを展開。具体的には、AIアプリケーションの不正な改ざんを検知する「AI App Guard」、ディープフェイクを悪用した脅威を検知する「Deepfake Detector」、生成AIのサービス利用時にアクセスを保護する「AI Service Access」などだ。
AI技術をセキュリティ対策に活用することで、セキュリティ運用の支援や脅威検知を向上させるとともに、AIを悪用した脅威やAI利用時のリスクからユーザーを保護する。こうした両面からのアプローチを展開している、トレンドマイクロの「Trend Vision One」を検討してほしいとして清水氏は講演を締めくくった。
