AIは敵か？味方か？「Kopeechka」によるディープフェイク被害、生成AIの悪用事例から考える

敵となる生成AI「ディープフェイク」による偽情報の拡散や詐欺

　生成AIサービスは、テキストやソースコード、画像、映像、音声、音楽など、多様なコンテンツを生成できるまでに進化を遂げている。そのため、攻撃者による生成AIの悪用を考える際、まずは「ディープフェイク」による偽情報の拡散や詐欺に注意を払いたい。

　ディープフェイクとは、AI技術を用いて作成された、偽の動画や音声コンテンツ、あるいはそれらを作成する技術そのものを指す。攻撃者はこの技術を悪用し、偽情報の拡散や詐欺行為、偽の広告掲載、不正認証など、さまざまな攻撃を仕掛けている。

　「ディープフェイクによる偽情報の拡散は、世論操作や特定の行動を誘導するための『インフルエンスオペレーション』の一環として行われるケースがあります」と清水氏。その事例の一つとして、2021年2月に行われた官房長官の記者会見時の中継映像の改ざんは記憶に新しいだろう。また、ウクライナのゼレンスキー大統領の偽動画、台風の水害被害の偽画像、首相の偽動画などもインターネット上に出回った。最近では、台湾総統選挙の候補者の偽動画やパリオリンピックに便乗した偽情報も確認されている。

　では、こうした偽動画などは、どのように拡散するのか。トレンドマイクロでは「Kopeechka」という、ソーシャルメディア（SNS）のアカウントを自動作成するツールを発見している。InstagramやTelegram、FacebookなどのSNSにおいては、不正アカウントの作成を阻止するためにメールアドレス（ドメインなど）による識別、SMS認証などの対策を講じているが、これらを回避するためのサービスがKopeechkaだ。攻撃者は、Kopeechkaを使ってアカウントを自動で大量作成し、偽の画像や動画などを投稿している。

　大量のアカウントから拡散された偽情報は、人々の目に触れる機会が増えるだけでなく、その認識や行動に影響を与える可能性もあるだろう。先述したように特定の政策や選挙結果を左右することはもちろん、企業の経営層の偽動画や偽音声を悪用すれば、株価や評判などにも深刻な影響を与える可能性も考えられる。

　インフルエンスオペレーションに加え、ディープフェイクを悪用した代表的な攻撃の一つが、詐欺行為だ。その一例として、偽音声を悪用した「BVC（Business Voice Compromise）」が確認されている。2024年5月には、大手広告代理店のWPP社がBVCの標的となる、詐欺未遂事件が発生している。

　攻撃者は、WPP社のCEOの公開画像を悪用し、不正に入手したアカウントで幹部とのオンラインミーティングを設定。そして、偽のビデオ会議でCEOのディープフェイク音声とYouTubeの公開動画を悪用することによって、新規ビジネスの立ち上げを持ち掛け、金銭や個人情報を要求した。幸いにも事件は未遂に終わったが、ディープフェイクを見破れなければ、金銭的被害が発生していた可能性も否定できない。