攻撃者はAI、機械学習、スマート情報システムを悪用できるか？
SHERPAコンソーシアム（F-Secureが参画した、6か国11団体によって構成されEUの資金サポートを受ける、倫理および人権に対するAIの影響を研究するプロジェクト）が発表した新しいレポートでは、人間である攻撃者は機械学習技術を利用できるが、機械学習を使用した新しい攻撃手法を作り出すことより、現存するAIシステムを操作して悪用することに注力している、ということが述べられている。
このリサーチのフォーカスは、悪意を持った攻撃者がAI、機械学習、スマート情報システムをどのように悪用できるか、という点にある。研究者たちは、洗練された偽情報の作成やソーシャルエンジニアリングキャンペーンなど、今日の攻撃者の手が届く範囲にある、AIの悪質な用途を特定している。
そして、このリサーチでは、悪意を持った攻撃者がサイバー攻撃を仕掛けるために、既にAIを使用しているという決定的な証拠は見つからなかったが、攻撃者はすでにサーチエンジン、ソーシャルメディア運営企業、レコメンドサイトなどで使用される既存のAIシステムを攻撃している。
シビル攻撃ではAIが決定を下すために使用するデータを操作する
映画、ドラマ、小説などでは、AIが人間に対して反乱を起こし攻撃を仕掛けてくるという設定が多く用いられているが、現実には人間がAIシステムを定期的に攻撃している、ということだという。エフセキュアの人工知能研究センターのシニア・リサーチャーであるアンディ・パテル氏は、こうした現実は多くの人にとって驚きに値するものだろうとして、次のように述べている。
「これは誤りなのですが、一部の人々はAIと人間の知能を同一視しています。殺人ロボットや制御不能なコンピュータと関連付けてAIを脅威に感じるのはそのためです。しかし、実際には人間によるAIへの攻撃は多く発生しています。レコメンドシステムのように、人々が毎日使用するAIシステムを害するように設計されたシビル攻撃（Sybil Attack）は、一般的な出来事です。こうした行為をサポートするサービスを販売している企業もあります。皮肉なことですが、実は人間がAIを恐れるべきなのではなく、AIが人間を恐れなければいけないようです」。
シビル攻撃では、AIが決定を下すために使用するデータを操作するために、単一のエンティティが複数の偽アカウントを作成し制御するようになる。サーチエンジンのランキングやレコメンドシステムを操作して、特定のコンテンツの順位を上昇／下降させることなどがシビル攻撃の例になる。これらの攻撃は、標的型攻撃のシナリオの中で個人に対するソーシャルエンジニアリングの一部としても使用される。
「こうした攻撃は、オンラインサービスプロバイダにとっては検出が非常に困難であり、この行動は人々が理解しているよりもはるかに広範に及んでいます。」と、Twitter上の不審な活動について調査を行ったパテル氏はは述べている。
しかし、将来的には攻撃者にとって最も攻撃の価値のあるAIの用途は、フェイクコンテンツを作成することになる。リサーチによると、AIは非常に現実的な文章、音声、およびビジュアルコンテンツを作成できるレベルまで進化している。 AIモデルの中には、攻撃者による悪用を防ぐために、一般に公開されていないものもある。
「現時点では、高い説得力を持つようなフェイクコンテンツを作成する方が、そうしたフェイクコンテンツを特定するよりも簡単なのです。 また、AIは音声／動画／画像の作成において人間のサポートをしていますが、AIのそうした能力がフェイクコンテンツのさらなる洗練化につながるのです。そして、こうしたフェイクコンテンツは様々なアプリケーションで使用されるため、より大きな問題を引き起こしてしまうでしょう」（パテル氏）。
リサーチで取り上げたその他の調査結果とトピック
- 攻撃者は、攻撃手法の普及に合わせて、AIシステムを危険にさらす方法を学び続ける。
- 攻撃者がAIの出力を操作する方法がいくつも存在するため、このような攻撃を検出して防御することは困難。
- 攻撃的／防御的な目的でより優れたAIを開発しようと競争は、「AI軍拡競争」を引き起こす可能性がある。
- 攻撃からAIシステムを保護すると、倫理的な問題が発生する可能性がある（たとえば、アクティビティの監視を強化すると、ユーザのプライバシーが侵害される可能性がある、など)。
- 高いスキルや豊富な経験を持つ攻撃者によって開発されたAIツール／モデルは増殖と普及を経て、最終的にはスキルレベルの低い攻撃者にも使用されるようになるだろう。
