米国時間2025年2月4日、チェック・ポイント・ソフトウェア・テクノロジーズ（以下、チェック・ポイント）の脅威インテリジェンス部門であるチェック・ポイント・リサーチ（以下、CPR）は、DeepSeekとQwenが悪意あるコンテンツの開発に悪用されていることを発見したと発表した。
DeepSeekやQwenといった新モデルには、悪用を防ぐ機能が現時点でほとんど備わっていないという。その結果、様々なスキルレベルの攻撃者、特に技術的な理解が浅く既存のスクリプトやツールを悪用するだけの初心者レベルの攻撃者たちの間で、急速に広がりを見せているとのことだ。
注目すべき点として、ChatGPTは不正利用防止機能を備えているものの、既にインターネット上の様々なリポジトリで制限のないバージョンが利用可能な状態となっていることを同社はあげている。DeepSeekとQwenも同様の制限解除版が登場すると予想され、それにともなうリスクが拡大すると考えられているという。
実際に、以下のような悪用事例の報告がされているとのことだ。
情報窃取型マルウェアの開発
サイバー犯罪者たちがQwenを使用し、一般ユーザーの機密情報を窃取する情報窃取型マルウェアを作成しているとの報告があるという。
AIプロンプトの制限解除
サイバー犯罪者は、ジェイルブレイクを用いて、AIの能力の悪用を試みていると同社は述べる。ジェイルブレイクとは、AIモデルの制限を回避し、通常は制限されているコンテンツを生成させる手法だ。
下画像では、サイバー犯罪者たちがDeepSeekモデルの応答を操作するためのプロンプト制限解除の手法を共有しているという。「Do Anything Now」というアプローチや「Plane Crash Survivors」といった手法を悪用する方法が含まれているとのことだ。
銀行の不正検知システムの回避
サイバー犯罪者たちが不正な金融取引を目的として、DeepSeekを使い銀行の不正検知システムを回避する手法について議論・共有していることが確認されているという。
大規模スパムキャンペーン
ChatGPT、DeepSeek、QwenのAIモデルを組み合わせて、大規模スパムキャンペーンのためのスクリプトの問題解決や最適化を行っているとのことだ。これにより、悪意のある活動の効率を向上させているという。
【関連記事】
・NVIDIA、「NVIDIA NIM」で「DeepSeek-R1」を利用可能に
・DeepSeekは脱獄が容易、簡単に悪意あるコンテンツを作成可能【パロアルトネットワークス発表】
・Exa Enterprise AI「DeepSeek-R1」提供に向けた社内検証を開始 2月提供予定
