ラックは、生成AIシステムのセキュリティを強化するための新サービス「生成AI活用システム リスク診断」を2月20日より提供開始した。
生成AI活用システム リスク診断は、特有の脆弱性が含まれていないかを評価して改善点をレポートするもの。同サービスに含まれる評価項目は以下の通り。
- プロンプトインジェクション：システムの設定を回避して、モデルに学習されている機密情報やシステム情報を搾取できてしまう脆弱性
- ジェイルブレイク：システムに設定されたポリシーを回避して、不適切なコンテンツ（攻撃的、または有害なコンテンツ）を回答できてしまう脆弱性
- プロンプトリーク：システムの内部で設定されているプロンプトを搾取できてしまう脆弱性
- 大規模言語モデル出力の改ざん：大規模言語モデルの出力を改ざんすることで、SQLインジェクションやクロスサイトスクリプティングなどの攻撃を誘発する脆弱性
- プロンプトの大量入力によるサービス拒否：繰り返し大量のプロンプトを機械的に入力することで、システムが不安定になったり、大量のトークンを消費させ過剰な料金請求が発生してしまったりする脆弱性
【関連記事】
・ラック、「情報リテラシー啓発のための羅針盤コンパス 情報活用編」第2.0版公開 生成AI活用を追加
・ラック、「生成AI 社内活用導入支援サービス」を提供開始 セキュリティを確保した導入支援へ
・特殊詐欺などの不正取引をAIで高精度検知、千葉銀行がラックのソリューション導入へ
