2024年9月19日、PwCコンサルティングは「AIレッドチーム」による新サービス説明会を開催した。
同社 パートナー 村上純一氏
同社による、調査レポート『生成AIに関する実態調査2024 春』（2024年6月17日）によると、直近1年だけでも、ほとんどの企業が生成AIを活用している状況が見てとれるという。従来、AIにおいてはプログラマーやデータサイエンティストなど、専門人材による利用が主だったところ、現在では専門知識がなくとも自然言語で利用できる状況へと局面が進展。特に生成AIにおいては、技術・法律・倫理といった観点からリスクが懸念されており、2023年から急速にAI関連インシデント件数が急増している。
たとえば、悪意のあるプロンプトを用いてサービス提供者に攻撃を行ったり、一般消費者向けのチャットボットがふさわしくない回答を返してしまったりと、世界各国で多様なインシデントが発生しているという。将来的には、オートメーション機器などに組み込まれていくと、現実世界での物理的なリスクも高まることが予想される。そのため、より一層の対策が必要だとして、PwCコンサルティング パートナー 林和洋氏は、「AIによるリスクが高まる中、『AIレッドチーム』が解決策になる」と提起する。
2023年5月には、G7の関係閣僚が中心となって「広島AIプロセス」が立ち上がっており、同年12月には成果文書が公開された。そこでは、「レッドチーム等の様々な手法を組み合わせて、多様な内部テスト手段や独立した外部テスト手段を採用する」といった指針も示されており、民間企業においてもAIレッドチームの発足が見受けられる。
企業がAIレッドチームを立ち上げる際には、チーム構成とテストプロセスが重要になるとして「何を対象にテストを行うのか、どのように記録していくのか。仕様を固めることも重要だ」と同社 パートナー 村上純一氏。今回、PwCコンサルティングが提供する新サービスでは、AIを用いたサービスに対して、AIレッドチームによる安全性などを検証するという。
具体的には、下図のような階層においてリスクを洗い出していく。ビジネスリスクを含め、脆弱性やリスクを特定する中では、MLOpsの改善・高度化にまで対応できることが強みだと村上氏は説明する。また、これまで培ってきたサイバーインテリジェンスを活用するため、各種ガイドラインやフレームワークの分析、各国地域における規制のモニタリングなども実施していくという。
たとえば、AIインシデント事例をデータベース化しており、ITサービスに関するリスクを体系的に整理したライブラリなどと組み合わせることで、既知だけでなく未知のリスクを分析・特定できるとした。
