AISIが活動報告、モデル評価からAIエージェントの安全性へ──村上明子所長が語る次の課題

村上所長に聞く：自前の評価と業種別の実証をどうつなぐか

　AIガバナンスをめぐっては、AIガバナンス協会（以下、AIGA）などの民間団体も活動している。セーフティ、セキュリティ、ガバナンスの役割分担を企業や一般の人にどう伝えるか。こう問われた村上氏は、「ぜひそこは、皆さんにご理解いただきたいところです」と切り出し、AISIが国と近い立ち位置にある点を挙げた。

　「国の省庁ではないけれども、国に準拠した組織です。民間団体とは立ち位置が少し違います」。民間団体が進めているのは、企業同士のベストプラクティスの共有や民間内での認証だ。これに対してAISIは、「政府の方針に従い、国民が必要とする情報をきちんと整理して発信していく団体です」と説明する。

　とはいえ、両者が競う関係ではない。「対立するものではなく、協力するものです」と村上氏は言う。自身もAIGAに関わり、パネルや基調講演に登壇している。団体側がAISIの観点を踏まえて議論を進めてくれることもあるという。

　では、AISIの上期の成果はどうか。上期に最も力を注いだのは、評価する能力を自ら持つことだった。村上氏は「一定そこは達成できたのかなと思っています」と振り返る。課題は2つあるという。

　1つは、次々に登場するモデルを広くカバーできるキャパシティを確保し続けることだ。

　もう1つは、モデル評価だけでは足りないという点だ。AISIが立ち上がった2年半前は、各国のAI安全性の機関もモデルを作る事業者への対応が中心だった。しかし今は、モデルを組み込んだ産業応用にまで視野が広がっている。

　「モデルの評価はベースラインとして欠かせません。それに加えて、AIエージェントのような産業応用にも、AISIとしてしっかり取り組んでいく必要があります」（村上氏）

　村上氏は、エージェントやフィジカルAIに組み込まれた段階の安全性まで検証しなければ、「実務に追いつかなくなります」と危機感を示す。

　こうした実装段階の安全性を検証する受け皿が、事業実証WGだ。ヘルスケアとフィジカルAIは、昨年の立ち上げ時に現場から必要という声が上がり、ボトムアップで始まった。これに対して、現在検討中の金融SWGはトップダウンになる。「AISIが課題として提案して始めるワーキンググループ」と村上氏。重要インフラである金融のAIの安全性をAISIから提起し、「AISI単独ではできません」ため業界団体に声をかけて進めてもらう形を想定する。教育や普及活動も候補に入ってくるという。

　評価の対象は、モデルの周辺にも広がるのか。ガードレール（AIの出力を制限する仕組み）やハーネス（AIエージェントを動かす基盤のソフトウェア）といった運用の領域も含めるのかと問われ、村上氏は「含めていくべきだと思っています」と答えた。もっとも、「リソースが無尽蔵なわけではありません」。日本のAISIは、内閣府AI室やデジタル庁など政府の戦略に沿って、段階的に能力を広げていくという。

英国を手本に先を読む：サイバー攻撃にAIはどこまで関わるのか

　リソースが限られるのは英国のAISIも同じだ。それでも、先を読むうえで村上氏が手本に挙げたのが英国である。2024年にサンフランシスコでAISIの国際ネットワークが初会合を開いた際、共同テストの題材に英国が持ち込んだのはサイバーセキュリティだったという。今年4月にAnthropicの高性能AIモデル「Claude Mythos」が登場し、AIによるサイバー攻撃の可能性が取り沙汰されたときも、英国はすぐにモデルの評価結果を公開した。「UKのAISIと同じくらい先見の明を持った組織にならなければいけません」（村上氏）

　では、サイバー攻撃の分野で、AIはどこまで現実の脅威なのか。国内で相次ぐ不正アクセスによる情報漏洩とAIの関わりについて、AISIはどう考えるのかという質問に対して、村上氏はまず事実として「直接AIが関与しているという証拠は、まだ確定できません」と述べた。これはAISIとしての見解ではなく村上氏個人の意見だが、専門家にも確認した内容だという。侵入にどんな手法が使われたのかも、現時点の情報からは推測できないとした。

　一方で、「AIの能力を使って脆弱性の発見のスピードが速まっているのは事実です」と続ける。「遅かれ早かれ、AIが寄与して脆弱性の発見が早まる時代が来ます」と指摘した。

　では、守る側はどうすべきか。「AIのスピードは人間を本当に凌駕していて、人の作業だけでは防ぎきれません。24時間365日休まず働きますし、並列でも働きます。防御そのものもAIを使って考える必要があります」と話す。

　ただし、AISIがセキュリティそのものを担うわけではない。サイバーセキュリティの専門機関との協力が前提になる。報告の仕組みはサイバーセキュリティの枠組みで進めつつ、攻撃手法や能力については、AISIが「AIの安全性をみる立場として、しっかりフォローしていかなければなりません」という。

　変化の速い分野でも先回りして評価と実証を重ねられるかが、AISIには問われている。AISIは年度内に第1弾のベンチマークを公開する予定で、金融SWGも設置に向けた準備が進む。自前のモデル評価と、業種別の事業実証。この2つの軸を、現場で使われるAIの安全性へどうつなげていくのかが、AISIの次の課題になる。