米国・公共機関のキーマンと考える、AIの進化との付き合い方──自律的であっても人間の確認は不可欠

Amazonの実験から見えた「人間による最終確認」の重要性

　現在の脅威状況について、Schmidt氏は興味深い観察を共有した。「攻撃者がAIをどんなことに使っているか。現在、彼らがAIのようなツールを使用しているのは、ほとんどがより良いフィッシングメッセージを作成することや、水飲み場型攻撃（Watering Hole Attack）に使われるWebサイトを作るためだ。既に行っている攻撃をより巧妙で効果的なものにするために使っている」と説明。完全自律的なAI攻撃はまだ現実化していないことを明らかにした。

　一方で、将来への備えも進んでいる。Schmidt氏は、Amazon内部で攻撃エージェントと防御エージェントが互いに対戦する実験的システムを構築していることを挙げる。「攻撃エージェントはシステムに侵入するための新たな方法を生み出し、防御エージェントは攻撃の特定のパターンや特徴を識別する」ものであると説明。あるとき、防御エージェントが「www.amazon.comをブロックする」という過剰な防御策を講じた例を挙げ、人間のチェックを経ずにそのまま本番環境に適用されていたら、Amazonのウェブサイト全体がダウンするという壊滅的な事態に陥いる可能性があったことを明かした。そのうえで、人間による最終確認の重要性を訴える。

　データの取り扱いについても重要な課題が浮上している。Schmidt氏は、公開されているチャットボットの利用について警鐘を鳴らす。「多くの人は、ChatGPTのようなものを使用するとき、そこに入力するデータや尋ねる質問で何が起こっているかについて考えない」と指摘し、「質問は応答と同じくらい価値があり、質問を見ることであなたが何に興味があるかについて多くのことを学ぶことができる」と説明。特に政府組織では、データの機密性レベルに応じた適切なアクセス制御の構築が不可欠であることを強調した。

　CIAでも複数の領域でAI活用が進んでいる。Raman氏は「認定・承認プロセス」の高速化に向けて活用を検討しているとした。「特にAIに関しては、業界が非常に速く動いているため、認定・承認プロセスによって遅れさせたくない」と話す。

　また、膨大なデータ処理においてもAIの効果が実証されている。Raman氏は「私たちには膨大な量のデータがあり、指数関数的な速度で入ってくるデータがある」と述べ、従来は手動で処理していたネットワークデータの分析が、今では迅速に行えるようになったと説明した。

　今後の展望について、Schmidt氏は重要な提言を行った。「意思決定の際には、常に『なぜAIにこれをさせられないのか？』と問いかけ、『いつ、どのような条件下でAIにそれが可能になるのか？』も考えるべきだ」と述べ、積極的なAI活用の姿勢が後れを防ぐ鍵であることを強調した。

　Raman氏は、AIエージェントの今後の可能性について「企業の自動化を加速させるうえで大きな可能性を秘めている」と語る。ヘルプデスクの自動化や、ユーザーが提出するフォームを自動入力し内容を確認して送信ボタンを押すだけで済むようにする具体例も示された。