AIエージェント時代に浮上するデータの責任問題──「AIセーフティ」と「AIセキュリティ」という2つのリスクにどう対処するか

シリコンバレーの倉庫から巨大企業からの買収へ：失敗を許容する文化がもたらしたAI革命

　データエンジニアのコミュニティ「データ横丁」が主催する「AI時代のデータ世界観チャンネル」の対談セッションより、Quollio Technologies 代表取締役社長CEO 松元亮太氏と、AIセキュリティ分野の最前線で活躍するシスコシステムズ（以下Cisco） Robust Intelligence日本事業責任者 平田泰一氏による議論をお届けする。これまでの連載はこちら。（取材協力：データ横丁）

松元：まず、平田さんの経歴から教えてください。

平田：私はソフトウェアエンジニアとしてキャリアを始めて、外資系コンサルを経て、ここ10年はアメリカのテクノロジーカンパニーで働いてきました。Robust Intelligenceには2019年に47番目のメンバーとして、日本で働く唯一の社員として参画しました。

松元：その時のシリコンバレーはどんな環境だったんですか？

平田：本当に倉庫でした。コンクリート打ちっぱなしの広場にテーブルとモニターが置いてあるだけ。そこでハーバード、MIT、プリンストン出身の若いエンジニアたちが働いていました。特に印象的だったのは、失敗を許容する文化です。スタートアップは朝令暮改が当たり前で、間違いを共有することがすごく大事なんです。私、色々間違うんですけど、それで怒られたことが一度もないんですよね。

松元：失敗許容の文化って、データ活用にとってもすごく重要ですよね。我々も企業のデータプロジェクトをやっていて感じるのは、日本企業だと最初から完璧を求めすぎて、結果的にデータから学習するサイクルが回らないことが多いんです。データって本質的に試行錯誤を前提とした領域なのに、減点主義だとイノベーションが生まれにくい。

平田：まさにその通りです。AIも間違いますからね。そして、そのRobust Intelligenceが昨年Ciscoからの買収オファーを受け、現在はCiscoの大規模なAIチームの中で、AIセキュリティソリューションを開発しています。私がRobust Intelligenceに参加した当時、アカデミアや技術者の間でAIセキュリティやAIガバナンスは、重要な課題として認識されていましが、まだ市場には浸透していませんでした。実は私、2022年にRobust Intelligence共同創業者である大柴に誘われた際に「AIガバナンスが受け入れられるのは5年から10年先だと思う」と言ったんです。当時は生成AIも民間には広がっていませんでしたから。ところが、わずか1年ほどでもうAIガバナンスという言葉を聞かない日がないような状況になってしまいました。

「予測可能」から「確率的」へ：AIが変えたデータアーキテクチャの根本構造

松元：AIの普及スピードが予想を上回ったということですが、具体的にどんな変化があったんでしょうか？

平田：これまでのITは、インフラがあって、データがあって、アプリケーションがあって、という3つぐらいの構成だったんですが、今はアプリとデータの間にモデルと呼ばれるAIの予測アルゴリズムが挟まれています。しかもこれらのモデルは複数使われるのが当たり前になっています。AIエージェントになると更にこの世界は複雑になります。

松元：従来のITとは構造が違うと。これ、データアーキテクチャの観点から見ると革命的な変化ですよね。従来はデータフローが予測可能で、データの入出力も決まっていたのに、AIモデルが入ることでデータの流れ自体が確率的になってしまう。

平田：そうです。従来のITは基本的に決定論的で、何かが入力されると予想がついているものが出力されます。でもAIは何かが入力されると推論結果を出力する、つまり非決定論的なんです。数年前までは、データサイエンティストという専門家がデータマネジメントしてAIモデルを作っていましたが、ChatGPTが出てからは誰でも自然言語で入力できてしまう。

松元：データサイエンティストがセクシーな職業と言われていた時代から、一気に民主化されたわけですね。でも民主化の裏側で、データガバナンスの複雑さは逆に増していますよね。誰でも使えるということは、誰でもデータにアクセスできてしまうということでもある。

平田：まさにそうです。このベクターがアプリケーションの間に挟まれると、そこが新しいリスクの要素になります。AIガバナンスで管理されるべきAIリスクには「AIセーフティ」と「AIセキュリティ」という2つの領域があります。AIセーフティはモデル自体の品質や倫理的問題、AIセキュリティはモデルが攻撃を受けることによる個人情報漏洩や有害な出力の問題が含まれています。