AIエージェント時代に浮上するデータの責任問題──「AIセーフティ」と「AIセキュリティ」という2つのリスクにどう対処するか

保険会社のコールセンターが直面するAIリスク：誤回答の責任は誰が取るのか？

松元：具体的なビジネスユースケースではどんな影響が出ているんですか？

平田：たとえば保険会社のコールセンターですね。数万人規模の損害保険会社では、営業社員からの「こういう時は保険に入れるんですか？」という問い合わせを、今まで全部コールセンターが受けていました。これをAIで効率化しようという動きが活発です。

松元：コールセンターのAI化って、データの観点から見ると非常に興味深いユースケースですよね。従来は人間のオペレーターが暗黙知として持っていた保険約款の解釈や、お客様の微妙なニュアンスの理解といったものを、どうデータとして構造化してAIに学習させるかという課題がある。

平田：AIガバナンスの観点では、まず有害な出力をしないということです。保険の紹介をするはずなのに、政治の話を聞かれて答えてしまったり、差別的・性的な回答をしてしまったら大問題です。さらに実務的には、「この条件だと支払われますか？」という質問に誤った回答をしてしまう可能性もあります。

松元：リスクを厳しくすると、色々ブロックされそうですが。これって結局、フォールスポジティブ（誤検知）とトゥルーネガティブ（正しい拒否）のバランスをどう取るかという、古典的なデータサイエンスの課題に帰結しますよね。

平田：まさにそこが生成AI時代にも、引き続き難しい問題となっています。AIによる検知のトレードオフをどう考えるかが重要で、社内利用なら多少の暴言は許されるかもしれませんが、お客様向けサービスなら企業の信頼を失う可能性があります。こうしたガバナンスはアプリケーションが増えると個別に決めるのが難しいので、我々はソリューションを企業に提供することで、こうしたガバナンスの技術的な課題をできるだけ自動化して解決できるように取り組んでいます。

AIが秘書業務を代行する：複雑なデータアクセス権限をどう管理するか？

松元：今年はAIエージェントが話題ですが、どんな変化が起きているんですか？

平田：AIエージェントは、生成AI同士が連携し合って一つの業務をこなすという世界観です。たとえば、マネージャーが秘書に「航空券を手配してくれ」と言うとします。人間の秘書なら、スケジュールを見て、予定をブロックして、航空券サイトで価格比較して、最適なルートを調べて予約する。これと同じことをAIエージェントでやろうとすると、技術的には既にできるんです。

松元：AIエージェントって、データアクセスの観点から見ると恐ろしく複雑ですよね。スケジュールデータ、予算データ、個人の嗜好データ、企業の出張規程データなど、複数のデータソースにまたがってアクセス権限を管理しなければならない。従来のロールベースアクセス制御だけでは到底対応できない。

平田：そうです。その権限をAIに与えた時に、AIが間違いを犯したら誰の責任になるのか。権限を与えることで、社内の機密情報にアクセスして、勝手に他の人に生成してしまったらどうするのか。これは非常に大きな問題です。どうすればこの課題を解決し、AIエージェントを活用することができるのか、世界的にもまだ標準的な仕組みはできておらず、各社が様々な解決策を提示しているところです。

松元：責任の所在という根本的な問題ですね。これまでの株式会社という仕組みは、代表者からのデリゲーションで責任の所在を明確にしてきたわけですが、AIエージェントが業務を実行する時代には、そのデリゲーションチェーンをどう設計するかが重要になってくる。

平田：Cisco本社の開発チームでも議論していますが、そんなに簡単に答えが出る問題じゃないですね。人間の部下の場合は「80点だったとしても、20点は俺が面倒見るよ」という世界観ですが、AIだと100%達成できない前提で、どうセーフティネットを作っていくかという話になります。

松元：組織構成も変わってきそうですね。

平田：実際、日本でも先端的な企業では、来年度から組織構成の中に当たり前にAIエージェントがいることを考えています。たとえば新卒を200人採っていたところを、人間100人、AIで100人の事業部サポートメンバーを作ろうという話も出ています。アメリカではAIオペレーションマネージャーという職種も生まれています。

松元：人間1に対してAIが100とか1,000という比率になってくると、データ統制の考え方も根本的に変わりますね。従来は人間がデータを消費する前提でデータマネジメントを設計していたのが、AIが主要なデータ消費者になると、データの鮮度やアクセスパターンも全く違ってくる。