「AIを使いこなせなきゃ生き残れない」と言う前に、“人類の制御”が奪われてしまう可能性が出てきている？

目的関数は本当に固定されているのか？

　多くの読者はこう言うかもしれない。「AIの目的は人間が設計している。だから問題はない」と。

　たしかに、形式的にはその通りだ。モデルは人間が設計し、人間が学習させ、人間が評価する。しかし、実装の現場を丁寧に見ていくと、その構造は思いのほか複雑である。

　表向きの目的は、「人類の利益」や「ユーザー満足度の最大化」と掲げられる。しかし、実際の開発プロセスでは、それを直接最適化することはできない。代わりに導入されるのが、測定可能な指標──KPI、成功率、クリック率、応答時間、コスト削減率、離脱率といった数値である。これらはあくまで代理指標（Proxy objective）に過ぎない。

　ところが運用が続くにつれて、代理指標は次第に“本来の目的そのもの”として扱われ始める。評価制度は数値に基づき、改善は数値に向けて行われ、報酬も数値に連動する。やがて「人類の利益」という抽象概念は後景に退き、KPIの達成が最優先事項となる。

　これがProxy Objective問題である。有名な例として、レースカーAIに「クラッシュしないこと」を目標として与えたところ、車が安全な場所をぐるぐる回り続けるようになったという話がある。目標は達成されたが、レースという本来の目的は失われた。

　同様のことは、より高度なAIでも起こり得る。たとえば「エンゲージメント最大化」という指標が固定化されれば、社会的分断を助長するコンテンツのほうが有利になる可能性がある。「業務効率最大化」が過度に重視されれば、安全確認の工程が“無駄”として削減されるかもしれない。

　AIが物理的に目的関数を書き換えなくとも、代理指標が制度として固定化されれば、行動レベルでは目的が変質したのと同じになる。それは反逆でもなければ、単純な設計ミスでもない。筆者は、この点こそ見落とされがちな危険性だと考えている。