「大きさ」「マシンパワー」に依存する、従来アプローチの限界
現在さまざまなLLMが提供されている中でも、より高度なものについては、人間のフィードバックを元に学習して精度を徐々に向上させる方法が一般的に採用されています。今まさに人間との連携を通じて、AI自身が認識力や推論力を確実に磨き上げている状況と言えるでしょう。
しかし、このアプローチには限界が近づいています。現時点では、これ以上の巨大なコンピューティングリソースや電力、時間、そして人間の労力を投入しても、以前のような飛躍的な成果は得られなくなるからです。
そのため次のステージとして、我々はより効率的かつ持続可能な方法を模索し、この新たな挑戦にどう取り組むかを考える必要があるでしょう。AIの未来を考える際、単に「大きさ」や「パワー」だけでなく、「効率性」や「賢さ」に焦点を当てる必要性が高まっているのです。
データに関する「3つの問題」
LLM学習のフィードバックアプローチ以外にも、憂慮すべきデータに関する問題が浮上しています。
1つ目は、生成AIによるフェイクニュースやデマの拡散という非常に深刻な問題です。生成AIの進化にともない、真実を捻じ曲げた情報の生成が容易になってきたことから、政治や経済、社会の各分野において深刻な影響を及ぼし得る現象が起きています。これはAIへの信頼性だけでなく、AIとのコミュニケーションにおける根幹を揺るがす事態にまで発展する可能性があるでしょう。とはいえ、広範にわたる大きな課題であるため、本連載ではテクノロジーの観点、特にLLMの学習に焦点を絞って考えていきます。
2つ目は、AIが生成するコンテンツの増加です。これにより、「AIが作ったデータをAIが学習してしまう」という再帰的とも言える学習状況を生んでしまっています。一見すると効率的なこのプロセスですが、実際には精度の観点からデメリットが多く存在するのです。特に、フェイクニュースを学習してしまうという状況が生まれた場合、精度が悪くなることは想像に難くないでしょう。この種の自動的な学習が進む中、現在の高精度なLLMが崩壊していく危険性が、今まで以上にリアルなものとなっています。
3つ目は、驚くべきことに、一部からは「今の時点のLLMが最も良い状態である」との声が挙がっていることです。コロナ禍などの特殊な社会状況などを除外すれば、2019年までの人間の知識を集約したGPTなどのモデルが「最も効果的かつ汎用的で、良いLLM」である可能性があるということです。
これら3つの観点は、人間と機械における学びのバランスがいかに重要かを示しており、非常に興味深くあります。つまり、本稿を執筆している2023年現時点から見たときに「“汎用LLM”の開発時代は急速に終わりに近づいている」ないしは「既に終了している」と言えるということです。これからのAIモデル開発の方向性としては、より効率的かつ倫理的な方法を追求する必要があり、私たちにとっては未知の領域への挑戦となるでしょう。
