NRI、業界・タスク特化型LLMの構築手法を開発　汎用モデルでは難しい専門領域へも展開

　野村総合研究所（以下、NRI）は、独自の技術とノウハウを活用し、80億パラメータの比較的小規模なモデルをベースに、特定業界やタスクに特化した大規模言語モデル（以下、業界・タスク特化型LLM）の構築手法を開発した。

　業界・タスク特化型LLMは、次の3段階のアプローチを採用しているという。

①日本語性能に優れ、コスト効率の高い小規模ベースモデルの選定

　東京科学大学と産業技術総合研究所の「Llama 3.1 Swallow 8B」（80億パラメータ）をベースモデルとして利用。Llama 3.1 Swallow 8Bは小規模モデルであるため、計算リソースや運用コストを削減できるという。また、同手法では、オープンウェイトのLLMを基盤としたことで、ベースモデルを特定のモデルに固定せずに、目的やタスクに応じて適切に選定することが可能。将来的なモデルアップデートにも柔軟に対応できるとしている。

②継続事前学習による業界知識適応モデルの構築

　銀行・保険などの金融業界を例に、日本語の専門知識テキストデータを日本語金融コーパスとして独自に構築し、継続事前学習を実施。これにより、ベースモデルが持つ一般的な言語能力や知識を維持しつつ、業界特有の専門的知識を効果的に習得させる汎用的な仕組みを構築したとのことだ。

③合成データを用いたタスク特化型LLMの構築

　今回ターゲットとした保険業界の営業コンプライアンスチェックにおいては、規制違反を含む会話データの収集が困難であるため、LLMを用いて多様なシナリオを想定した合成データを生成。この合成データをもとにファインチューニングを実施することで、該当タスクに特化したLLMを構築したという。

　こうした取り組みにより、保険業界の営業コンプライアンスチェック試験では、商用大規模モデルのGPT-4o（2024-11-20）を9.6ポイント上回る正解率を実現したとのことだ。

　また、今回の構築手法はプロセスとして標準化しており、他の業界やタスクにも適用が可能。使用するデータや合成データの生成内容を変えることで、適用範囲を広げられるとしている。

今後の展開と研究連携

　NRIは今回の成果をもとに、他の業界やタスクへの最適化を加速させる予定。今回開発した業界・タスク特化型LLMの特徴である、小規模モデルによる高精度・低コスト・迅速で柔軟な適応性を活かし、汎用モデルでは対応が難しい専門領域への展開も推進していくという。

　2025年度には、東京科学大学 岡崎研究室との共同研究を予定しており、具体的な業界課題を反映した実証実験やモデル技術の改良を重ね、生成AIの社会実装を進めるとしている。さらに、ビッグテック企業やスタートアップとの連携も強化し、技術の商用展開や実用化を推進することで、多様な業界や用途（タスク特化したAIエージェントへの活用など）での利活用を拡大していくとのことだ。

【関連記事】
・2027年までに、タスク特化型小規模言語モデルの導入率はLLMの3倍に──Gartner見解
・NICTと東芝デジタルソリューションズ、RAGの高度化に向け共同研究開始　日本語特化型LLM活用へ
・リコーと損保ジャパン、保険業務特化のプライベート・マルチモーダルLLMを共同開発中