2024年9月19日、ELYZAは、「GENIAC（Generative AI Accelerator Challenge）」からの支援のもと行った、基盤モデルの研究開発による成果を「GENIAC成果報告会」にて報告したと発表した。
同社はこの研究開発により、新たな日本語LLM「Llama-3-ELYZA-JP-120B」を構築。同モデルの構築にあたり、日本語LLMの性能向上に向けた新たな試みとして、以下のような取り組みを実施したという。
- モデルの基礎能力向上：オープンモデルをベースにした継続学習によるモデル開発手法に、「Depth Up-Scaling」というモデルサイズ拡張アプローチを組み合わせ、パラメータ数の増強による性能向上を試みた。結果として、複数のベンチマークで「GPT-4（0613）」を超えるスコアを獲得した
- 日本特有の知識・表現の性能向上：日本での社会実装を見据え、日本特有の知識（法令、行政手続きなど）に関する特化学習による性能向上を試みた。また、その応答性能を測るためのベンチマークを新たに作成し評価した結果、「GPT-4（0613）」を超えるスコアを獲得した
なお、今回の研究開発における技術的な工夫や得られた知見の詳細な情報については、後日技術ブログなどを通じて公開予定だとしている。
【関連記事】
・NRI、ELYZA、KDDIが協業 法人向け生成AIソリューションと国産LLM提供、導入支援を目指す
・東大松尾研発のELYZAがKDDIの連結子会社に 日本語汎用LLM・領域特化型LLMの開発、生成AI活用したDX支援を展開
・ELYZA、「Llama 2」をベースとした商用利用可能な130億パラメータの日本語LLMを開発
