ELYZAは、70億パラメータの日本語LLM「ELYZA-japanese-Llama-2-7b」を開発し、一般公開した。
今回発表された日本語LLMは、Metaの「Llama-2-7b-chat」に対して約180億トークンの日本語テキストで追加事前学習を行ったモデル。学習に用いたのは、OSCARやWikipediaなどに含まれる日本語テキストデータだという。
また、ライセンスはLLAMA 2 Community Licenseに準拠しており、Acceptable Use Policyに従う限りにおいては、研究および商業目的での利用が可能とのこと。
性能について、ELYZA独自作成の性能評価の結果、1750億パラメータを有する「GPT-3.5 （text-davinci-003）」に匹敵するスコアが算出されているという。
同社は今後、Llama 2での取り組みに限らず、海外のオープンなモデルの日本語化や、自社独自の大規模言語モデルの開発に継続して投資するとしている。
【関連記事】
・ELYZA、自社独自のLLM開発を支援するプログラムを開始 精度向上の鍵はPost-Training
・ELYZAとマイナビ、平均30％の業務効率化に成功 原稿作成に言語AIを活用
・「ChatGPT/GPT-4に関する通説と実態が乖離」ELYZAが大規模言語モデルの現況を語る
