rinnaは、日本語に特化したGPT-2とBERTの事前学習モデルを開発。日本語の自然言語処理（NLP）の研究・開発コミュニティに貢献するために、開発した事前学習モデルとその学習を再現するためのソースコードを、GitHubおよびNLPモデルライブラリHuggingFaceにMITライセンスのオープンソースとして公開することを発表した。
日本語GPT-2の機能
今回、同社が公開した日本語GPT-2は、一般的な日本語テキストの特徴を有した高度な日本語文章を自動生成できるという。たとえば「本日はご参加ありがとうございました。誰も到達していない人工知能の高みへ、ともに」という講演後のメールを想定した文章をGPT-2に入力し、続きの文章を自動生成すると、図1のように入力文章の文脈を考慮した文章が生成されるとしている。
[画像クリックで拡大]
日本語BERTの機能
GPT-2は、予測したい単語より前の単語を考慮して次の単語を予測する言語モデル。これに対してBERTは、予測したい単語の前の単語だけでなく後の単語も考慮して予測を行うとしている。GPT-2では「吾輩」「は」を考慮して「猫」を予測するが、BERTでは前の単語「吾輩」「は」と後ろの単語「で」「ある」を考慮して「猫」を予測するという（図2）。
[画像クリックで拡大]
また、今回公開するRoBERTaは、BERTを改良したモデルであり、BERTより高い性能が報告されている。RoBERTaを用いて、「4年に1度、[MASK]は開催される。」の[MASK]部分を予測すると、オリンピックやワールドカップといった4年に1度開催されるイベントが上位に予測されるという（図3）。
![図3：「4年に1度、[MASK]は開催される。」の[MASK]部分を予測した結果](http://ez-cdn.shoeisha.jp/static/images/article/14848/14841_04.png)
[画像クリックで拡大]
rinnaの日本語事前学習モデルの特徴
同社の日本語事前学習モデルは、以下の特徴がある。
- 学習データとして、日本語CC-100と日本語Wikipediaの計75ギガバイトのオープンソースデータを使用している
- 8つのNVIDIA Tesla V100 GPUを用いて、75ギガバイトの日本語テキストを、最大45日間かけ学習。その結果、すべてのモデルにおいて、十分に学習された汎用性があるモデルとなっているという。学習された事前学習モデルはHuggingFaceにMITライセンスで公開されている
- 事前学習モデルの学習に用いたソースコードはGitHubにMITライセンスで公開されている。利用者は、日本語CC-100とWikipediaのオープンソースデータを用いることで、自分のマシンで当社の結果を再現できる
- GPT-2ではモデルサイズが異なるGPT2-medium（3.36億パラメータ）、GPT2-small（1.10億パラメータ）、GPT2-xsmall（0.37億パラメータ）の3つのモデルを公開。さらに、BERTを改良したRoBERTa （1.10億パラメータ）も公開している
- 利用者の目的に沿った多様なタスク（ドメインに特化した文章生成、文章分類、質問応答など）を、同社が公開した事前学習モデルを用いた追加学習により実現できる
同社は今後も、研究・開発コミュニティに貢献するために研究成果を公開していく予定だという。また、他社との協業も進めることで、AIの社会実装の拡大を目指すとしている。
【関連記事】
・rinnaとデジタルヒューマン、AIキャラクターの開発で協業
・rinna、日本語に特化したGPT-2モデルをオープンソースとして公開
・DataRobot、エヌエヌ生命の引受査定業務をAIで支援 最短3分の医務査定目指す
