楽天、新たなAIモデル「Rakuten AI 3.0」発表　約7,000億のパラメータ持つ日本語特化LLM

　楽天グループは、経済産業省および新エネルギー・産業技術総合開発機構（NEDO）が推進する、日本の生成AIの開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）プロジェクト」（以下、GENIAC）の一環として開発した新たなAIモデル「Rakuten AI 3.0」を発表した。

　同モデルは、Mixture of Experts（以下、MoE）アーキテクチャを採用した日本語大規模言語モデル（LLM）で、生成AI APIを統合した開発用プラットフォーム「Rakuten AIゲートウェイ」の生成AI API群に加わり、「Rakuten AI」エージェントプラットフォームを通じて、楽天のサービスに順次導入される予定だという。また、来春を目途に、オープンウェイトモデルとしての公開も計画しているとのことだ。

　日本語に特化したLLMとして、楽天がこれまでに開発したAIモデルや他のLLMの中でも最大規模となる、約7,000億個のパラメータを持つMoE LLMになっているという。オープンソースコミュニティ上の最良なモデルを基に、楽天独自のバイリンガルデータ、技術力、研究成果によって開発しているため、日本の独特な言語のニュアンスや文化、慣習をより深く理解できると述べている。

　また、パフォーマンスと効率性のバランスに優れており、「楽天エコシステム（経済圏）」のサービスを支える試験において、他社の同規模モデルを使用した場合と比較して、最大90％のコスト削減を実現したとのことだ。

大規模な事前学習を行った高効率モデル

　同モデルは、計算効率を高めるため約7,000億個のパラメータのうち、個々のトークンに対して約400億個のパラメータのみをアクティブ化しているという。アクティブパラメータには3つの密な層とエキスパートコンポーネントが含まれ、各トークンは、常にアクティブな「共有エキスパート」と8つの「専門エキスパート」を経由する。この構造により、効率的な処理を行えるとのことだ。

　モデルの学習は、楽天が設計した社内マルチノードGPUクラスタ上で実行されたという。楽天の隔離された安全なクラウド環境に展開しているため、データが外部に送信されることはないとしている。また、同モデルは日本の市場と楽天のビジネスニーズに最適化された独自データを用いてファインチューニングされているという。

【関連記事】
・HPが販売するPC“ほぼすべて”に楽天のAIを搭載へ　ローカルでも利用できるデバイス版「Rakuten AI」
・楽天がエージェント型AIツール「Rakuten AI」を本格提供開始　秋には「楽天市場」にも導入
・楽天銀行が基幹システムの観測に「New Relic」導入、トランザクション監視の工数削減を実現