リコーは、企業ごとにカスタマイズ可能な700億パラメータの大規模言語モデル（LLM）を開発したと発表。製造業で重視される日本語・英語・中国語に対応したほか、顧客のニーズに合わせてオンプレミス・クラウドのどちらの環境でも導入可能だという。
入力された文章を、単語などの細かい単位に分割するトークナイザーの独自改良により、高速処理と省コストを実現し、環境負荷低減にも貢献するとしている。ベンチマークツールを用いた検証の結果、優れた性能を確認したとし（2024年8月9日時点）、2024年秋から、まずは日本国内の顧客より提供を開始し、今後海外の顧客への提供も目指すと述べている。
プライベートLLMとしてのユースケース例
社内でも厳しいアクセス制御が求められる機密情報を取り扱う業務
- 金融業：融資審査業務など
- 自治体：行政サービスなど
- 流通・小売業：顧客情報分析やマーケティングなど
- 教育・医療：長時間労働が課題となっている教員や医師の文章作成等の周辺業務など
日本語・英語・中国語で日々更新される社内文書のデータを利活用する業務
- 製造業：RAGを活用した社内情報の検索や要約など
700億パラメータLLMの特徴
①高い日本語性能、英語・中国語にも対応可能
リコーのLLMは、AIが自然言語の学習に利用するコーパスの選定や、誤記や重複の修正などのデータクレンジング、学習するデータの順序や割合を最適化するカリキュラム学習など独自の方法で学習されているという。これにより、日本語による安定した回答を実現。また、AWS（Amazon Web Services）と共同で開発した学習スクリプトに基づいて訓練されており、日本語、英語、中国語の多様な表現を学習済みだとしている。
加えて、独自開発を含む約1万6千件のインストラクションチューニングデータで追加学習することにより、広範なタスクに適応する能力を獲得。これにより、顧客の要望に合わせて、プライベートLLMを構築する際の追加学習で生じる破滅的忘却による性能低下を抑制し、高品質なプライベートLLMを開発できるという。
②トークナイザーの独自改良により、日本語の処理効率が同ベースモデルと比較して43％向上
テキストをトークンに分割し、LLMが理解できる形に変換するトークナイザーを独自に改良することで処理効率を向上。これにより、リソース削減、レスポンス時間の短縮、省コストを実現したという。LLMは処理に多くの電力が消費され、環境負荷が大きいという社会課題に直面する中、同技術は省エネルギー・環境負荷低減にもつながるとしている。
③セキュリティを確保したオンプレミス環境で、学習～推論まで提供可能
通常、700億パラメータのLLMの運用や学習には、複数のサーバをネットワークでつなぐ大規模なクラスタシステムが必要になるという。リコーのLLMは独自の語彙置換技術などを活用することにより、モデルサイズを保ったまま学習が可能。セキュリティ面でデータを自社内で保有したい顧客向けには、顧客先のクローズドな環境下で、機密情報を含めた追加学習が可能だとしている。
④従来手法の開発と比較し、およそ50％のコスト低減および最大25％の電力消費量を削減
「AWS LLM開発支援プログラム」と「AWS 生成AIイノベーションセンター（AWS Generative AI Innovation Center）」によるサポート提供のもと、AWS Trainiumアクセラレーターを搭載したAmazon Elastic Compute Cloud Trn1インスタンスを利用することで、効率的な開発を実現。顧客向けカスタムLLMを開発する際にも、安価・短納期での提供が可能だと述べている。また、学習に際してTrn1インスタンスを活用することで、同等のアクセラレーテッドコンピューティングEC2インスタンスよりもエネルギー効率を最大25％改善したという。
評価結果（ELYZA-tasks-100）
日本語のベンチマーク「ELYZA-tasks-100」において、リコーのLLMは平均で4を超えるスコアを示したという。また、比較した他のLLMはタスクによって英語で回答するケースが見られたが、リコーのLLMはすべてのタスクに対して日本語で回答。加えて、回答速度の面でも他のLLMを上回り、トークナイザーの改良の効果を確認したと述べている。
【関連記事】
・リコー、ノーコードAI開発ツールを発表 Excelをアップロードで独自モデルの利用が可能
・リコー、独自のAI技術により契約書の条項・条文の照合作業を効率化する法務支援クラウドサービスのオプションを発売
・リコージャパンとソフォス、小規模事業所のセキュリティ対策をワンストップで提供するマネージドサービスを発表
