PKSHA Technology（以下、PKSHA）は、「Retentive Network（RetNet）」を活用したLLM（日英大規模言語モデル）を開発すると発表した。
なお、開発は日本マイクロソフトの技術支援のもと行われているという。今回のLLM開発を通じ、ビジネスにおける生成AIの実用性を高め、主にコンタクトセンターや社内ヘルプデスクにおける生産性向上を支援していくと述べている。2024年4月以降、段階的にビジネス現場での実運用を開始する予定だとしている。
PKSHAは、日本マイクロソフトから学習用インフラの提供および技術支援を受け、次図の特徴を持つ新たなLLMを開発した。
既に公開されているLLMは、基盤となるアーキテクチャに「Transformer」を使用しているケースが主流だが、同モデルは、その後継といわれるRetNetを使用する日英モデルとなっている。RetNetは、マイクロソフトの研究開発機関であるMicrosoft Researchによって開発され、学習速度、長文入力時の推論速度やメモリ効率が優れている上に、従来と同等以上の精度を持つことが示されているという。
メモリ効率に優れるということは、従来モデルよりも少ないGPUで運用することができ、コスト面でも優れていると言えるとしている。このアーキテクチャを使用することで、効率的な長文理解と優れた回答速度を両立する日英対応のLLMを実現すると述べている。
モデルのパラメータ数としては、コンタクトセンターなどにおける実装を視野に、出力精度と運用コストのバランスに優れるとされる70億パラメータを採用。このモデルを活用することで、たとえば日本語の新聞紙2ページの情報量を入力した際に、精度を保ちながら従来モデルの約3.3倍の速度で出力することが可能となり、入力情報量が多くなるほど優位性が高まるという。また、モデルの開発にはMicrosoft Corporationによって研究開発された深層学習フレームワーク「DeepSpeed」を採用し、その強みである高い並列分散処理能力を発揮するためのLLM学習ノウハウとAzure上のGPUサーバー群が日本マイクロソフトから提供されているとしている。
PKSHAは、DeepSpeedの活用により効率的に学習を進め、プロトタイプモデルによる性能確認を早期に実現したと述べている。
LLM実装用途：回答の即時性を生かし、コンタクトセンターや社内ヘルプデスク業務を刷新
【想定場面.1】コンタクトセンターにおけるリアルタイムのCRMを提供し顧客満足度の向上
コンタクトセンターにおいては、人員不足に加えて、サポート領域やチャネルの拡大、複数人員での複雑なサポート体制から、一人ひとりの顧客にとって満足度の高い対応をすることが難しくなっているという。個別の顧客の登録情報や対話履歴、その時系列をLLMが読み取りアドバイスすることで、オペレーターが個別最適な回答を簡単にできるほか、専門性や複数の参考情報を必要とする問い合わせに対して、大量の規約や社内ドキュメントからLLMが高速に回答を導き出すことで、顧客を待たせることなく高度な回答をすることが可能になるとしている。
【想定場面.2】社内ヘルプデスク領域における従業員問い合わせの高度化
企業内のコミュニケーションにおいては、社内システムやツールの増加、業務の複雑化・多様化を背景に、社内問い合わせや情報検索の効率化が求められているという。
既に、AIヘルプデスクにより社内問い合わせを自動化する仕組みは存在しているものの、社内マニュアルや過去の議事録、労働規定など、多岐にわたる情報をLLMが読み取りアドバイスすることで、情報検索や問い合わせにかかる時間を効率化するとしている。また、即時性の高い回答ができることから、今後はリアルタイムでの商談において、顧客のニーズを満たす商品をAIが即時に提案することや、営業資料から最適な情報を抽出するなどといったことも可能となり、営業職などのフロント業務での実用性が期待されると述べている。
今後は検証と改善を行い、2024年4月頃より、段階的にビジネス現場での実運用を予定しているという。最初の対象領域として、既にAIの導入実績があるコンタクトセンターや社内ヘルプデスクをまずは想定し、随時領域や活用ケースを広げていくことを視野に入れていると述べている。
日本マイクロソフトの執行役員 常務 最高技術責任者である野嵜弘倫氏は、以下のようにコメントしている。
「日本マイクロソフトは、株式会社PKSHA Technology様による新たな大規模言語モデル開発とそのビジネスへの応用を心から歓迎いたします。この革新的なプロジェクトは、Microsoft Research 開発の先進技術『RetNet』及び Microsoft Corporationにて開発された『DeepSpeed』を活用した日英対応の言語モデルであり、従来のモデルより3倍の速度で回答を生成することが可能です。これにより、コンタクトセンターや社内ヘルプデスクの生産性向上が期待できます。株式会社PKSHA Technology様のこの取り組みは、コミュニケーションの即時性と精度を高めることで、企業の効率化とサービス品質の向上を支援しております。
日本マイクロソフトは、株式会社PKSHA Technology様の『人とソフトウェアの共進化』のビジョンと、その実現に向けた革新的な取り組みを全力でサポートしてまいります。技術革新を通じて、より豊かな社会の実現と日本企業のDXの加速に貢献できることを楽しみにしております」
