AWSジャパンは、1月31日（水）に、「AWS LLM 開発支援プログラム 成果発表会」を開催した。去年7月に発表したAWS LLM開発支援プログラム（以下、本プログラム）に参加した14社 を超える企業・団体が集い、AWS LLM 開発支援プログラム利用に関する情報を共有した。
本プログラムは、AWSジャパンがLLMの開発に必要な４つの支援──1）計算機リソース選定と確保のガイダンス、2）技術相談やハンズオン支援、3）LLM事前学習用のAWSクレジット、4）ビジネスプラン及びユースケースに関する支援、を提供するというもの。プログラム実行委員の宇都宮聖子氏は、冒頭に本プログラムの目的が「大規模学習モデルの開発にあたっては、計算資源の調達だけではなく、実際に学習をスタートするにあたって環境構築、ビジネス化、公開方法などが課題。AWSのTrainiumやNeuron SDKを活用してもらうなど、さまざまな協力をしていく」と語った。
第一部では、NTT、ストックマーク、リコーの開発成果が発表された。なお、NTTがこれまで本プログラムへの参加は非公開で今回が初公表となる。
NTT版LLM「tsuzumi」
NTT人間情報研究所の上席研究員 西田京介氏はNTT版LLM「tsuzumi」の内容を紹介。tsuzumiの特徴は「専門知識を持つ小さなLLM」であるとし、メディカルやソフトウェア開発などの業界特化型でコンタクトセンター、相談チャットボットなどの分野で、日本語が得意で柔軟なチューニングができ、マルチモーダルであることがメリットとなると紹介した。とりわけ視覚的読解モデルを拡張しており、図表、伝票などの読解に秀でている。またNTTのIOWNのAPN（All-Photonics Networks）を利用した低遅延のLLM学習環境を実現するという。
ストックマーク AWS Trainiumを活用し独自LLMの事前学習
ストックマークは、要求水準の高い産業界の顧客ニーズに対応した、ハルシネーションが大幅抑止された生成AIモデル基盤の構築をめざした。AWS Trainium/AWS Inferentia2を利用し、ビジネスのドメインに対応した130億パラメータの独自LLMのStockmark-13bを開発した。自社サービスへの導入に向けて、推論基盤としてAWS Inferentia2を用いた検証を行っている。CTOの有馬幸介氏は「ビジネスの中ではハルシネーションの抑止が求められる。グローバルなLLMだと日本語のビジネスの学習が圧倒的に足りず自社開発を決意した」と語る。VPの近江崇宏氏は2,200億トークンの日本語テキストデータを含めた130億パラメータのLLM開発においてAWS Trainium/Inferentia 2のインフラやライブラリを利用することが、GPUによる開発に代わる選択肢になることをデータで紹介した。
リコー 130億パラメータのLLM
リコーは、2022年にすでに60億パラメータの日本語LLMモデルを発表していたが、今回はMetaの「Llama2-13B」による130億パラメータのLLMを開発し、2024年春から提供を開始した。リコー開発部門の麻場直喜氏、鈴木剛氏は、今後もさらなる大規模化に取り組んでいくことを表明した。開発の環境としては、Amazon EC2 trn1.32xlarge 64 ノード、AWS Neuron SDKを用いた。日本語ベンチマークツール（llm-jp-eval）を用いた他LLMモデルとの性能比較では評価スコアの平均値が最も高く優れた性能を確認できたという。
サイバーエージェントなど12社の独自LLM
会の後半では、以下の企業の発表が行われた。
- サイバーエージェント （Trainium活用によるLLMの技術検証）
- Sparkle（広告でのLLM活用）
- カラクリ（700億パラメーターのLLMとカスタマーサポートI活用）
- Poetics（ASR話し言葉対話データ）
- 松尾研究所 （旅行業界推薦システム）
- リクルート（LLM開発）
- わたしは（ユーモアAI：ずれた会話の基盤モデル）
- LIGHTBLUE（超軽量オープンソースモデル KarasuとLLM活用）
- Turing （完全自動運転EVのためのLLM）
- ユビタス（AIキャラクター）
- rinna（Qwen 継続事前学習 Nekomata）
- Prefered Networks （マルチモーダルな基盤モデルのソリューション）
経産省、今年は生成AIの社会実装の年に
各社の成果発表のプレゼンテーションの後、経済産業省 商務情報政策局 情報産業課 ソフトウエア・情報サービス戦略室長 渡辺琢也氏がコメントを語った。
「LLMとAIからは間違いなく今後のイノベーションが生まれる。イノベーションの促進という面で政府が出来ることは限られてはいるが、インフラの確保やルールメイキングは重要な責務だと考えている。これまで日本はソフトウェアの面で劣後してきたことを追求する声もあるが、今日の発表を聞く限り日本からイノベーションが生まれる可能性は大きいと感じる。今年は、生成AIの社会実装の年にしていきたい」（渡辺氏）
続いて、経済産業省 商務情報政策局 情報産業課企画官 小川宏高氏は各社のプレゼンテーションを講評し、「日本語の学習の強化や専門分野での活用、エンターテイメントまでいずれの発表も非常に参考になった。こうしたLLMへの取り組みが今後もさらに進むことを期待している」と述べた。最後にAWSの長崎社長は「LLMは開発して終わりではない。ここから生まれたLLMが世界に広がっていくことを期待したい」とコメントし、AWS独自の開発用ハードウェアを披露した。
