カラクリは、アマゾン ウェブ サービス ジャパン(AWSジャパン)の「AWS LLM 開発支援プログラム」を活用し、AWS TrainiumでMoEモデルの学習に成功したと発表した。
これにより、5月7日には、総パラメータ数467億、推論時のアクティブパラメータ数129億のLLM「KARAKURI LM 8x7B Chat v0.1」を一般公開している。同モデルは、学習時間を12時間に抑え、開発費用は30万円と低コストでの開発に成功したとのことだ。これにより、金融・医療業界での、モデル構築の活用を見込んでいるという。
【関連記事】
・AWS、Amazon Qなど生成AIサービスの最新アップデートを紹介 “3層構造”サービス群で支援
・Snowflake、企業のAI活用を支援するオープンなLLM「Arctic」を発表
・NTT、LLMによって文書を視覚情報から理解する技術を実現 「tsuzumi」のアダプタ技術に採用