AI insideは、日本語LLMサービス「PolySphere-1（ポリスフィア-ワン）」が、2259万トークンのプロンプト（テキストデータ）を分割せず一度に受けつけ、返答することに成功した。
LLMでは、入力されたテキストデータを「トークン」と呼ばれる単語や文字など意味を持つ単位で処理する。トークン長の限界値を超えたデータがプロンプトとして入力された場合は、それ以前に入力された単語を参照できず返答がなくなったり、不適切な回答がなされたりする可能性があるとのこと。より長いトークンを一度に処理できるLLMほど、より多くの背景情報を考慮し、高度な回答ができると考えられているという。
現在公開されている一般的なLLMでは、数千〜数万トークンが入力文字数の限界であるものがほとんどだが、同社が開発したPolySphere-1は、それらの数百倍を超えるトークンの処理が可能とのこと。今後は、参照した膨大なテキストデータに対するレスポンス精度を高めるとともに、顧客事例の創出を進めるとしている。
【関連記事】
・AI inside、「AnyData」の提供開始 コンサルティングチーム「InsideX」も発足へ
・AI inside、140億パラメータの日本語LLMサービスα版を提供──「XResearch」創設
・AI insideと東北大学、月面・宇宙など極限環境で稼働する「次世代型AI」共同開発へ
