自社LLM構築に向けた3ステップ 汎用LLMとの接続法は
信頼性の向上などに向けて、自社専用の特化型LLMをゼロからいきなり学習して構築するのは、場合によっては費用対効果が悪い。従って、コストを考慮しながら以下のステップで効果測定を行い、LLMの活用を模索していく方法が有効だ。
STEP1. 汎用LLMとデータベースの接続（RAGの活用）
初期段階から自社専用LLMを構築するのではなく、ChatGPTやClaudeなどの汎用LLMと、自社内のデータベースを接続して回答生成を行う方法。LLMに自社データを検索させたうえで、回答を生成させる「RAG（Retrieval-Augmented Generation）」と呼ばれる手法だ。
詳細は本連載の前編にも記載しているが、自社内の文書における専門的な用語が少なく、かつ文書構造が過度に複雑な形式ではない場合に有効である。狙いを定めたユースケースに対し精度が高まり、ハルシネーションが抑止された生成AI基盤を構築できる可能性が高まる。
STEP2. 汎用LLMの追加学習によるカスタマイズ
次のステップは、ChatGPTやMetaのLlamaなど、既存の汎用LLMに自社のデータを追加学習させ、モデルを特化・カスタマイズする構築方法だ。RAGは、先述したとおり専門的な用語が少ない際には有効だが、LLM自身に社内の専門用語などを直接学習させているわけではない。そのため、専門的な質問に対しては回答精度が十分に高まらない場合がある。
このようなケースに対しては、自社のデータベースを参照させるだけでなく、当該データをLLMに追加学習させ、直接LLMに社内の知識を覚えさせた“特化型モデルの構築”を行うことで、解決できる可能性が高まる。
モデルの追加学習によるカスタマイズは、相当量の金銭コストが必要と思われがちだ。しかし、30万円程度の追加学習で、特定ベンチマークにおいて国内最高性能のLLMを構築した事例もある[4]。この例からも、ユースケースを絞り、自社で用意したデータを追加学習させることで、ハルシネーションを抑止した特化型LLMを実現できることがわかる。
また、ChatGPTのAPIではなく、Llama3などの公開型のモデルを活用することで、当該モデルをダウンロードし、自社サーバーで完結させてモデルをホスティングできるため、外部からの接続を遮断した、セキュリティ性が確保された状態もあわせて実現できる。
[4]「30万円で最高性能の国産LLMを開発！〜企業独自LLMが当たり前の時代を目指して〜｜小田 志門」（note, 2024年5月21日）
