freeeの社内AIチャットボット、月1万件の質問に自動回答──4,000ファイルのナレッジをGeminiで全社活用する仕組み

4,000を超えるコンテンツ運用の鍵

　現在「わカルさんbot」は、Confluenceに蓄積された4,000ファイルのコンテンツをベースに稼働している。これらは社内規程類と業務マニュアル、一問一答のQ&Aの大きく3つに分類され、それぞれ適切な管理体制下で運用されている。

　当初1,000ファイルだったナレッジベースは、バックオフィスから始まってセールス、エンジニア向けまでの全社に対象を拡大した。各職種・組織ごとのポータルページも整備され、部門横断的なナレッジ共有が実現している。この拡大により記事数は4倍に増加し、より幅広い質問に対応できる体制が整った。Confluenceに記事を書けば翌日には「わカルさんbot」が学習していて回答できるようになっている、というナレッジメンテナンス体験が、ナレッジ拡大を後押ししたのは間違いない。

　移行作業では「人間にもAIにも適した形式の両立」という課題があった。人間にとってはビジュアルやスライド形式がわかりやすい一方、AIにとってはテキストベースの構造化された情報で方が理解しやすい。この両立を図るため、画像には必ず代替テキストを付与し、スライド形式のマニュアルもテキスト化を徹底した。

　特にfreeeでは「マニュアルをスライドで作りがち」な文化があったため、研修で使いやすく画面キャプチャも貼りやすいスライド形式から、AIが理解しやすいテキスト形式への変換作業に相当な労力を投じた。しかしこの作業は、アクセシビリティ向上の観点からも重要で、「単に画像を貼っただけではダメで、ちゃんと文字で起こす」ことを徹底。これまでも取り組んできた視覚に障害のある従業員にも配慮した情報提供が実現した。

　移行作業は、最初にスクリプトを用いてテキストデータに変換したものをConfluenceに一括インポート。その後は、派遣スタッフも活用しながら手作業で体裁を整え、2024年年末までに完了させる目標を設定し、着実に実行した。各部門の協力を得るため、担当チームが自分たちで移行する場合はサポートに回り、忙しいチームについては代行するという柔軟なアプローチを取った。

「違うよ」のフィードバックで精度向上

　月に約1万件の質問に対応する「わカルさんbot」だが、その精度向上は人力による地道な努力に支えられている。完全自動化は行わず、品質管理を重視した運用を継続している。

　ユーザーから「違うよ」のフィードバックがあると、管理者が内容を詳細に確認する。AIの読み取りミスなのか、マニュアル自体が古いのかを判断し、それぞれ適切な対応を取る仕組みだ。マニュアルが古い場合は担当チームに更新を依頼し、AIの理解不足が原因の場合はマニュアルの構造を見直したり、プロンプトの調整を行ったりする。

　「プロンプトインジェクションのリスクもあるため、ユーザーフィードバックを自動でインプットすることはしていません」と稲村氏は説明する。セキュリティリスクを回避しながら品質向上を図るため、人間による確認プロセスを必須としている。

　この地道な改善サイクルにより、「わカルさん」は社内で高い信頼を獲得している。回答の精度が向上するほど利用者も増え、より多くのフィードバックが得られる好循環が生まれている。