生成AIの本番運用開始、しかし使い物にならない……高精度な自社専用LLMを実現するデータ整備の勘所

完璧な翻訳辞書を用意した後も、「とある問題」が待ち受ける……

　この「翻訳辞書」をAIに組みこむと、回答精度はどう変化するのか。Quollioは複数条件で精度を比較し、メタデータなし（Agent 0）、物理構造のみ（Agent 1）、ビジネスメタデータまで含めた構成（Agent 2）の3種類で検証を行った。

　AIが自律的に動作するフェーズにおいて結果を比較すると、Agent 0は推測依存のため構文エラーやハルシネーションが多発し、正答率は低水準にとどまった。Agent 1は実行可能なSQLを生成できるものの、ビジネスロジックの理解が浅く中レベルの正答率にとどまった。対して、翻訳辞書を与えたAgent 2は高い正答率を示したという。

　「ビジネスメタデータを扱えるようにするだけで、AIの精度は大きく押し上げられる」と眞田氏は語る。推測駆動から根拠駆動へと変わり、「売上」という言葉が指す物理カラムを辞書から明確に引いて応答できるようになるからだ。メタデータへの投資こそが、AIをスマートにするための有効なルートの1つだと強調した。

　とはいえ、どれほど完璧な翻訳辞書を整備してデータカタログで基礎精度を高めても、実業務への適用では「もう1つの高い壁」があることも検証から明らかになったという。それが、現場ユーザーが日常的に発する「曖昧な指示」に起因する構造的限界である。

　たとえば「直近の主要な売上トレンドを横串で出して」といったリクエストでも、「直近」がいつのことを指すのか、「主要な」がどの売上や顧客を意味するのかによって正解が変わり、AIは迷ってしまう。

　「意味はデータカタログの辞書で解けても、ユーザーの『意図』はメタデータだけでは解けません。売上の計算定義や同義語マッピングは辞書に書き切れても、その問いの背後にある利用目的の業務文脈まではデータカタログには書かれていません。だから、どれだけ完璧な辞書を作っても、AIが単独で100％正解を当てにいくには構造的限界があるのです」（眞田氏）

　そこでQuollioが提示するのが、AIが自身の回答の確信度を測り、迷ったときは勝手に推測せず人間に確認を求める「協調判断（Human-In-The-Loop：HITL）」のアプローチだ。翻訳辞書をもつAgent 2に、この協調判断を組み込んだ構成を測定すると、正答率は顕著に向上。「直近」「主要な」といった言葉の定義が不足していると判断した際、直近1年と仮置きして進めるのではなく、「直近1年でよろしいですか、それとも今四半期ですか？」とユーザーに問い返す運用設計である。

　眞田氏はこのアプローチの効果として、辞書だけでは対応しきれない曖昧な指示の意図を会話で補完できること、業務的に意味をなさない攻撃的な問い合わせには「答えない」というガードレールを敷けること、回答に至った根拠が対話として残るため現場が信頼しつづけられることの3点を挙げた。