RAGを構築も「低い精度」「社内からの反発」に直面……今や社員3000人が活用、清水建設再挑戦の軌跡

RAGシステムの構築で手痛い失敗

　清水建設は、ダムや橋梁、集合住宅、文化財の復元など、国内外で多様な建設プロジェクトを手がける総合建設会社。麻布台ヒルズ、八ッ場ダム、インドネシアの集合住宅、米子自動車道の船谷川橋、施工中の首里城正殿の復元といった例に見られるように、案件ごとに構造や工法が異なる「一品生産」が同社の特徴だ。さらに、地質や気候、法規制も現場によって大きく異なるため、同一のプロセスを反復できる製造業とは本質的に性質が異なる。

　こうした特性を踏まえて、2023年に同社オリジナルのAIエージェント構想「DAICE（Designers Assistant Intelligence for Creative Enhancement）」が生まれた。この構想では、Artificial Intelligence（人工知能）の「Artificial」をあえて「Assistant」に置き換えている。同社 NOVAREイノベーションセンター AI共創グループ グループコンダクターの古川慧氏は「AIは支配するものではなく、設計者をサポートする仲間という意味を込めた」と説明する。

　この構想において、重要な役割を果たしているのが同社のRAGシステムだ。DAICEの構想と同時期から開発が始まった同システムは、清水建設のマニュアルや施工技術文書を活用し、社員の質問に対してAIが適切な回答を提供するというもの。今でこそ活用が社内でも浸透しているが、開発から社内導入までには険しい壁が立ちはだかっていたという。

　まず、構築の初期段階で直面した壁が「回答精度」の問題だ。システムの性能評価には約50問の理解度テストが用いられ、評価は「正しい回答ができたか」「適切な文書を参照できたか」の2軸で行われた。テスト結果を見ると、両軸を満たした回答は全体の35％にとどまってしまい、文書の参照は正しかったが回答が不十分だったケースが10％、文書選定自体が誤っていたものが55％を占めていた。「この時点では業務適用できるレベルではなかった」と古川氏は当時を振り返る。

　精度が伸び悩んだ理由として、第一に挙げられたのが「図面の複雑さ」だった。図中に多重の線や注記が含まれるケースでは、人間でも解釈に時間がかかるものが多く、AIによる正確な読み取りは困難だった。また、数値や単位の扱いにも課題があり、文書内に「ミリ」と「mm」の表記が混在していたり、途中で単位表記が切り替わっていたりしたため、AIがうまく情報を読み取れず誤答を出すケースが頻発したのだという。

　こうした技術的課題に加え、組織的な壁も大きかった。上層部からの理解を事前に得ないままプロジェクトを進めてしまったことにより、設計部門の幹部からは強い反発を受けたという。トップ層の理解を得られず、「未完成のAIを使って業務ミスが起これば顧客に迷惑をかける」として導入を危ぶむ声も根強かった。

　そもそも設計の部署で「勝手に実験することが許されない」といった空気の中、生成AIに対する不信感は想像以上に根深かったという。「トップダウンの傾向が強い建設業において、上層部を巻き込んだ施策を打てなかったことは反省点の1つだ」と古川氏は振り返る。