NTT、セキュリティ事故対応やコールセンター業務にて「熟練者」の判断プロセスを約9割の精度で見える化

　NTTは、セキュリティ事故対応やコールセンター業務などにおける問い合わせ履歴から、熟練者の判断プロセスを約9割の精度で見える化するAI技術を開発した。

　同技術により、抽出した熟練者の判断プロセスを利用することで、新人でも熟練者レベルの対応が再現可能になるという。

技術のポイント

ステップ1

　テキスト化されたすべての問い合わせ履歴について、LLMを用いて「質問」「提案」を抽出する操作を実行。こうして抽出された「質問」「提案」に対して、同じ内容のものを統合する形で、「統合質問リスト」「統合提案リスト」を作成するという。

ステップ2

　問い合わせ履歴を対象に、「統合質問リスト」「統合提案リスト」をLLMに参照させながら、この対話が「統合質問リスト」に記されたどの質問とそれに対する回答だったかをたどるとしている。「統合提案リスト」上にあるどの提案につなげる対話であったかを分析することで、質問、回答から提案に至るまでをフローの形で構造化。これをすべての問い合わせ履歴に対し行うことで、問い合わせ履歴を構造化フローに変換するとのことだ。

ステップ3

　各構造化フローにおいて、そこに出現する「質問または提案」から次の「質問または提案」への遷移を1ステップとし、その出現回数をLLMにカウントさせ、その出現回数が多いものが上位となるようなツリー構造に変換することによって、質問・判断フロー（フローチャート）を生成するという。

実験の概要・結果

　同技術の精度を確認するための実験においては、自然言語処理技術の評価などに用いられる問い合わせ履歴とそれに対応するフローチャートに関する公開データセット（FloDial）を用いたとしている。

　FloDiaｌに含まれる問い合わせ履歴から同技術で作成したフローチャートとFloDialに含まれる正解フローチャートを用いて、それぞれのフローチャートにおいてすべての問い合わせ履歴を抽出し、同一のものであるかを判定した結果、正解フローチャートにおける質問、提案のツリー構造を約9割再現できることを確認。これにより、明確な構造を持たない自由な自然言語による対話から、熟練者の判断フローを高い解釈性と視認性を備えたフローチャート形式で、精度よく抽出可能であることを示したとしている。

　なお、同成果は、7月27日から開催された国際会議The 63rd Annual Meeting of the Association for Computational Linguistics（ACL 2025）に、Findingsとして採録されたとのことだ。

　同技術は、現時点では理想的な公開データセットであるFloDialを用いた方式の確認ができたため、今後は実業務における問い合わせ履歴を用いることで、情報の欠落や対話の飛躍などがある場合においても利用可能なよう抽出・見える化の精度向上を目指すという。また、同技術により抽出した熟練者の判断プロセスを見える化したフローチャートは、解釈性が高く、人手での修正も容易なことから、業務ノウハウの継承だけにとどまらず、問い合わせ対応の自動化への応用も期待されるとした。このフローチャートに基づいて対応を行う自動応答システムを構築することで、システムの応答根拠が明確となり、より安心して問い合わせ業務を任せることが可能になると同社は述べている。

【関連記事】
・DeepL、リアルタイム音声翻訳「DeepL Voice」の機能拡充　音声入力の対応を16言語に拡大
・井村屋グループ、日本初「Zoom Mail」「Zoom Calendar」本格導入　社員800名利用
・イトーキと松尾研究所、AIによる生産性の可視化に挑む　マルチモーダルデータを活用した研究で協業