NTT、セキュアなLLMの応答精度向上技術を確立　学習用データの漏えいリスクを抑えつつ応答精度を向上

　NTTは、不特定多数の利用者から寄せられる問い合わせ応答を自動化する場面において、過去の利用者の入力と応答のペアを漏えいリスクを抑えながら活用し、新たな利用者への応答精度を高められる手法を確立したと、7月7日に発表した。

　同研究では、DP-ICLにおける応答精度の低下要因を理論的に分析し、安全性と応答精度を両立する新たな安全な例題生成手法を提案。ICLは、例題に基づいてLLM（大規模言語モデル）がルール（応答傾向）を推定する仕組みと捉えられるという。同研究では、ノイズがこのルール推定に与える影響をベイズ推論の枠組みで理論的に解析し、次の新たな知見を明らかにしたとのことだ。

• 知見1：無関係な単語を生成候補からあらかじめ除外することで、ノイズによるルール推定への悪影響を緩和できることを理論的に示したという。これは、従来経験的に行われてきた単語の生成候補の削減による性能改善に対する理論的な裏付けになるとしている
• 知見2：ルールを特徴づける単語の生成確率を意図的に高めることで、ノイズが加えられた例題からでもLLMが正しいルールを推定できることを明らかにしたという。これは、既存の研究で見落とされていた新たなDP-ICLの応答精度の改善の方向性を示すものだとしている

　たとえば、「注文番号#12345のイヤホンが届いていません」という入力に対して「配送」という応答と分類されるのが正しい対応だが、例題にノイズを加えると「なんか商品が変なのですが → 配送」のようなあいまいな例題が生成されることがあるという。この文は一見自然に読めるが、「とりあえず」や「商品」といった語は分類の手がかりとしては乏しく、本来の重要語である「イヤホン」や「届かない」といった情報が埋もれているとした。そのため、新たな入力「商品が破損して届いた」に対しても、モデルが「配送」と誤って分類するなど、ルールの誤認による分類ミスが生じるリスクがあるとしている。

　誤りに対して、同研究の「知見1」では、「なんか」など分類に寄与しない語をあらかじめ生成候補から除外することで、ルールの安定した推定が可能になることを明らかにしたという。加えて「知見2」では、「届かない」や「壊れた」など、ルールを特徴づける単語の生成確率を適切に高めることで、ノイズが加えられても、LLMが「配送」や「返品」といったルールをより正確に推定できるようになることを理論的に示したとのことだ。

　これらの理論的知見に基づき、同研究では、差分プライバシーを維持しつつルールの推定精度を向上させる新たな例題生成手法として、Plausible Token Amplification（以下、PTA） を提案。PTAは、無関係な語の生成を抑えながら、ルールを特徴づける単語の生成確率を高めたうえで、ノイズを加えて安全な例題を生成するという。PTAにより、ノイズが加えて生成された安全な例題からでもLLMは正しいルールを推定でき、応答精度と安全性の両立が実現されるとしている。

　PTAの有効性を確認するために、ニュース記事をスポーツや世界情勢といったトピックのカテゴリーに分類するベンチマークタスクにおいて、既存のDP-ICL手法と比較し精度向上を確認するとともに、ノイズを加えないICLとも同等の精度を実現できることを確認したという。

　今回提案したPTAは、問い合わせ履歴などの例題がLLMの入力に使われていたかどうかが、新たな利用者から推測されにくくする手法だとしている。たとえば、チャットボットによる自動応答サービスでは、過去の問い合わせが使われていると推測されること自体が機密情報の漏えいにつながるおそれがあり、PTAはその漏えいリスクを低減することで、安全なデータ活用を支援するという。なお、出力される応答に機密情報を含まないことを決定論的に保証するものではなく、あくまで「その問い合わせが使われたかどうか」の推測を統計的に困難にすることに焦点を当てているとのことだ。

　今後は、安全な例題の生成時の単語の強調処理を高度化することで、医療・金融・行政などの利用者に関わるデータの扱いに慎重さが求められる分野において、将来的なリスクに備えたLLMの活用が期待されるという。

　また、現在のPTAは入力と応答があらかじめ定められた形式（例：問い合わせとカテゴリー分類のペア）を前提としているが、今後はより柔軟な構造の入力を扱うタスクへの応用も視野に入れているとのことだ。たとえば、自由記述形式の問い合わせや複数分類の併用といった実運用で求められるユースケースにも対応可能とすることで、将来のデータ漏えいリスクを見据えた、より幅広い分野におけるデータのセキュリティに配慮したLLMの活用環境の実現を目指すとしている。

【関連記事】
・NTTら3社、IOWN APNを用いた遠隔データセンター間の処理配置最適化の実証実験に成功
・AI inside、日本語特化の独自開発LLMをアップデート　データ構造化精度で世界最高性能と発表
・パナソニック、AIがVoCデータ活用を自動化する「RightVoC by KARTE」の実証実験開始