ブレインパッド、生成AIアプリケーションの「品質管理基準」を策定──ベリサーブが支援

　2025年10月16日、ブレインパッドは、同社が提供する「Rtoaster GenAI」に関わる説明会を開催した。

　Rtoaster GenAIは、生成AIとレコメンド技術を活用した対話型検索ツール。ECサイトやオウンドメディアの検索窓に「AI検索」を設置でき、従来のキーワード検索よりも“曖昧なキーワード”でユーザーが検索できるようになる。また、マーケターにとっては、そのキーワードを分析することで、ユーザーの“生の声”を拾うことも可能だ。

　このように生成AIが活用される一方、「OWASP Top10（2025）」にはLLM／生成AIに関連するリスクが明記されており、対策を講じなければならない。AIエージェント事業に特化した同社子会社のBrainPad AAA 辻陽行氏は、「すべてを生成AIに任せるのではなく、フィルタリングすることなどが必要だ。プロンプトが意図しない挙動を引き起こしたり、外部データが汚染されていたりと、生成AIにできることが増えるほど、ハルシネーションや有害な出力も拡大する」と指摘。そこでブレインパッドでは生成AIの品質を担保するため、Rtoaster GenAIを対象として「品質管理基準」を策定しているという。

　Rtoaster GenAIの品質を担保するためテストを実行する際、たとえばレコメンド機能をテストする場合には、直行表やデシジョンツリーを用いた手法の適用が難しい。また、自由形式かつ非構造化データも想定しなければならず、仕様／構造ベースでのテストデータを作成することは難しいため、テスターの経験に依存するリスクも生じてしまう。そこで生成AIアプリケーションのテストにおいて先行していたベリサーブと協業し、下図のようなテストにおけるフレームワークを策定。具体的には、LLM出力を評価するPythonライブラリ「DeepEval」を用い、入力データを評価するような形だ。

　ベリサーブでは、Rtoaster GenAIを「テキストを入力することでテキストを出力する（Text-to-Text）」アプリケーションだとして、下図のような構造モデルを想定。チューニング層以上の製品テストを実行することを決めたという。

　先述したような懸念点がある中、「テスト観点基盤モデル」（下図）を策定し、各項目のメトリクスを設計。ユースケースごとに閾値をブレインパッドと会話しながら決定し、テストを実行したとする。同社 松木晋祐氏は、「OpenAIの技術的な協力も取り付けながら、ブレインパッドのような企業が社会的責任を果たしながら、生成AIアプリケーションの開発生産性が向上することをサポートしていきたい」と話す。

　また、ブレインパッドの山崎清仁氏は、「テストの網羅性や客観性が高まり、実行効率も向上するなど、大きな効果がみられる。社内外に指標に基づいて説明できるようになり、安心感をもって利用いただけるようになった」と評価する。

　今後ブレインパッドは同社に留まらず、品質管理基準による効率的かつ効果的なテスト手法を他社AIサービスにも広めていき、“安全”なAIサービスの社会実装を推進していくとした。なお同社は、2025年9月18日にAIレコメンド技術の特許（特許第7745801号）を登録している。