2024年6月26日、DatadogはAIアプリケーション開発者や機械学習（ML）エンジニアが大規模言語モデル（LLM）アプリケーションを効率的に監視、改善、保護できるLLM Observabilityの一般提供を発表した。同製品を利用することで、企業は生成AIアプリケーションの本番環境への展開を加速し、拡張できるという。
同製品は、LLMチェーンの各ステップを可視化し、エラーや予期せぬレスポンスの根本原因を特定。また、ユーザーは遅延やトークン使用量などの運用指標を監視して、パフォーマンスとコストを最適化できるとしている。加えて、トピックの関連性や有害性など、AIアプリケーションの品質を評価しセキュリティとプライバシーのリスクを軽減するためのインサイトを得られるという。
同製品は従来のツールやポイントソリューションと異なり、プロンプトとレスポンスのクラスタリング、Datadogアプリケーションパフォーマンスモニタリング（APM）とのシームレスな統合、評価と機密データのスキャン機能を提供し、生成AIアプリケーションのパフォーマンス、精度、セキュリティを強化すると同時に、データのプライベート性と安全性の維持を支援するとのことだ。
同製品の機能は以下のとおり。
- 推測品質の評価：LLMアプリケーションの会話の品質と有効性（回答の失敗など）を可視化し、アプリのドリフトとエンドユーザーの全体的なエクスペリエンスを監視
- 根本原因の特定：各ユーザーリクエストのエンドツーエンドのトレースを可視化することで、LLMチェーンにおけるエラーや障害の根本原因を突き止める
- コストとパフォーマンスの改善：OpenAI、Azure OpenAI、Amazon Bedrock、Vertex AIなどの主要プラットフォームにわたるアプリケーションの主な運用メトリクスを統一ダッシュボードで監視し、パフォーマンスとコストの最適化を実現
- セキュリティ脅威からの保護：Datadog Sensitive Data Scannerによる内蔵のセキュリティおよびプライバシー・スキャナを使用して、アプリケーションをハッキングから保護し、個人情報、電子メール、IPアドレスなどの機密データの漏えいを防止
【関連記事】
・Datadog、生成AIベースのアシスタント「Bits」発表 アプリケーションの問題解決を支援
・SAPジャパン、生成AIアプリケーション開発機能など発表 開発者向け学習機会の提供も
・カラクリ、AIエージェントとして使える国産LLMを一般公開 外部ツールを活用して作業代行
