DataRobotは、クラウド、オンプレミス、ハイブリッドを含むすべての環境で利用可能な、生成AIソリューション向けリアルタイム介入機能を備えたAIガードレールを発表した。
同機能により、DataRobot AI Platformは、様々なAIアセットと基盤環境にAIオブザーバビリティをもたらすという。詳細は次のとおり。
- 環境横断的なAI可観測性：予測と生成AIアセットに対して統一されたガバナンスを備え、様々な環境での監視と、AI運用フロー全体のリスクを軽減
- 生成AIへのリアルタイム介入：カスタマイズされたビルド、介入、およびモデレーションワークフローを活用して、 AIアプリケーションを保護するための多層防御を構築。事前に構築されたガードモデルライブラリを活用し、プロンプトインジェクションや有害な出力を防ぎ、個人を特定できる情報を検出、ハルシネーションの緩和を行う。また、企業独自のガードモデルを構築し、適用することも可能
- 生成AI対応のアラートと診断機能：カスタマイズ可能なアラートと通知ポリシーで制御と柔軟性を確保し、視覚的に問題をトラブルシューティングして回答を追跡。さらに、データ品質チェックやトピックドリフトなど、インサイトを備えた多言語対応の診断機能を設定
また同リリースでは、オープンソースLLMサポート機能なども導入されるという。詳細は次のとおり。
- エンタープライズグレードのオープンソースLLMホスティング：LLaMa、Hugging Face、Falcon、Mistralを含むオープンソースの基盤モデルを、DataRobotが提供するLLMセキュリティおよびリソースとともに活用することで、NVIDIA NIM推論マイクロサービスおよびNVIDIA NeMo Guardrailsとの統合を補完
- LLMの評価、テスト、およびメトリクス：人工合成テストデータの作成、生成AI用の評価メトリクス、品質ベンチマークを活用して、アプリケーションの品質を向上。LLMのパフォーマンスを評価し、テストを自動化
- 高度なRAG実験：様々なエンべディング方法、チャンク戦略、ベクターデータベースを評価して、各ユースケースに最適なRAG戦略を評価および特定
【関連記事】
・ベルシステム24、ユーザー企業参画型プログラム「生成AI Co-Creation Lab.」開始
・「intra-mart」の最新版がリリース 生成AI連携モジュールの組み込みなど3つの機能を強化
・Netskope、生成AIを搭載したCASBを発表 セキュリティリスク分類の速度と精度を向上へ
