Kongは、「Kong Gateway 3.6」向けのオープンソースAIプラグインを発表した。
同プラグインは、既存のKong GatewayをAI Gatewayに拡張。Kong Gateway 3.6にアップグレードすることで、AIやLLMの利用に特化した6つの新しいプラグインにアクセスできる。オープンソース・プラグイン・スイートは、以下を含む様々な新機能を提供するという。
- AIツールのインテグレーションを簡素化：「ai-proxy」プラグインは、OpenAI、Azure AI、Cohere、Anthropic、Mistral、LLAMAなど複数のLLM実装の統合を可能にする。標準化されたインタフェースにより、アプリケーションコードを変更することなくLLMを切り替えることが可能
- 統合型AI認証管理：ai-proxyは、Kong Gateway内でAI認証情報を一元管理。各アプリケーション内の認証情報が不要になり、Gatewayからの直接認証情報のローテーションとアップデートが簡素化される
- レイヤー7のAIメトリクス収集：ai-proxyプラグインを活用することで、レイヤー7の詳細なAI分析が可能に。Datadog、New Relicのようなサードパーティプラットフォームとの統合、およびKong Gatewayの既存のログプラグイン（TCP、Syslog、Prometheusなど）との統合をサポート
- ノーコードAIインテグレーション： 「ai-request-transformer」と「ai-response-transformer」プラグインを使用すると、APIリクエストとレスポンスにAI機能をコードなしで組み込むことができる。リアルタイムAPIレスポンスの翻訳のようなオンザフライ変換が可能
- AIプロンプトデコレーション： 「ai-prompt-decorator」プラグインの使用により、AIプロンプトのコンテキストが一貫した構成になる。各AIリクエストにルールや指示を自動的に含めることで、組織のコンプライアンスを強化
- AIプロンプトファイアウォール：「ai-prompt-guard」プラグインは、アプリケーションによって作成されたフリーフォーマットのプロンプトを許可またはブロックするルールを確立するガバナンスレイヤーを提供。プロンプトがAI（LLM）プロバイダーに送信される前に、承認された標準に準拠していることを確認可能
- AI連携機能：これらのAI機能をKong Gatewayに統合することで、AIトラフィックの管理、セキュリティ、監視を一元化。既存の公式プラグインおよびコミュニティプラグインを活用し、堅牢なアクセス制御、レート制限、トラフィック制御ルールの作成を実現
【関連記事】
・名鉄グループと日立、生成AI活用した技術検証を実施 ユースケースごとに業務の知識データベース構築へ
・「Sansan Labs」にAIを活用した3つの新機能が追加
・NEC、AIで物流・建設などの現場業務を分析／可視化するデジタルツインソリューション提供へ
