Fastlyは、AIソリューション「Fastly AI Accelerator」の提供開始を発表した。
Fastly AI Acceleratorは、LLMアプリケーションの類似プロンプトを使用することで、パフォーマンス向上とコスト削減を支援し、開発者のエクスペリエンス改善を実現するもの。Fastly エッジクラウドプラットフォーム上に構築され、専用のAPIゲートウェイを使用し、ChatGPTをはじめとするLLMや、その他のモデルを使用するアプリケーションのパフォーマンスを向上させるという。
Fastly AI Acceleratorのセマンティックキャッシュ機能は、繰り返されるクエリに対して、AIプロバイダーに戻らず、Fastlyのエッジプラットフォームから直接キャッシュされたレスポンスを提供するため、コストを抑えながらパフォーマンスを向上させるとしている。
開発者は、新しいAPIエンドポイントを使用する際にアプリケーションを更新し、コードを1行変更するのみで使用可能。その後、Fastly AI Acceleratorは、OpenAIと互換性のあるAPIのセマンティックキャッシュを透過的に実装する。同ソリューションは、リクエストとクエリのコンテキストを理解し、内容が似ている2つ以上のリクエストに対して、類似したレスポンスを送信できる。
また、無料アカウント枠を拡張するという。これにより、コーダーは新たなサイトの設定、新しいアプリケーションの作成、新しいサービスの立ち上げを数分で行うことが可能。無料アカウント枠には、Fastlyのコンテンツ配信ネットワーク（CDN）へのアクセスに加えて、メモリとストレージの割り当て、無制限のリダイレクト、ページルール、正規表現へのアクセスも含まれる。さらに、TLSやDDoS対策、オブザーバビリティツールなどのセキュリティ機能も含まれているとのことだ。
【関連記事】
・日本の雇用主、AIスキルや専門知識を備えた労働者に15％高い給与を支払う意向──AWS調査結果発表
・日本IBM、宮崎銀行の融資稟議書の作成時間を95％削減 融資業務における生成AIを共同開発
・Splunk、オブザーバビリティ向けのAI拡張機能を発表 デジタルレジリエンスを強化
