Databricks、米年次イベントに6万人超が参加　AIエージェント評価機能などのアップデート発表

　Databricksは米国時間6月9日から12日にかけて、年次イベント「Data+AI Summit」を米サンフランシスコにて開催している。

　イベントホール「Moscone Center」を貸し切り、イベント全体を通して700のセッションと200以上のトレーニングを実施予定。11日に行われた基調講演には、世界150ヵ国から約6万5000人が参加するなど賑わいを見せている。

　11日に行われた基調講演では、Databricks 共同設立者 兼 CEOであるAli Ghodsi氏らが登壇し、新たなソリューションや機能アップデートが複数発表された。

「Lakebase」発表

　Ghodsi氏は大きなアップデートの一つとして、インテリジェントアプリケーション構築のためのオペレーショナルデータベースの新しいカテゴリー「Lakebase」を発表した。これは、AI向けに構築された初のフルマネージドPostgresデータベース。企業はLakebaseを用いることで、単一のマルチクラウドプラットフォーム上でアプリケーションとAIエージェントを構築できるという。

　Lakebase発表の背景についてGhodsi氏は、SQL Server、Oracle、MySQL、PostgreSQLなどの伝統的なトランザクションデータベースがこの40年間でほぼ変化していないことに言及。その理由として「ベンダーロックイン」を挙げ、「組織がトランザクションデータベースを実装し、データをロードすると、そこからデータを移動したり新しいデータベースに移動したりすることがほぼ不可能となる。その結果ベンダーロックイン状態となり、コストも高くなる上に、ベンダーは現状維持のみでイノベーションに注力しなくなってしまう」と指摘。

　また、1980～90年代に構築されたアーキテクチャーはスケーリングが難しいため、AIを活用していく現代には不十分だとした。

　このような問題意識を背景に開発されたのがLakebaseだという。Lakebaseは、データベースをベース層とレイク層に分け、伝統的なトランザクションデータベースに格納されているデータをオープンフォーマットのレイク層に保存し、トランザクション処理をベース層で行う仕組みを備えているとした。従来のデータベースよりも柔軟性が高く、レイテンシーを低減し、同時実行性と高可用性のニーズに対応するという。Ghodsi氏は「我々はこれがすべてのデータベースの未来になると考えている」と力を込めた。

　Lakebaseの特徴は以下のとおり。

1. オープンソースで構築されている

　Lakebaseは、PostgreSQLのオープンソース拡張機能の一部。ベクトル処理や任意の処理を実行するための拡張機能が豊富に利用可能だとしている。

2. コンピュートとストレージの分離

　Databricksは米国時間5月14日に、サーバーレスPostgresのリーディングカンパニーであるNeonの買収計画を発表しており、今回のアーキテクチャーも同社の技術をもって実現されたという。

　このアーキテクチャーは3層構造となっており、最下層には、実際の物理データを格納するために、信頼性が高くスケーラブルなデータベースオブジェクトストレージを利用しているとした。中間層には、読み取り専用のストレージを導入。このストレージはオブジェクトへデータを転送するキャッシュとして機能し、データベースのエラー処理も担う。一番上は、属性と権限の状態に応じて管理されたPostgreSQLインスタンスのコンピュート層だとしている。

3. AIのために構築されている

　多くのAIエージェントがこれらのデータベースを起動するため、迅速に立ち上げられる必要がある。Lakebaseはこれを実現するという。

「Agent Bricks」発表

　大きなアップデート情報の2つ目として、ビジネスに最適化された高性能なAIエージェントを自動作成する「Agent Bricks」が発表された。

　Agent Bricksは、エージェントの大まかな役割を指定して企業データと連携させるだけで、その後の作業を全て対応してくれるという。構造化情報の抽出、信頼性の高いナレッジマネジメント、カスタムテキスト変換、オーケストレーションされたマルチエージェントシステムなど、業界で一般的な用途に最適化されているとしている。

　なおユーザーは、米国時間6月11日より同ソリューションのベータ版を利用できるとのことだ。

　Ghodsi氏は同ソリューション発表の背景として、AIエージェントの構築における組織の課題を以下のとおり3つ挙げた。

1. エージェントのパフォーマンスを評価できる指標がないこと
2. 次々に出てくる新しいテクノロジーのうち、どれを取り入れるべきか分からないこと
3. コストとクオリティのバランスの取り方

　Ghodsi氏は「この1年間、我々は多くの顧客にヒアリングを行った上で、エージェントの構築方法を見直してきた。その結果として、Agent Bricksを発表できることをうれしく思う」と話す。

　Agent Bricksは、同社が開発した最適化エンジン「TAO」を基盤としており、ドメイン固有の合成データとタスク対応型ベンチマークを自動的に生成するという。また、ユースケースごとに最適なモデルと情報検索の設定を選択することで、品質とコストのバランスを最適化できるとしている。

　また、組み込みガバナンスと企業向け管理機能により、企業は異なるツールを組み合わせなくても、コンセプトの立案から本番環境への導入までの移行を迅速に行えるようになるという。

　現在、以下4つのタスクがAgent Bricksに実装されており、今後さらに拡張予定だとしている。

• Information Extraction Agent：メール・PDF・レポートなどの非構造化データを名前・日付・製品詳細などの構造化データに変換する
• Information Extraction Agent：企業データに基づいた迅速かつ正確な回答を提供することで、チャットボットから曖昧な回答や間違った回答が返ってくる問題を解決する
• Multi-Agent Supervisor：DatabricksのAIを活用した機能「Genie」スペースや他のLLMエージェント、MCPなどのツールを横断するエージェントをシームレスに統合するマルチエージェントシステムを構築できる
• Custom LLM Agent：コンテンツ生成やチャット生成などのカスタムタスク向けにテキストを変換し、業界に合わせて最適化する

　Agent Bricks活用の流れは以下のとおり。

1. タスクを宣言する：ユーザーはタスクを選択してエージェントに実行させたいことを自然言語で大まかに説明し、データソースを接続する
2. 自動評価：Agent Bricksが、タスク固有の評価ベンチマークを自動的に作成し、大規模言語モデル（LLM）が品質を評価する
3. 自動最適化：Agent Bricksが、プロンプトエンジニアリング、モデルの微調整、報酬モデル、テスト適応型最適化（TAO）などの様々な最適化手法をインテリジェントに検索して組み合わせる
4. コストと品質：ユーザーは、コスト最適化モデルと品質最適化モデルのいずれかを選択できる。多くの場合、最終的なソリューションは、他のアプローチと比較して高品質と低コストの両方を実現できるという

「Databricks Apps」一般提供開始

　Databricksは安全でガバナンスの効いたデータインテリジェンスアプリケーションを容易に構築できるDatabricks Appsの一般提供を開始した。

　Databricks Appsを担当するJustin DeBrabant氏は、「組織のアプリケーションをいかにしてデータとAIにセキュアに接続するかが、アプリケーションにおける大きな課題だ」と述べる。セキュアな接続を実現するためには、データとAIを組み込んだアプリケーションの生産ラインを構築することが欠かせない。しかし、これをかなえるには、ガバナンスとアクセス制御の定義、インフラストラクチャーの管理、コンテナへの統合、VPC（Virtual Private Cloud）への統合など、多くの難しい要素をクリアしなければならないと指摘する。

　このような問題を解決できる手段として、Databricks Appsが発表された。Databricks Appsは、Databricksに直接デプロイし、同社のUnity Catalogデータガバナンスソフトウェアを通じてアプリケーションのガバナンスを簡単に担保できるという。DeBrabant氏は同機能について「データとAIを外部に移動させるのではなく、アプリケーションをデータとAIに近づけるという、より広範なアーキテクチャーのシフトだ」と強調した。

　Ghodsi氏は「一般公開される前からすでに2,500社の顧客に採用されており、Databricksのプラットフォーム上で2万以上のアプリケーションを開発するために使用されました」とこれまでの実績を述べ、利用拡大に期待を寄せた。

「Databricks Free Edition」発表

　Ghodsi氏は、業界全体の人材ギャップを埋め、次世代のデータおよびAIエンジニア、データアナリスト、データサイエンティストを育成することを目指し、グローバルなデータおよびAI教育へ1億ドルを投資することを発表した。

　具体的には、学生、専門家志望者から大学システムまで、データを活用して課題を解決したいと思っているすべての人に対し、Databricks Data Intelligence Platformの全機能を無償で提供するという。このプログラムを「Databricks Free Edition」としてアナウンスした。