経営層から問われる「AIの投資効果」　ROIを高める鍵は「データ／インフラ／モデル」の“3つの主権”

ベンダーロックインを打破した「Apache Iceberg」のインパクト

　前述した3つの主権、とりわけデータ主権とインフラ主権を確立しようとした際に、企業に立ちはだかるのが「ベンダーロックイン」だ。異なるデータベースやストレージに分散したデータを、仮想的に1つのデータ基盤として扱い、リアルタイムに参照・統合する技術は過去20年以上にわたり存在していた。

　しかし、それらは結局のところ、特定のベンダーによる独自技術やAPIに依存せざるを得ない。レポートやダッシュボード、バッチ処理のジョブ定義でさえも、そのプラットフォームを前提とした形で作り込まれてしまう。その結果、利用をやめようとすると、クエリやETL処理、分析ロジックを含めてシステムをほぼすべて作り直さなければならなくなる。

　こうした膠着状態を打破し、AI時代のデータ基盤を大きく前進させたのが、オープンソースの標準テーブルフォーマット「Apache Iceberg」の登場だ。

　Clouderaでソリューションズ・エンジニアリング・マネージャーを務める吉田栄信氏は、「Icebergの登場により、データはどこに存在していても問題がなくなった」と表現する。従来のクラウド型データレイクハウスでは、ストレージ（データ）とコンピュート（計算エンジン）が事実上一体化しており、特定のクラウドベンダーにデータを預け、その上でしか処理を行えない構造になっていた。しかし、Apache Icebergという共通フォーマットが業界標準として確立されたことで、データをオンプレミスや特定のクラウドストレージに置いたままでも、計算エンジンだけを別の使いやすいもの（たとえば、SnowflakeやDatabricksなど）で処理させるといった自由な組み合わせが可能となった。

　「それまでは、データやコンピュートの主権をベンダー側にすべて預けているような状況でした。しかし、Icebergの登場によって、ユーザーがデータ主権を持てるようになった」と吉田氏。Icebergとして定義しておけば、どのエンジンで処理するかを後から選べるため、データの主権をユーザーに取り戻せる。

　技術的に見れば、Icebergはオブジェクトストレージ上のデータを共通テーブルとして定義し、複数のエンジンから同じ形式で読み書きできるようにするオープンなテーブルフォーマットだ。特定の企業やエンジニアの利害関係に偏らないコミュニティの力により発展しており、開発の初期段階から過去のデータ状態に遡れるタイムマシン機能など、機械学習やAIでの活用を見据えて設計されていた。このオープン性と機能的な先見性が、現在のAI主権を支える強力な技術的土台となっている。