IcebergでClouderaはさらに輝く
──「Apache Iceberg」についてお聞きします。SnowflakeがIcebergをサポートし、DatabricksはIcebergの創始者が起業したTabularを買収しました。ClouderaもIcebergをサポートしていますが、差別化や強みはどこにあるのでしょうか。
Icebergはオープンなフォーマットであり、Clouderaでは当初からサポートしてきました。Icebergの素晴らしいところは、オープンなテーブルフォーマットであり、「古いシステムと新しいシステムを共存させたい」というニーズを満たす点です。Clouderaにおいては、さまざまなサービスを結びつけることに役立てています。
このような特徴からIcebergの採用は増えています。たとえば、Databricksは「Delta Lake」よりも（Icebergの）採用が進んでいるため、Tabularを買収することで、“Icebergのブレイン”を手に入れたという状況でしょう。
CPOとしての私の役割は、ユーザーに選択肢を提供することです。Icebergの特徴は、Clouderaの方向性にフィットしているため、単に対応しているというレベルではなく、しっかりとサポートしていきます。具体的には、Icebergの利用を広げるための水平展開、サポートのレベルを深めるための垂直展開、その両方を進めています。
──では、「AI」はClouderaのビジネス、製品開発にどのような影響を与えていますか。
まずは、ビジネスへの影響から説明しましょう。
そもそも、AIは「複雑化」を招いており、Clouderaが選ばれる理由にもなっています。たとえば、コミュニティによるAIモデルはもちろん、クローズドであったり、自社開発であったりしてもClouderaでは対応可能です。最近増えているのは、非公開のAIモデルを構築・運用するという事例です。これは、オープンなAIモデルをチューニングすることで、「プロプライエタリAI」としてClouderaでホスティングするというもので、Clouderaが顧客のAIモデルを見ることはありません。つまり、AIモデルをクラウド環境でしかトレーニングできない場合は高額になってしまいますが、ハイブリッドデータプラットフォーム上に構築することで、プライベート環境で安価にトレーニングできるということです。まさに、AIは我々のCDPを後押ししている状況だと言えるでしょう。
また、製品への影響については、大きく2つ挙げられます。
1つ目は「自動化」。ソフトウェア開発、テスト、ビルド、デリバリーなど、あらゆる定型的なタスクを自動化しており、AIによる影響の約7割が自動化にかかわる部分で出てきています。
2つ目は「価値の増幅」。ここに残り約3割の影響があり、すぐに感じることはできない種類のものです。たとえば、銀行における不正検知。前週に3回検出したアラートの種類が2種類だった場合、AIは一見バラバラに見えるデータを関連付けることで、次週の不正行動を予測できます。これは、統計を活用した予測分析（Predictive Analytics）ではなく、時系列を活用する予測（Forecasting）です。
このとき、我々はNVIDIAと業務提携を行っているため、NVIDIAの推論技術を活用しています。もちろん、AMDやIntelなどもサポートしており、CDPが中間の接続部分を担うことで、AWSなどのハイパースケーラーとも連携可能です。
[画像クリックで拡大]
加えて、生成AIはClouderaの製品品質と精度の改善にも役立っています。テストスピードを高速化でき、回数を重ねるたびにテストそのものの品質が高くなり、精度改善につながっているのです。
おそらく、3年もしないうちに生成AIをソフトウェア品質改善担当のインターンとして採用するでしょう。5年もしないうちに、この分野にかけては博士号をもつ人間の脳を上回る勢いだとも感じます。もちろん、機械は学習したことしかできませんが、人間には直感があり発想することができるため、変わらずに必要です。
エンタープライズはリアルタイムから「イベント駆動型」へ
──最後に、今後のロードマップについて教えてください。
今後2～3年の計画として、データレベルではナレッジグラフのサポート、大規模データセットのビジュアライゼーション（Hyperbolic Treeなど）の強化を考えています。また、メタレベルでは、カタログ機能の高度化を進めますし、セマンティックレイヤーも提供します。これにより、既存資産と新規の資産をマッピングすることが容易になるでしょう。さらにインフラレベルでは、Kubernetesコンテナのサポートを強化し、高度なコンテナ環境での利用を促進していきます。
現在のエンタープライズは「リアルタイムシステム」といえますが、将来的には「イベントドリブン」なシステムに移り変わるでしょう。そこに向けて、Clouderaでは最善の技術を提供する準備も進めています。
