HPC界レジェンド「AIインフラで真っ先に限界を迎えるのは“メタデータ処理”」NetAppが出した解

DataPelago買収がもたらす効果　「データ移動のムダ」を排除

　また、NetAppがDataPelago（データ・ペラゴ）を買収した点も、今回のイベントでは大々的にアピールされた。NetAppの独立子会社となった同社の技術は、企業のデータ活用や生成AIパイプライン構築が加速する中で多くのITインフラ責任者を悩ませている「データ転送コスト」と「セキュリティガバナンス」のトレードオフに対する解決策となる。

　分析やAI処理のために、ストレージに保管されたデータをクラウド上のデータレイクハウスや外部プラットフォームへ移送・コピーする作業は、莫大な通信コストと二重のストレージ費用を発生させるだけでなく、安全な保護境界からデータが流出するリスクをともなう。DataPelagoで創業者兼CEOを務めるラジャン・ゴヤル（Rajan Goyal）氏は、この構造的課題に対して「データを外へ動かすことなく、データが存在するストレージのすぐ近くに処理側を持ち込む」というアプローチを提示する。

　ゴヤル氏は、自社の技術コンセプトを「車とエンジン」にたとえて説明する。企業でエンジニアが日常的に使っているApache SparkやPyTorch、Trino、Python、SQLといったデータ処理・分析ツール群は、使い慣れた「車」にあたる。しかし、これらはCPU中心で構造化データを扱う旧来の時代に設計されたものであり、近年の多様なハードウェア進化や非構造化データの急増といった変化には最適化しきれない。

　そこでDataPelagoは、ユーザーに使い慣れた「車（コードやアプリケーション）」を諦めさせて新しいプラットフォームへ移行させるのではなく、その下で動作する高性能なモジュール型処理エンジン「Nucleus（ニュークリアス）」を開発した。Kubernetes上のコンテナやプラグインとしてデプロイされるNucleusは、ユーザーが組んだコードやエコシステムを破壊することなく、下層の最新ハードウェア能力を引き出して処理を分散加速させる。

　このアプローチがもたらす最大の技術的アドバンテージは、「データの無駄な移動を排除できる点」にある。従来、NetAppストレージ内部にある企業の重要データを処理するためには、DatabricksやSnowflakeといった外部環境へデータをコピーして移送せざるを得なかった。それが、DataPelagoの技術を適用することで、ストレージ内のデータはそのままの状態で、ストレージのすぐ傍らで直接クエリ処理やデータ抽出、集計などの前処理を完結させ、結果となるインサイトだけを呼び出すことが可能になる。

　これにより、データ移送にともなう莫大なネットワークオーバーヘッドと二重のインフラコストが解消されるだけでなく、データが外部へ漏洩するリスクやガバナンスの形骸化を抑え込める。既存のIntelやAMDといったCPU資産をそのまま活かして高速処理を実現できるほか、最新のGPU環境が配備されている場合はその計算資源をデータ処理へ再利用して更なる効率化を図ることも可能だ。

　「これまでは『セキュリティのためにデータを閉じ込めるか』『ビジネスのためにリスクを負ってデータを外へ切り出すか』という苦しい二者択一を迫られていました。データを安全なストレージ領域にとどめたまま直接処理を走らせるこのアーキテクチャにより、IT管理者はインフラの維持管理にとどまらず、企業資産であるデータ全体のガバナンスと価値創出をコントロールできるようになります」（ゴヤル氏）