HPC界レジェンド「AIインフラで真っ先に限界を迎えるのは“メタデータ処理”」NetAppが出した解

「AIファクトリー」のボトルネックはメタデータにある

　「NetApp INSIGHT 2026」では、数々の製品アップデートが発表された。その様子は下記ニュース記事でも紹介している。

　今回のイベントで最大のハイライトとなったのが、AIファクトリー向けにゼロから設計された新世代ファイルシステム「NetApp Novus（以下、Novus）」の発表だ。Novusは単一のネームスペースにおいて業界初・世界最高速となる毎秒100テラバイトの入出力（I/O）スループットを実現するファイルシステム。オープン標準規格である「pNFS Lattice」を採用し、メタデータ管理面とデータ転送面を物理的に分離する新構造を備えている。

　生成AIの普及にともない、数万基規模のGPUを並列稼働させる「AIファクトリー」の構築が加速している。しかし、莫大なコストを投じて計算資源を用意しても、ストレージ側がデータを供給しきれずにGPUを持て余してしまう「GPU飢餓（Data Starvation）」が企業の大きな課題となっている。この難題に対する同社の回答がNovusだ。

　イベントの基調講演では、ロスアラモス国立研究所（Los Alamos National Lab）で約600万コア・1兆個のファイルを運用し、HPC界のレジェンドと称されるゲイリー・グライダー（Gary Grider）氏が登壇。AIファクトリー時代におけるストレージインフラの構造的課題と、Novusの根幹を支える技術革新が語られた。

　グライダー氏は、過去30年間のストレージ設計を「平均的なユースケースに合わせてシステムを設計し、ピークに合わせてハードウェアを購入してきた」と振り返る。しかし、AIファクトリーの規模においてはすべてのジョブがピークとなり、それらが同時に発生して重なり合う。長時間の計算後に一括して大規模データを書き出す従来のHPC環境とは異なり、AI環境では大規模なランダム読み込み、定期的かつ大量のチェックポイント書き込み、そしてリアルタイム性が求められる低遅延な推論処理が同時並行かつ定常的に発生する。

　こうした高負荷かつ多様なワークロードが混在する環境下で真っ先に限界を迎えるのは、データ転送帯域そのものではなく、ファイル位置や属性情報を管理する「メタデータ処理」だとグライダー氏は指摘する。

　単にデータとメタデータを物理的に分離する従来のスケールアウト手法では、高度な並行処理には耐えられない。そこで、ロスアラモス国立研究所などが主導して取り組んだ新たなアプローチが、pNFS向けのオープンソース並列ファイルシステム・メタデータサーバープロジェクト「pNFS Lattice」だ。

　pNFS Latticeの最大の特徴は、モノリシックになりがちだったメタデータサービス自体を帯域、インサート、クエリなどの構成要素へと分解した点にある。これにより、アクセスが集中した特定コンポーネントのみを独立かつ動的にスケールアウトさせることが可能となった。さらにサービスを分解したことで、分散キーバリューストア（分散KVS）やRDMA共有メモリといった多様なオープンコミュニティの技術知見を柔軟に取り込めるメリットも生まれている。

　Novusは、このpNFS Latticeのアーキテクチャを取り入れつつ、長年実績のあるONTAP基盤上で動作させることで、超大規模環境における高い拡張性と信頼性を実現しているという。

　また、超大規模環境のインフラ構築において、アーキテクトが最も見落としがちなポイントについてグライダー氏は、「QoS（サービス品質保証）の維持だ」と語る。常にどこかで障害が発生しているような超大規模環境においては、障害はトラブルの「イベント」ではなく「日常の条件」となる。人間を相手にする低遅延な推論処理などを同時に走らせるAIファクトリーでは、高負荷時や障害発生時であっても特定のI/O処理にレイテンシを生じさせない強力なQoS制御が実運用の成否を分けることになる。

　そのほか、AI時代のインフラ構築において多くのIT部門を悩ませているのが、既存のストレージ投資との分断や二重投資の問題だろう。この点について、NetAppのCPOであるシャム・ナイル（Syam Nair）氏は、同社のプラットフォーム思想から解を語る。

　新しいAI技術が登場したからといって、顧客に対して既存の投資（オールフラッシュアレイ「AFF A90」など）を捨てさせて全入れ替え（Rip and Replace）を迫るようなアプローチは取らない。Novusのような最新機能も、既存顧客が運用するONTAP基盤の上にシームレスに組み込み、必要なスケールに応じて拡張できるように提供していく方針だ。

　メタデータが独立して動的に拡張可能になることで、今後は従来Hadoopなどで行われていた分析処理をストレージ側へ押し込む「アナリティクス・プッシュダウン」や、物理フォーマットにとらわれない「仮想化フォーマット」、さらには「仮想データレイクハウス」の実現へとつながっていく。メタデータを単なる管理情報から“ナレッジ”へと昇華させ、既存のインフラ資産を守りながらAI時代の基盤へと進化させるNovusの登場は、実運用とコストの板挟みという課題に対する一手となりうるかもしれない。