AI活用の成否は「データ品質」で決まる　成果を生むためのインフラ戦略

AI時代のデータを取り巻く課題　解決の鍵は「データ品質」にあり

　AIの急速な進化にともない、データを取り巻く状況は劇的に変化している。AIに投資しているリーダーの97％がROI（投資対効果）を黒字化^[1]していることからも、AIの活用が経営に直結することがわかるだろう。その中、データの爆発的な増加にともない「非構造化データ」の増加が新たな課題となっている。IDCの予測^[2]によれば、2028年までにエンタープライズデータの78％が非構造化データになるとされるが、組織の67％はデータをリアルタイムでインサイトに変えられていない。

　デル・テクノロジーズの安井謙治氏は、AI需要の高まりとともにデータがよりサイロ化していると指摘。データがサイロ化することで、データ品質の問題や（ダークデータ増加にともなう）アクセスの困難さが増し、使いたいデータをすぐに見つけられない。その結果、限られたデータを使って実施するAI活用のPoCは成功しても、本番環境にAIを適用しても成果に結びつかないと説明する。

　AI時代において、企業が競争を勝ち抜くためには「データ品質」こそが成功の鍵となる。AIツールの有効性はデータセットの質にかかっており、モデルとコードを中心とするのではなく、“データ重視”のアプローチへの移行が不可欠だ。安井氏は、データはAIという名のロケットを打ち上げるための「燃料」に例えられると説明し、「クリーンで高品質なデータ（燃料）さえそろっていれば、モデルが日々進化してどれだけ変わったとしても、すぐに新たなモデルに適用でき、再びロケット（AI）を高く打ち上げられる」と述べた。

課題解消の土台に「オープン」「フレキシブル」「セキュア」の3本柱

　では、どのように「データの価値」を最大限に引き出すべきか。たとえば、安井氏が所属するデル・テクノロジーズでは、「Dell AI Data Platform」による課題解消を提案している。このDell AI Data Platformは、オンプレミスやクラウド、エッジなどに散在するデータを統合的に管理するためのプラットフォーム。AIだけでなく、BIなどの分析基盤としても利用できる。

　最大の特色は、「オープン」「フレキシブル」「セキュア」という、3つのコンセプトに基づいた主要コンポーネント（「データエンジン」「ストレージエンジン」「ガバナンス／セキュリティ（サイバーレジリエンス）」）で構成されている点だ。

　業界標準技術の採用、多様なデータソースを統合できるオープン性。構造化／非構造化データの対応、モジュール型アーキテクチャによる高い拡張性。そして、アクセスコントロールやデータ暗号化、脅威検知などで安全性を確保している。

　特にデータ処理の心臓部であるデータエンジンは、AIのために“複雑なデータ”を大規模に保存・管理・保護するもので、Apache SparkやIcebergなどに対応。オープンソース基盤を構築・維持する際に発生する、バージョン管理やパッチ当てといった手間を専用コンソールによるマネージドアップグレードやクラスタ監視機能によって軽減でき、大幅な管理工数の削減を図れる。

　なお、データエンジン自体は「Data Processing Engine」「Data Query Engine」「Data Search Engine」（近日リリース予定）から構成されており、Processing EngineはApache Sparkを基盤にETLや機械学習の処理を実行し、Trinoの商用版を実装したQuery EngineによってSQLクエリを提供。また、ElasticsearchをベースとしたSearch Engineがベクトル検索や全文検索など、非構造化データの検索を担う。また、GPUの搭載も可能なため、NVIDIA「RAPIDS」などによるデータ処理の高速化にも期待できる。

　たとえば、Pythonを利用したいデータサイエンティストや機械学習エンジニアは、SparkベースのProcessing Engine、SQLを用いるデータアナリストはQuery Engineと、目的に応じて使い分けることが可能だ。

　多様なデータソース（センサー、画像、ERPログなど）を有する製造業などでは、Processing EngineやQuery Engineがデータ結合やエンリッチといった中間処理を担い、最終的に予知保全や画像欠陥検出、アラート要約などの予測検知型のAIアプリケーション、BIダッシュボードなどを構築できる。