AIで高まる「データ・イン・モーション」の重要性 データ基盤構築に欠かせない3つの視点と設計思想
第3回:リアルタイムデータ基盤はどう設計すべきか 論理統合とデータ・イン・モーションの実践
統合型プラットフォームと「データ・イン・モーション」は両立できる
ここで誤解してはいけないのは、統合型プラットフォームとデータ・イン・モーションのどちらか一方を選ぶ、という考え方ではないということです。
統合型プラットフォームで重視しているものは、データガバナンスやメタデータ管理、セキュリティ、アクセス制御といった「データをどのように管理するか」という視点です。一方、データ・イン・モーションが重視しているものは、分散したデータをどのように流通させ、リアルタイムに処理・活用するかという「データをどのように動かすか」という視点です。
つまり、両者は異なる課題を解決するアプローチであり、競合するものではありません。
実際、多くの企業では両者を組み合わせたアーキテクチャを採用しています。たとえば、メタデータやガバナンスは全社で統一的に管理しながら、データそのものはオンプレミスやクラウドなど、最適な場所に保持したまま、必要なタイミングでリアルタイムに連携・処理するという構成です。
AI時代に重要なことは、論理的に統合されたガバナンスの下でデータを適切に管理しながら、データを必要以上に移動させず、必要な場所で、必要なタイミングで活用できる仕組みを構築することです。
AI時代のデータ基盤 必要となる「3つの視点」
では、こうしたアーキテクチャを実際に設計する際には、どのような点を重視すべきでしょうか。実際のプロジェクトでは、私は3つの観点を重視しています。
第一に、「ガバナンスとアジリティのトレードオフをどのように解消するか」という視点です。
従来のデータ基盤では、「IT部門による厳格なガバナンス」と「現場による迅速なデータ活用のアジリティ」はトレードオフの関係にありました。すべてをIT部門の承認制にすると、現場が生成AIやAIエージェントを試すまでに数ヵ月かかり、活用のスピードが落ちてしまいます。一方で、現場利用を自由にしすぎれば、データ漏えいやサイロ化というガバナンス崩壊を招きます。
AI時代のデータ基盤には、制限をかける「壁」を作るのではなく、安全にスピードを出せる「ガードレール」を敷く設計が求められます。「基幹データのアクセス権限や個人情報の保護ルールはデータ基盤側で一元的かつ自動的に制御しつつ、現場では申請なしで即座にAI実験やデータ分析を行える」といった、アーキテクチャレベルでの役割分担を定義することが重要です。
第二に、「データ遅延がもたらすビジネスインパクトの明確化」です。
すべてのデータをリアルタイム化することは、コストの観点からも現実的ではありません。重要なことは、レイテンシーが業務成果にどう直結するかを見極めることです。ミリ秒〜秒単位の遅延が致命的となる異常検知や不正利用対策、レコメンドなどはリアルタイム化するように重点投資する。一方、月次・日次の集計で十分な業務は従来のバッチ処理にとどめるなど、投資対効果を見極めた整理が必要です。
そして、第三に「技術の陳腐化を前提とした、変化への適応力」です。
AIモデルやクラウドサービスは目覚ましいスピードで進化しており、現在最適な構成が1〜2年後には過去のものになる可能性があります。だからこそ、特定ベンダーの独自仕様に強くロックインされる構造は避けるべきです。オープンなデータフォーマットや標準規格を採用し、「コアとなるデータ基盤を変えず、新しいAIモデルや分析ツールをいつでもプラグインして切り替えられる柔軟性」を残しておくことが、データ基盤の寿命を大きく左右します。
データ基盤は、数年単位で利用されるものです。そのため、現在の最適解だけではなく、将来の選択肢を残しておくことも重要な設計要件になります。
AI時代だからこそ重要になる「データ主権」
ここで忘れてはならないのが「データ主権」という考え方です。
現在、多くの企業がオンプレミス、複数のクラウド、SaaSなど、さまざまな環境にデータを分散管理しています。また、AIの活用が広がるにつれて、社内データをAIへどのように提供し、利用させるかも重要な課題になっています。
その中で企業に求められることは、自社のデータがどこに保管され、どのような法的・セキュリティ要件の下で管理され、誰が利用できるのかを自社が「主体的に統制できる」状態を維持することです。これが、AI時代におけるデータ主権の重要な考え方です。
データを必要以上に移動させず、データが存在する場所で処理や推論を実行するアプローチは、リアルタイム性やコストの面だけでなく、こうしたデータ主権を維持しやすいという点でも大きな意味があります。
AIモデルについても同様に、特定のサービスやベンダーへ過度に依存しないことが重要です。より優れたクローズドモデルやオープンウェイトモデルが登場した際に、自社の要件に応じて柔軟に選択・切り替えられる状態を維持することは、「モデル主権」の観点から重要になります。
データ主権とモデル主権の双方を維持するためには、特定ベンダーへのロックインを避け、相互運用性や拡張性を備えたアーキテクチャを採用することが欠かせません。その観点から、オープンソース技術の採用は今後さらに重要になるでしょう。
この記事は参考になりましたか?
- なぜ企業のAIはリアルタイムに動かないのか? データ基盤の構造課題を解き明かす連載記事一覧
-
- AIで高まる「データ・イン・モーション」の重要性 データ基盤構築に欠かせない3つの視点と設...
- なぜ「リアルタイム分析」は広がらなかったのか 技術よりも根深い、“組織の壁”
- なぜ生成AI/AIエージェントのPoCは成功しても業務で使われないのか? 顕在化してきた課...
- この記事の著者
-
吉田 栄信(ヨシダ エイシン)
Cloudera株式会社 ソリューションズ エンジニアリング マネージャークラウド、ビッグデータ、データガバナンス、PaaS、Webアプリケーションなどの分野で、アーキテクチャ設計や実装に携わってきたソリューションエンジニア。2019年6月にCloudera株式会社へ入社。入社以前は、DXCテクノロ...
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか?
この記事をシェア
