なぜ「リアルタイム分析」は広がらなかったのか　技術よりも根深い、“組織の壁”

「誰のデータか」 技術よりも根深い“組織の壁”、CDOの必要性とは

　実際のプロジェクトでは、技術よりも“組織の調整”に時間を要することが少なくありません。

　たとえば、「このデータは存在しない」と言われていた情報が、実際には別部門で管理されていたことは往々にしてあります。つまり、問題はデータがないことではなく、どこにあるか分からず、管理者が異なり、利用ルールも整備されていないことです。

　また、「このデータをAIで利用してよいのか」「品質を誰が保証するのか」「更新責任はどの部門が負うのか」といった議論になると、技術だけでは解決できません。私自身も、AIシステムの実装よりも、こうしたデータ利用における合意形成に長期間を要したプロジェクトを何度も経験しています。

　事実、データ活用が進んでいる企業には共通点があります。それは、CDO（Chief Data Officer）やそれに準ずるリーダーが存在していることです。

　データを企業全体の資産として捉え、組織横断で活用を推進する責任者がいる企業では、データ活用が進みやすい傾向があります。また、その方針に基づいてタスクフォースや専門組織が構築されているケースも少なくありません。

　一方、そうした組織体制を整備することは容易ではありません。新しい組織を立ち上げることは大きな変革であり、それを推進できるリーダーシップも必要になります。

　データ活用が進まない理由を技術に求める声は少なくありませんが、実際には「組織変革」こそが最も大きな課題となるケースも多いのです。

マルチクラウド時代に生じた、新たな課題

　近年、クラウドの普及によって、データ環境はさらに複雑になっています。

　営業システムはSaaS、分析基盤はクラウド、基幹システムはオンプレミス、AI基盤はGPUクラウドという構成は、現在では決して珍しくありません。個々の選択は合理的です。しかし、俯瞰してみるとデータは複数の環境へ分散しており、それぞれ異なる更新タイミングやアクセス方法で管理されています。

　こうした状況を見ると、「クラウドによってデータが分散した」と考えられがちですが、本質はそこではありません。クラウドそのものが問題なのではなく、これまで企業が進めてきた部門最適化が続いていることにあります。

　それぞれの部門が自らの業務要件やコスト、機能を基準に最適なクラウドサービスやSaaSを選択した結果、個々のシステムとしては合理的である一方、企業全体として見たときにはデータが複数の環境へ分散しているのです。

　お客様の環境を拝見していても、「クラウドへ移行したのにデータ統合は以前より難しくなった」という声を耳にすることは少なくありません。データは存在しているものの、それぞれ異なるクラウドやSaaS、オンプレミス環境で管理されるため、更新タイミングやアクセス方法も異なります。

　その結果、必要なデータをリアルタイムで横断的に利用することが難しくなっています。オンプレミス、複数のパブリッククラウド、そして無数のSaaSが混在する「ヘテロジニアス（異種混在）な環境」において、データを安全かつ鮮度を保ったまま流通させるパイプライン（仕組み）が不在だからです。Clouderaが実施した『データレディネス・インデックス調査』でも、日本企業の45％がデータサイロ化をデータ活用の主要な障壁として挙げています。

なぜ「リアルタイム分析」は広がらなかったのか

　リアルタイム分析という考え方そのものは、新しいものではありません。ストリーミングデータ処理やリアルタイム分析の技術は以前から存在し、金融業や通信業などのリアルタイム性が求められる分野では長年活用されてきました。

　それにもかかわらず、限定的な活用にとどまっていた理由の一つは、「リアルタイム分析は難しい」というイメージです。多くの企業は、リアルタイム分析には高度なプログラミングが必要で、運用負荷も高いと考えています。

　しかし、近年は状況が大きく変わっています。

　データ処理技術の進化によって、リアルタイム処理の実装や運用は、以前よりもはるかに容易になっています。分析処理はSQLベースで記述できるケースが増え、従来ほど専門的な知識を必要としなくなりました。

　つまり、現在の課題は技術的な難しさというよりも、「難しそうだ」という心理的なハードルにあると言えるかもしれません。