大量の実世界データから「今」を分析する ― ストリームデータ処理の可能性
HITACHI Open Middleware World 2008 Autumn Cosminexus Dayレポート
これまでビジネスデータ処理の高速化といったニーズには、IT 技術の発達によって応えてきた。だが、いまやビジネスで扱うデータは爆発的に増えてきており、その分析内容も高度かつ多彩で、既存のデータ処理方式では限界があることもわかってきた。そこで新たに登場したのが、ストリームデータ処理基盤と呼ばれるデータ処理方式である。
なぜストリームデータ処理に注目しなければならないのか
情報爆発時代が到来し、企業のIT 基盤を支えるにはIT 機器やソフトウェアの性能を桁違いに向上させなければならない時代になっている。そのためのソリューションは複数登場してきている。例えば、インメモリデータ処理、クラウドコンピューティングなどである。ここで紹介するのは、新しいデータ処理アーキテクチャである「ストリームデータ処理」だ。
旧来のデータ処理アーキテクチャでは、データをデータベースにストック(蓄積)してから、集計・分析などを行っていた。この場合、データ処理は一括処理が基本となり、データをデータベースに保存する機能が必須となっていた。
だが、現在ではデータが発生するたびに逐次、データを集計・分析する機能が求められている。例えば、インターネットでの取引データや小売店舗でのPOSデータなど、リアルタイムでの分析が求められている。このように随時発生する大量のフローデータの取扱いを可能にするデータ処理方式が「ストリームデータ処理」である。
株式会社日立製作所 中央研究所
情報システム研究センタ プラットフォームシステム研究部
主任研究員 工学博士 西澤格氏

高速に動作し、アプリケーション開発も容易
最近では、データベースをメモリ上に展開して利用する方式も注目されている。この仕組みをストリームデータ処理と組み合わせて使用すれば、処理の高速化を図ることが可能だ。
ストリームは、データが到着時刻順に並んだ時系列データである。例えば、株価情報、IC タグデータ情報などが代表的だ。ストリームの性質とリレーショナルデータベースの関係代数(選択、射影、結合、集合演算など)を組み合わせれば、データをリアルタイム処理することも可能になる。
ストリームデータを操作するためのクエリ言語は「CQL(Continuous Query Language)」と呼ばれ、SQLと似た構造を持っているため、アプリケーション開発も容易だ。特徴的なのは、時間軸を組み込んだデータ処理モデルを提供している点だ。かつて、「時系列データベース」と呼ばれる製品も存在したが、それらの製品よりも時間の取扱いがスマートになっている。
BI(ビジネスインテリジェンス)の観点からもアドバンテージがある。これまで基盤システム上で情報系のプログラムを変更するには、何ステップもの操作が必要だったが、CQLを使えばわずかなコード変更で分析処理を変更できる。このようなシナリオ変更が容易に行えるのは、アプリケーションレスというCQLの特徴による。業務アプリケーションには、クエリを埋め込むだけでよい。
ストリーム処理を実現する uCosminexus Stream Data Platform
ストリームデータ処理により、大量に発生する業務データの中から重要なデータや、今後の変革の兆しとなるようなデータを素早く抽出できるようになる。最新のデータを集計・分析可能になれば、金融取引など1秒を争う取引でも多額の損害を被らずにすむようになる。
uCosminexus Stream Data Platform を使えば、このようなストリームデータ処理基盤を容易に構築でき、戦略的意思決定を的確に下すことも可能になる。
この記事は参考になりましたか?
- この記事の著者
-
EnterpriseZine編集部(エンタープライズジン ヘンシュウブ)
「EnterpriseZine」(エンタープライズジン)は、翔泳社が運営する企業のIT活用とビジネス成長を支援するITリーダー向け専門メディアです。データテクノロジー/情報セキュリティの最新動向を中心に、企業ITに関する多様な情報をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか?
この記事をシェア