大量の実世界データから「今」を分析する ― ストリームデータ処理の可能性

なぜストリームデータ処理に注目しなければならないのか

　情報爆発時代が到来し、企業のIT 基盤を支えるにはIT 機器やソフトウェアの性能を桁違いに向上させなければならない時代になっている。そのためのソリューションは複数登場してきている。例えば、インメモリデータ処理、クラウドコンピューティングなどである。ここで紹介するのは、新しいデータ処理アーキテクチャである「ストリームデータ処理」だ。

　旧来のデータ処理アーキテクチャでは、データをデータベースにストック（蓄積）してから、集計・分析などを行っていた。この場合、データ処理は一括処理が基本となり、データをデータベースに保存する機能が必須となっていた。

　だが、現在ではデータが発生するたびに逐次、データを集計・分析する機能が求められている。例えば、インターネットでの取引データや小売店舗でのPOSデータなど、リアルタイムでの分析が求められている。このように随時発生する大量のフローデータの取扱いを可能にするデータ処理方式が「ストリームデータ処理」である。

講演者：
株式会社日立製作所 中央研究所
情報システム研究センタ プラットフォームシステム研究部
主任研究員 工学博士 西澤格氏

高速に動作し、アプリケーション開発も容易

　最近では、データベースをメモリ上に展開して利用する方式も注目されている。この仕組みをストリームデータ処理と組み合わせて使用すれば、処理の高速化を図ることが可能だ。

　ストリームは、データが到着時刻順に並んだ時系列データである。例えば、株価情報、IC タグデータ情報などが代表的だ。ストリームの性質とリレーショナルデータベースの関係代数（選択、射影、結合、集合演算など）を組み合わせれば、データをリアルタイム処理することも可能になる。

　ストリームデータを操作するためのクエリ言語は「CQL（Continuous Query Language）」と呼ばれ、SQLと似た構造を持っているため、アプリケーション開発も容易だ。特徴的なのは、時間軸を組み込んだデータ処理モデルを提供している点だ。かつて、「時系列データベース」と呼ばれる製品も存在したが、それらの製品よりも時間の取扱いがスマートになっている。

　BI（ビジネスインテリジェンス）の観点からもアドバンテージがある。これまで基盤システム上で情報系のプログラムを変更するには、何ステップもの操作が必要だったが、CQLを使えばわずかなコード変更で分析処理を変更できる。このようなシナリオ変更が容易に行えるのは、アプリケーションレスというCQLの特徴による。業務アプリケーションには、クエリを埋め込むだけでよい。

ストリームデータ処理の概要と特徴

ストリーム処理を実現する　uCosminexus Stream Data Platform

　ストリームデータ処理により、大量に発生する業務データの中から重要なデータや、今後の変革の兆しとなるようなデータを素早く抽出できるようになる。最新のデータを集計・分析可能になれば、金融取引など1秒を争う取引でも多額の損害を被らずにすむようになる。

　uCosminexus Stream Data Platform を使えば、このようなストリームデータ処理基盤を容易に構築でき、戦略的意思決定を的確に下すことも可能になる。