大量データの高速リアルタイム処理を実現するデータ処理ミドルウェア

高まるリアルタイム処理のニーズ

　近年、電子マネーやICカードによる電子決済、RFIDを利用した物流管理など、さまざまなデータソースから多様な実世界の情報がリアルタイムに情報システムに流れ込んでおり、企業で扱われるデータ量は飛躍的に増大している。

　こうした中、企業には時々刻々と発生する実世界の情報をリアルタイムに集計／分析し、それを使って迅速な意思決定を行なうことが求められている。しかしながら、従来のデータ処理方式では、性能やコストなど多くの面で対応できなくなってきている。

　そこで、現在注目されているのが「ストリームデータ処理」と呼ばれる新たな技術である。

　現在、多くの企業で採用されているデータ処理方式では、分析する情報をいったんデータベースに格納した後、バッチ処理などで一括して集計／分析を行なう。そのため、情報の発生から集計／分析までにタイムラグが生じるという問題があった。

　これに対して、ストリームデータ処理では、あらかじめ情報分析のシナリオを登録しておき、情報発生時のリアルタイムな集計／分析を実現する。このように、実世界の情報をリアルタイムに集計／分析できれば、迅速な意思決定につながり、企業のビジネスチャンスに活かせるようになる。

　リアルタイムな処理が必要とされる業種にはどんなものが挙げられるだろうか。例えば、金融分野では、株価や株の出来高をリアルタイムに分析し、自動的に株式売買注文のタイミングや数量を決めて注文を行なうアルゴリズムトレードが挙げられる。また、流通分野におけるPOSデータをリアルタイムで監視し、必要なときに必要なモノを必要な場所に届けるSCMシステム、さらに交通分野では、GPS端末のセンサー情報を利用したリアルタイム位置情報監視による渋滞検知などがある。ストリームデータ処理は、これらの業種に適用可能である。

　こうした背景から、日立製作所はSOAプラットフォーム「Cosminexus V8」において、リアルタイムな状況監視や意思決定を実現するストリームデータ処理基盤「uCosminexus StreamData Platform」を開発した。

リアルタイムな処理により生まれるストリームデータ処理の可能性

　uCosminexus Stream Data Platformでは大量データを高速に処理するために、先に述べた「ストリームデータ処理技術」と「インメモリデータ処理技術」の2つ処理方式を採用している。

　「インメモリデータ処理技術」とは、システムで使用するデータをすべてメモリ上で処理する技術である。ハードディスクなどの外部記憶装置とのアクセスに要する時間を大幅に削減できるため、高速なデータ処理を実現する。

　uCosminexus Stream Data Platform を情報システムに適用すれば、大量のデータから実世界の現状を分析できる。また実世界の情報をリアルタイムに処理することで、今まで不可能であった新たな価値を創造できるようになる（図1）。

図1：大量のデータから“今”を分析するストリームデータ処理