大量データの高速リアルタイム処理を実現するデータ処理ミドルウェア
ストリームデータ処理基盤製品『uCosminexus Stream Data Platform』
日立製作所はSOAプラットフォーム「Cosminexus(コズミネクサス)V8」で「ストリームデータ処理基盤製品『uCosminexus Stream Data Platform』」の提供を開始した。uCosminexus Stream Data Platformは従来のRDBシステムとは異なり、分析シナリオを記述したクエリをあらかじめ登録しておき、データが入力された時点で即座にクエリを実行して結果を出力することで、大量データのリアルタイム処理を可能にする。本稿では、その技術や適用例について紹介する。
高まるリアルタイム処理のニーズ
近年、電子マネーやICカードによる電子決済、RFIDを利用した物流管理など、さまざまなデータソースから多様な実世界の情報がリアルタイムに情報システムに流れ込んでおり、企業で扱われるデータ量は飛躍的に増大している。
こうした中、企業には時々刻々と発生する実世界の情報をリアルタイムに集計/分析し、それを使って迅速な意思決定を行なうことが求められている。しかしながら、従来のデータ処理方式では、性能やコストなど多くの面で対応できなくなってきている。
RFID(Radio Frequency-Identification:無線自動認識)とは、無線ICチップなどを用いて人や物を認識する非接触型の自動認識技術。
そこで、現在注目されているのが「ストリームデータ処理」と呼ばれる新たな技術である。
現在、多くの企業で採用されているデータ処理方式では、分析する情報をいったんデータベースに格納した後、バッチ処理などで一括して集計/分析を行なう。そのため、情報の発生から集計/分析までにタイムラグが生じるという問題があった。
これに対して、ストリームデータ処理では、あらかじめ情報分析のシナリオを登録しておき、情報発生時のリアルタイムな集計/分析を実現する。このように、実世界の情報をリアルタイムに集計/分析できれば、迅速な意思決定につながり、企業のビジネスチャンスに活かせるようになる。
リアルタイムな処理が必要とされる業種にはどんなものが挙げられるだろうか。例えば、金融分野では、株価や株の出来高をリアルタイムに分析し、自動的に株式売買注文のタイミングや数量を決めて注文を行なうアルゴリズムトレードが挙げられる。また、流通分野におけるPOSデータをリアルタイムで監視し、必要なときに必要なモノを必要な場所に届けるSCMシステム、さらに交通分野では、GPS端末のセンサー情報を利用したリアルタイム位置情報監視による渋滞検知などがある。ストリームデータ処理は、これらの業種に適用可能である。
こうした背景から、日立製作所はSOAプラットフォーム「Cosminexus V8」において、リアルタイムな状況監視や意思決定を実現するストリームデータ処理基盤「uCosminexus StreamData Platform」を開発した。
リアルタイムな処理により生まれるストリームデータ処理の可能性
uCosminexus Stream Data Platformでは大量データを高速に処理するために、先に述べた「ストリームデータ処理技術」と「インメモリデータ処理技術」の2つ処理方式を採用している。
「インメモリデータ処理技術」とは、システムで使用するデータをすべてメモリ上で処理する技術である。ハードディスクなどの外部記憶装置とのアクセスに要する時間を大幅に削減できるため、高速なデータ処理を実現する。
uCosminexus Stream Data Platform を情報システムに適用すれば、大量のデータから実世界の現状を分析できる。また実世界の情報をリアルタイムに処理することで、今まで不可能であった新たな価値を創造できるようになる(図1)。
この記事は参考になりましたか?
- DB Magazineスペシャル連載記事一覧
-
- SPSSの追加で予測分析が可能に~IBM Information OnDemand 200...
- 大量データの高速リアルタイム処理を実現するデータ処理ミドルウェア
- 本格的なフロントエンドツールとして一段と進化したExcel 2007の実力 Part2
- この記事の著者
-
この記事は参考になりましたか?
この記事をシェア