ビッグデータとひとことで言っても、その処理要件はさまざま。たとえば、過去の売り上げ動向から新たな市場を見つけたければ、蓄積した膨大な取引データに地域や外部要因情報などを併せ、相関関係を導き出し予測するだろう。一方、各種センサーを利用して、それらから得られるデータをリアルタイム処理し素早く判断する要件もある。米国最大規模の鉄道会社ユニオン・パシフィックでは、列車の車輪に各種センサーを取り付けている。得られるデータは、1日で2,000万件を超える。そのデータと過去のトラブルをパターンマッチングし、事故防止などに役立てている。その際に、処理は5分以内。5分という短時間で膨大なデータのマッチングを行うことで、トラブルを未然に防いでいるのだ。
フレッシュなデータをビジネスに活かすための、XtremIOの強みとは。
・リニアにスケールするパフォーマンス
・より高速なアプリケーション導入
・簡単にデータベースを仮想化
XtremIOの詳細は、こちらの資料をご覧ください!
大規模OLTPとビッグデータのリアルタイム分析を共存させたい
ビッグデータに対するリアルタイム処理要求は、センサーデータに限らない。たとえば、商品を拡販する上でも、リアルタイム性が重要となる。

「たとえば、ある企業は、特定の作物の種を購入する顧客を特定して、栄養剤、殺虫剤等のクロスセルを行いたいと考えており、そのために顧客の居住地域の気象状況なども考慮し、種の生育に重要となる微量栄養素を含む栄養剤及び殺虫剤を素早く提案したいと考えました。このとき分析に要する時間の要件は、2秒以内でした。それ以上時間を要するとクロスセル効率が格段に落ちると判断した訳です。それに対して、従来型のデータを溜めてから分析する方法では、レポートが出るまでに10分以上かかっていました。それでは、種を買うアクションに合わせたタイムリーな提案はできません」
EMCジャパン 若松信康氏によれば、この例のように、集計的な分析からリアルタイム分析へ移行する例が増えているという。それにより今顧客のためになる情報の提供を通して販売の拡大につなげることができる。
データを溜めてから時間をかけて分析処理をするデータ活用とは違い、大量データをなるべくリアルタイムに近いタイミングで活用する場合には、プラットフォームとなるデータベース要件も異なる。たとえば、あるクレジットカード会社には、1日に5,100万件のトランザクションデータがあり、そこから不正取引の検知を30秒以内で行いたい。30秒以内に検知できれば、クレジットカードの悪用を阻止でき、結果的に信用リスクを低減し顧客流出を防げるのだ。
この要件に対しOLTPシステムからETLツールでデータを抽出し分析用データウェアハウスにロードして、なんてことをやっていては30秒以内の検知は不可能だ。OLTPのデータベースに対し、スキーマに依存しない形でアクセスし素早くレポートできなければならない。
このような大量のOLTP処理と併存したリアルタイム分析要求が、昨今のビッグデータを扱うデータベースには増えている。しかし、これら2つを1つのデータベースに共存させるのは、じつは難しい。なので、これまではOLTPとデータウェアハウスを分離してきたのだ。
この課題を解決する1つの方法は、最近注目のインメモリーデータベースかもしれない。とはいえインメモリーデータベースは、ハードウェア制限やコスト的に莫大なデータすべてをインメモリーに載せられるかという問題がある。さらに、なんとかインメモリー化できても、ビジネスが拡大しデータ量が増えた際に容易に拡張できない課題もある。
これに対し、フラッシュストレージという解決策がある。インメモリーほど高価ではなく大容量の確保も可能で拡張性も高い。ハードディスク型ストレージに比べれば、圧倒的なパフォーマンスと低レイテンシーを発揮する。「特に技術的に成熟したSSDを活用したオールフラッシュストレージなら、従来の信頼性要件に対応しながら、OLTPに加えてビッグデータをリアルタイムに分析処理したい要求にも単一のプラットフォーム上で対応できる、コスト効率の良いシステムが実現可能です。エンタープライズ領域での実績と信頼性の裏付けのない技術を使ったフラッシュストレージが市場に多く参入している中で、こういった側面で検討することもより重要となってくるでしょう」と若松氏は付け加える。
この記事は参考になりましたか?
- この記事の著者
-
DB Online編集部(ディービーオンライン ヘンシュウブ)
DB Online編集部翔泳社 EnterpriseZine(EZ)が提供するデータベース/データテクノロジー専門メディア「DB Online」編集部です。皆様からの情報お待ちしています。
Twitter : https://twitter.com/db_online
Facebook : http://www.facebook.com/dbonline.shoeisha※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
【AD】本記事の内容は記事掲載開始時点のものです 企画・制作 株式会社翔泳社
この記事は参考になりましたか?
この記事をシェア