Hadoopだけではビッグデータを活用するのは難しい
現在、多くのベンダーがビッグデータに関するサービス、製品を提供している。Hadoopに関連する製品、または蓄積されたビッグデータを高度に分析するためのツールなどがその主なものだろう。そういった状況の中、IBMの特長は、基盤となるハードウェア・プラットフォームの部分から、Hadoopはもちろん、ストリーム・コンピューティング、データウェアハウス・アプライアンス、さらにはテキストマイニングのICA(IBM Content Analytics)や顧客や市場の分析、予測、マーケティング施策の実行を支援するためのUnicaといったアプリケーションに至る、「ビッグデータ活用に必要なすべての要素を包括的に提供できるところです」と土屋氏。
Hadoop関連のソリューションを提供するところは、現在は数多ある。とはいえ、Hadoopだけあってもなかなかビッグデータを分析し、活用するまでには至らない。IBMならば、ICAをHadoopに組み合わせることで容易にビッグデータに対しテキスト分析が行えるようになるとのこと。
カブドットコム証券の事例では、HadoopソリューションのInfoSphere BigInsightsを用い、ソーシャルネットワークから銘柄に関連性の高い言葉の抽出を行い、それを検証し株売買の参考となる情報に加工して顧客サービスに活用している。分析の対象は46銘柄、1日あたり約900万行もあり、それを約43,000のキーワードで絞り込みを行い、相関分析を行っている。この分析は、旧来の技術基盤だけでは時間がかかりすぎて難しいものだった。それがHadoopの技術を利用し、ICAと組み合わせテキスト分析を行うことで高速に処理できるようになったのだ。
「HadoopとICAがなければ、1処理で1年くらいかかる897兆回の計算をカブドットコムでは行いました」と土屋氏。この他にも画像データを分析するものなどもIBMにはあり、Hadoop用に複雑な分析用のプログラムを自ら構築することなく、すぐにさまざまなビッグデータ分析が可能になるとのことだ。
さらに、「Hadoopでビッグデータを扱う際には、今後はガバナンスが重要になります」と土屋氏は指摘する。ビッグデータをたとえば銀行などの金融機関で利用したければ、当然ながら他のシステムと同様、ビッグデータのシステムも監査に対応できるものでなければならないはず。そうであるのに、「現状ではビッグデータのシステムに関して、ガバナンスの必要性を指摘している例はほとんどありません」と土屋氏。このビッグデータのシステムの監査についても、IBMはGuardiumという製品を持っておりこれを活用することで対応できるようになるとのことだ。
