マシンデータを理解できれば価値あるビッグデータになる
ビッグデータの多くはマシンデータであり、さまざまなシステムがはき出すものもあれば、センサーデータのようなものもある。
「かつてこれらは自動車の排気ガスのようなものだと思われていました。つまりいらないものだったのです」（ロー氏）
しかし、実際にはいらないものではなかった。システムのログやセンサーデータのままでは人間には理解しにくい。しかし、それらの中には顧客IDや商品のオーダー番号などが含まれていることも多々あり、そういったことの意味が理解できればビッグデータは価値のある重要な情報となる。このビッグデータを価値あるデータにするためのテクノロジーに注力してきたのがSplunkという企業だ。
Splunkの主力製品であるSplunk Enterpriseは、Ver3までは「データセンターのためのGoogle検索エンジン」のようなものと言われていた。Ver4以降では機能が拡張してより多くのデータの処理が可能となり、「マシンデータを扱うエンジン」になった。ここ2年間はスケーラブルで使いやすいものにすることに注力し、さらにパートナーがSplunkの上でアプリケーションを作れるようにも拡張したことから、「ビッグデータを統合的に処理するプラットフォームに進化しました」とロー氏は言う。最新のSplunk Enterprise 6.1では、可用性の向上機能の追加などでミッションクリティカルな要件にも適用できる拡張が行われている。
Hadoopだけでなく各種NoSQLデータストアのデータも横断的に分析可能に
もう1つの製品が「Splunk Hunk」。HadoopとSplunkを合わせて「Hunk」と名付けられたこの製品は、Hadoopに対しSplunk Enterpriseと同様なビッグデータの統合分析環境を提供する。GUIはSplunk Enterpriseと同様で、簡単かつ素早くHadoopに蓄積されたビッグデータを検索し分析ができる。最新版となるSplunk Hunk 6.1からはNoSQL用のリソースライブラリが追加されApache Accumulo、Apache Cassandra、MongoDB、Neo4jなどのNoSQLデータベースにも対応した。これによりHadoopだけでなく各種NoSQLのデータストアに蓄積されたビッグデータに対しても、データストアをまたがった検索が可能となり統合的な分析が実現できる。
HadoopなどのNoSQLのデータストアにビッグデータを蓄積事例は増えている。「すでに大規模にHadoopを使っている企業が日本でも増えています。それらのHadoopにはM2MのデータもO2Oのデータも雑多に格納されています」と語るのは、Splunk Services Japan合同会社 カントリーマネージャの中村賢生氏。ビッグデータを蓄積はしたもののそれを活用し切れていない現実があり、そこにHunkの機能が注目を集める理由があるとのこと。
Splunk Hunkを使えば、MapReduceのプログラムを書くことなく素早く検索のスクリプトが記述できる。検索結果もリアルタイムにダッシュボードに表示され、グラフによる可視化も簡単に行える。現状はSplunk EnterpriseとSplunk HunkはGUIの使い勝手は同じだが、分析環境としては別々に利用する。将来的には、Splunk EnterpriseのデータもHadoopやNoSQLのデータでも、さらにはリレーショナル・データベースの構造化されたデータなどでもシームレスに扱えるようにする方針があるとのこと。それが、Splunkをプラットフォームと呼んでいる理由である。
「データがどこにあっても同じエクスペリエンスで利用できる。データがどこに格納されているかは意識する必要はなく、同じアクセス、同じ分析ができるようにしたいと考えています」（ロー氏）
Hunkに対しては大規模なHadoopを運用している企業からの問い合わせも増えており、Hadoopの次なる提案材料としてHunkを考えるSIerなども出てきている。Splunkのビジネスは拡大しており、顧客数は海外では90カ国で7,400以上あり国内も200を超えた。1月からの半年で50社以上の顧客を獲得しており、急激に拡大しているという。
