EnterpriseZine(エンタープライズジン)

EnterpriseZine(エンタープライズジン)

テーマ別に探す

アジャイルなデータ管理でエンタープライズ・データ・ハブを目指せ

  2014/11/26 00:00

 ビッグデータという言葉が登場して間もなく、注目を浴びたのがHadoopだろう。一時期は「ビッグデータ=Hadoop」で、ビッグデータを活用したければ「Hadoopでなければだめ」くらいな勢いもあった。そんなブーム的な時期を越え、ここ最近はHadoopを企業なりが実際に活用するには具体的にどうすればいいかを考えるようになっている。

Impalaの登場がHadoopの転機に

Cloudera チーフ・オペレーティング・オフィサー カーク・ダン氏
Cloudera チーフ・オペレーティング・オフィサー
カーク・ダン氏

 そんなHadoopの企業向けディストリビューションを提供しているClouderaのチーフ・オペレーティング・オフィサー カーク・ダン氏は「我々はHadoopを6年前に商業化しました。従来のデータ管理技術にはビッグデータを扱うには遅くて高いという問題がありました。大規模なデータの管理を低コストで行う。そのためには新しい技術を発明する必要があったのです」と語る。Hadoopが登場する以前はデータベースが遅くて高いがために、一部のデータを抽出しサマライズした結果のデータしか扱えなかった。それがHadoopの登場で「完璧なデータ」を扱えるようになり、企業にとって新たなチャンスをもたらしているというのだ。

 とはいえビッグデータ活用におけるHadoopは、蓄積したデータの「バッチ処理的なもの」が得意。それを低コストで高速に行えるのがこれまでの評価ポイントだっただろう。そんなHadoopの状況を変化させるきっかけとなったのがImpalaの登場だと言うのは、Clouderaのチーフ・テクノロジストのイーライ・コリンズ氏だ。Impalaは、MapReduceではなくSQLを使ってHadoopにアクセスするテクノロジー。しかし、それだけではない。

 「Hadoopのビッグデータに対し、低レイテンシーでのアクセスを可能にしました。これによりアドホックな分析をビッグデータに行えるようになり、洞察を得る時間の短縮が実現しました」(コリンズ氏)

 バッチ処理での利用ではHadoopは舞台裏にいる。Impalaの登場で表舞台に上がり、Hadoopはユーザーが直接利用するものになったのだ。とはいえ、Hadoopだけでビッグデータのすべてを賄えるものでもない。MongoDBのような新しいNoSQLもあれば、旧来のリレーショナル・データベース、さらにはその改良型とも言えるカラム指向のデータベースもある。そういう状況の中で、ClouderaとしてはHadoopをエンタープライズ・データ・ハブとして利用するとコリンズ氏は主張する。

 「Hadoopとそれ以外のデータベースを使って、1カ所で分析ができるようにします。それで一貫していて統一された分析が可能になります」(コリンズ氏)

 こういった分析環境のことをデータレイクなどとも呼ぶ。たしかにこれが実現できれば、企業のデータ分析に関する問題の多くが解決できるだろう。しかし、エンタープライズ・データ・ハブという考え方は「理想論」であり実現は簡単ではないのではとも思うところ。

チーフ・テクノロジスト イーライ・コリンズ氏
チーフ・テクノロジスト
イーライ・コリンズ氏

 「データウェアハウスがリレーショナル・データベースを使うための方法論であるように、エンタープライズ・データ・ハブはHadoopを使うための方法論の1つです。一気に構築する必要はなく、段階的にエンタープライズ・データ・ハブの環境を構築すればいい。最初は1つのデータソースでもよく、それに徐々に追加すればいい」(コリンズ)

※この続きは、会員の方のみお読みいただけます(登録無料)。


※この続きは、会員の方のみお読みいただけます(登録無料)。


著者プロフィール

  • 谷川 耕一(タニカワ コウイチ)

    EnterpriseZine/DB Online チーフキュレーター かつてAI、エキスパートシステムが流行っていたころに、開発エンジニアとしてIT業界に。その後UNIXの専門雑誌の編集者を経て、外資系ソフトウェアベンダーの製品マーケティング、広告、広報などの業務を経験。現在はフリーランスのITジャーナリストとして、クラウド、データベース、ビッグデータ活用などをキーワードに、エンタープライズIT関連の取材、執筆を行っている。

バックナンバー

連載:週刊DBオンライン 谷川耕一

もっと読む

All contents copyright © 2007-2020 Shoeisha Co., Ltd. All rights reserved. ver.1.5