国産ベンダーも続々とビッグデータソリューションを発表
ここ最近、内外のベンダーからビッグデータに関連する新製品やサービスの発表が相次いでいる。個人的にはビッグデータはまだまだバズワードの域から抜け出してはいないと思っている。けれども、これだけベンダーが真剣に製品やサービスを市場投入している状況を見ると、ビッグデータも早晩きちんと定義付けされITの1つの領域として確立してくるのかなと思えてくる。
ということで、そんなビッグデータをとりまく最近の動きをちょっと見てみよう。まずはNEC。リレーショナルデータベースとKey-Value Storeの両方の利点を併せ持ったスケールアウト型データベースソフト「InfoFrame Relational Store」の提供を開始した。多くのベンダーがビッグデータといえばApache Hadoopをベースに、それに付加価値を提供するソリューションを提供する中、NECは同社の北米研究所で開発した独自技術「MicroSharding」というものを用いて、Key-Value Storeでは実現するのが難しかった高いレベルでの信頼性の確保などを実現しているとのこと。価格がハードウェアやSI構築費用などは含まない最小構成で510万円からとそれなりのお値段となっているので、本格的にビッグデータを活用したいという大手企業向けのソリューションと思われる。その割には3年で150システムの販売目標とのことで、これはこれでけっこう強気かなと思うところだ。
そして富士通は、多くのベンダーと同様にHadoopをベースにしたソリューションを提供する。「Interstage Big Data Parallel Processing Server」は、Apache Hadoopに富士通が独自に拡張を施して、信頼性と性能の向上、さらに導入を容易にできるようにしたものとのこと。特長としては、企業の基幹システムで実績のある同社の独自分散ファイルシステムをHadoopと組み合わせることでデータの信頼性の向上と、Hadoopの処理サーバーへのデータ転送を不要にすることで処理性能が大幅に向上しているとのことだ。Hadoopでは使用するデータを一旦Hadoop独自のファイルシステムである「HDFS」に転送してから処理する。Interstage Big Data Parallel Processing Serverでは、HDFSへのデータ転送が不要になるため、ビッグデータ分析に関わる全体の処理時間を大幅に短縮できることになる。
ストレージをHDFSネイティブ対応させたEMC
この富士通の独自ファイルシステムと、少し似たソリューションを提供するのがEMC。スケールアウト型のNAS製品である「Isilon」を、ネイティブにHDFS対応にしたのだ。これにより、ネームノードとデータノードをストレージであるIsilonに載せることができる。これにより、Isilonの機能を使って、単一障害ポイントとなるネームノードの冗長性を確保できるようになる。そして、Hadoopの処理ノードとデータノードを分離可能となるので、処理ノードだけを増やすあるいはストレージだけを増やすというように、柔軟な拡張が可能となるのだ。
また、Isilonの機能を使ってデータのバックアップやスナップショットをとることができ、Hadoopで課題となるデータの信頼性や可用性の確保も可能だ。さらに、Isilonはマルチプロトコルに対応しており、Isilonの中のデータノードに格納したデータは、HDFSだけでなくNFSやCIFSなどのプロトコルでもアクセスできる。つまり、Hadoop以外のアプリケーションからデータを更新したりアクセスしたりするのに、別のファイルシステム上にコピーする必要はないのだ。
当然ながら、この新しいIsilonは、EMCのHadoopディストリビューションであるGreenplum HDと組み合わせて利用できる。HDFSのサポートは、IsilonのOSである「OneFS 6.5」を搭載した製品から。既存のIsilonでもこのバージョンにOSを上げれば利用できる。ところで、この処理ノードからデータノードを分離しIsilonに集約する仕組みは、信頼性や管理性ではかなりの優位性があるものだ。しかし、データへのアクセスがIsilonに集約されるので、処理ノードの数が増えるとアクセスのためのネットワークトラフィックが集中し十分なパフォーマンスが発揮できないのではとの懸念も出てくる。これについては、EMC内で検証している限りでは、ネットワークが10GビットイーサネットのIsilonであればほぼ性能劣化の問題は出ないとのこと。とはいえ、処理ノードをとてつもなくたくさん置いてビッグデータの分析を行いたいという場合には、ボトルネックが発生しないか注意が必要となりそうだ。
この他にもHPはビッグデータの分析、ビッグデータのバッチ処理を高速化という2つのコンサルティングサービスを発表した。また、Oracleは、昨年のOracle OpenWorldでお披露目したOracle Big Data ApplianceとBig Data Connectorsを米国で発表している。そして、今年度の戦略を発表したSASも、柱の1つとしてビッグデータを掲げていた。といった具合に、ここ1、2週間だけでもビッグデータに関する発表が続々とある状況、引き続きこれらの話題を追いかけ、興味を惹いたものについては追加取材などで深掘りしていきたいと思う。
