ホートンワークスとIBMの協業は、オープンソースのビッグデータ技術の普及を図るODPiなどで醸成されてきた。また両社とも、オープンソースの管理をする財団であるApacheにおいて、コミッタやコントリビュータを輩出している企業であることからも関係は深かった。
今回の連携の強化は、6月に米国で発表された提携の内容を本格的に日本で始動させるというもの。日本IBMからは執行役員の三浦美穂氏、ホートンワークスは廣川裕司社長が会見をおこなった。
両社の提携の狙いについて、IBM側の狙いとしては多様化するデータのレイヤーを網羅することであるという。ビッグデータ・クラウドの時代の流れの中で、たとえばIBMが買収したWeather NewsやSNSのような外部のデータ、形式や量が多様なDWHやHDFSに格納されるデータ、元々IBMの強みであった基幹系のデータなどを統合的に管理、活用することが重要になってきたという背景がある。
このデータの蓄積基盤としての「データレイク」の部分を、IBMは「Db2」(かつての「DB2」を今年リブランディング)、「Cloudant」などのデータベース製品、データ分析基盤の「Spark」などと合わせて提供してきた。
今回の提携強化で、この分析基盤の構成を従来のIBM製品から「Horton Data Platform(HDP)」に移し替え、HDPの上に「IBM Big SQL」、さらに「IBM Data Science Experience(DSX)」として提供することになる。これによりIBMは標準Hadoop/SparkディストリビューションとしてHDPを採用し、ホートンワークスはDSXを採用するという両社の販売・サポート関係が成立する。
「SQLのエンジンを共通で載せることでHadoopもアクセスしやすくなる。データを貯める部分はホートンワークス、活用する部分はIBMの両者の組み合わせで、データ分析のチームの効率をあげることが出来る」(IBM 三浦氏)
「1足す1を10倍にする」とホートンワークス廣川社長
「1足す1を3か4ではなく、10倍にするというのが今回の提携だ」──こう意気込むのはホートンワークスの廣川社長。
ホートンワークスは、2011年の創業以降「Hadoopディストリビュータ」として名を馳せた。しかし今ではフォレスター社の調査でDWH市場でIBM、Oracle、SAPと並んでリーダーとして位置づけられたこともあり、「かつての同業のMapRやクラウデラあたりとは一線を画する存在になった」と廣川社長は言い切る。その自信の背景は、創業以来4年で$100M(約100億円)に達した業界最速の成長スピードであり、世界では1200社を超えるパートナー、Apacheのコミッタの中で30%を締めているエンジニアの量と質の水準にあるという。
「データプラットフォームで世界で一番イケてる会社。やりたいのは全世界レベルでのデータレイクだ」(廣川社長)
さらにビッグデータ時代のエクサバイトから今後のIoTの時代の中ではゼタバイトへと幾何級数的に増大していく見取図を示し、「ゼタバイトのデータを持てる企業こそが勝ち組だ」と語る。
ホートンワークスはIBMと組むことでデータマイグレーションサービスを開始し、DSXとHDPのエキスパートを育成し、2020年までに日本市場でデータサイエンス/機械学習のリーダーになることを狙うという。
DSXではデータの前処理、モデル、実行の全工程を一気通貫
最後にIBMの村角忠政氏が「IBM Data Science Experience(DSX)」のデモを行なった。
DSXはデータ分析に必要な機能を統合したプラットフォームであるとともに、Sparkを内包していることでビッグデータ処理が可能なことが特長。
「データ取得」「データの前処理」「モデル作成」「実行/適用」の各工程を自動化しPDCAサイクルを短縮するという様子がデモで実演された。