IBMでいよいよ始まった、アナリティクス領域でのSparkのOS化
アナリティクス領域におけるSparkのOS化の成果が、米国ラスベガスで開催されたカンファレンスイベント「IBM Insight 2015」で発表された。アナリティクスとコマースの15を超えるソリューションについて、Sparkを用い再設計したのだ。これによりリアルタイム処理能力がこれらのソリューションで大きく向上するとのこと。
さらに、Sparkを開発者が簡単に利用するためのPaaSとなる「Spark as a Service（IBM Analytics on Apache Spark）」を、IBM Bluemix上から提供することも併せて発表された。すでにこのサービスはベータプログラムとして実施されてきたもので、世界の4,600名を越える開発者がSparkを使ったアプリケーションの構築を行い、サービスに対するフィードバックを行った上での正式リリースとなった。
宇宙からの声を聴くためにSparkを活用する
米ラスベガスで開催した「Insight 2015」のゼネラルセッションのゲストとして登場したSETI Instituteのジル・ターター博士は、Apache SparkとIBMの援助で「宇宙からの声をよりよく聴き取る、それがいったいどういうことなのかが改めて分かってきました」と言う。SETIは、地球外生物の存在を探求している組織だ。宇宙から発せられる光学的な信号を赤外線望遠鏡で捉え、それを分析することで地球外生物からの声を聴こうとしている。
赤外線望遠鏡で集められるデータは1つ1つは小さな単位のものだが、1時間あたりでは130ギガバイトの大きさになる。信号データは、3つの異なる宇宙空間から同時に集めたものを利用し、特定のシグナルに耳を傾けバンド幅の短いもの、人間が作るのと似通ったものなどを識別する。たんにそれらの信号を検知するだけでなく、それが最近のものなのか、どこからきたものかも同時に見極めなければならない。
「信号は遠くからやって来ると、途中で周波数が変わることもあります。どこから出てきたかも見極めながら、一貫している信号を探し出します。そういった信号が見つかれば、すぐにその信号を詳細に聴き詳しく分析します。我々は4年間で1億の信号を聴いてきました。2015年の夏からは、IBMのSparkアナリティクスのチームと協業しています。これまでに干渉している信号だと誤っていたり、重要な信号を見落としていたりしたかもしれません。それを、IBMの協力のもとで、機械学習の技術を使って判別しようとしています」（ターター博士）
IBM アナリティクス製品とソリューションのバイスプレジデントであるベス・スミス氏は、「NASA、IBM、SETIが協力して、新しいことを始めようとしています」と言う。そして、SETIで行っているようなデータサイエンス的なやり方が、企業システムをも進化させると指摘する。
「今は、コグニティブの時代になっています。それを実現するために、IBMではSparkにコミットしまし。Sparkはコグニティブにおいても重要な要素の1つとなります」（ベス・スミス氏）
もう1つSparkのリアルタイム処理を活用した事例として、カリフォルニア州サニーベールでのカルトレインの遅延予測アプリケーションも紹介された。電車の運行状況をカメラやマイクから得られる非構造化データを使ってモニターし、さらにはTwitterなどのソーシャルネットワークの情報なども加える。得られたデータをHadoopとSparkを組み合わせたシステムで処理し、遅延の予測をリアルタイムに行っているのだ。さらにGPSのデータも加えることで、精度を上げた分析予測が可能となっている。
IBM エマージングテクノロジー担当のバイスプレジデントであるロブ・スミス氏は、スピーチ・アナリティクスの機能をコールセンターに入れ、電話してきた顧客が会話からどんな状況かを判断するのに使っていると言う。「電話で今相対している顧客に対し、オペレータは瞬時に判断しなければなりません」と。この判断をするための情報分析には、データサイエンティスト的な要素が重要となる。現在の企業は、顧客との良好な関係性を築くことで優位性が得られる。つまりは、企業競争力を上げるには、顧客との良好な関係性を築くためにデータ分析が必要であり、その分析においてはデータサイエンスへの投資も必要だと指摘する。実際、データサイエンスへの投資は「ITへの投資の6倍早く成長しています」とロブ・スミス氏。
