11億人のFacebookユーザーを分析するためのアーキテクチャ
Facebookの取り組みが公表されたのは、今年8月に行われたマイクロストラテジーのイベントだ。FacebookでEnterprise BIを担当するGuy Bayes氏が、マイクロストラテジーと共同開発を進める新しいBIシステムの概要を紹介した。実際の講演のビデオは、マイクロストラテジーのWebサイト上で見ることができる。
目標は冒頭で触れたように、ユーザー11億人、200PBにも達するデータをどうすばやく分析するかだ。詳しい目的は明かされていないが、広告のターゲティングやレコメンドなど、同社のビジネスを支える基盤になるものと思われる。
Facebookが試験稼働させているこのBIシステムは、「Extended MPP Memory Architecture(EMMA)」というアーキテクチャで作られている。MPPはMassively Parallel Processorの略で、インメモリ技術と並列分散処理を組み合わせたものだという。
マイクロストラテジーのプレジデントの印藤公洋氏によると「EMMAでは、ユーザーからのリクエストをシングルスレッドで処理するのでなく、複数のプロセッサを使って並列処理する。データは、メモリ上にカラム型データベースのようなかたちで持ち、前処理にはHadoopを使っている」という。現在は実験段階だが、10TBのデータに対する検索のリクエストの結果が2～3秒で返ってくるほどだという。
「インメモリのデータベースやカラム型データベースだけでレスポンスを向上させようとしても限界がある。BIとDBの間をデータが行ったり来たりすることで遅延が生まれるためだ。基本的には、BI側のメモリにデータを持たないとレスポンスは速くならない。それらに、BIをパラレルで動作させる技術やHadoopなどの分散処理技術を組み合わせている。BI専業ベンダーだからこそ、こうした取り組みができる」(印藤氏)
Facebookが共同開発のパートナーとしてマイクロストラテジーを選んだのもそうした理由が大きいようだ。取り組みは1年以上前から続いており、新システムの稼働も、もうまもなくと思われる。一方、この取り組みで得られた知見やノウハウは、今後、マイクロストラテジーの製品に反映されてくる予定になっている。
新バージョン「MicroStrategy Analytics Platform」がリリース
意外に知られていないが、実は、近年のマイクロストラテジーに関しては、こうした興味深いトピックが数多くある。その1つとして外せないのが、米国で10月22日にリリースしたBI製品の新バージョンだ。
新バージョンは「MicroStrategy Analytics Platform」という名称に変更され、これまでのような「BIツール」から「データ分析のためのプラットフォーム」へと大きく進化した。
「特徴は、セルフサービスアナリティクスと呼ばれる直観的に高速にデータを見つける機能が加わったこと。また、従来からのエンタープライズBIと呼ばれる機能を拡充し、ビッグデータ分析に向け、さまざまなデータソースへの対応も強化した」(印藤氏)
セルフサービスアナリティクスとは、従来のBIのアプローチとは逆のアプローチということができる。これまでのBIが、IT部門などの分析担当者がデータを分析し、そのレポートを全社に配布することが多かったのに対し、セルフサービスアナリティクスでは、強化されたダッシュボードを使って、IT部門のサポートなしにユーザー部門で自分で工夫して分析を行うことができる。ディスカバリ型の分析とも言える。
それを支援するための機能が、データをビジュアル化する「Visual Insight」と呼ばれる機能だ。従来からBIの機能としては提供されていたが、連携機能を強化し、各種データベースや、地図データ、気象データ、ソーシャルデータ、動画などさまざなデータソースを収集、加工し、ダッシュボード上に集約できるようになった。
また、データブレンディング機能も強化された。財務データ、人事データ、売上データ、気象データなどを組み合わせ、売上原価を計算したり、天候による売上の影響を見たりといったことが簡単にできるようになった。
「セルフサービスアナリティクスで重要なことは、パフォーマンス。競合他社は機能強化のたびにパフォーマンスが犠牲になることが多いのに対し、当社はそういったことはない。前バージョンよりパフォーマンスを上げることは製品開発の基本方針になっている」(同氏)
具体的には、パフォーマンスラボで、競合製品を含めてパフォーマンステストを繰り返し、プロトコルのオーバーヘッドやレンダリングのエンジンなど複数の指標で前バージョンを上回ることがバージョンアップのための必須要件になっているという。
セルフサービスアナリティクスとエンタープライズBIをシームレスにつなぐ
セルフサービスアナリティクスは、他社も力を入れているところだ。同社の製品が他社と大きく異なるのは、これらとエンタープライズBIとがシームレスにつながる点にある。
たとえば、ダッシュボードからデータをドリルダウンしていけば、詳細な分析レポートを見ることができる。一方、分析レポートは経営陣向け、マーケティング向けなどユーザーごとにパーソナライズして表示することができるほか、購読や配布先の変更、内容の更新などに動的に対応できる。
「BIは毎日見ていくものであり、セルフサービスアナリティクスと垣根があってはいけないとの考えている。このようにシームレスに行ったり来たりできることが『プラットフォーム』と呼んでいる部分になる」(印藤氏)
エンタープライズBIの機能強化のポイントとしては、配信先の限定といったガバナンス機能や、ダッシュボード表示の高速化、マルチメディア対応(ダッシュボード上での動画の埋め込みなど)、マルチデバイス対応(一度の操作でPC、スマートフォン、タブレット向けに最適化したレポート出力する機能など)があるという。
ビッグデータ対応としては、さまざまなデータソースへの対応が挙げられる。MapReduce系のデータベースとしては、Hortonworks、aster data、cloudera、MapR、Amazon Elastic Map Reduce、IBM BigSQL、EMC Greenplum HDなどに対応。
カラム型データベースとして、Sybase IQ、Verticaなどのほか、Google bigquery、Amazon RedShiftなどにもいちはやく対応した。さらに、Salesforce.comやNetsuite、Eloqua、zendeskといったSaaSベースのアプリケーションのデータにも対応する。
また、新バージョンからRを完全に統合し、SPSS、KXENなどと密接に連携できるようになった。
印藤氏は「ビッグデータという言葉がトレンドになっているが、実際に何ができるのかがはっきりわからないことが多い。何度も言葉を聞かされているうちに食傷気味になった人も少なくない。まずは何ができるのか足元をしっかり見つめることが大切」と話す。Facebookとの取り組みは、その現れとも言えそうだ。
クラウドベースの無償ビジュアルアナリティクスツール「MicroStrategy Analytics Express」が1年間無償でお使いいただけます。ダウンロードはこちら
