データ活用をしたいけれど企業の中では未だデータがばらばらのまま
「企業はデータをどう使うかを考えなければなりません。データを活用している企業が、急激な成長をしています」と語るのは、Cloudera株式会社 セールスエンジニア兼テクニカルエバンジェリストの嶋内 翔氏だ。
ClouderaはHadoopのディストリビューターの印象が強いが、今や統合データ基盤を提供する会社となった。2008年に創業し、昨年2017年には上場も果たした。現在、社員は世界で1,600名以上の規模となり、3,000社を超えるパートナーがいるとのこと。
Clouderaのビジネスは急激に成長しているが、それを支えているのが同社のビジネス成長の48％ほどを占める大手企業による採用だ。グローバルでビジネス規模上位8,000社に入るような企業の多くが、Clouderaの顧客となっている。「既存の顧客企業の40％が毎年追加でライセンスを購入していることからも、Clouderaのサービスには価値を感じてもらっています」と嶋内氏は言う。
セールスエンジニア兼テクニカルエバンジェリスト 嶋内 翔氏
さまざまな企業が今、データを活用しなければならないことは理解されている。その状況をClouderaでは「Data Age」と表現する。Data Ageの中にあり新たなデータ活用をしようとしているが、多くの企業はさまざまな課題に直面し足踏みしている。
「根本的なものとして、データを活用するためのアーキテクチャに問題があります」（嶋内氏）
アーキテクチャの問題とは、アプリケーションごとにデータを個別に持っていること。企業の中にある複数のアプリケーションがそれぞれ別々にデータを持っているので、分析もデータごとに個別な方法をとらざるを得ない。さらにアプリケーション間のデータ連携も困難だ。
アプリケーションごとに分散しているので、何らか統合的な分析をしたければデータをどこからか取ってくる必要がある。そのために統合データベースの設計を行い、バッチ処理などで集めてくる。そうやって集めて始めて、統合化されたデータの上で分析ができる。この処理は繰り返し実施される必要があり、アプリケーションごとに少しずつデータの集め方も変えなければならないだろう。そうしなければ、集めるデータの整合性がとれないからだ。
こういった方法でデータを集めると、セキュリティ上の問題も発生する。バッチ処理などで集めたデータに対し、元のアプリケーションで行なっていたようなアクセスコントロールを引き継ぐのは簡単ではない。集めたデータに対し、誰がアクセスできるかを管理するのはかなり難しいのだ。さらにアクセスポリシーの変更などがあれば、全てのアプリケーションに対しそれを適用しなければならないのも大きな手間だ。
