データ発生から活用に至るまでの"コスト"と"スピード"をかんがえる

データベースを高速化するだけでは解決しない共通課題

　桐越氏が所属する日立は、ITベンダーであり日本を代表する大手製造業でもある。この日立はなかなかユニークな人材活用を行っている。たとえば桐越氏は、日立の情報システム部門に所属したことがある。さらにコンサルタントとして顧客のもとでITシステムの提案、構築を行った経験もある。その上で現在は、ソフトウェア製品の開発本部に所属し製品開発のチーフアーキテクトを務めている。こういった部門を越えた社内ローテーション的人事は、日立では珍しいことではない。

　つまり、桐越氏はコンサルタントとして顧客の課題解決に取り組んだこともあれば、情報システム担当者として自ら大手企業が抱えるITシステムの課題解決に取り組んだこともある。それらの経験を経た上で、今はユーザーのためのソフトウェア製品を開発する立場にあるのだ。当然ながら「こういった製品の仕掛けがあれば課題が解決できるという現場視点を、製品にフィードバックをしている」という。

　各社の共通課題と桐越氏が指摘するのが、データ発生から活用に至るコストとスピードの問題だ。企業には業務を処理するさまざまなシステムがある。データ活用するには、各システムで発生したデータをバッチ処理などで抽出し、データ型やコード体系の統一などさまざまな加工を施しデータ統合できるようにする。加工、変換されたデータは、巨大で性能の高いデータベースのデータウェアハウスに格納する。

　このデータウェアハウスを直接参照し検索することもあるが、データが大量にある場合には用途や部署ごとなどにデータを切り出し、各部署が必要とするレポート作成などの目的を迅速に達成できるようデータマートを作る。データマートから帳票を出力し、BIツールでダッシュボードを作りアドホックな分析ができるようにするのだ。ここまでできて、やっとデータを活用することになる。

　このデータが発生してから活用に至るまでのデータの流れを、手間をかけずにいかに短時間で行うか。これこそが、各社にとっては共通の悩みだ。ビッグデータ分析となれば、大規模で高性能なデータベースを導入する。たしかに検索スピードの問題は解決するがそれはデータベースが速くなるだけだ。各種システムからの抽出や変換の処理が速くなるわけではない。

　また分析レスポンスを速くするために、インメモリ型のBIツールを使う手もある。しかしながらBIツールのインメモリーへのデータ展開が、データを抽出してから1日以上の時間がかかるとなると、果たしてそれは「迅速なデータ分析環境」と呼んでもいいのだろうか。

業務が異なれば見たいデータも変わる

　データを利用する人の立場によっても、データの精度や鮮度に対する考え方は変わる。経営企画部門などに所属していれば、各拠点の在庫状況をすべて把握し全体のコストを最適化したいだろう。一方で工場の現場で生産管理を行う立場ならば、今日の生産量の判断のために現在の在庫の動きを確認したい。どちらも同じ在庫データだが、見たい形も異なれば求めるデータの精度やタイミングも異なる。

　部署ごとに見たい数字が異なる課題を解決する手段の1つは、あらゆるデータを格納できるセントラルウェアハウスを構築することだ。多くの企業においては、データウェアハウスを構築しているとは言っても、全社規模のセントラルウェアハウスになっていない場合も多い。営業部門向けだったり、生産管理専用だったり。中には、抽出したデータを使ってバッチ処理でさまざまなレポートを出力するための中間データベースをデータウェアハウスと称するものさえある。

　詳細データを含めすべてのデータを集めた高性能なセントラルウェアハウスがあれば、さまざまな部門の分析要求にも迅速に応えられる。しかし、このセントラルウェアハウスに各システムからデータを集めてきて統合する処理がこれで迅速化するわけではない。データソースとなる各システムに負荷を与えずにいかにして鮮度の高いデータを抽出しセントラルウェアハウスに渡せるか。高速なデータベースを導入するよりも、前段階のデータ抽出、加工の処理を短縮できるかでデータ活用時のデータ鮮度は変わる。

　そもそも使うか使わないか分からないデータを集めるために巨大なデータベースを導入したいと情報システム部門が提案しても、経営層はなかなか承認してくれないだろう。また、仮にセントラルウェアハウス的なものが迅速に構築できるとしても、多くの場合はデータマートが氾濫しているのが普通だ。あらゆるデータを集めてはあるものの、各人がばらばらの用途でばらばらなアクセスをすれば、高速なデータベースでもレスポンスは低下する。結果的には自分たちが必要とするデータを切り出し、自分たち専用のデータマートを作ることになる。大企業になると、このデータマートが数十、数百なんてことも珍しくない。

　「せっかくデータを集約したのに、データマートが氾濫してしまう。マスターデータなどは、そのレプリカが社内にいったいどれくらいあるか分からないなんてこともあります」（桐越氏）

　業務現場が新しい視点でデータを見たいと言えば、情報システム部はそれに対応する。必要なデータがデータウェアハウスになければ新たにデータを抽出し加える。そして新しい視点の分析用にデータマートを作成する。この一連の作業を完了するのに、社内調整やテストなどを含めると大企業では数ヶ月の時間を要することもある。

日立が取り組む新たなデータ活用の形

　幸いにして日立の情報システム部門では、データマートに新たな視点を加えるくらいならば1日程度でできる。

「しかし、この短時間を実現するために情報システム部では、相当な苦労をしています。テンプレート化し手順を標準化するなどの工夫をし短時間化を図っていますが、このままデータマートが増えていくことを決して好ましいとは思っていません」（桐越氏）

　そこで日立はデータ活用環境の抜本的な改革のため、効率的にデータを収集し、データマートを増やさずとも新たな分析要求にも迅速に応えられるようなデータ統合プラットフォームを提供した。それは日立が開発した超高速データベースであるHitachi Advanced Data Binder プラットフォームを中核にした新しいデータ統合の環境だ。これは、たんに超高速なデータベースがあるだけではない。

　「1つのデータ統合プラットフォームに、ソースとなる各システムからデータを知らないうちに集めてきます。各システムで動いているデータベースの更新ジャーナルをトラップして、リアルタイムに集めてしまうのです。データは統合データベースのHADBの基盤に入れられ、あとはデータマートを作るのではなくビューの定義だけでユーザーに簡単に見せるのです」（桐越氏）

　この仕組みを日立自身で活用するだけでなく、テンプレート化しプロフェッショナルサービスと供に顧客にも提供する。すでに顧客のもとで実証実験を行っており、その企業では新しい分析視点を加えるための開発時間が6割程度減らせることが確認できている。

　「一番いいのは、データ統合の時間をゼロにすることです」と桐越氏。この仕組みを入れさえすれば、それが実現できるわけではない。製品コード体系などがシステムごとに異なり、それを合わせる処理にどうしても時間を要する場合もあるだろう。また、すべてのデータが更新ジャーナルをトラップする方法で集められないこともある。

「1つの正解があるわけではありません。システムで解決すべき問題もあれば、社内のオペレーションそのものを見直すべきこともあります。顧客に合った方法を顧客自身が考えなければなりません」（桐越氏）

　データベース製品やBIツールのベンダーだと、どうしてもその製品を導入すると何が改善するかという「ポイントソリューション」になりがちだ。たしかにそれでデータベースは高速化するし、分析処理のレスポンスはよくなるなるだろう。しかし、それらだけでデータ発生から活用に至るコストとスピードの問題がどれだけ解決するのか。トータルでデータの流れの迅速化と手間の削減を考える必要がある。

　さてこの記事に登場した桐越氏などから、日立がデータ活用にどのように取り組んでいるかを赤裸々に語ってもらう機会がある。それが、3月13日に開催される「DB Online Day」だ。日本の企業が直面している真の課題とは何か、それはどうすれば解決できるのか。あるいは解決が難しいところはどこなのか。そして、今後データベースのような製品にはどのような進化が求められるかなどについても話を訊く。企業の課題を目の当たりにしている日立から話を訊くことで、データ活用で日本企業が世界で戦える強さを持つためのヒントを掴む予定だ。