データ発生から活用に至るまでの"コスト"と"スピード"をかんがえる

データベースを高速化するだけでは解決しない共通課題

　桐越氏が所属する日立は、ITベンダーであり日本を代表する大手製造業でもある。この日立はなかなかユニークな人材活用を行っている。たとえば桐越氏は、日立の情報システム部門に所属したことがある。さらにコンサルタントとして顧客のもとでITシステムの提案、構築を行った経験もある。その上で現在は、ソフトウェア製品の開発本部に所属し製品開発のチーフアーキテクトを務めている。こういった部門を越えた社内ローテーション的人事は、日立では珍しいことではない。

　つまり、桐越氏はコンサルタントとして顧客の課題解決に取り組んだこともあれば、情報システム担当者として自ら大手企業が抱えるITシステムの課題解決に取り組んだこともある。それらの経験を経た上で、今はユーザーのためのソフトウェア製品を開発する立場にあるのだ。当然ながら「こういった製品の仕掛けがあれば課題が解決できるという現場視点を、製品にフィードバックをしている」という。

　各社の共通課題と桐越氏が指摘するのが、データ発生から活用に至るコストとスピードの問題だ。企業には業務を処理するさまざまなシステムがある。データ活用するには、各システムで発生したデータをバッチ処理などで抽出し、データ型やコード体系の統一などさまざまな加工を施しデータ統合できるようにする。加工、変換されたデータは、巨大で性能の高いデータベースのデータウェアハウスに格納する。

　このデータウェアハウスを直接参照し検索することもあるが、データが大量にある場合には用途や部署ごとなどにデータを切り出し、各部署が必要とするレポート作成などの目的を迅速に達成できるようデータマートを作る。データマートから帳票を出力し、BIツールでダッシュボードを作りアドホックな分析ができるようにするのだ。ここまでできて、やっとデータを活用することになる。

　このデータが発生してから活用に至るまでのデータの流れを、手間をかけずにいかに短時間で行うか。これこそが、各社にとっては共通の悩みだ。ビッグデータ分析となれば、大規模で高性能なデータベースを導入する。たしかに検索スピードの問題は解決するがそれはデータベースが速くなるだけだ。各種システムからの抽出や変換の処理が速くなるわけではない。

　また分析レスポンスを速くするために、インメモリ型のBIツールを使う手もある。しかしながらBIツールのインメモリーへのデータ展開が、データを抽出してから1日以上の時間がかかるとなると、果たしてそれは「迅速なデータ分析環境」と呼んでもいいのだろうか。