SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

最新イベントはこちら!

予期せぬ事態に備えよ! クラウドで実現するIT-BCP対策 powered by EnterpriseZine

2024年7月10日(水)オンライン開催

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けの講座「EnterpriseZine Academy」や、すべてのITパーソンに向けた「新エバンジェリスト養成講座」などの講座を企画しています。EnterpriseZine編集部ならではの切り口・企画・講師セレクトで、明日を担うIT人材の育成をミッションに展開しております。

お申し込み受付中!

EnterpriseZine Press(AD)

データ活用の裏に見えるIT部門の疲弊……“誰でもすぐに”を叶えるデータ収集環境の構築術とは

データ収集の属人化を解消!データパイプラインツールで実現する効率的なデータ活用基盤

 ここ数年で、データウェアハウスを構築し、BIツールと組み合わせてデータ活用やデータの民主化に取り組む企業は増えてきた。一方で、社内のデータを活用したくてもデータがサイロ化していたり、作業の属人化により再現性が低かったり、IT部門の負担が大きかったりなど、実際にデータを使える状態にするまでの過程で課題は山のように挙げられる。どのようなデータ収集のパターンがあり、そこに潜む課題は何か。どうすればそれを解決できるのか。CData Software Japan 代表社員 職務執行者の疋田圭介氏に話を聞いた。

データドリブン経営を実現するカギは「データの質」

 「データドリブン経営」は、もはや珍しい言葉ではない。とはいえ、経営者が自信を持って「取り組めている」と言える企業はまだ少ないだろう。国内企業の多くが中期経営計画などに「データを活用したDXの取り組み」や「データに基づく経営」などの言葉は取り入れているが、その成果には相当なばらつきが見られる。

 一方、データウェアハウスを構築し、BIツールでデータの見える化を実現している企業もあれば、データレイクを構築し、セルフサービスBIを組み合わせてビッグデータ活用やデータの民主化に取り組む企業もある。ここ数年、これらの動きが進む中、新たに問題として浮かび上がってくるのが「データの質」だ。これまでは、データがサイロ化したため欲しいデータが手に入らず、やりたい分析を思うように実現できないことが課題だった。データウェアハウスやデータレイクなどのデータ活用基盤である程度解決できるが、それらに蓄積するデータはIT部門の担当者がかなり手間をかけて集めているのが実情だ。そのためIT部門はかなり疲弊しており、将来的に人手不足が予測される中、この状況を解消できなければ真に効果を発揮するデータドリブン経営はままならない。

 様々なデータを集めたデータレイクのようなものはあるが、顧客に関するデータは営業担当者などがExcelなどのフォームに入力していて、それをIT担当者が集約しデータを集めている場合も少なくない。この方法では、ビッグデータ活用においてデータに求められるボリュームや鮮度、データの正確性などの面に不安が出る。Excelは慣れたツールで誰でも使えることが利点だが、データ収集作業が極めて属人化されやすいことが大きな問題だ。

 また、IT部門の担当者が業務システムなどからCSV形式などでデータを抽出し、それを手作業で分析用データベースにロードするようなケースもある。この方法であればボリュームのあるデータの取得も問題なく実行できるだろう。人手を多く介さないので、データの正確性も向上する。とはいえ、担当者が作業するので属人性は変わらず、複雑なデータ処理も難しくなってしまう。

 柔軟なアプリケーション間データ連携が可能なEAIツール(Enterprise Application Integration)を用いて、ETLの仕組みを構築する方法もある。このやり方は、データ鮮度を向上させ属人化の懸念もなくすことができるが、多様なデータソースに対応したい場合はAPI連携コネクタの開発作業が発生する。また大量のデータを扱いたい場合、効率化のために差分データを取得する仕組みを作る必要もあるが、EAIツールの導入・ランニングコストは高い状況だ。

 コストを考えると、BIツールにデータソースへアクセスするコネクタがあり、それが活用できれば比較的安価にデータパイプラインが実現できるかもしれない。とはいえこの方法も、膨大なデータを扱うにはEAIツールと同様差分を取り込む仕組みの構築などが必要となる。データソースに対応するコネクタがなければ、アクセスする仕組みをAPIを用いてコードを書き構築するか、コネクタを外部から調達しなければならないのだ。

80%の米国企業が使っているツール、日本の利用率は25%?

 データドリブン経営で先行する米国では、8割近くの企業がデータレイクなどにデータを集めるためにデータパイプライン用ツールを用いて効率化を図っているという。一方日本では「データ収集にツールを利用している企業は25%程度しかなく、さらに65%の企業が今後もツールを使うつもりがないと回答しています」と指摘するのは、CData Software Japan 代表社員 職務執行者の疋田圭介氏だ。日本の多くの企業では、データウェアハウスやデータレイクを構築しても、データ収集は人に大きく依存しているのが現状だ。

CData Software Japan 代表社員 職務執行者 疋田圭介氏

 実際、ツールを使わずスクリプトを記述して各データソースのシステムからCSVをエクスポートし、分析用データベースにロードするバッチ処理を行っているような企業は多い。長年この方法で運用しているならば、かなり複雑なバッチジョブが動いているだろう。人がスクリプトを書けばツールコストは発生しないが、その分属人性がかなり高くなる。

 上記のような運用を行っている企業には、ソースのレガシーシステムにも精通し、長年にわたりスクリプトのメンテナンスを担当してきたベテランエンジニアがいるだろう。その人が転職などでいなくなれば、データパイプラインの仕組みはブラックボックス化しかねない。システム環境の変化や業務部門の要求に応じて適宜修正を加えてきた「人力データパイプライン」では、マニュアルや詳細な仕様が分かるドキュメントもなく、もはや誰も手を付けられない。そんな状況は容易に想像される。

データパイプラインの種類
[画像クリックで拡大]

次のページ
Excelを介することで生まれる属人化とデータの質低下

この記事は参考になりましたか?

  • Facebook
  • X
  • Pocket
  • note
関連リンク
EnterpriseZine Press連載記事一覧

もっと読む

この記事の著者

谷川 耕一(タニカワ コウイチ)

EnterpriseZine/DB Online チーフキュレーターかつてAI、エキスパートシステムが流行っていたころに、開発エンジニアとしてIT業界に。その後UNIXの専門雑誌の編集者を経て、外資系ソフトウェアベンダーの製品マーケティング、広告、広報などの業務を経験。現在はフリーランスのITジャーナリスト...

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

提供:CData Software Japan株式会社

【AD】本記事の内容は記事掲載開始時点のものです 企画・制作 株式会社翔泳社

この記事は参考になりましたか?

この記事をシェア

EnterpriseZine(エンタープライズジン)
https://enterprisezine.jp/article/detail/19786 2024/07/08 10:00

Job Board

AD

おすすめ

アクセスランキング

アクセスランキング

イベント

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング