データウェアハウスの構築に関する7つの疑問

質問7：リアルタイム性をどこまで求められるのか？

　最近、データウェアハウス案件のヒアリングに行くと必ずと言ってよいほどユーザ要件の中に「リアルタイム」というキーワードが出てきます。データウェアハウスやデータマートのシステムにはETLプロセスが介在する以上、厳格な意味でのリアルタイムはあり得ません。このことはユーザも理解しているので、可能な限りリアルタイムに近づけたいというのがユーザの要求です。

　そこで出てくる質問は、「御社のデータベースでは、どのくらいのリアルタイム性を実現できるのですか？」というものです。私が「どのくらい前の状態が見られないといけないのですか？」と逆に質問すると、「最低でも１時間前のデータは見たい」といった回答があるので、「では、ETLの性能要件を１時間にしましょう」ということで話は滞りなく進んでいきます。

　しかし、もしユーザが１時間ではなく５分とか30秒などと要求してきたらどうでしょうか。言われたままの時間をETLの性能要件に出来るでしょうか。

　私の経験では、可能な限りリアルタイムに近づけた場合、一体何が起きるかと言うと、データウェアハウスへ四六時中データをロードし続ける状態が発生します。ETLのスケジュールを最適化すればするほど、この状況は激しくなります。果たしてこれは許容されるのでしょうか。検索ユーザに、多大な迷惑がかかるのではないでしょうか。そもそもデータウェアハウスが登場した背景の一つに、基幹系から情報系を分離することで更新処理と検索処理の競合による性能問題を解決するという目的があったと思いますが、この目的とリアルタイム性の妥協点をどこに見出せばよいのでしょうか。

　「データロードは夜間バッチにして、リアルタイム性については別のソリューションで解決を図るべきなのでしょうか？」という質問に、きちんとした回答を用意する必要があります。

おわりに

　私が開発現場で受けた質問はまだまだありますが、少なくとも以上の諸点について、読者の皆さんは確固たる結論をお持ちでしょうか。次回、これらの疑問に対する回答の意味も込めて、私の考えるデータウェアハウス像を提案させていただこうと思います。