SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

直近開催のイベントはこちら!

EnterpriseZine Day 2022

2022年6月28日(火)13:10

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けの講座「EnterpriseZine Academy」や、すべてのITパーソンに向けた「新エバンジェリスト養成講座」などの講座を企画しています。EnterpriseZine編集部ならではの切り口・企画・講師セレクトで、明日を担うIT人材の育成をミッションに展開しております。

お申し込み受付中!

DB Press(PR)

機械学習もDBで実装、ビッグデータ分析・活用特化基盤でデータドリブン経営を推し進める

  データ活用が盛んに叫ばれるようになった今日、大量のデータを分析して経営の意思決定をするには、基盤となるデータベース上の課題をクリアにしておかなければならない。2019年10月17日に開催されたアシストテクニカルフォーラム(東京・虎ノ門)のセッション「機械学習もできる!事例から学ぶ、データドリブン経営の分析データベース」では、従来のデータベースにありがちな課題とそれらを解決する方法が紹介された。

ビッグデータ分析に特化したアーキテクチャとは

アシスト データベース技術本部 河西大樹氏

 データ分析の結果に基づいた意思決定においては、ビッグデータ活用が重要となる。昨今では、従来の企業が持っていた顧客情報だけでなく、あまり活用してこなかったさまざまなログデータ、気象情報などのオープンデータも活用するようになっているという。

 データドリブン経営を実現するためには、ビッグデータ分析を数多くのユーザーがストレスなく使える分析基盤にする必要があるだろう。セッションでは、分析に特化した次世代型データベースVerticaが解決してきた大量データと高速処理に関する4つの課題事例についてアシストデータベース技術本部の河西大樹氏が解説した。

【Vertica 4つの事例】
(1)JOIN処理ボトルネックを解消し、174倍のパフォーマンス向上
(2)マスターノード不要アーキテクチャでDBのボトルネックを解消
(3)クラウド上でピーク時のみ計算ノードを増加、高速処理のコストを最適化する 
(4)機械学習とデータ分析の基盤を統一、高い予測精度を実現

 Verticaは分析特化型で、基幹系システム処理を行うデータベースとはアーキテクチャが異なる。内部のデータの持ち方は列指向で、不要な列の読み込みを排除、データ圧縮効率もかなり高い。複雑なチューニングをせず高速な処理を実現できるため、結果として運用コストも削減できる。クラウドでもオンプレミスでも、柔軟に複数サーバー(ノード)で運用でき、必要に応じオンラインのままノードを追加することも可能だ。さらに独自の分析機能を、データベースのエンジンの中に多数搭載し、既に国内でも大手のオンライン証券を運営する企業や求人サイト運営会社など多数の事例があるという。

出典:アシスト講演資料[画像クリックで拡大表示]

ビッグデータ活用を最大化する基盤がもたらしたもの

(1)JOIN処理ボトルネックを解消し、174倍のパフォーマンス向上

 世界100カ国以上に事業部を置く米スマートメーター提供企業は、電気や水道、ガスのユーティリティソリューションをグローバルに展開している。世界中のスマートメーターから膨大なデータを日々収集して分析し、その規模は将来的にペタバイトクラスとなると見込まれている。日々増え続けるデータをより効率的に分析する基盤を検討し、Verticaの導入に至った。

 「Verticaを導入後、従来と比べ174倍のパフォーマンスが得られています。その上、運用の手間も削減されました」。大幅な性能向上につながったのは、ボトルネックとなっていた大量データのJOIN処理における課題を解消したからだ。JOIN処理のボトルネックは通常、JOINした結果の非正規化テーブルを保持することで解消する。しかしこの手法の場合は、マスターに変更があるたびに非正規化テーブルを手作業で作り替えなければならず、運用上の負担が大きくなってしまう。

 対して、Verticaにはフラッタンテーブル機能(注1)がある。JOINした結果のフラッタンテーブルを保持し、独自機能を用いてマスター変更時は更新部分だけをフラッタンテーブルに自動で反映できるそうだ。これにより大量データのJOIN処理というボトルネックに対し、性能の確保と管理工数の削減という両面からアプローチできる。

―――――――
(注1)
フラッタンテーブルについての解説は
コチラ
フラッタンテーブルの検索性能についての解説はコチラ

次のページ
優れた同時実行性と分散処理で高速性を担保

この記事は参考になりましたか?

  • Facebook
  • Twitter
  • Pocket
  • note
DB Press連載記事一覧

もっと読む

この記事の著者

谷川 耕一(タニカワ コウイチ)

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

この記事は参考になりましたか?

この記事をシェア

EnterpriseZine(エンタープライズジン)
https://enterprisezine.jp/article/detail/12570 2019/11/28 06:00

Job Board

PR

おすすめ

アクセスランキング

アクセスランキング

イベント

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

2022年6月28日(火)13:10

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング