SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

直近開催のイベントはこちら!

Security Online Day 2023 春の陣

2023年3月14日(火)10:00~16:00

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けの講座「EnterpriseZine Academy」や、すべてのITパーソンに向けた「新エバンジェリスト養成講座」などの講座を企画しています。EnterpriseZine編集部ならではの切り口・企画・講師セレクトで、明日を担うIT人材の育成をミッションに展開しております。

お申し込み受付中!

data tech 2018 講演レポート(PR)

Microsoft Azureのデータ分析サービスを使い倒すには? 実例を元にツール活用方法を徹底解説

Azure DatabricksにAzure Machine Learning service…強力なツールが次々と登場

 分析設計で分析方針を定めたら、次はデータ加工とモデル作成へと進む。ここは「全行程において最も時間を要するフェーズ」と大内山氏は言う。試行錯誤を繰り返しながら精度を高めていくためだろう。ここで使われるのが「Azure Databricks」。これはAzureのPaaSとして提供されるSparkサービスとなる。

 DatabricksはApache Sparkの開発チームが2013年に設立した企業であり、今ではApache Sparkの最大のコントリビューターでもある。Sparkをよく知るエンジニア集団がデータ分析をより高速かつ便利に行えるように、ごりごりに磨き上げたSparkと考えていいだろう。それがAzureのPaaSサービスとして提供されている。

AzureのPaaSとして提供されるSparkサービス「Azure Databricks」 
出所:日本マイクロソフト[画像クリックで拡大表示]

 Azure Databricksは通常のSparkに比べると、性能面、管理面、コラボレーション面でメリットがある。性能面でいえば、Sparkエンジンが最適化されており、DatabricksによってOSS Sparkの5倍高速というベンチマーク結果が公開されている。管理性だとクラスタのオートスケール(自動的に拡張)やオートターミネーション(自動的に終了して課金が生じないようにする)など、サーバーレスで管理が容易という点が挙げられる。

 加えてPythonやRなどに対応したDatabricks Notebookを搭載しており、複数で共同作業ができるなどコラボレーション機能が充実している。これまで分断されがちだったデータエンジニアリングとデータサイエンス(モデル作成)という2つの作業をワンストップで一気通貫に実現できる。Azure Databricksを活用することでデータ処理時間を150時間から5時間に短縮し、コストを月額で240万円から30万円に削減できた事例もあるという。  

 データ加工とモデル作成が終了したら「これで終わり」ではない。作成したモデルは使ってこそ意味がある。つまり、モデルを管理し、実際の環境へと展開して運用する必要がある。Azureではこうした機械学習モデルのライフサイクルをサポートするフレームワークとして「Azure Machine Learning service」が提供されている。データの準備、モデル構築、モデル展開から監視までできるようになっている。特にモデル展開は売りの機能の一つであり、モデルをDockerイメージとしてパッケージングしてAzure上のコンテナ環境およびEdge上に容易に展開できるようになっている。本ケースにおいてはAzure Databricksがデータ準備とモデル作成までを担当し、Azure Machine Learning serviceはそれ以降を担当する、というようにサービス連携と役割分担も可能だ。 

 分析データの再利用を顧客から希望されることがある。分析プロセスの過程で作成された中間データを別の部署や関係者がそれぞれの目的で利用したいというケースがあるためだ。その目的やクライアントツールにも依存するが、汎用的な分析を目的とするのであれば「RDBに格納しておくのが好ましい」と大内山氏は言う。その際にはクラウド型の並列分散データウェアハウスである「Azure SQL Data Warehouse」が適している。特に最近ではより高速化された「Gen2」が登場しており、データ分析をしているなら着目しておいたほうがいいだろう。

Microsoft Azureのデータ分析サービス全体図 
出所:日本マイクロソフト[画像クリックで拡大表示]

 大内山氏の話から分かるように、Microsoft Azureには企業がデータ分析およびデータ活用を行うためのサービスが次々と登場している。データの収集、加工、モデル作成、展開、監視まで、フルサイクルを一気通貫でカバーできており、Microsoft Azureだけで完結できるほど充実している。企業のデータ活用に力強い味方となりそうだ。

Azure関連の最新情報はこちら↓↓↓
Microsoft Azure関連の【セミナー情報】はこちらから一覧でチェックできます!

 

この記事は参考になりましたか?

  • Facebook
  • Twitter
  • Pocket
  • note
data tech 2018 講演レポート連載記事一覧

もっと読む

この記事の著者

加山 恵美(カヤマ エミ)

EnterpriseZine/Security Online キュレーターフリーランスライター。茨城大学理学部卒。金融機関のシステム子会社でシステムエンジニアを経験した後にIT系のライターとして独立。エンジニア視点で記事を提供していきたい。EnterpriseZine/DB Online の取材・記事も担当しています。Webサイト:https://emiekayama.net

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

この記事は参考になりましたか?

この記事をシェア

EnterpriseZine(エンタープライズジン)
https://enterprisezine.jp/article/detail/11537 2019/01/29 06:00

Job Board

PR

おすすめ

アクセスランキング

アクセスランキング

イベント

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

2023年3月14日(火)10:00~16:00

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング