EnterpriseZine(エンタープライズジン)

EnterpriseZine(エンタープライズジン)

テーマ別に探す

「AIとデータの民主化」をデータウェアハウス×データレイクで実現へ Databricksが描く未来像

edited by DB Online   2020/11/19 08:00

「AIとデータの民主化」の実現を目指している、Databricksという企業をご存じだろうか。この「AIの民主化」という言葉を耳にする機会が増えているように、AIの一分野である機械学習を利用したデータ活用が企業において喫緊の課題となっている。新型コロナウイルス感染症拡大の影響によってデジタル化が加速している日本においても、データの活用方法を模索しているという企業は多いだろう。今回は、同社の取り組みと「Lakehouse」というコンセプトを軸としたアーキテクチャについて訊いてきた。

Databricks Japan 社長 竹内 賢佑氏
Databricks Japan 社長 竹内 賢佑氏

AIとデータの民主化を掲げるDatabricks

 Databricksは、データ・エンジニアリング、データ・サイエンス、データ・アナリティクスという3つの領域における、統合データ分析基盤を提供している企業だ。本社は、米国のサンフランシスコにあり、データ解析などに利用されることの多いオープンソースの分散処理フレームワーク「Apache Spark」のクリエイターによって設立されたという歴史をもつ。

 日本法人であるDatabricks Japanは2019年に設立されており、同社 社長を務める竹内 賢佑氏は、はじめにデータを取り巻く環境について紹介した。IT専門調査会社のIDCによると1年間に生成される総データ量が、2025年には175ZB(ゼタバイト)と現状の約6倍近い値になるとしており、このうちの約半数がパブリッククラウド上に保存されるという。

 また、ガートナーによる調査では、2021年に生成されるデータの80%が音声や動画、画像といった非構造化データになるとされている。これらの報告から、竹内氏は「これからの3年~5年は、パブリッククラウド上の膨大な非構造化データを他データと統合し、AIや機械学習によってインテリジェンスを抽出していくことが重要なポイントだと考えている」と述べた。

指数関数的に増大していくデータから、価値を見出すことが大切だという
指数関数的に増大していくデータから、価値を見出すことが大切だという
[画像クリックで拡大]

 そのためにも、Databricksでは「AIの民主化」だけではなく「データの民主化」も重要視しているという。AIの民主化は、誰もがAIを使えるようにするという広範な意味があるが、これを実現するためには、データの民主化というものが前提にあると説明する。

 「長期にわたり整理されていなかったり、価値が見出されずに蓄積されたままのデータなどにメスを入れて新たな価値を見出していく。これを、『AIの民主化』と『データの民主化』と定義して、日本国内で推進していきたい」(竹内氏)

 このAIとデータの民主化を実現するための具体的なソリューションとしてDatabricksは、次世代型アーキテクチャ「Lakehouse」というコンセプトを掲げている。

 このLakehouse最大の特徴は、構造化データだけでなく、JSON(JavaScript Object Notation)やXML形式の半構造化データ、そして画像や動画といった非構造化データまでも扱うことができるという点にある。これら種々のデータは、機械学習やSQLアナリティクス、BIなどの業務に対して容易に活用できるという。

※この続きは、会員の方のみお読みいただけます(登録無料)。


※この続きは、会員の方のみお読みいただけます(登録無料)。


著者プロフィール

バックナンバー

連載:EZ Press

もっと読む

All contents copyright © 2007-2020 Shoeisha Co., Ltd. All rights reserved. ver.1.5