ビックデータ処理の「高速化」と「信頼性」を支える、数々のオープンソース技術はどう生まれたのか?
第4回:ビッグデータ処理最適化──レイクハウスを支える技術
今までの記事では、データウェアハウス/データレイクからレイクハウスに至った過程や役割の利用イメージについて論じてきた。本稿では、レイクハウスを構成するコンピュート、ストレージレイヤーの技術に焦点を当て、代表的なオープンソースのテクノロジーが生まれた背景やその概要について述べる。なお、レイクハウスとは何かについては第2回で述べているのでそこで確認してほしい。
この記事は参考になりましたか?
- Databricksと見る、データ×AIの世界連載記事一覧
-
- 「非構造化データ」の活用が進まない2つの理由──企業に眠る、膨大な“金脈”を活かす糸口を探...
- 「MLOps」の考え方とは?──機械学習が“当たり前”の時代になる前に知っておきたいこと
- ビックデータ処理の「高速化」と「信頼性」を支える、数々のオープンソース技術はどう生まれたの...
- この記事の著者
-
新井 康平(アライ コウヘイ)
一橋大学を卒業後、アクセンチュア株式会社デジタル部門に入社。金融、エネルギー、メディアなどの業界においてビッグデータ分析基盤や機械学習パイプラインの構築・運用に従事。その後、オービタルインサイトにおいてAPAC地域を管掌するソリューションエンジニアとして、衛星画像を使った物体検出や位置情報データ(携...
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか?
この記事をシェア