SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

直近開催のイベントはこちら!

Security Online Day 2023 秋の陣

2023年9月26日(火)・27日(水)各日10:00~16:30

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けの講座「EnterpriseZine Academy」や、すべてのITパーソンに向けた「新エバンジェリスト養成講座」などの講座を企画しています。EnterpriseZine編集部ならではの切り口・企画・講師セレクトで、明日を担うIT人材の育成をミッションに展開しております。

お申し込み受付中!

MySQLとHeatWaveが切り開くオープンソース・データベースの新基準

MySQL HeatWave Lakehouseによるさらなる大規模データ分析の実現

第12回

 第12回は2023年7月にリリースされたMySQL HeatWave Lakehouseについて解説します。既存のMySQL HeatWave環境はインメモリ・データストアの力を借りてデータベース分析の高速化を図りますが、Lakehouseはさらに一歩進み、オブジェクト・ストレージ上のCSVやParquetファイルも高速に処理します。この拡張機能が実際に企業にどれだけの費用対効果をもたらすのか、詳細を解説します。

MySQL HeatWave Lakehouseとは

 MySQL HeatWave LakehouseはMySQLのクラウドデータベースであるMySQL HeatWaveの最新の拡張機能です。MySQL HeatWaveではデータベース内のデータの分析を高速化するためにMySQLサーバーと連動するインメモリ・データストアのHeatWaveノードにデータをロードし、複数台のノードが並列で処理を実行するアーキテクチャとなっています。HeatWave Lakehouseではこの仕組みを拡張し、オブジェクト・ストレージ上のCSVファイルやParquetファイルのデータをHeatWaveノードのメモリにロードして、分散型インメモリ・データストアとしての処理性能を活用して高速なデータ分析を実現しています。

 1つのクラスターにおけるHeatWaveノードの台数は64台が上限でしたが、HeatWave Lakehouseのリリースのタイミングで512台に引き上げられました。HeatWaveノードではデータを圧縮した状態でメモリ上に格納しますが、圧縮前のデータサイズで1ノードあたり約1TBのデータを保持することが可能です。このためHeatWave Lakehouseでは最大で500TBのオブジェクト・ストレージ上のデータを処理することが可能です。

 HeatWaveノード上にロードされたオブジェクト・ストレージのデータにアプリケーションからアクセスする際には、MySQLサーバー上の通常のテーブルのように見えるようになっています。このために開発されたのがLakehouseストレージ・エンジンです。InnoDBのテーブルをHeatWaveノードにロードした場合と同様にデータの実体はHeatWaveノードのメモリ上に格納されています。

オブジェクト・ストレージ上のデータの分析

 MySQLをはじめとするリレーショナル・データベース(RDBMS)でのデータの管理に加えて、RDBMS外にデータが置かれることも広がっており飛躍的に規模が増加しています。一方で収集されたデータの活用は進んでおらずGrow.comの調査によれば収集された99.5%のデータが活用されないままとなっているとされています。IoTデバイスやセンサーなどから生成されるデータはオブジェクト・ストレージに格納されることがありますが、オブジェクト・ストレージはデータ分析向けに最適化されたストレージではありません。オブジェクト・ストレージに直接分析クエリを実行できるサービスは複数あるものの、残念ながら処理性能がそこまで高いとはいえません。

データ分析方式2タイプ
データ分析方式2タイプ [画像クリックで拡大]

 MySQL HeatWave Lakehouseでは分析前にデータをHeatWaveノードのメモリにロードして、インメモリ・データストアの仕組みをフル活用することで性能の課題を解決しています。

次のページ
HeatWave Lakehouseのベンチマークと費用対効果

この記事は参考になりましたか?

  • Facebook
  • Twitter
  • Pocket
  • note
関連リンク
MySQLとHeatWaveが切り開くオープンソース・データベースの新基準連載記事一覧

もっと読む

この記事の著者

梶山隆輔(カジヤマリュウスケ)

日本オラクル MySQL Global Business Unit Asia Pacific & Japan担当 MySQLソリューション・エンジニアリング・ディレクターオラクル社において、MySQLのお客様環境への導入支援や製品の技術解説を担当するセールスコンサルタントチームのアジア太平洋地域リーダー。多国籍なM...

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

この記事は参考になりましたか?

この記事をシェア

EnterpriseZine(エンタープライズジン)
https://enterprisezine.jp/article/detail/18309 2023/09/07 09:00

Job Board

AD

おすすめ

アクセスランキング

アクセスランキング

イベント

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

2023年9月26日(火)・27日(水)各日10:00~16:30

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング