Qlik、「Qlik Open Lakehouse」を一般提供開始　Icebergを自動最適化

　Qlikは、Qlik Talend Cloud上で「Qlik Open Lakehouse」を一般提供開始した。フルマネージド型のApache Icebergソリューションで、リアルタイムのデータパイプライン、Icebergの自動最適化、ベンダーロックインのないマルチエンジンアクセスを実現するとしている。これにより、データからアクションまでの時間とコストを削減し、AI活用に適したデータ基盤を提供するとのことだ。

　Qlik Open Lakehouse は、ユーザーのクラウドアカウント内に「Bring Your Own Compute（BYOC）」モデルで展開され、変更データキャプチャ（CDC）によるデータ取り込みを、Icebergの自動最適化やマルチエンジンアクセスと組み合わせて提供するとのこと。これにより、Amazon Athena、Snowflake、Spark、Trino、加えて機械学習（ML）向けの Amazon SageMakerなどといったツールをそのまま活用できるという。

• ユーザーのVPC上で展開し、Bring Your Own Compute（BYOC）方式で提供されるため、セキュリティ、パフォーマンス、コスト管理を最大限に確保可能
• サービスの提供開始時からマルチエンジンでのアクセスが可能で、Amazon Athenaもサポート。これにより、Icebergテーブルをサーバーレスでクエリしながら、Qlikの分析ツールや他のエンジンと併用することが可能
• SageMaker対応のデータが、Amazon Simple Storage Service（Amazon S3）上のIcebergテーブルに格納されており、機械学習チームは追加のデータコピーを作成せずに、データへのアクセスや前処理、モデル学習を容易に行える
• Icebergの自動最適化機能を搭載しており、クエリパフォーマンスの向上やストレージ容量の削減を目的としている。この機能には、コンパクション、パーティショニング、メタデータ管理などが含まれる
• CDC（変更データキャプチャ）を活用して、数百のソースからの低遅延データパイプラインを提供する。また、データ品質、データ系統、カタログ管理、FinOpsの可観測性も標準で搭載
• Qlikエンジン上でQlik AnalyticsとAI を活用し、ワークフロー自動化を組み合わせることで、得られた分析結果がビジネスシステム上でのアクションにつながるようにする

サービスの仕組み

• オープン設計：データは顧客のオブジェクトストレージ上のApache Icebergに保存される。同じテーブルは、Qlik、Amazon Athena、Snowflake、Spark、Trino、Amazon SageMakerなどの機械学習サービスからもクエリ可能
• リアルタイム対応の標準化：CDC（変更データキャプチャ）により、テーブルは常に最新の状態に保たれる。また、自動最適化により、データ量が増加してもパフォーマンスを維持する
• ガバナンスと信頼性：統合されたデータ品質ルール、データ系統管理、カタログ管理、アクセス制御により、AIや規制対象のワークロードに求められる信頼性と保証を提供
• アクション実行のための設計：Qlikエンジンと自動化機能により、得られたインサイトをワークフローにつなげることで、チームが単にダッシュボードを見るだけで終わらず、実際の行動につなげることが可能

【関連記事】
・Qlik、Databricksユーザー向けの新機能を発表　AI対応アーキテクチャへの移行加速を支援
・日清食品HD、新たなデータ統合・分析基盤の核にQlik導入　ERPのデータをリアルタイムで活用可能に
・サッポロHD、データ統合プラットフォームにQlik導入　ピークタイムでも基幹システムの負荷を抑制