Qlikは、Databricksの顧客向けに、Databricksのデータインテリジェンスプラットフォーム上に構築された新機能を発表した。これらの機能強化には、変更データキャプチャ(CDC)を利用してリアルタイムデータをUnity CatalogのUniformテーブルにストリーミングする機能、Qlik Open LakehouseによるApache Icebergの自動最適化、データプロダクト作成などが含まれるという。
機能強化により、データチームはオープンフォーマット全体により柔軟に対応できるようになり、DeltaおよびIcebergデータの運用パフォーマンス向上とともに、AI対応アーキテクチャへの移行を加速できるとしている。これは、Databricks固有のガバナンスやパフォーマンスを損なうことなく実現されるとのことだ。
新機能は次のとおり。
- CDCを通じたDatabricksのUniformテーブルへのリアルタイムデータストリーミング:Qlik Replicateは、企業のデータソースからの継続的なCDCをUnity Catalogが管理するIcebergテーブルに直接ストリーミングできるようになったという。これにより、DeltaおよびIcebergの両フォーマットに対応する、SLAを満たす低遅延なデータ取り込みが可能になるとしている
- アダプティブなIcebergの最適化:Qlik Talend CloudによってApache Icebergテーブルにデータが取り込まれると、Qlik Open Lakehouseの完全自動化されたオプティマイザーが、コンパクションやパーティショニング、プルーニングを処理し、ストレージの容量を削減してクエリの高速化を実現するという。最適化されたIcebergテーブルは、Databricks PhotonやIceberg対応のほかのエンジンからも、常に低遅延でクエリ実行ができるとのことだ
- AI対応のデータ製品:データチームがガバナンスされたデータプロダクトを構築できるようになり、Delta Live Tablesを含むDatabricksのアセットに対して、データ品質の計算処理をプッシュダウンできるという。これにより、データ製品は信頼性が高く、AI活用に最適な状態を維持できるとしている
- Spark対応のStudioロードマップの機能強化:Qlikは、開発者向けの新機能として、スキーマ推論、Databricksノートブックのインポート、ネイティブなSparkデバッグ機能などを順次導入するという。これにより、チームは既存のDatabricksワークフロー内で、ガバナンスの効いたセルフサービス型のデータパイプラインを管理できるようになるとのことだ
【関連記事】
・日清食品HD、新たなデータ統合・分析基盤の核にQlik導入 ERPのデータをリアルタイムで活用可能に
・Databricks、米年次イベントに6万人超が参加 AIエージェント評価機能などのアップデート発表
・HPEとNVIDIA、「HPE Discover」にて新たなAIファクトリーソリューションを発表
この記事は参考になりましたか?
- この記事の著者
-
EnterpriseZine編集部(エンタープライズジン ヘンシュウブ)
「EnterpriseZine」(エンタープライズジン)は、翔泳社が運営する企業のIT活用とビジネス成長を支援するITリーダー向け専門メディアです。データテクノロジー/情報セキュリティの最新動向を中心に、企業ITに関する多様な情報をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか?
この記事をシェア