2024年10月31日、primeNumberは、データカタログサービス「COMETA」にdbt(data build tool)の連携機能を搭載したと発表した。
dbtは、dbt Labsが提供するデータ変換ツール。今回の連携によりCOMETAでは、dbtを使ったカラムリネージが利用できるようになるとのことだ。
これまでCOMETAでカラムリネージを利用するには、primeNumberのデータ基盤総合支援サービス「TROCCO」を併用する必要があったが、dbtメタデータ連携によってCOMETAの画面上でカラムリネージを確認できるようになったとしている。
機能の詳細は以下のとおり。
カラムリネージのサポート
dbtで生成されたSQLクエリを解析することで、カラムレベルのリネージ情報を提供。COMETAがカタログ化したテーブルの詳細ページからカラムリネージ情報にアクセスでき、実際にそのテーブルがどのようなSQLにより生成され、どのようなテーブルが参照されているかを確認できるという。
dbtで管理しているメタデータの取り込みと検索
dbtプロジェクトで管理しているテーブルの説明やタグなどの情報を、COMETAが取り込むことで、検索機能を使って簡単に目的のデータにアクセスできるようになるとのことだ。
連携の設定
COMETAは、顧客のdbtプロジェクトが生成する成果物を参照することで、メタデータを取り込むという。顧客のファイルストレージ(S3)にdbtの成果物を定期的に転送し、COMETA上でそのファイルストレージへの認証情報などを設定することで、最新の成果物からdbtのメタデータを取得できるようになるとしている。
【関連記事】
・primeNumber、「TROCCO」新プランを発表 大容量転送効率化・速度向上・安定性強化を実現
・primeNumber、NTTデータ関西とパートナー契約を締結 官公庁などのデータ活用支援へ
・primeNumber、データカタログ市場に参入 「TROCCO」ブランドリニューアルも