FBP、DWHへのデータ同期にかかるリソースとコストを改善するデータパイプライン自動化サービス「Fivetran」を提供

　「Fivetran」は、米Fivetran社が提供する、メンテナンス不要のデータパイプラインの自動化サービスで、世界数か国、550社以上の企業で導入されているという。

　■FivetranとELTプロセスがコスト効率を向上

　「Fivetran」が提供する100を超えるコネクタを介して、Adobe AnalyticsやSalesforceなどのアプリケーション、ORACLEやPostgreSQLなどのデータベース、Webhooksなどを利用したイベント、CSVなどのファイルから得たデータを、Google BigQuery、Amazon Redshift、Snowflakeなどのクラウドデータウェアハウスを使用して集中管理できる。

　■データパイプラインイメージ

　「Fivetran」の初期設定は最短で5分、最長でも60分程度で完了し、データソースで何かしら変更・更新された際には自動的に検知し、データウェアハウス内のデータを修正・同期する。

　通常これらの処理を実現するためにはエンジニアが大量のコードを書き、データが変更・更新されるたびに継続的なメンテナンスが求められるが、「Fivetran」を導入することでメンテナンスの必要がなくなるため、データ分析チームはエンジニアリングやコストの心配をせずに分析に集中できるという。

　従来、データパイプラインのプロセスは、データの抽出（extracting）、 変換（transforming）、 およびデータウェアハウスへのロード（loading）という手順で構成されていたが、「Fivetran」では、変換とロードの順番を変えたELTプロセスをサポートしている。

　Google BigQuery、Amazon Redshift、Snowflakeなどのサービスの普及により、データウェアハウスのコストが大幅に削減されたため、ストレージの容量を常に配慮する必要がなくなり、ELTプロセスを取り入れることで、絶え間なく変化するデータ環境に適応するためのデータパイプラインを最適化できるとしている。

　■Classic ETL & Modern ELT

　FBP社では、2018年8月よりビジネスインテリジェンスの機能を備えたデータプラットフォーム「Looker」をメインソリューションとして販売・導入支援をしている。LookerとFivetranを組み合わせて、データソースへのリアルタイムアクセスを可能にし、データソースで行われた変更をタイムリーにキャッチすることにより、経営者やデータアナリストは、現在の企業の状況を迅速に把握できるという。

　■Fivetran & Looker

　すでにデータウェアハウスやBIツールを導入していて、データパイプラインの自動化を希望する企業にはFivetranを単独で提供し、これからデータ分析基盤を作っていきたいという企業向けには、データウェアハウスの構築、FivetranとLookerをセットにした形での販売と導入支援など、企業の状況や要望に合う提案を行っていくとしている。