味の素と東京海上が示す、Snowflake／Databricksを活かした“AIレディな基盤構築術”

東京海上日動システムズ：Databricks×Snowflakeのハイブリッド戦略

　一方、東京海上日動システムズは、Hadoop環境からの移行も含め、より高度な分析と処理能力を重視し、Databricksをデータレイクおよびデータ処理・分析基盤として採用。そこに加え、DWHとしてSnowflakeを併用するハイブリッド構成をとっている。一般的にSnowflakeとDatabricksは競合製品と見なされることも多いが、木村氏は2つの強みを理解したうえで使い分けていると話す。

　「Databricksは生データの蓄積（データレイク）や高度なデータ処理・加工（ETL）、データ分析・機械学習モデルの開発環境として利用しています。データ処理と分析をワンプラットホームで完結でき、GPUインスタンスなどのコンピュートリソースを柔軟に選択・拡張できる点がエンジニアリング視点での大きなメリットです」（木村氏）

　そしてSnowflakeは、社内基幹システム・業務システムのデータを処理する基盤で加工されたデータを格納するDWHとして利用されている。木村氏は、結合のしやすさやデータシェアリング機能によるセキュアなデータ共有、マスキングなどのガバナンス機能が優れているとして、「ユーザーへの公開層として活用しています」と話す。この構成により、データサイエンティストが必要とする自由度の高い分析環境と、ビジネスユーザーが必要とする整理されたデータ参照環境を両立しているのだ。

SaaS導入で生まれた新たな運用も

　また木村氏は、オンプレミスからSaaSへ移行したことによる運用の変化にも触れた。SaaSは常に機能追加されて進化するが、それは裏を返せば、ベンダー側の仕様変更に常に追随しなければならないことを意味する。特に金融のように厳格なセキュリティポリシーが必要とされる企業にとって、SaaS側の仕様変更が自社のガバナンスに抵触しないか、あるいは新機能をオンにすべきかオフにすべきか、といった判断は日常的なタスクとなる。

　この課題に対応するためには、社員が常に最新情報をチェックし、サードパーティベンダーと密にコミュニケーションを取る体制が必要だと木村氏は述べる。「これはオンプレミス時代にはなかった新しい運用負荷ですが、それを補って余りあるメリットを享受しています」と導入後の成果を語った。