パブリッククラウド化で、顧客ニーズに応えるデータ活用基盤へ
JPXでは、新しい業務システムをパブリッククラウドで短期間のうちに構築するだけでなく、既存システムをクラウド化して活用するケースも増えている。その中、データ活用基盤となるデータウェアハウス（DWH）は、依然としてオンプレミスに存在していた。そのため、クラウドとオンプレミス間のデータ連携には課題を感じていたと、JPX総研 ITビジネス部 課長を務める鹿島裕氏は話す。
そこで進めているのが、オンプレミスのDWHをパブリッククラウドに移行することで課題を解決するだけでなく、より幅広い顧客ニーズに対応できる、新たなデータ活用基盤の構築だ。JPXでは、既にAmazon Web Services（AWS）やMicrosoft Azure、SalesforceなどのSaaSを含め、さまざまなクラウドサービスを積極的に利用している。独立稼働する比較的小規模なシステムからクラウド運用に着手すると、徐々に対象となるシステムが広がっていき、いよいよ「証券の取引データを格納するDWHもパブリッククラウドに移行することになりました」と鹿島氏は話す。
オンプレミスにあるDWHシステムは、2019年12月に稼働を開始。5年目となる2024年12月には更改時期を迎える。JPXで扱う取引データは大規模であり、それを分析するために加工するのにも相当なシステム性能が必要だ。この大規模処理のために、オンプレミスではClouderaのHadoopベースのシステム「Cloudera Data Platform（CDP）」を利用してきた。
「ClouderaのDWHはパフォーマンスが良く、性能面で問題ありません。そのため、同じものを引き継いだ形でクラウド化したいと考えました」と鹿島氏。データを分散させることで高速に処理可能なHadoopベースのアーキテクチャが、膨大なデータ処理で求められる性能の確保につながっている。その上で「長期にわたりデータが増加しても拡張性があり、性能が劣化しない点も評価している」と言うのはJPX総研 ITビジネス部 課長の坂本貴康氏だ。
先述の通り、JPXでは複数のクラウドを活用しており、既にグループ共通のクラウド基盤も有している。それがAWS上に構築されている「J-WS」だ。これは必要なセキュリティ、アクセス制御、ライブラリなどの機能をAWS上にあらかじめ実装したもの。ルールが統一されているため、他のクラウドよりも短期間でシステムを構築できるメリットがある。そのため、独自開発するような業務システムは主にJ-WSを用いて設計・構築し、メールやOfficeなどのマイクロソフト製品の周辺サービスを使うような場合にはAzureを利用するといった具合に、使い分けているという。
今回のDWHをクラウド化するJ-LAKEのプロジェクトは、2023年4月から検討を始め、構築作業は同年10月にスタート。プロジェクトには当初からJ-WSのチームも参画し、共通基盤上に存在する機能を活用する形で計画された。J-WSの活用により、短期間での移行を目指した形だ。また、J-LAKEの構築で最も重視された要件は、最低でも既存システムと同レベルのものを作ること。J-WSのセキュリティ、時刻同期、バックアップなどの共通機能がJ-LAKEでも問題なく動作するかも確認が必須となった。
[画像クリックで拡大]
特に「パブリッククラウド上のClouderaの製品が、JPXのクラウドセキュリティポリシーに適合するかは検証が必要となりました」と坂本氏は振り返る。このとき、Clouderaから提案を受けたのは、オンプレミスで利用していたCDPのパブリッククラウド版。これは、GUIベースでHadoopクラスターの設定を行えば、AWS上ですぐにCDPが利用できるというものだ。
もちろん、新しいシステム環境にJPXの高度なセキュリティポリシーを適用すると、そのままではうまく動かないところもあった。そうした点は、Clouderaのサポートを受けながらポートやIAM（Identity and Access Management）、ロールの設定などを修正することで、JPXのセキュリティポリシーに合致させた上で正常稼働するように調整したと坂本氏。「Clouderaのシステムエンジニア（SE）が柔軟に対応してくれました。海外のサポートチームともコミュニケーションをとってくれ、問題も素早く解決しています」と鹿島氏もClouderaのサポート体制を評価する。
