データ分析とコストのジレンマに終止符──「諦めたログ」も活かすSplunk×Amazon S3活用術

今まで諦めていた“低頻度”なデータ分析が可能に？

　生成AIや自律型システムの普及にともない、マシンデータを適切に監視し、リスクに迅速に対応できる体制を整備することの重要性はますます高まっている。そのためには、サーバーログ、アプリケーションイベント、ネットワークトラフィック、センサー情報などの膨大なマシンデータをリアルタイムに収集・分析し、異常検知や最適化につなげるデータプラットフォームが肝となる。

　その一つの選択肢として多くの企業で導入が進んでいるのがSplunkだ。企業のITシステムやアプリケーションから生成される膨大なマシンデータを収集・分析し、システム運用の最適化やアプリケーションの可視化、業務の意思決定支援など、幅広い用途で活用できるデータプラットフォームとしての機能を備えている。クラウド版のSplunk Cloudでは、リアルタイムのモニタリングから高度な相関分析まで対応可能な検索・分析機能を備えており、多様な業務領域での洞察の獲得と課題解決を支援する。

　しかし、その優れた機能と引き換えに、利用料金は取り込むデータ量に応じて課金される仕組みとなっており、データ量が増えれば増えるほどライセンス費用も増大する構造を持つ。このコスト負担のイメージが、多くの企業にとってSplunkの活用拡大の大きな障壁となっていた。

　酒井氏はまず、現在多くの企業が直面している課題を明確に示した。「クラウドの有効活用やDXが進むにつれて、管理すべきログの量は増加の一途を辿る。取り込むデータ量に応じて加算される費用が、全体のライセンス費用の大部分を占めている企業は多い」と指摘し、データ量の増加とコスト増大の関係性を説明した。

　この課題に対する解決策として酒井氏は「Splunk Federated Search for S3（以下、FSS3）」の活用を提案する。FSS3は、Splunk Cloudにデータを直接取り込まずにダイレクトクエリできる機能で、AWSが提供するクラウドストレージサービス「Amazon S3」の構造とAPIに特化して設計されている。これを活用することで、従来のデータ処理フローを根本的に変革できるとした。酒井氏は、実際にFSS3を活用する場合のシステムのアーキテクチャとして、Amazon S3、AWS GlueとSplunk Cloudを連携させ、アクセスする頻度の少ないデータを安価なAmazon S3に保存しながら、アクセスが必要な時にはSplunkの高度な分析機能でアクセスできる仕組みを提案する。

　また、具体的なFSS3の活用場面は、5つのユースケースによって紹介された。まず1つ目に、頻繁には利用しないものの、万が一のセキュリティ調査時にアクセスが必要となるような“アクセス頻度の少ない”ケース。2つ目に、セキュリティインシデント発生時における侵入経路の調査時に用いられるケースが考えられる。3つ目には、レポートを作成する際に古いデータを活用するような“過去データの統計”ケースが該当する。4つ目に、法規制を遵守するために一定期間データを長期保管する必要があるといった観点から、コンプライアンス対応での活用も期待される。そして最後に、クエリ実行を一元化することで、操作の簡便さやスピード、アクセス性を高め、組織全体の分析効率を向上させる「ログ分析の中央化」にも効果があると説明した。

　酒井氏は「これらのユースケースはすべて、取り込まなければいけないデータ量に対して実施頻度が低かったり、従来はコストや手間の問題から活用がためらわれていたりした領域だ」と述べ、FSS3によってより柔軟なデータ分析が可能になることを示した。