データ分析とコストのジレンマに終止符──「諦めたログ」も活かすSplunk×Amazon S3活用術

実際のテスト結果から見えたFSS3の価値

　酒井氏は、今回紹介した仕組みのパフォーマンスをテストした結果を示した。3つの異なるAmazon S3パーティションでのテストを実施し、データ量と検索時間の関係を定量的に測定した結果、1.7MBのデータでは2.352秒、475MBでは29.038秒、3.4GBでは51.904秒という結果を得たという。

　この結果について酒井氏は「検索時間が30秒を超えると調査などには使いづらい」と率直に評価する。そこで、ファイル数が増えると検索時間も延びる傾向を踏まえ、データ形式の最適化によるコンパクション戦略の実証結果も紹介した。

　コンパクションとは、複数の小さなファイルを一つにまとめると同時に、データ形式をより効率的なものに変換する処理だ。酒井氏が紹介したテストでは、26,123個のオブジェクトに分散していた2.5GBのデータ（検索時間40.118秒）に対して、複数ファイルの統合とJSON形式からParquet形式への変換が実施された。

　Parquet形式は列指向ストレージフォーマットと呼ばれる効率的なデータ形式で、行指向のJSONと比較して分析処理に最適化されている。この変換により、データは1オブジェクト・1.6MBまでコンパクト化され、検索時間も3.682秒まで劇的に短縮された。

　また同氏は、コスト面での優位性について、毎日3.4GBのデータを30日間保存したケースの料金試算を例にとって説明した。この場合、Amazon S3の月額費用が2.55ドル、PUT API費用が0.013ドル、AWS Glue Data Catalog費用は無料範囲内となる結果を示す。「AWSの料金は従量課金となるため、あくまで参考費用だ」と前置きしつつ、Splunk Cloudに直接取り込む場合と比較して大幅なコスト削減効果が期待できるとした。

　今回の検証を踏まえ、酒井氏は今後のSplunk機能拡張への期待を語った。「Ingest Actionsがコンパクション機能に対応すれば、大幅な改善が期待できる」と具体的な機能改善を要望し、現在は手動で行っているデータ最適化処理の自動化が実現すれば、さらなる効率向上が期待できると展望を示した。

「魅力的なのに知られていない」データ活用の選択肢を広げるために

　講演を通して酒井氏が特に強調したのは、FSS3の潜在的価値と実装における課題のギャップだ。「SplunkユーザーがFSS3を使えば、大幅なコスト削減を実現できる。多くのユーザーにとって魅力的なソリューションに映ると思われるが、『Splunkのことは知っていてもAWSに関する知識が足りないために、実装方法が分からない』という相談が非常に多い」と話す。このような背景から、AWSソリューションをメインで扱っているクラスメソッドには相談の声が多く寄せられているという。

　酒井氏がFSS3の活用を提案する背景には、AWSとSplunkそれぞれの強みを最大化するための戦略がある。「データの検索や分析を行うにあたってはSplunkの方が使いやすい」ことを示した上で、「AWSを使ったほうが効率的な部分では上手に活用する」という融合型のアプローチを採る重要性を強調する。

　さらに、クラスメソッドが提供するAWSプライベートオファリングについても触れ、AWSの料金とSplunkの料金を合算して支払いができると紹介した。

　最後に、Splunkの“オンプレミス環境で利用できるサービス”というイメージがまだ根強いことにも触れ、「Splunk Cloudはデータの取り込み量で課金されるため、コストが高いという認識を持つ人も少なくない。そのような人たちには特に、今回紹介したような選択肢もあることを知っていただきたい。そして、今まではコストを理由に諦めていたデータの活用にも取り組むことで、データ活用の幅を広げていっていただければうれしい」とコメントした。