EnterpriseZine(エンタープライズジン)

EnterpriseZine(エンタープライズジン)

テーマ別に探す

フィックスターズとノーチラス、並列分散フレームワークのOSS「Asakusa on M3BP」を開発

  2016/04/12 19:00

 フィックスターズとノーチラス・テクノロジーズは、基幹バッチ処理の運用・開発を並列分散処理基盤で実施するためのフレームワーク「Asakusa on M3BP」と、その実行基盤「M3 for Batch Processing(エムキューブド フォー・バッチ・プロセッシング:M3 for BP)」を開発し、オープンソースソフトウェアとして公開した。

「Asakusa on M3BP」は、スケールアップ型ソリューションだけでなく、並列分散処理によるスケールアウト型ソリューションと比較しても、処理の高速化とTCO削減により数十倍の費用対効果を実現するという。

 基幹バッチ処理の中には、ホストやメインフレーム、データベースで数時間から数十時間をかけて行われるものがある。ノーチラスでは、Asakusa Frameworkと分散処理基盤であるHadoopのMapReduceやSparkを組み合わせて、このような時間のかかる基幹バッチ処理を数十分レベルにまで短縮することを実現してきた。

 しかし、MapReduceはTB~PB、Sparkは数百GB~TBの大規模データを対象としており、小規模データ(数GB~数十GB)はその対象となっていない。そのため、この小規模データを伴う基幹バッチ処理にAsakusa Frameworkを適用しても、分散処理に伴うオーバーヘッドが相対的に大きくなってしまい、高速化に限界があった。

 「Asakusa on M3BP」は、この数GB~数十GBのデータを取り扱う一般的な基幹バッチ処理の高速化を実現する。実際の業務データを用いてバッチ処理時間を比較したところ、リレーショナルデータベースでは数時間かかっていたものが、Asakusa Frameworkでは、MapReduceとの組み合わせの場合で40分弱、Sparkの場合で4分弱、そして「M3 for BP」の場合では2分弱にまで短縮された。

 また、「M3 for BP」は、単一ノード上のマルチコア/マルチプロセッサを利用して並列処理を行うため、MapReduceやSparkのように複数のサーバを必要とせず、環境の構築と運用におけるコストをさらに下げることができる。

 Asakusa Frameworkでは、プログラムの可搬性を実現しており、Asakusa Frameworkを利用して開発されたアプリケーションは、MapReduce, Spark、「M3 for BP」の各処理基盤上で同じプログラムが実行できる。

 まず導入コストが低く費用対効果の高い「Asakusa on M3BP」からスタートし、より大規模な処理が必要になるに従って、実行基盤をSparkやMapReduceへと移行させるような場合でも、アプリケーションの変更をする必要はないとして。

関連リンク

著者プロフィール

  • EnterpriseZine編集部(エンタープライズジン ヘンシュウブ)

    「EnterpriseZine」(エンタープライズジン)は、翔泳社が運営する企業のIT活用とビジネス成長を支援するITリーダー向け専門メディアです。データテクノロジー/情報セキュリティの最新動向を中心に、企業ITに関する多様な情報をお届けしています。


All contents copyright © 2007-2022 Shoeisha Co., Ltd. All rights reserved. ver.1.5