SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

直近開催のイベントはこちら!

Security Online Day 2022

2022年9月16日(金)10:00~17:10

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けの講座「EnterpriseZine Academy」や、すべてのITパーソンに向けた「新エバンジェリスト養成講座」などの講座を企画しています。EnterpriseZine編集部ならではの切り口・企画・講師セレクトで、明日を担うIT人材の育成をミッションに展開しております。

お申し込み受付中!

EnterpriseZineニュース

NEC、超大規模データから規則性を発見する異種混合学習技術で「分散版」を開発、従来比110倍に高速化

 従来、データのサンプル数が数千万件以上でコンピュータ1台の搭載メモリ量より大きい超大規模データを分析する際は、あらかじめデータを分割して分析していた。また、高性能なCPUの搭載(コア数増加など)にも限度があり、大規模データ分析における性能の改善が課題となっていた。

 今回開発した「分散版異種混合学習技術」は、分散されたコンピュータ上でそれぞれ異種混合学習での分析を行うと同時に全体の整合も行えるため、コンピュータの台数を増やすことで、データの規模に制限なく予測モデルを生成できる。

 例えば、大手金融機関の残高予測や大規模通信事業者の解約者予測など、数千万件以上のサンプルによる超大規模データの分析が可能になる。

 この技術を用いて実証を行った結果、従来と比べて学習速度が約110倍高速化した。また、予測精度も約17%向上した。NECは、この技術のさらなる開発を進め、2017年度の実用化を目指すとしている。

 新技術の特徴は次のとおり。

 1. 分散コンピューティングシステムに適応したアルゴリズム(手法)を開発

 複数のコンピュータが協調して予測モデルを学習する分散版異種混合学習アルゴリズムを開発。このアルゴリズムは、(1)予測モデル情報(データの場合分けや因子の組み合わせの情報)のみをコンピュータ間で共有すること、(2)共有された個々の予測モデルの情報を統合する独自のアルゴリズムを適用すること、によって各コンピュータが独立して学習しながら全体で整合が取れた高精度な予測モデルを生成する。

 2. 分散コンピューティング基盤Apache Sparkに適合した実行用ソフトウェアを開発

 分散コンピューティングシステム基盤の1つであるApache Spark上で動作する分散版異種混合学習アルゴリズムの実行用ソフトウェアを開発した。このソフトウェアは、全ての分析対象データを一度各コンピュータのメモリ上に分散配置すると、以降一切の再配置や再読み込みを行うことなく、分散版異種混合学習アルゴリズムを実行する。これにより、通常、コンピュータの台数増加によって頻度が増す分析対象データの通信やディスク読み込みが不要となり、Sparkの特徴である分散メモリ上での計算性能が最大限に発揮されるため、高速にアルゴリズムを実行できる。

この記事は参考になりましたか?

  • Facebook
  • Twitter
  • Pocket
  • note
関連リンク
この記事の著者

EnterpriseZine編集部(エンタープライズジン ヘンシュウブ)

「EnterpriseZine」(エンタープライズジン)は、翔泳社が運営する企業のIT活用とビジネス成長を支援するITリーダー向け専門メディアです。データテクノロジー/情報セキュリティの最新動向を中心に、企業ITに関する多様な情報をお届けしています。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

この記事は参考になりましたか?

この記事をシェア

EnterpriseZine(エンタープライズジン)
https://enterprisezine.jp/news/detail/8094 2016/05/26 14:20

Job Board

PR

おすすめ

アクセスランキング

アクセスランキング

イベント

EnterpriseZine(エンタープライズジン)編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

2022年9月16日(金)10:00~17:10

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング