EnterpriseZine(エンタープライズジン)

EnterpriseZine(エンタープライズジン)

テーマ別に探す

【第四回】今、最も熱いディープラーニングを体験してみよう

  2015/01/14 14:00

4.どうやって学習するの?

 3では、ディープラーニングが特徴抽出を行う仕組みを見てきましたが、最後の方で触れたとおり、データを流し込んですぐに特徴が抽出できるわけではありません。最適な分類を行うためには、学習が必要になります。ディープラーニングでは、教師あり学習と教師なし学習の両方が用いられています。それぞれ一つずつ見ていきましょう。

教師あり学習:誤差逆伝播法

 単純パーセプトロンの学習について、最急降下法(Steepest descent method)や確率的勾配降下法(Stochastic Gradient Descent)といった勾配法を用いて重みの学習を行うことについて以前述べましたが、これが多層のニューラルネットになった場合はどのように学習を行うのでしょうか。単純パーセプトロンについては、直接正解と自分が出した結果を見比べて誤差をできるかぎり小さくするように重みを調整することが可能でしたが、多層のニューラルネットワークの中間層においてはその出力結果と正解を直接比べることができません。この問題を克服するために、多層ニューラルネットにおいては勾配法を拡張した誤差逆伝播法(Back Propagation)と呼ばれるテクニックを用いて学習を行います。

 パラメータ学習を行う時には正解からの誤差を最小にするように調整を行うことが基本ですが、ニューラルネットの中間層においては、正解からの誤差を直接考慮するのではなく、上の層で発生した誤差に自分がどれだけ寄与しているかを計算し、その量に応じた調整を行います。(出力層から前の層に向かって徐々に誤差を伝播し、それを考慮しながら学習を行うことから誤差逆伝播法という名前がつけられました。)この誤差逆伝播法は多層ニューラルネットワークの教師あり学習法としては有効な方法であり、例えば前述のLeNetにおいても用いられています。しかし、比較的浅くユニット同士の結合が疎なニューラルネットでは誤差逆伝播法がうまくいくものの、ニューラルネットワークの層の数が多くなったりユニット同士の結合が複雑になると学習が困難になることが問題となりました。

教師なし学習:オートエンコーダにおけるプレトレーニング

 この問題の解決の糸口となったのが、2006年のHintonらによるDeep Belief Networkというニューラルネットに似た分類器の学習に関する報告でした。彼らはその中でpretrainingと呼ばれる一層ずつの教師なし学習を前もって行い、その後にfine tuningと呼ばれる最終的な微調整を行うことで効率の良い学習を行うことができた、と報告しています。同年にはYoshua Bengio氏らがニューラルネットの一種であるオートエンコーダ(auto-encoder)の学習においてもpretraining + fine tuningの組み合わせが適用できることを示しました。これまでの話が主に教師あり学習を想定した話であったので、一体全体どうやって教師なしで学習が可能になるのかと読者は思われるかもしれません。ここで、Bengioらが実際にpretrainingを適応したオートエンコーダの学習の仕組みを見てみることで、ディープラーニングにおける教師なし学習で何が行われているかを見てみましょう。

 オートエンコーダとは、出力が入力をできるだけ再現できるように重みを調整することで、効率よくデータの次元圧縮を行えるようなニューラルネットワークを学習するための仕組みです。ここで、なぜ次元圧縮の仕組みがこれまでに論じられてきたディープラーニングの特徴抽出につながるのかと思われたかもしれません(筆者はそう思いました)。そこで、次のような例を考えてみてください。日本の高校では文系、理系でざっくりと学生を2分して、その後の進路指導を考えるということが行われます。文系か理系かどうかは理系科目(数学や化学、物理など)のテストのスコア合計値と文系科目(国語や日本史、世界史など)のスコアの合計値を比較するなどして判断できるかもしれません。このようにした方が、たくさんある高校の必修科目を一つ一つ考慮して進路指導に当たるよりもはるかに楽だと言えるでしょう。ここで行われていることもある種の次元圧縮であり、学生の特性を端的に表せるような特徴量の抽出が行われています。

 では、次にオートエンコーダがディープラーニングの部品として使えそうだということがわかったところで、どのように教師なし学習を行うかを見てみましょう。

オートエンコーダによるpretrainingの仕組み(アクセンチュア作成)

 上の図で、i番目の層にかける重みWiを学習することを考えたときに、オートエンコーダでは仮想的な出力層i'と、その間にあるもう一つの層h(隠れ層と呼びます)を仮想的に用意します。このときに、出力層i'ができるだけ入力のiと近くなる(言い換えるとiが再現される)ようにWiを調整します。この時に、hの層における情報量を入力のiより減らすような制約をかけることで次元削減(特徴抽出)を行うことができます。こうして得られたWiを使って入力であるiを重みづけしたもの(つまり、次元削減を行った結果のh)を次の層に渡します。この動作を一層ずつ繰り返すことで、階層的な特徴抽出を行うことができるというのがオートエンコーダのアイディアです。

 オートエンコーダが教師なし学習と言われるのは、外部からの教師信号を必要としないため、このように呼ばれています(いわば自分自身を教師としているのですが。) このような学習を一つ一つの層であらかじめ行い、その後最終的なfine-tuningを行うことで効率よく多層ニューラルネットの学習を行うことができます。Fine-tuningでは教師ありで学習を行うことが一般的で、例えばpretrainingで重みの初期値を決めた後誤差伝播法でチューニングを行うことで、誤差伝播法単体よりも効率よく学習を行うことができます。

 また、あまり一般的ではありませんが学習したニューラルネットワーク全体を一つの大きなオートエンコーダと考えて、大本の入力信号を再現できるように重みを再調整することで教師なし学習を行うことも可能です。

4.まとめ

要は力技!

 これまでに見てきたところで気付かれた方も多いかもしれませんが、ディープラーニングというのは最近になって開発された画期的な新技術というわけではありません。むしろ昔からあった多層ニューラルネットの仕組みに、Neocognitronやスパースコーディングのような脳科学の知見が加わり、Hinton, Bengioらによるパラメータ学習法の改善と近年の計算リソースの充実が加わって一気にスターダムにのし上がった感があります。例えば、冒頭に述べたGoogle猫認識の例は、入力画像1000万枚、パラメータ数十億個で、これらを16コアPCを1000台集めたPCクラスタで3日間学習させた成果です。ある意味、潤沢な計算リソースを利用した力技が可能になったことが大きな成功要因であると言えます。

 また、コンピュータチップの進化もディープラーニング発展に寄与する可能性があります。そのような新しいタイプのチップの一例として、2014年の8月に発表されたIBMのニューロチップ、TrueNorthが挙げられます。TrueNorthはDARPA(米国国防省国防高等研究計画局)による約54億円もの支援を受けて開発されたもので、100万個のニューロンとそれらをつなぐ2億5600万個ものシナプス接続を再現しています。TrueNorthは従来のノイマン型の設計ではないので、通常のソフトウェア実装には向きませんが、これまでの話を読んでいただいた読者の方にはニューラルネットの実装に応用できそうだということは容易に推測がつくかと思います。

 また、TrueNorthは通常のチップよりもはるかに少ない電力で動作するという特徴を持つため、こうしたニューロチップが埋め込まれたデバイスがより人の生活に近い場面で活躍することが期待できます。例えば、冒頭で述べたGoogle glassのようなデバイスで画像認識をしたり、シャツに埋め込まれたセンシングデバイスで計測した活動量データから発作等を事前に検知するなど、近い将来ディープラーニングがごく身近な場面で登場するようになるかもしれません。

 ちなみに、中盤で登場したLeCunはTrueNorthのディープラーニングへの応用に懐疑的であるようですが、LeCun自身がチップの開発に意欲的であることもあり、ディープラーニングに特化したチップが登場するのもそう遠い日ではないかもしれません。さて、次回ではこれまでに学んできたディープラーニングをオープンソースのインメモリ機械学習エンジンであるH2Oを使って実際に動かす実習編に入りたいと思います。お楽しみに!



関連リンク

著者プロフィール

  • 工藤 卓哉 (クドウ タクヤ)

    Accenture Data Science Center of Excellence アクセンチュア アナリティクス 日本統括 マネジング・ディレクター 慶應義塾大学を卒業しアクセンチュアに入社。コンサルタントとして活躍後、コロンビア大学国際公共政策大学院で学ぶため退職。同大学院で修士号を取得後、ブルームバーグ市長政権下のニューヨーク市で統計ディレクター職を歴任。在任中、カーネギーメロン工科大学情報技術科学大学院で修士号の取得も果たす。2011年にアクセンチュアに復職。 2014年12月より現職。 データサイエンスに関する数多くの著書、寄稿の執筆、講演活動を実施。

  • 阪野 美穂(バンノ ミホ)

    アクセンチュア株式会社 デジタル コンサルティング本部 コンサルタント 東京大学新領域創成科学研究科博士課程修了 博士(科学)。専攻はバイオインフォマティクス(構造生物学)。民間企業にて独立行政法人、製薬企業向けの医療統計解析およびバイオインフォマティクスに関連する研究サポート業務に従事。2014年9月アクセンチュア入社。松坂世代。

  • 保科 学世(ホシナ ガクセ)

    アクセンチュア株式会社 デジタル コンサルティング本部 マネジング・ディレクター 慶應義塾大学大学院理工学研究科博士課程修了 理学博士。アクセンチュアにてAFS[Accenture Fulfillment Service]、ARS[Accenture Recommend Service]など、アナリティクスソリューションのシステム開発を指揮。また、それらアナリティクスソリューションのデリバリー責任者として多数のプロジェクトにかかわり、分析結果を活用した業務改革を実現。アナリティクス領域以外でも、大手メーカー、通信キャリアを中心に、大規模基幹系システムのシステム導入経験多数。

  • 平村 健勝 (ヒラムラ タケカツ)

    アクセンチュア株式会社 デジタル コンサルティング本部 コンサルタント  東京工業大学大学院 社会理工学研究科修士課程修了、アクセンチュア入社。 通信、メディア業界を中心としたシステム導入、新規サービス企画、設計、構築およびプロジェクト管理を手がける。プライベートではR言語のアドオンパッケージ開発、検索サイトの運営をはじめとするOSSのコミッター活動、普及活動も務めている。公立大学法人会津大学 非常勤講師

バックナンバー

連載:意志決定のためのデータサイエンス講座

もっと読む

All contents copyright © 2007-2021 Shoeisha Co., Ltd. All rights reserved. ver.1.5