Hello Deep Learning ！

情報系学部 3 年T2C_ ( TwitterID ： @T2C_ )(2014/10/27) 　

対象：Deep Learning

（深層学習）

2

本日の流れ1. Deep Learning とは

1. 事例2. 概要

2. Deep Learning の歴史（経緯）1. 歴史１，２，３，４

3. Deep Learning の動向4. Deep Learning の課題5. 自分の今後6. まとめ

3

DL の事例• Google の猫認識

▫ 教師なし学習。▫ 猫を識別可能に。▫ Youtube から 200×200px

ランダムに抽出。▫ コンピュータ 1000 台で 3 日

間。▫ 人間の顔、身体、猫の顔。

• 画像認識の大会（他）での圧勝▫ ILSVRC2012 では誤り率の点で

2 位と 10% 差をつけて大勝。 1 位 SuperVision→ Error ->

0.15315 2 位 ISI→ Error- > 0.26172

▫ 業界全体が震撼▫ 以降 ILSVRC では DL が主流に。

4

Deep Learning とは•教師なしニューラルネットワークを

多層にしたもの。•これが DL ！というよりはアプローチ手法｡ ( 多義

的 )

5参考： http://www.nttdata.com/jp/ja/insights/trend_keyword/2013110701.html　

Deep Learning の歴史概要１•1943 年 ウォーレン･マカロックら、人工神経を提

唱。•1958 年 フランク･ローゼンブラット、

　　『パーセプトロン』を提唱（＋学習機能）。

6参考： http://www-ailab.elcom.nitech.ac.jp/lecture/neuro/par1.html　

しかし･･･

•1969 年　マーヴィン・ミンスキーら、　　　　単純パーセプトロンが線形分離不可能な

パターンを識別出来ない事を証明。

Deep Learning の歴史概要２

7

x1

x2(0 , 0) (1 , 0)

(1 , 1)(0 , 1)

そこで！

【 XOR 】

ワケラレナイヨー

Deep Learning の歴史概要３• 1986 年　デビッド･ラメルハートら、

『誤差逆伝搬法 ( バックプロパゲーション )を提唱（教師あり学習）。

• しかしなかなか実用までの応用が利かず、SVM の台頭などもありニューラルネットワーク研究は下火に…。

• バックプロパゲーションの弱点として、▫時間がかかる（効率が悪い）。▫層を深くすると上手く学習されない（過学習等）。 8

Deep Learning の歴史概要４•2006 年　ジェフリー・ヒントンら、

PreTraining や AutoEncoder 等の

概念を提唱。▫多層化への対応。▫Deep Learning の原点と言われる事が多い。

•2012 年、様々な脚光を浴びる（ cf. スライド p3)•→ 現在、様々な場で研究･勉強が進められている。

9

Deep Learning の動向•Google→ ヒントン教授ら所属の DNN リサーチ社、

人工知能研究企業 DeepMind などを買収。

オックスフォード大学と研究連携も。•Yahoo→ 画像認識技術ベンチャーである

LookFlow 社を買収。共同で Deep Learning Group を設立。

•Baidu→ 独自の人工知能研究所をシリコンバレーに。

•Deep Learning 勉強会（第 2 回まで開催中）→ http://wbawakate.jp/wordpress/

10

Deep Learning の課題•計算時間（オーダ）の短縮。•並列計算などの効率化（ GPU使用、並列化

etc ）。▫例えば Google の猫認識は個人での実装は厳しい。

•スタンダードな何か（ライブラリ等）の実装。▫Theano 、 Pylearn2 、 etc…

•専門性が多く、未だに職人芸な部分の排除。▫事前調整などは未だにかなり専門的。

11

まだまだこれから成長しそうな分野。

今後の予定•勉強する。（書籍、論文、勉強会、調査等）

▫Python （来週は Python について…？）▫ニューラルネットワーク▫機械学習▫画像処理、自然言語処理、音声情報処理の選択

•卒論のテーマの策定、テーマとの関連付け

•時間の確保▫課題パラダイスの現状打破 12

まとめ•Deep Learning という新手法の台頭

•長い歴史。葛藤の連鎖。▫ニューラルネットワーク、機械学習

•各大企業も注目。業界（企業・学術）に光明。

•しかし課題も多い。

•今後が楽しみな分野である。13

補足• 教師あり / なし学習→ 学習データを得た出力に対して

正解を与えるかコンピュータ自身に判断させるか。

•汎化性→未知データに対しても分類出来る度合い• PreTraining→ 深い多層 NN の誤差逆伝搬法による

　　学習は、ランダムな初期値では　　上手く行かない事が多い。その為、　　良い初期値を与えるよう事前に　　層毎に教師なし学習を行う事。　　最後に FineTuning （全体の微調整）　　を行ったりもする。

• AutoEncoder→PreTraining の際、入力に近い出力を　　 返すという仕組みの事。 14

参考文献１• （Webサイトは全て2014年10月24日～2014年10月26日 アクセス）

• Google の猫認識 (Deep Learning) - 大人になってからの再学習 http://d.hatena.ne.jp/Zellij/20130608/p1

• GoogleやFacebook が注目するディープラーニング ( 深層学習 ) についてまとめてみた - NAVER まとめ http://matome.naver.jp/odai/2140635573608360401　

• ImageNet Large Scale Visual Recognition Competition 2012 (ILSVRC2012) http://www.image-net.org/challenges/LSVRC/2012/results.html

• Deep learning http://www.slideshare.net/kazoo04/deep-learning-15097274

• 本格化する「人工頭脳」のビジネス活用 | NTT データ http://www.nttdata.com/jp/ja/insights/trend_keyword/2013110701.html

• 一般向けの Deep Learning http://www.slideshare.net/pfi/deep-learning-22350063

• 岡谷 貴之 | 画像認識分野でのディープラーニングの研究動向http://ibisml.org/archive/ibis2013/pdfs/ibis2013-okatani.pdf

• ディープラーニング（深層学習）を用いたビジネスモデル | POSTD http://postd.cc/deep-learning-business-models/ 15

参考文献２• 名古屋工業大学大学院 工学研究科 新谷研究室 | 新技術 Deep Learning

http://www-toralab.ics.nitech.ac.jp/~ginshun/deeplearning/activity/140228/DL01Slide_ginshun.pdf

• ニューラルネットの逆襲 | Preferred Research http://research.preferred.jp/2012/11/deep-learning/

• 階層型ネットワーク ～パーセプトロン～ http://www-ailab.elcom.nitech.ac.jp/lecture/neuro/par1.html

• 渡辺 雄二 ｜パーセプトロンにおける線形分離不可能問題に対する一解法http://earth.iec.yamagata-cit.ac.jp/intro/watanabe/rr_2005.pdf

• 村上・泉田研究室　第 6章 誤差逆伝搬法についてhttp://ipr20.cs.ehime-u.ac.jp/column/neural/chapter6.html

• 関東CV 勉強会でオートエンコーダ他について話した - tabe2314 のブログhttp://tabe2314.hatenadiary.jp/entry/2014/06/01/002249

• Deep Learning を勉強する際に参考にしたサイト･書籍まとめ｜ fz-qqq‘s diaryhttp://fz-qqq.hatenablog.com/entry/2013/11/13/224743

• 熊沢 逸夫 (1998) 『学習とニューラルネットワーク』 森北出版 16

ありがとうございました

17SlideShare ： http://www.slideshare.net/T2C_/