深層学習はどのように賢くなるのかyasuyuki/taki7_4.pdf2018.7/4...
TRANSCRIPT
![Page 1: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/1.jpg)
2018.7/4 @東京大学教養学部
深層学習はどのように賢くなるのか
瀧 雅人 (Masato Taki) RIKEN, iTHEMS
2018年度Sセメスター 学術フロンティア講義
![Page 2: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/2.jpg)
? ? 深層学習はどのように賢くなるのか
![Page 3: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/3.jpg)
毎日のようにAI(人工知能)のニュースや話。
いささか食傷気味…
玉石いろんな話がごたまぜに流れてくる感がしますが、背後には、確かな技術的進展。実態と無関係なhypeは落ち着いても、発展が続くことには間違いない。
みたいな本とか (AI関係ないじゃん!)
AI時代は 営業は足で稼げ! 今日の記事から見つ
けた某ニュース
![Page 4: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/4.jpg)
深層学習 Deep Learning
機械学習 Machine Learning
人工知能 AI
様々なアプローチ (いい意味でなんでもあり)
アプローチの一つ
手法群の一つ
![Page 5: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/5.jpg)
深層学習 Deep Learning
機械学習 Machine Learning
人工知能 AI
ここで、この6年に とても大きな発展が!
機運を盛り上げる
![Page 6: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/6.jpg)
深層学習=機械学習の一例
コンピュータプログラム(機械)がデータや経験を通じていろんな作業を上手くこなせるようにさせること。
学習や訓練とは?
![Page 7: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/7.jpg)
今後も使い回すため 一部省略:-)
![Page 8: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/8.jpg)
1956 Arthur Samuel’s Checker-Playing Program
IBM 701
初の現代的な機械学習システム
https://www.sutori.com/item/1956-arthur-samuel-the-world-s-first-self-learning-program-machine-learning
![Page 9: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/9.jpg)
それから60…
![Page 10: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/10.jpg)
https://ja-jp.facebook.com/alphagomovie/
2016-2017
![Page 11: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/11.jpg)
1. 深層学習とは?
![Page 12: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/12.jpg)
データによる機械学習
![Page 13: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/13.jpg)
機械学習 Machine Learning
与えられた 課題をこなす
機械(モデル)
![Page 14: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/14.jpg)
機械学習 Machine Learning
目的に応じて我々が選ぶ。その正体は数式やコンピュータプログラム。
与えられた 課題をこなす
機械(モデル)
![Page 15: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/15.jpg)
機械学習 Machine Learning
目的に応じて我々が選ぶ。その正体は数式やコンピュータプログラム。
与えられた 課題をこなす
機械(モデル)
パラメータ
![Page 16: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/16.jpg)
機械学習 Machine Learning
目的に応じて我々が選ぶ。その正体は数式やコンピュータプログラム。
与えられた 課題をこなす
機械(モデル)
パラメータ
モデルの動作を決める部分。この「つまみ」を、データを使って調節して、課題をうまくこなせるように訓練する(学習させる)。
![Page 17: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/17.jpg)
機械学習 Machine Learning
与えられた 課題をこなす
機械(モデル)
パラメータ
モデルの動作を決める部分。この「つまみ」を、データを使って調節して、課題をうまくこなせるように訓練する(学習させる)。
なぜ我々の手ではなく、データでつまみを回すのか?
![Page 18: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/18.jpg)
溢れるデジタルデータ
![Page 19: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/19.jpg)
7:00 起床とともに天気をチェック7:05 SNSをチェック7:10 GoogleホームでIoT家電を起動8:00 近所のスタバでコービー購入8:05 パスモで電車に乗車8:30 研究所到着。オートロック解除12:00 アマゾンでミネラルウォータ購入12:30 午後から行く駒場への路線検索12:40 クレジットで来週の出張の新幹線チケット購入
. . .
データさまざま
![Page 20: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/20.jpg)
データさまざま
![Page 21: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/21.jpg)
1年半ごとにデジタルソーシャルデータの量は倍増
多くの産業が、今やこの様なデータに多くを負っている
データさまざま
![Page 22: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/22.jpg)
データさまざま
素粒子加速器実験
衛星による天文観測などなど、科学の現場も今莫大なデータで溢れかえっている。 全てには手が回らない…
![Page 23: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/23.jpg)
「データは21世紀の石油」A.ワイガンド『アマゾノミクス』
データさまざま
![Page 24: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/24.jpg)
「データは21世紀の石油」A.ワイガンド『アマゾノミクス』
データさまざま
というわけで石油王になりましょう。
![Page 25: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/25.jpg)
データさまざま
データ 基本的に全てのデータは数値の形をとる(コンピュータや計測機器の上でデジタルに収集・処理されている)
デジタル写真 文字
数値表現
![Page 26: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/26.jpg)
タスク(task、課題)さまざま
データでどんな課題を学習させるか?
![Page 27: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/27.jpg)
タスク(task、課題)さまざま
回帰
分類
クラスタリング
次元削減
生成モデル
…
予測
機械翻訳
異常検知
データ生成
ゲームAI
…
…
手法で分類 目的で分類
![Page 28: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/28.jpg)
タスク(task、課題)さまざま
機械学習で自動化されるためには、コンピュータ上でタスクが表現できなければならない
基本的にタスクも数値の形をとる
![Page 29: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/29.jpg)
タスク(task、課題)さまざま
機械学習で自動化されるためには、コンピュータ上でタスクが表現できなければならない
基本的にタスクも数値の形をとる
eg. AlphaGo
入力:現在の碁の盤面
出力:自分が石を置くべき盤面の位置 (など)
![Page 30: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/30.jpg)
機械学習 Machine Learning
予測数値数値
結局、機械学習は多くの場合、
’予言マシン’
![Page 31: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/31.jpg)
機械学習 Machine Learning
機械(モデル)
画像認識
Cat https://ja.wikipedia.org/wiki/ネコ#/
media/File:Cat_Eyes.jpg
![Page 32: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/32.jpg)
機械学習 Machine Learning
機械(モデル)
機械翻訳
This is a pen这是一支钢笔
![Page 33: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/33.jpg)
入力 出力
出力 ?y = f(x)
どんな関数が答えかは、初めは見当もつかない
機械学習 Machine Learning
入力 x
y
![Page 34: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/34.jpg)
?パラメータ
データに一番よくマッチするパラメータwを探す問題に! (問題が扱いやすくなった)
機械学習 Machine Learning
入力 出力
出力 入力 x
y
y = f(x;w)
![Page 35: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/35.jpg)
一番簡単で有名なマシンについて説明します(単回帰)
![Page 36: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/36.jpg)
回帰マシン
y
とあるデータ
x
![Page 37: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/37.jpg)
大雑把に右肩上がりの傾向
x
y
y = ax + b
回帰マシン
モデル
![Page 38: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/38.jpg)
予言マシンx
a b
予言(予測)
y = ax + b
y
回帰マシン
![Page 39: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/39.jpg)
予言マシンx
a b
予言(予測)
y = ax + b
y
??
回帰マシン
![Page 40: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/40.jpg)
予言マシンx
a b
予言(予測)
y = ax + b
y
データから、最もうまく予言できるパラメータを決める
学習(learning):
回帰マシン
![Page 41: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/41.jpg)
データの学習
x
y
0.032 170 0.034 290 0.214 -130 0.263 -70 … 2.000 1090
回帰マシン
![Page 42: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/42.jpg)
データの学習
x
y
0.032 170 0.034 290 0.214 -130 0.263 -70 … 2.000 1090
一個のデータ点 (インスタンス、事例)N ケ
回帰マシン
![Page 43: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/43.jpg)
0.214 -130
この一つのデータ点に関する、予測のズレ
y � y = (a ⇥ 0.214 + b) � (�130)
x
y
マシンの予言 正解の値
回帰マシン
データの学習
![Page 44: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/44.jpg)
0.214 -130
この一つのデータ点に関する、予測のズレ
y � y = (a ⇥ 0.214 + b) � (�130)
= y(0.214 ; a, b) � yxの値
x
y
回帰マシン
データの学習
![Page 45: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/45.jpg)
各データ点でのズレの自乗を予測の誤差と定義する�
y(0.214 ; a, b) � y�2
回帰マシン
データの学習
![Page 46: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/46.jpg)
各データ点でのズレの自乗を予測の誤差と定義する�
y(0.214 ; a, b) � y�2
それをすべてのデータ点で平均したものを誤差関数(損失関数)と呼びます
回帰マシン
E(a, b) =1
N
NX
n=1
�y(xn; a, b) � yn
�2
データの学習
![Page 47: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/47.jpg)
誤差関数が小さくなるような方向にパラメータのダイアルを回して調整
回帰マシン
E(a, b) =1
N
NX
n=1
�y(xn; a, b) � yn
�2
a b
E(a, b)↓すると、どのデータに対しても満遍なく予測誤差が小さいマシンが実現される(だろう)
データの学習
![Page 48: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/48.jpg)
データの学習
回帰マシン
a b
E(a, b)↓a⇤, b⇤ = argminE(a, b)
最適化(最小化)問題
=
*
これが解けたとすると…a
b
E(a, b)
![Page 49: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/49.jpg)
x
y
回帰マシン
y(x) = a
⇤x + b
⇤y =
![Page 50: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/50.jpg)
井上さんの授業(4/18)で出てきた ハッブルの法則!x
y
回帰マシン
y(x) = a
⇤x + b
⇤y =
x = 銀河までの距離 Mpc y = 銀河の速度 km/s
= 膨張宇宙の証拠 (ハッブル自身のこのデータは、実はダメダメでしたが…)
![Page 51: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/51.jpg)
膨張宇宙
x
y
回帰マシン
銀河までの距離 Mpc
両者に関連(相関)
銀河の速度 km/s
データとモデルで、この関連を捉えられる
![Page 52: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/52.jpg)
(教師あり)学習の考え方のまとめ
![Page 53: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/53.jpg)
① データを用意するx = 入力 (input) y = 出力 (output)
② yの予測問題を解くのに、マシン (=モデル)を用意する
③ データから誤差関数を計算し、最小 化問題をといて、最適なパラメータ a,bを決定する
y(x; a, b)
![Page 54: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/54.jpg)
実際には…
![Page 55: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/55.jpg)
① データは多次元、問題は非線形
② マシン(=モデル)は多くのパラメータ を持つ複雑な関数
③ 誤差関数も場合に応じて様々なもの を使う。最小化問題をとくのは、一 般にそう簡単ではない。などなど
さらに単に最小化するだけではなくて、問題を修正しないと予測性能が出ない (最適化アルゴリズムの工夫、正則化など)
![Page 56: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/56.jpg)
② マシン(=モデル)は多くのパラメータ を持つ複雑な関数
まずは一般に、与えられたデータと予測しなくてはならない問題に向いたモデルを用意するにはどうすれば…(→これまでに開発された様々な機械学習から探す)
できることならば高い汎用性と性能を持つ魔法のようなモデルが欲しい。そんなうまい話はあるのか…
![Page 57: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/57.jpg)
深層学習
ニューラルネット を使った機械学習=
![Page 58: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/58.jpg)
このモデルをどう選んだら高い性能が出る??
深層学習(Deep Learning)
Predicted yInput x
![Page 59: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/59.jpg)
我々人間並みに賢い機械を作るには、人間の脳を参考にすれば良い!?
深層学習(Deep Learning)
Predicted yInput x
![Page 60: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/60.jpg)
深層学習(Deep Learning)
深層学習は、モデルをグラフを使って直感的に設計できる便利な手法
このグラフは、我々の脳(神経系)を模倣したもの
Predicted yInput x
![Page 61: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/61.jpg)
脳、とはいうものの
![Page 62: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/62.jpg)
?
脳をモデル化!?
![Page 63: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/63.jpg)
?
Network
=
脳をモデル化!?
![Page 64: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/64.jpg)
=
Network
脳をモデル化!?
![Page 65: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/65.jpg)
(Artificial) Neural Network
脳をモデル化!?
![Page 66: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/66.jpg)
Neural Network / Deep Learning
~y
~x
モデル = 有向グラフ
x1
x2
y2
y1
![Page 67: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/67.jpg)
Neural Network / Deep Learning
モデル = 有向グラフ
「良いグラフ」を設計することで、難しい問題がよく学習できる
![Page 68: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/68.jpg)
ニューラルネットワーク の起源と基礎
![Page 69: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/69.jpg)
深層学習(ニューラルネット)の起源
20世紀中盤までさかのぼる
(実はチューリングも人工ニューラルネットについて考察していたが、それは今回は置いておいて)
![Page 70: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/70.jpg)
McCulloch-Pittsの人工ニューロン (1943)
pictures from https://chatbotslife.com/keras-in-a-single-mcculloch-pitts-neuron-317397cccd45
心理学者
数学者、論理学者
![Page 71: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/71.jpg)
樹状突起軸索
細胞体
軸索末端
他のニューロン の軸索末端
シナプス
ニューロン(神経細胞)
![Page 72: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/72.jpg)
ニューロン(神経細胞)
マーモセットの一次視覚野(大脳皮質の深さ250um) 色々な角度の縞模様(視覚刺激)への反応動画 東京大学医学系研究科 松井鉄平先生提供
![Page 73: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/73.jpg)
u =X
i
xi f(u)
McCulloch-Pittsの人工ニューロン (1943)
外部のニューロン2からの入力信号
外部のニューロン1からの入力信号
総入力
他のニューロンへの出力信号
x1
x2
![Page 74: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/74.jpg)
x1
x2u =
X
i
xi f(u)
活性化関数
単純な非線形性 ReLU
u
f(u)
McCulloch-Pittsの人工ニューロン (1943)
閾値の存在
![Page 75: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/75.jpg)
u =X
i
xi f(u)
これの組み合わせで、任意の論理回路(論理計算)が実現できる
McCulloch-Pittsの人工ニューロン (1943)
x1
x2
![Page 76: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/76.jpg)
証明: ニューロンいくつかでNANDゲートを 作る
McCulloch-Pittsの人工ニューロン (1943)
帯、前書き 「NANDからテトリスへ」
(0, 0) → 1 (1, 0) → 1 (0, 1) → 1 (1, 1) → 0
e.g.
![Page 77: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/77.jpg)
どんなコンピュータ(論理回路)も、人工的な神経回路で実現できる
McCulloch-Pittsの人工ニューロン (1943)
ただ、決まった機能を実現するためには、回路を精密に設計しなくてはならず非実用的
![Page 78: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/78.jpg)
Rosenblattのパーセプトロン (1957)
調整可能なパラメータ w
w1
w2 f(u)u =X
i
wixi
~ 各シナプスのつながりの強さ
x1
x2
![Page 79: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/79.jpg)
- 大雑把にネットワークをデザインすれば良い - 学習で性能が調整される
Rosenblattのパーセプトロン (1957)
(人工)ニューラルネット
![Page 80: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/80.jpg)
多層ニューラルネット
- 層構造を持たせるのが実は重要 - 層数が多い=深層
Rosenblattのパーセプトロン (1957)
![Page 81: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/81.jpg)
~x
~y
これらパラメータを学習
Rosenblattのパーセプトロン (1957)
板書でちょっと整理します
w1
w2
w3
w4
w5
w6
![Page 82: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/82.jpg)
Rosenblattのパーセプトロン (1957)
http://www.enzyklopaedie-der-wirtschaftsinformatik.de/lexikon/technologien-methoden/KI-und-Softcomputing/Neuronales-Netz
![Page 83: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/83.jpg)
Rosenblattのパーセプトロン (1957)
第一次AIブームを引き起こしたとも言われるが、若くしてローゼンブラットが亡くなるのと同時期にAI冬の時代へと突入
http://www.enzyklopaedie-der-wirtschaftsinformatik.de/lexikon/technologien-methoden/KI-und-Softcomputing/Neuronales-Netz
![Page 84: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/84.jpg)
深層学習への道
![Page 85: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/85.jpg)
ニューラルネットに視覚を持たせる (1979)
1979年 福島邦彦(NHK放送科学基礎研究所)
ネオコグニトロンを提唱
http://personalpage.flsi.or.jp/fukushima/index-e.html
![Page 86: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/86.jpg)
ニューラルネットを学ばせる (1965-)
1965年 甘利俊一(九州大学)
ニューラルネットの学習法を初めて提唱
1986年 ラメルハート(カルフォルニア大学)ら
バックプロパゲーションとして再発見
http://www.riken.jp/pr/topics/2012/20121031/
https://news.stanford.edu/news/2011/march/david-rumelhart-obit-031711.html
![Page 87: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/87.jpg)
LeNetを提唱、バックプロパゲーションを適用
1989年 LeCun(AT&T Bell研究所)
複雑な視覚ネットワークを学ばせる (1989)
多層化に成功し、手書き数字を読ませることに成功
現在の深層学習はLeNetの直系の子孫(eg. GoogLeNet)
https://en.wikipedia.org/wiki/Yann_LeCun#/media/File:Yann_LeCun_at_the_University_of_Minnesota.jpg
![Page 88: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/88.jpg)
ニューラルネット氷河期…
90年代から2000年初頭
![Page 89: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/89.jpg)
ヒントン先生の人生をかけた研究の開花
Geoffrey Everest Hintonhttp://www.macleans.ca/wp-content/uploads/2016/03/MAR19_HINTON_POST01.jpg
ニューラルネットのブームを引き起こす研究を初期からしてきたのみならず、冬の時代(90年代)もずっと地道に研究を続けた
![Page 90: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/90.jpg)
深層学習技術の確立
2012年 Krizhevsky, Sutskerver, Hinton(トロント大学)
AlexNetとして結実 (2012)
驚異的な画像認識性能
https://www.wired.com/2013/03/google_hinton/
![Page 91: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/91.jpg)
- 画像認識 - 画像生成 - 自動翻訳 - 音声認識 - 音声合成 - 自動運転 …
![Page 92: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/92.jpg)
2012年から深層学習としてニューラルネットが大発展。
科学技術や産業を変えつつある
https://www.kdnuggets.com/2015/03/talking-machine-deep-learning-gurus-p1.html
![Page 93: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/93.jpg)
この章のまとめ
![Page 94: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/94.jpg)
深層学習(Deep Learning)
深層学習は、マシン=モデルをグラフを使って直感的に設計できる便利な手法
このグラフは、我々の脳(神経系)を模倣したもの
Predicted yInput x
![Page 95: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/95.jpg)
2. 学習の実際
![Page 96: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/96.jpg)
勾配降下法による最適化
![Page 97: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/97.jpg)
勾配降下法
a
最適化(最小化)問題を数値的に解く
*
a
b
E(a, b) 坂道を転がすように動かしていけば、やがて底で止まる
![Page 98: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/98.jpg)
勾配降下法
a
最適化(最小化)問題を数値的に解く
*
a
b
E(a, b) 坂道を転がすように動かしていけば、やがて底で止まる
�
0
@@E@a
@E@b
1
A
勾配 gradient
![Page 99: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/99.jpg)
勾配降下法
a
最適化(最小化)問題を数値的に解く
*
a
b
E(a, b) 坂道を転がすように動かしていけば、やがて底で止まる
�
0
@@E@a
@E@b
1
A
勾配降下 gradient descent
at+1 = at � 0.01@E(at, bt)
@a
bt+1 = bt � 0.01@E(at, bt)
@b
t = 1t = 2t = 3
![Page 100: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/100.jpg)
ニューラルネットワーク のオンライン学習
![Page 101: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/101.jpg)
ミニバッチ学習
単回帰の例
E(a, b) =1
N
NX
n=1
✓y(xn : a, b) � yn)
◆2
![Page 102: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/102.jpg)
ミニバッチ学習
単回帰の例
勾配法を使うときは、各時刻tで毎回わざわざ全部のデータに関して平均を取らなくても良い。ランダムに一部だけデータを取ってきて(部分集合=ミニバッチ)、それに関して誤差関数を計算
E(a, b) =1
N
NX
n=1
✓y(xn : a, b) � yn)
◆2
![Page 103: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/103.jpg)
ミニバッチ学習
単回帰の例
E(a, b) =1
N
NX
n=1
✓y(xn : a, b) � yn)
◆2
E
t(a, b) =1
M
MX
m=1
✓y(xm : a, b) � ym)
◆2
{(xm, ym)}Mm=1 ⇢ {(xn, yn)}N
n=1
毎時刻、ランダムに部分集合を選び直す
![Page 104: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/104.jpg)
オンライン学習
E
t(a, b) =1
M
MX
m=1
✓y(xm : a, b) � ym)
◆2
{(xm, ym)}Mm=1 ⇢ {(xn, yn)}N
n=1
毎時刻、ランダムに部分集合を選び直す
極端な場合は、ミニバッチがデータ点一個だけ (M=1)
![Page 105: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/105.jpg)
模範解答
= cat
訓練データの中の一つの事例をランダムに取ってくる
オンライン学習
~x1
~y1
![Page 106: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/106.jpg)
~y
予測
= cat 25%
dog 21%
bird 9%
…
= cat
~x1
~y1
はじめは当然、予測性能は全く良くない
オンライン学習
![Page 107: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/107.jpg)
= cat 77%
dog 7%
bird 2%
…
「予測の精度が上がるように」=「誤差関数が小さくなるように」パラメータを一回だけ勾配降下
~x1 ~y
オンライン学習
![Page 108: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/108.jpg)
~x2
~y2 = bird
~y = cat 13%
dog 19%
bird 12%
…
予測
オンライン学習
![Page 109: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/109.jpg)
~y3
~x3 ~y = cat 8%
dog 3%
bird 11%
…
予測= cat
オンライン学習
![Page 110: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/110.jpg)
~y3
~x3 ~y = cat 8%
dog 3%
bird 11%
…
予測= cat
オンライン学習
これをかなりの回数繰り返す(例えば10万回)
![Page 111: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/111.jpg)
~yn
~xn ~y
ズレを最小化
生徒の答え
E( ~W )
教師あり学習 Supervised Learning
教師の模範解答
xに対してyが用意されている場合は、このような教師あり学習ができる
![Page 112: 深層学習はどのように賢くなるのかyasuyuki/Taki7_4.pdf2018.7/4 @東京大学教養学部 深層学習はどのように賢くなるのか 瀧 雅人 (Masato Taki) RIKEN,](https://reader030.vdocuments.net/reader030/viewer/2022041014/5ec5a28869d7b460ea09adbf/html5/thumbnails/112.jpg)
続きは次回