[iclr2017読み会 @ dena] iclr2017紹介
TRANSCRIPT
![Page 1: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/1.jpg)
ICLR2017紹介宮戸 岳
Preferred Networks, Inc.
![Page 2: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/2.jpg)
宮戸岳 (https://takerum.github.io/)
リサーチャー @ Preferred Networks, Inc.
● 04/2014-03/2016, 情報学修士 @ 京大
● 01/2016-05/2016, インターン @ Google Brain ● 06/2016-08/2016, 研究技術員 @ ATR● 09/2016-(now)
○ リサーチャー @ Preferred Networks, Inc. ○ 客員研究員 @ ATR
最近の興味:
● Generative Adversarial Networks (GANs)
● Semi-supervised and Unsupervised Learing on Neural Networks
● Learning on Extremely Large Distributed Systemshttps://arxiv.org/abs/1507.00677, https://arxiv.org/abs/1605.07725, https://arxiv.org/abs/1702.08720, https://arxiv.org/abs/1704.03976
https://openreview.net/forum?id=H1hLmF4Fx, https://arxiv.org/abs/1705.10941
(自己紹介)
![Page 3: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/3.jpg)
目次
● ICLRって何?○ ICLRの主な特徴
● ICLR2017に行ってきました
● 話題のGANsとは?
![Page 4: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/4.jpg)
ICLRとは?● International Conferene on Learning Representations. ‘I CLeaR’って呼ぶ人が
多い。(Yann Lecun が最初にそうよんだらしい). ● 3日間の国際会議, 通常大体5月のはじめに開かれる(今年は4/24-4/26).● 今年が5回目の開催。最初のICLRは2013年。
● Website : http://www.iclr.cc/doku.php○ Facebook page : https://www.facebook.com/iclr.cc/?fref=ts ○ Twitter account (ICLR2017) : https://twitter.com/iclr2017?lang=en
● ICLRの詳しい経緯とかが載っている記
事:http://www.kdnuggets.com/2016/02/iclr-deep-learning-scientific-publishing-experiment.html
![Page 5: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/5.jpg)
ICLRの主な特徴(1)● Deep Learningとその応用に焦点をあてている。
○ 大体のアクセプトされた論文はneural networksを扱っている。
○ Learning Represenationとあるがこの言葉自体はあまり意味ないものと思っ
て良い。表現学習以外の論文がほとんど。
Variational Auto-Encoder (ICLR2014)
ADAM optimizer (ICLR2015)
![Page 6: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/6.jpg)
ICLRの主な特徴(2)● Open Review System https://openreview.net/
○ Single blind review (Reviewerのみが匿名)○ だれでもreviewやrebuttalを(review process中に)みることができる。
○ だれでもreview processに加わることができる。
![Page 7: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/7.jpg)
他の特徴
● 2トラック : Conference track and Workshop track● シングルのoralトラック
● ITジャイアントスポンサーがたくさん
https://blogs.sap.com/2017/05/22/dive-deep-into-deep-learning-sap-at-the-international-conference-on-learning-representations-iclr/
![Page 8: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/8.jpg)
投稿数と参加者数
http://www.iclr.cc/lib/exe/fetch.php?media=iclr2017:ranzato_introduction_iclr2017.pdf
![Page 9: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/9.jpg)
ICLR2017 http://www.iclr.cc/doku.php?id=ICLR2017:main (Toulon, France)
● 参加者 : 1100 (~300 last year)● Accepted papers
○ Conference track : 196, 15 oral○ Workshop track : ~110
https://twitter.com/iclr2017/status/864863545867079680
taken by Okumura-san
![Page 10: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/10.jpg)
http://www.iclr.cc/lib/exe/fetch.php?media=iclr2017:ranzato_introduction_iclr2017.pdf
New
(去年は28%くらい)
![Page 11: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/11.jpg)
http://www.iclr.cc/lib/exe/fetch.php?media=iclr2017:ranzato_introduction_iclr2017.pdf
![Page 12: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/12.jpg)
機関毎の投稿
企業はGoogleが特に多く,つい
で Facebook, Microsoft, OpenAI
大学は Berkeley, Montreal, CMU, Stanford, MIT, NYU
https://prlz77.github.io/iclr2017-stats/
![Page 13: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/13.jpg)
議論が活発だったsubmissionは通りやすかった
http://www.iclr.cc/lib/exe/fetch.php?media=iclr2017:ranzato_introduction_iclr2017.pdf
![Page 14: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/14.jpg)
オーラルセッション:● 1つのオーラルセッション● 午前と午後の2セッション
○ 各セッション毎に、1つの招待講演と 2~3のオーラル論文プレゼン。
● オーラルセッションはLiveストリーミングされました: https://www.facebook.com/iclr.cc/?fref=ts
![Page 15: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/15.jpg)
ポスターセッション
● こちらも午前と午後の2セッション● Conference track
○ 各セッション~40件のポスター発表○ 各ポスターで常に10~20人の聴衆○ 多いところは30人くらい居た気がします
● Workshop track○ ~20件のポスター発表○ 各ポスターで~5人の聴衆
● ちなみに去年のポスターセッションは
○ ~5人くらいの聴衆
(撮影: DeNA奥村さん)
![Page 16: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/16.jpg)
自分のプレゼンテーション● 1 conference track poster と 1 workshop track poster
https://arxiv.org/abs/1605.07725 https://openreview.net/pdf?id=H1hLmF4Fx
![Page 17: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/17.jpg)
After hours partiesGoogle, Facebook, Salesforce ...etc.が個別に
夜の時間帯にパーティーを開催。
○ ネットワーキング
○ (有名な)研究者やエンジニアと議論
■ 結構多くの人が夜中までしていた
みたいです。
![Page 18: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/18.jpg)
人気トピック @ ICLR2017● ニューラルネットの汎化性能について
○ Rethinking generalization https://arxiv.org/abs/1611.03530
○ Large batch training coverges to sharp minima https://arxiv.org/abs/1609.04836
● Generative Adversarial Networks○ Towards principled methods of training GANs https://openreview.net/pdf?id=Hk4_qw5xe
○ Energy based GANs https://arxiv.org/abs/1702.01691
○ Two-sample tests by classifier https://openreview.net/forum?id=SJkXfE5xx¬eId=SJkXfE5xx
● Deep Reinforcement Learning ○ Reinforcement Learning with Unsupervised Auxiliary Tasks https://openreview.net/pdf?id=SJ6yPD5xg
○ (Not RL) Learning to act by predicting future https://arxiv.org/abs/1611.01779
● Neural Programmer○ Making Neural Programming Architectures Generalize via Recursion
https://openreview.net/forum?id=BkbY4psgg¬eId=BkbY4psgg
![Page 19: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/19.jpg)
Generative Adversarial Networks (GANs)● オリジナルのアルゴリズムは Ian Goodfellow et al. (2014) によって提案
● 以降とても多くの論文がarXiv等で(乱発ぎみに)発表された。○ GAN Zoo https://github.com/hindupuravinash/the-gan-zoo
https://github.com/hindupuravinash/the-gan-zoo
(GANs)
![Page 20: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/20.jpg)
GANsのフレームワーク
● Discriminator D(x) : Generator G(z) から生成されたサンプルと本物(データセット)のサンプルを見分けるように学習
● Generator G(z) : Discriminator D(x)が見分けられないようにデータを生成するように学習。
(GANs)
![Page 21: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/21.jpg)
GANの何がいいのか?● 生成モデル pG(x)の明な密度を計算できなくても学習で
きる。
○ ただサンプルできればよい。x ~ pG(x)
● 半教師あり学習と統合した学習ができる
https://arxiv.org/abs/1606.03498 (ただこれは theoriticalな解析がまだなさ
れていない。)
○ 特にラベル数が少ない半教師あり学習で良い性能
https://arxiv.org/pdf/1702.08896.pdf
(GANs)
![Page 22: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/22.jpg)
GAN論文 (ICLR2017に投稿されたもの)● b-GAN (uehara et al. https://arxiv.org/pdf/1610.02920.pdf )
○ GANのDiscriminatorを密度比推定器 rD(x) と解釈。
○ rD(x) とq(x) / pG(x)とのBregman ダイバージェンス の最小化で(Generatorの分布が与えられた際の) 真の密度比q(x) / pG(x) をrD(x) で近似
● Implicit Generative Models (Mohamed et al. https://arxiv.org/abs/1610.03483 )
○ GANsのアルゴリズムを使って Likelihood-free estimation ● Deep and Hireachical Implicit models (Tran et al. https://arxiv.org/pdf/1702.08896.pdf ) (※Not
subimitted to ICLR)
○ GANsのアルゴリズムを使って Likelihood-free variational inference (LFVI) ■ モデルと変分分布qVI(x, z) と pModel(x, z) に要求されるのはただサンプルで
きればよいということ。柔軟な変分推定を実現できる
(僕が重要だと思う )
![Page 23: [ICLR2017読み会 @ DeNA] ICLR2017紹介](https://reader033.vdocuments.net/reader033/viewer/2022052116/5a6478917f8b9a3b568b461f/html5/thumbnails/23.jpg)
ありがとうございました! I enjoyed water taxi ⚓ (Hotel <-> Conference)