generative adversarial nets -...

Generative Adversarial Nets生成对抗网络

冯佳时机器学习与视觉实验室

新加坡国立大学

机器学习与视觉实验室http://www.lv-nus.org

人工智能

• 理解复杂的现实世界

Some slides are adopted from Goodfellow 2016.


人工智能

“What I cannot create, I do not understand.”— 理查德·费曼


概率生成模型

(Goodfellow 2016 NIPS Workshop)

图像生成

训练样本 (真实世界样本) 生成样本 (模型生成样本)

（观测数据）（概率分布）新的数据采样


为什么研究生成模型

• 测试高维复杂的概率分布建模• 模拟未来 (规划, 仿真)• 处理缺失数据• 多模态输出• 解决真实的数据生成问题


生成模型优化

• 最大似然估计


生成模型分类

最大似然估计

显式概率密度隐式概率密度模型

可解概率密度近似概率密度

变分法马尔可夫链

马尔可夫链

直接建模GANs

变分自编码模型波尔兹曼机

生成随机网络神经自回归概率估计

pixelRNN

(Goodfellow 2016)

非线性ICA


最新概率生成模型

• 生成对抗网络(GANs)– 优点：生成样本细节清晰– 缺点：优化困难(训练过程不稳定性)

• 变分自动编码模型(VAE)– 优点：允许带隐变量的概率图模型学习与贝叶斯推断

(例如 DRAW, Attend Infer Repeat)– 缺点：生成样本模糊

• 自回归模型(Auto-regressive)– 优点：简单，稳定的训练过程(例如PixelRNN)– 缺点：采样效率低


变分自编码模型

(Kingma & Welling 2013, Rezende et al. 2014)

缺点:如果分布q不完美, 则估计不一致生成的数据质量通常不高


自回归模型

• 基于链式法则显示建模概率分布

缺点:生成样本复杂度高 O(n)无隐式编码控制生成过程


GANs

• 使用隐编码• 近似一致 ( 优于变分模型 )• 不需马尔科夫链• 生成数据质量高


GAN为什么重要？

作为一种生成模型：

Ian J. Goodfellow(OpenAI)

“GAN是更好的生成模型”

“GAN避免了马尔科夫链式的学习机制”

“各种类型的损失函数都可以整合到GAN模型中”

“概率密度不可计算时，GAN仍可以应用”

Generative Adversarial Networks. I. Goodfellow, et al. arXiv:1406.2661, 2014

https://en.wikipedia.org/wiki/ArXiv

https://arxiv.org/abs/1406.2661


GAN为什么重要？

“GAN为创建无监督学习模型提供了强有力的算法框架，有望帮助我们为 AI 加入常识（Common Sense）。我们认为，沿着这条路走下去，有不小的成功机会能开发出更智慧的 AI 。”

“我们一直在错过一个关键因素就是无监督/预测学习，这是指：机器给真实环境建模、预测可能的未来、并通过观察和演示来理解世界是如何运行的能力。”

GAN的积极倡导者

Yann LeCun(Facebook AI Research & NYU)

无监督学习（蛋糕胚）

监督学习（糖霜）

强化学习（樱桃）


GANs可以做什么?

• 真实数据生成任务– 图像生成– 视频生成– 自然语句生成– 音乐生成

• 解决数据不足问题– 多视角、多任务学习– 半监督学习

• 强化学习…


GANs 的基本框架

“逆变换采样”

高斯随机变量

概率生成模型（神经网络）

生成的概率分布真实数据的分布

损失

数据空间数据空间

图片来源：https://openai.com/blog/generative-models/

怎样定义损失？

生成模型: • 需可导• 不要求可逆• 给定z, x可条件高斯分布


判别模型

判别模型（基于神经网络）

狗

猫


GANs的基本框架（续）

隐随机变量

生成模型(神经网络)

真实世界图像

采样

采样

判别模型(神经网络)

真

假

损失

(反向传递更新)

(反向传递更新)

判别能力

伪装能力弱强

弱强

生成模型：

判别模型：


GANs的应用实例 – 图像超分辨率

模糊图像高分辨率图像

Christian Ledig, et al. Photo-realistic single image super-resolution using a generative adversarial network, arxiv 2016


GANs的应用实例 – 图像超分辨率（续）

模糊图像

高分辨率图像？低分辨率图像？





GANs的应用实例 – 图像超分辨率（续）


判别模型--发现生成的与真实高分辨率图像块之间的区别

低分辨率图像

生成模型--生成低分辨率图像块的高分辨率图像块

高分辨率图像

低分辨率？高分辨率？


GANs的应用实例 – 图像超分辨率（续）模糊图像

高分辨率图像？低分辨率图像？




模糊图像高分辨率图像SRResNet结果图 SRGAN结果图


GAN的原理

D(x)G(z)

pdata(x)

判别网络D: 最大化分配给训练数据x和生成数据G(z)正确标签的概率。

生成网络G: 将一个随机向量z映射到数据空间，最小化log(1-D(G(z)))。

• GAN 的思想启发自博弈论中的零和游戏，包含一个生成网络G和一个判别网络D。

• 目标函数如下：

交替优化

训练过程示意图


GAN的原理（续）• GAN的全局最优解

首先可以证明，对于任意的G，D的最优解有如下形式（这里来自pdata的数据的标签为1，来自pg的数据的标签为0）：

因此目标函数可重写为：

最后可以证明当且仅当pg = pdata ，即G完全重现数据生成过程时，C(G)有全局最小值，即达到训练示意图中(d)的状态。

• GAN的收敛性可以证明，如果G和D有足够的学习能力，那么给定G，D可以达到其最优解，并且pg 可以更新来优化

使得pg 收敛于pdata 。


GAN的特性

• 计算梯度时只用到了反向传播，而不需要马尔科夫链。

• 训练时不需要对隐变量做推断。

• 理论上，只要是可微分函数都能用于构建D和G，因而能够与深度学习结合来学习深度产生式网络（deep generative model）。

• 统计角度上来看，G的参数更新不是直接来自于数据样本，而是使用来自D的反传梯度。

优点：

缺点：

• 生成器的分布pg(G)没有显示的表达。

• 比较难训练，D与G之间需要很好的同步，例如D更新k次而G更新1次。


GAN的特性（续）

GAN与其他深度产生式模型所存在困难的比较：

深度有向图模型

深度无向图模型

产生式自编码器 GANs模型

训练需要推断

需要推断；需要MCMC来近似配分函数的梯度

需要均衡重构与产生

能力

为了避免G坍缩到同一点，需要

同步D和G

推断可学习的近似推断变分推断基于MCMC

的推断可学习的近似推

断

采样无困难需要马尔科夫链

需要马尔科夫链无困难

模型设计

几乎所有模型都会导致极端困难的

优化

需要仔细的设计模型形

式

理论上允许任意可微分

函数

理论上允许任意可微分函数


GANs的训练过程

• 使用SGD类方法在两个小批量样本训练– 小批量训练样本– 小批量生成样本

• 解决训练不平衡问题– 一个模型更新k次另一个模型更新1次


GANs训练技巧

• 学习条件概率模型 p(y|x) 通常提供比学习 p(x) 更好的生成样本

• 学习联合概率模型 p(x,y) 结果也通常更好• 单边标签平滑

– 1->0.9 – 有效的正则– 不改变分类准确率（只改变置信度）– 防止判别模型梯度过大– 防止局限于特定样本


GANs训练注意事项

• 不收敛• 模式坍塌

– D 在内循环：收敛到正确分布– G 在内循环：收敛到一个点分布


深度GANs

• 深度卷积生成网络，可以产生分辨率更高、内容更加复杂的数据

Alec Radford, et al. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks, ICLR 2016


基于递归神经网络的GANs

• 基于连续递归神经网络的GAN模型，可用于处理连续的序列数据，如音乐数据。

• 递归生成网络G：提供连续数据的序列；递归判别网络D：区分真实的序列数据和生成的序列数据。

Olof Mogren. C-RNN-GAN: Continuous recurrent neural networks with adversarial training, NIPS Workshop 2016


GAN的成功案例-细粒度图像仿真

Ashish Shrivastava, et al. Learning from Simulated and Unsupervised Images through Adversarial Training, arxiv 2016

• 提出了一种GAN模型，利用无标签的真实图像来精细化合成图像使其看起来更加真实。

Self-regularization

• 增加训练样本，但是合成的图像与真实图像存在差异性。

• 自正则项(self-regularization term)最小化生成图像与合成图像的绝对值误差，从而保留图像的标注信息，如眼睛视线的方向，使得生成图像可以用于训练机器学习模型


GAN的成功案例-细粒度图像仿真（续）


• 局部对抗损失函数（Local adversarial loss）基于图像块来训练判别网络，可以避免过于强调某些特定的图像特征而导致的伪差。

• 利用早期生成的精细化图像来优化判别网络，避免其忘掉生成网络之前引入的伪差。




• 局部对抗损失函数与全局对抗损失函数的实验结果比较。




• 是否利用早期生成图片的实验结果比较。


GANs的其他应用

语义标注图到街景图语义标注图到墙体图灰度图到彩色图

航拍图到地图

白天到夜晚边缘图到照片

文本->图像

图像->图像翻译

“一只有着粉色的胸和冠的小鸟”

Reed, et al. Generative adversarial text to image synthesis. arXiv, 2016Isola, et al. Image-to-image Translation with Conditional Adversarial Networks. arXiv, 2016


GANs的其他应用（续）人脸图像生成

输入人工标注 w/o对抗训练 w/对抗训练

图像语义分割

真实帧预测帧

视频自动生成

Luc, et al. Semantic Segmentation using Adversarial Networks. arXiv, 2016Alec Radford, et al. Unsupervised representation learning with deep convolutional generative adversarial networks, arxiv 2015Michael Mathieu, et al. Deep multi-scale video prediction beyond mean square error, arxiv 2015


GAN的成功案例-CGAN

Mehdi Mirza and Simon Osindero. Conditional Generative Adversarial Nets, arxiv 2014

Conditional GAN

y可以是任意一种额外的信息



基于Conditional GAN图-图翻译（方法）

Phillip Isola, et al. Image-to-Image Translation with Conditional Adversarial Networks, arxiv 2016

正例样本负例样本

真实或伪造的图像对？真实或伪造的图像对？

G试图生成伪造的图像迷惑D

D试图鉴定出伪造的图像



基于Conditional GAN图-图翻译（结果）

语义标注图到街景图语义标注图到墙体图灰度图到彩色图

航拍图到地图

白天到夜晚边缘图到照片


GAN的成功案例-SRGAN

图像Super-Resolution的任务


模糊图像高分辨率图像SRResNet结果图 SRGAN结果图


GAN的成功案例-SRGAN

SRGAN的框架图

生成模型--生成低分辨率图像块的高分辨率图像块

判别模型--发现生成的高分辨率图像块与真实高分辨率图像块之间的区别


GAN的成功案例-文本合成图像

文本合成图像的任务

This small bird has a pinkbreast and crown, and blackprimaries and secondaries.

The white and yellow flowerhave thin white petals and around yellow stamen.

文本描述合成的图像



生成网络

Text-conditional GAN的框架图

判别网络

Reed, et al. Generative adversarial text to image synthesis. arXiv, 2016



Reed, et al. Generative adversarial text to image synthesis. arXiv, 2016

Text-conditional GAN的部分结果

生成图像真实图像生成图像真实图像


GAN的成功案例-LAPGAN

Denton, et al. Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks, NIPS 2015

粗糙精细

Laplacian Pyramid GAN的框架图


GAN的成功案例-DCGAN

DCGAN

Alec Radford, et al. Unsupervised representation learning with deep convolutional generative adversarial networks, arxiv 2015


GAN的成功案例-图像语义分割

Luc, et al. Semantic Segmentation using Adversarial Networks. arXiv, 2016

对抗网络在图像语义分割任务中的应用

输入人工标注 w/o对抗训练 w/对抗训练


GANs的应用-视频预测

视频帧生成的多尺度网络架构

对抗学习

Discriminator:

Generator:


GAN的成功案例-视频预测

视频帧生成结果

输入帧真实帧预测帧


GANs的应用实例 – 图像生成

Scott Reed, et al. Generative Adversarial Text to Image Synthesis, ICML 2016

“这朵花有小的圆形紫色花瓣和深紫色的花蕊”


生成模型判别模型


GANs的应用实例 – 图像生成（续）

Scott Reed, et al. Generative Adversarial Text to Image Synthesis, ICML 2016



生成模型判别模型


人脸去遮挡

• 判别性的对抗式训练方法，避免MSE损失函数导致的模糊问题。

Fang Zhao, et al. Robust LSTM-Autoencoders for Face De-Occlusion in the Wild. arXiv: 1612.08534


人脸去遮挡（续）

• 去遮挡结果：(a)原始图片；(b)加遮挡后的图片；(c)去遮挡后的图片

Fang Zhao, et al. Robust LSTM-Autoencoders for Face De-Occlusion in the Wild. arXiv: 1612.08534


大尺度物体特征表示

小尺度物体

特征表示

• 同类别不同尺度的物体高层次特征表示不同，小物体特征表示稀疏，从而造成检测困难

？

小物体检测

Jianan Li, et al. Perceptual Generative Adversarial Networks for Small Object Detection. submitted


• Perceptual GAN 网络对小物体特征表示进行超分辨增强，生成接近于同类别大尺度物体的特征表示，以提升检测性能

小物体检测（续）



Zhu, et al. Traffic-sign detection and classification in the wild. CVPR 2016

• 针对交通标志检测任务，在 Tsinghua-Tencent 100K 数据集上，Perceptual GAN大幅提升小物体的检测性能

小物体检测（续）



GANs模型扩展

• InfoGANs• f-GANs• 多主体GANs• …

Xi Chen, et al. InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets. arXiv: 1606.03657Sebastian Nowozin, et al. f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization. arXiv: 1606.00709Arnab Ghosh, et al. Message Passing Multi-Agent GANs. arXiv: 1612.01294


GANs其他应用

• 迁移学习以及领域自适应学习• 强化学习• 其他领域应用

– 自然语句生成

Yaroslav Ganin, et al. Unsupervised Domain Adaptation by Backpropagation. arXiv: 1409.7495Jonathan Ho, et al. Generative Adversarial Imitation Learning. arXiv: 1606.03476Eder Santana, et al. Learning a Driving Simulator. arXiv: 1608.01230Samuel Bowman, et al. Generating Sentences from a Continuous Space. arXiv: 1511.06349


总结

• 现状：快速发展的研究方向• 前景：无监督学习，强化学习• 问题：更高效，更具有延展性• 目标：让AI理解世界

谢谢

generative adversarial nets -...

Documents