(完整版)GAN网络综述.ppt

生成式对抗网络综述

C

ON

T

E

N

T

GAN的概念简介及提出背景

GAN的理论与实现模型

GAN的应用

GAN的思考与前景

CONTENT

GAN的概念简介及提出背景

GAN的理论与实现模型

GAN的应用

GAN的思考与前景

GAN的概念简介及提出背景

GAN(GenerativeAdversarialNetworks)，中文翻译为生成式对抗网络，是IanGoodfellow等在2014年提出的一种生成式模型.

GAN的基本思想源自博弈论的二人零和博弈,由一个生成器和一个判别器构成,通过对抗学习的方式来训练.目的是估测数据样本的潜在分布并生成新的数据样本.

GAN的概念简介及提出背景

2001年，TonyJebara在毕业论文中以最大熵形式将判别模型与生成模型结合起来联合学习

2007年，ZhuowenTu提出将基于boosting分类器的判别模型与基于采样的生成模型相结合，来产生出服从真实分布的样本。

2012年，JunZhu将最大间隔机制与贝叶斯模型相结合进行产生式模型的学习。

2014年，IanGoodfellow等人提出生成式对抗网络，迎合了大数据需求和深度学习热潮，给出了一个大的理论框架及理论收敛性分析。

起源

发展

（一）人工智能的热潮

（二）生成式模型的积累

（三）神经网络的深化

（四）对抗思想的成功

GAN的概念简介及提出背景

CONTENT

GAN的概念简介及提出背景

GAN的理论与实现模型

GAN的应用

GAN的思考与前景

GAN的理论与实现模型

GAN的基本原理

GAN的核心思想来源于博弈论的纳什均衡。它设定参与游戏双方分别为一个生成器(Generator)和一个判别器(Discriminator)，生成器的目的是尽量去学习真实的数据分布，而判别器的目的是尽量正确判别输入数据是来自真实数据还是来自生成器；为了取得游戏胜利，这两个游戏参与者需要不断优化，各自提高自己的生成能力和判别能力，这个学习优化过程就是寻找二者之间的一个纳什均衡。

GAN的理论与实现模型

GAN的基本原理

GAN的理论与实现模型

GAN的基本原理

GAN的理论与实现模型

GAN的基本原理

GAN的理论与实现模型

GAN的学习方法

GAN的理论与实现模型

首先,在给定生成器G的情况下,我们考虑最优化判别器D.

GAN的学习方法

GAN的理论与实现模型

GAN的衍生模型

GAN的理论与实现模型

CGAN

EBGAN

Info

GAN

DCGAN

Improved

GAN

WGAN

......

GAN的衍生模型

GAN的理论与实现模型

GAN的衍生模型

GAN的理论与实现模型

GAN的衍生模型

GAN的理论与实现模型

（6）ImprovedGAN--改进生成式对抗网络，提出了使模型训练稳定的五条经验。

a.特征匹配（featurematching）

b.最小批量判断（minibatchdiscrimination）

c.历史平均（historicalaveraging）

d.单边标签平滑（one-sidedlabelsmoothing）

e.虚拟批量正则（virtualbatchnormalization）

CONTENT

GAN的概念简介及提出背景

GAN的理论与实现模型

GAN的应用

GAN的思考与前景

GAN的应用

图像和视觉领域

语音和语言领域

其他领域

作为一个具有“无限”生成能力的模型,GAN的直接应用就是建模,生成与真实数据分布一致的数据样本，GAN可以用于解决标注数据不足时的学习问题。

其可以应用于：

GAN的应用

图像和视觉领域

GAN能够生成与真实数据分布一致的图像。一个典型应用是利用GAN来将一个低清模糊图像变换为具有丰富细节的高清图像。

用VGG网络作为判别器，用参数化的残差网络表示生成器，实验结果如图所示，可以看到GAN生成了细节丰富的图像。

GAN的应用

语音和语言领域

a.用GAN来表征对话之间的隐式关联性，从而生成对话文本。

b.用CNN作为判别器,判别器基于拟合LSTM的输出，用矩匹配来解决优化问题；在训练时，和传统更新多次判别器参数再更新一次生成器不同,需要多次更新生成器再更新CNN判别器。SeqGAN基于策略梯度来训练生成器。

c.用GAN基于文本描述来生成图像，文本编码被作为生成器的条件输入，同时为了利用文本编码信息，也将其作为判别器特定层的额外信息输入来改进判别