教程成果charles example2 neuraltransfer示例.pdfVIP

NeuralTransfer

一.这是什么？

神经风格或者神经转移是一种将输入的内容图像转换为使用输入的风格图像的风

格的内容图像的算法（左边的为内容图像，中间的为风格图像，右边的为转换后的图像）：

二.工作原理

原理很简单：我们定义了两个距离，一图像内容（），一图像风格（）。

衡量两幅图像之间的内容差异程度，量两幅图像之间的风格差异程度。然后，我们取

第三幅图像作为输入（比如含噪音的空白图），我们对其进行转换，使得它的内容与内容图

像的距离最小，同时它的风格与风格图像的距离最小。

具体实现：

进一步的理解需要涉及一些数学相关的内容。为一个预先训练好的深度卷积神经网

络，X为任意一幅图像。(X)的输入为X（含所有层的特征图）。令∈(X)为第L层的

特征图，将其全部矢量化并拼接为一个向量。我们简单地定义X的内容在L层为，

如果Y是另一张与X相同大小的图像，我们定义两幅图在第L层的内容距离为：

)2()2

=||−||=∑(−()

(为的第i个元素。风格的定义相对比较。令(k≤K)为第L层的K个特征

图的第k个向量。X在第L层的风格被定义为所有特征图向量(k≤K)的Gram积。换句

话说，是一个K×K的矩阵，(在的第k行第l列，是和的矢量积：

()()