perceptual loss

 https://arxiv.org/abs/1603.08155

两个网络:image transfer网络和loss网络

image transfer网络:

将输入图片y通过映射f W (x)得到输出图片ŷ (ŷ = f W (x))

loss网络(取预训练好的VGG)

原因:VGG是用来做图像分类的,预训练好的VGG网络已经可以学习对感知信息和语义信息进行编码,使用VGG作为固定的损失网络来定义损失函数。

其中损失函数包括两部分:

1.内容损失:

2.风格损失:

φ j (x)是输入x在第j层卷积层上输出的特征图,定义损失函数中的Gram matrix G φj (x):

网络结构:

损失网络实际上只是取代了我们常用的L2 loss等函数,image transform net的输入分别是style target和content target;两张图片,得到的输出为一张既包含content也包含style的图片ŷ,接着ŷ分别与gt图像和style图像做回归。

原文地址:https://www.cnblogs.com/nkh222/p/8194075.html