Face completion with Hybrid Dilated Convolution

我的结论(仅仅代表个人观点)

* 2019年2月的论文

* 论文没有公开代码(20200525)。没有代码,一些重要的结论无法测试和验证。

* 分辨率不高,128*128

* 正脸和侧脸都好用,人脸图和日常场景照都好用。

* 对背景的修复能力挺好的。从结果图看,模糊问题不突出。分辨率小,论文中图放大看就模糊了,这一个结论不确定。

* 论文自己说它比《Image inpainting for irregular holes using partial convolutions》效果好。

1、题目

《Face completion with Hybrid Dilated Convolution》

作者:

地址:

https://www.sciencedirect.com/sdfe/reader/pii/S0923596519301304/pdf

2、创新点

a、We propose a face completion network based on the U-Net architecture combined with the HDC blocks. The adopted linear growth dilation rate can address gridding effect for face inpainting task.

b、We introduce the spectral normalization in the proposed network to improve the training stability. Through introducing the spectral normalization, a modified PatchGAN discriminator is designed for irregular hole image inpainting.

3、网络框架

 4、loss函数

a、 L1 loss

 

b、Perceptual Loss

 

 c、Adversarial Loss

 d、Overall Loss

 

 5、实验

AA、实验数据集

a、CelebA数据集:

数据:200K celebrity images,each with 40 attribute annotations

划分:随机选择3000张图进行测试,剩下的训练

****:训练和测试的过程中,没有采用任何属性label

b、Helen数据集:

数据:2330个脸

划分:2000训练,300测试。

CelebA数据集,进行模型的训练、测试和验证。Helen数据集,交叉验证,对模型进行进一步的评估。

BB、实验细节

* Training epoch 50。完成50epoch,采用NVIDIA TITAN X GPU,用时69h。

* Adam优化算法,学习率0.0002,beta1=0.5, beta2=0.9。

* CeleA数据对齐到160*160大小的脸,然后resize脸图到128*128。

* 一个训练样本包含:原始图像+二值mask。遮挡图像的不同区域,获得不同的二值mask,给一张图像,可以得到多组训练数据。

* mask包含两种样式的:

  1) Random irregular masks with approximately 25%–40% missing;

  2) Homocentric squares pattern masks with around 7 to 16 pixels are missing

 6、实验结果

 

 

 

 

 

 

原文地址:https://www.cnblogs.com/wjjcjj/p/12966030.html