概
让GAN训练稳定的方法主要有normalization 和 regularization.
这两篇文章介绍了 consistency regularization.
主要内容
如上图所示, (T)是augmentation,
CR-GAN的思路是, 希望(D(T(x)), D(x))彼此接近,
bCR-GAN在此基础上, 还希望(D(G(z)), D(T(G(z))))也彼此接近.
zCR-GAN则是将(T)直接作用在(z)上:
- (G(z), G(T(z)))彼此远离, 即增加多样性;
- (D(G(z)), D(G(T(z))))彼此靠近, 即生成的图片应该有共同的主体特征.
至于ICR-GAN, 是bCR和zCR的结合.
注: 如果(z)是隐向量, (T)采取高斯噪声(T(z) sim mathcal{N}(z, sigma_{noise})).
注: 远离和靠近的度量, 文中采用的是
[|cdot |^2.
]