论文：《Conditional Generative Adversarial Nets》
年份：2014年
引言
原始的GAN过于自由，训练会很容易失去方向，导致不稳定且效果差。比如说GAN生成MNIST数字的过程，虽然可以生成数字，但生成的结果是随机的（因为是根据输入的随机噪声生成的图片），没有办法控制模型生成的具体数字。
CGAN就是在原来的GAN模型中加入一些先验条件，使得GAN变得更加可控制。具体来说，我们可以在生成模型G和判别模型D中同时加入条件约束y来引导数据的生成过程。条件可以是任何补充的信息，如类标签等，这样我们在生成新的样本的同时，还能确切地控制新样本的类型。
cGAN结构
cGAN的全程是Conditional Generative Adversarial Networks，即条件对抗生成网络。它为生成器、判别器都额外加入了一个条件y，这个条件实际上是希望生成的标签。
生成器G必须要生成和条件y匹配的样本，判别器不仅要判别图像是否真实，还要判别图像和条件y是否匹配。cGAN的输入输出为：
- 生成器G：输入一个噪声z，一个条件y，输出符合该条件的图像G。
- 判别器D：输入一张图像x，一个条件y，输出该图像在该条件下的真实概率D(x|y)
优化目标
在原始的GAN中，优化目标为：
在cGAN中，在其中加入条件y，则优化目标修改成了：
以MNIST为例，生成器G和判别器D的输入输出是：
- G输入一个噪声z，一个数字标签y(y的取值范围是0~9)。输出和数字标签相符合的图像G(z|y)。
- D输入一个图像x，一个数字标签y。输出图像和数字符合的概率D(x|y)。
显然，在训练完成后，向G输入某个数字标签和噪声，可以生成对应数字的图像。
Pytorch代码实现
cGAN生成器
定义生成器及前向传播函数：
class Generator(nn.Module):
def __init__(self):
super().__init__()
self.label_emb = nn.Embedding(10, 10)
self.model = nn.Sequential(
nn.Linear(110, 256),
nn.LeakyReLU(0.2, inplace=True),
nn.Linear(256, 512),
nn.LeakyReLU(0.2, inplace=True),
nn.Linear(512, 1024),
nn.LeakyReLU(0.2, inplace=True),
nn.Linear(1024, 784),
nn.Tanh()
)
def forward(self, z, labels):
z = z.view(z.size(0), 100)
c = self.label_emb(labels)
x = torch.cat([z, c], 1)
out = self.model(x)
return out.view(x.size(0), 28, 28)
其中，torch.nn.Embedding的函数介绍如下：
nn.Embedding(num_embeddings, embedding_dim)
"""
params:
- num_embeddings - 词嵌入字典大小，即一个字典里要有多少个词。
- embedding_dim - 每个词嵌入向量的大小。
"""
cGAN判别器
定义判别器及前向传播函数：
class Discriminator(nn.Module):
def __init__(self):
super().__init__()
self.label_emb = nn.Embedding(10, 10)
self.model = nn.Sequential(
nn.Linear(794, 1024),
nn.LeakyReLU(0.2, inplace=True),
nn.Dropout(0.4),
nn.Linear(1024, 512),
nn.LeakyReLU(0.2, inplace=True),
nn.Dropout(0.4),
nn.Linear(512, 256),
nn.LeakyReLU(0.2, inplace=True),
nn.Dropout(0.4),
nn.Linear(256, 1),
nn.Sigmoid()
)
def forward(self, x, labels):
x = x.view(x.size(0), 784)
c = self.label_emb(labels)
x = torch.cat([x, c], 1)
out = self.model(x)
return out.squeeze()
cGAN损失函数
定义判别器对真、假图像的损失函数：
# 定义判别器对真图像的损失函数：
real_validity = D(images, labels)
d_loss_real = criterion(real_validity, real_labels)
# 定义判别器对假图像（即由潜在空间点生成的图像）的损失函数
z = torch.randn(batch_size, 100).to(device)
fake_labels = torch.randint(0,10,(batch_size,)).to(device)
fake_images = G(z, fake_labels)
fake_validity = D(fake_images, fake_labels)
d_loss_fake = criterion(fake_validity, torch.zeros(batch_size).to(device))
#CGAN总的损失值
d_loss = d_loss_real + d_loss_fake
cGAN可视化
利用网格（10×10）的形式显示指定条件下生成的图像
from torchvision.utils import make_grid
z = torch.randn(100, 100).to(device)
labels = torch.LongTensor([i for i in range(10) for _ in range(10)]).to(device)
images = G(z, labels).unsqueeze(1)
grid = make_grid(images, nrow=10, normalize=True)
fig, ax = plt.subplots(figsize=(10,10))
ax.imshow(grid.permute(1, 2, 0).detach().cpu().numpy(), cmap='binary')
ax.axis('off')
查看指定标签数据
可视化指定单个数字条件下生成的数字：
def generate_digit(generator, digit):
z = torch.randn(1, 100).to(device)
label = torch.LongTensor([digit]).to(device)
img = generator(z, label).detach().cpu()
img = 0.5 * img + 0.5
return transforms.ToPILImage()(img)
# 调用
generate_digit(G, 8)
可视化损失值
记录判别器和生成器的损失变化：
writer.add_scalars('scalars', {'g_loss': g_loss, 'd_loss': d_loss}, step)
