尧图网页设计 
1. 从一张白纸开始理解GAN到底在干什么如果你刚接触深度学习看到“生成对抗网络”这六个字大概率会一头雾水。生成什么对抗什么网络又是什么我当初第一次读原始论文的时候满脑子都是问号公式里那个min max看起来像天书两个网络互相打架到底图个啥。后来自己动手写了几版代码跑崩了无数次才慢慢把这里面的门道摸清楚。这篇内容就是把我踩过的坑、想通的逻辑、以及那些教程里很少讲透的细节用图解的方式重新梳理一遍。生成对抗网络英文Generative Adversarial Network简称GAN。它的核心目标非常朴素让机器学会凭空造出以假乱真的数据。你给它一堆真实图片它就能生成新的图片你给它一堆人脸它就能造出不存在的人脸。这个“造”的过程不是简单的复制粘贴而是学到了真实数据背后的分布规律然后从规律中采样出新的样本。听起来很玄但拆开来看它的结构其实只有两个角色一个负责造假一个负责鉴假。造假的那个叫生成器英文Generator通常记作G。鉴假的那个叫判别器英文Discriminator通常记作D。G的任务是接收一个随机噪声向量输出一个和真实数据维度相同的假样本。D的任务是接收一个样本判断它是来自真实数据集还是来自G的伪造。训练的过程就是让G和D互相博弈G想尽办法骗过DD想尽办法识破G。最终理想状态下G生成的样本连D都分不出真假此时D的输出概率趋近于0.5相当于在抛硬币。这个思路为什么有效因为D在不断进化它逼迫G也必须不断进化。如果G只会生成模糊的、模式单一的样本D很容易就能识别出来。只有当G真正学到了真实数据的复杂分布它才能骗过越来越强的D。这种对抗式的训练机制就是GAN区别于其他生成模型比如变分自编码器最本质的特征。适合谁来读这篇内容如果你已经了解神经网络的基本概念知道什么是前向传播、反向传播、损失函数但还没搞懂GAN的数学原理和代码实现那这篇就是为你准备的。如果你已经跑过几个GAN的demo但训练总是崩溃、生成结果惨不忍睹那这篇也能帮你找到问题根源。我会从最基础的公式推导讲起配合网络结构图、代码片段和实操经验尽量让每一个环节都清晰可复现。2. 原始GAN的数学框架与公式拆解2.1 那个让人困惑的min max公式到底在表达什么原始GAN的论文里给出了一个非常简洁的目标函数$$\min_G \max_D V(D, G) \mathbb{E}{x \sim p{data}(x)}[\log D(x)] \mathbb{E}_{z \sim p_z(z)}[\log(1 - D(G(z)))]$$第一次看到这个公式很多人会卡在几个地方为什么有min又有max为什么log里面没有负号期望符号是什么意思别急我们一项一项拆。先看$\max_D$这部分。D的目标是最大化整个式子。$x$来自真实数据分布$p_{data}$$D(x)$是D判断真实样本为真的概率。$\log D(x)$越大说明D对真实样本的判断越准确。$z$来自噪声分布$p_z$$G(z)$是生成的假样本$D(G(z))$是D判断假样本为真的概率。$\log(1 - D(G(z)))$越大说明D对假样本的判断越准确即$D(G(z))$越接近0$1-D(G(z))$越接近1log值越大。所以D的目标就是对真样本输出高概率对假样本输出低概率。再看$\min_G$这部分。G的目标是最小化整个式子。但注意G只能影响第二项因为第一项和G无关。G希望$\log(1 - D(G(z)))$越小越好也就是让$D(G(z))$越大越好即让D把假样本误判为真。所以G的目标和D正好相反。这就是“对抗”的数学表达。整个训练过程就是D在最大化VG在最小化V两者交替进行。2.2 为什么原始公式的交叉熵没有负号这是搜索热词里出现频率很高的问题。很多人学过二分类交叉熵损失形式是$$L -[y \log \hat{y} (1-y)\log(1-\hat{y})]$$这里有一个负号。但GAN的公式里没有负号为什么原因在于视角不同。交叉熵损失通常是最小化损失所以前面加负号把“最大化对数似然”转成“最小化负对数似然”。而GAN的公式写的是$\max_D V(D,G)$它本身就是一个最大化问题不需要再取负。如果你把GAN的D看作一个二分类器真实样本标签为1假样本标签为0那么D的交叉熵损失就是$$L_D -\mathbb{E}{x \sim p{data}}[\log D(x)] - \mathbb{E}_{z \sim p_z}[\log(1 - D(G(z)))]$$这个$L_D$是要最小化的。而$V(D,G)$是要最大化的所以$V -L_D$。换句话说GAN原始公式里的$V$就是负的交叉熵损失。没有负号是因为它写成了最大化形式。如果你在代码里用最小化损失来实现就需要加上负号。这是一个纯粹的符号约定问题理解了这个就不会再被绕进去。2.3 从理论最优解看GAN的收敛目标假设G固定我们来求最优的D。对于任意一个样本$x$它可能来自真实分布$p_{data}(x)$也可能来自生成分布$p_g(x)$。D的输出是一个概率值$D(x) \in [0,1]$。目标函数可以写成积分形式$$V(D) \int_x \left[ p_{data}(x) \log D(x) p_g(x) \log(1 - D(x)) \right] dx$$对于每个固定的$x$被积函数是$f(D) a \log D b \log(1-D)$其中$a p_{data}(x)$$b p_g(x)$。对D求导并令导数为零$$\frac{a}{D} - \frac{b}{1-D} 0 \Rightarrow D^* \frac{a}{ab} \frac{p_{data}(x)}{p_{data}(x) p_g(x)}$$这就是最优判别器的解析解。它告诉我们当D达到最优时它输出的概率就是该样本来自真实分布的后验概率。把这个最优D代回原目标函数经过推导可以得到$$V(D^*, G) -\log 4 2 \cdot JSD(p_{data} | p_g)$$其中JSD是Jensen-Shannon散度。JSD的取值范围是$[0, \log 2]$当且仅当$p_{data} p_g$时JSD为0此时$V -\log 4$。所以理论上当生成分布完全等于真实分布时目标函数达到全局最小值$-\log 4$D的输出处处为0.5。这个推导非常重要它从数学上证明了GAN的收敛目标是什么。但理论归理论实际训练中由于神经网络是非凸的、参数优化是迭代的我们很难达到这个全局最优。不过理解这个目标能帮我们判断训练是否在朝着正确方向走。3. GAN的网络结构设计与实现细节3.1 生成器G的设计思路与常见架构生成器的输入是一个低维的随机噪声向量$z$通常从标准正态分布或均匀分布中采样。这个$z$的维度一般取100、128或256太小会导致生成多样性不足太大则增加计算量且可能引入冗余。我个人的经验是对于MNIST这种28x28的灰度图64维或100维就够了对于128x128的彩色图128维到256维比较合适。G的网络结构通常是“反卷积”或“转置卷积”的堆叠。以DCGANDeep Convolutional GAN为例它的生成器结构大致如下import torch import torch.nn as nn class Generator(nn.Module): def __init__(self, z_dim100, img_channels3, feature_dim64): super(Generator, self).__init__() self.net nn.Sequential( # 输入: z_dim x 1 x 1 nn.ConvTranspose2d(z_dim, feature_dim * 8, 4, 1, 0, biasFalse), nn.BatchNorm2d(feature_dim * 8), nn.ReLU(True), # 输出: (feature_dim*8) x 4 x 4 nn.ConvTranspose2d(feature_dim * 8, feature_dim * 4, 4, 2, 1, biasFalse), nn.BatchNorm2d(feature_dim * 4), nn.ReLU(True), # 输出: (feature_dim*4) x 8 x 8 nn.ConvTranspose2d(feature_dim * 4, feature_dim * 2, 4, 2, 1, biasFalse), nn.BatchNorm2d(feature_dim * 2), nn.ReLU(True), # 输出: (feature_dim*2) x 16 x 16 nn.ConvTranspose2d(feature_dim * 2, feature_dim, 4, 2, 1, biasFalse), nn.BatchNorm2d(feature_dim), nn.ReLU(True), # 输出: feature_dim x 32 x 32 nn.ConvTranspose2d(feature_dim, img_channels, 4, 2, 1, biasFalse), nn.Tanh() # 输出: img_channels x 64 x 64 ) def forward(self, z): return self.net(z)这里有几个关键点。第一转置卷积的kernel_size通常取4stride取2padding取1这样每次上采样尺寸翻倍。第二除了最后一层每层后面都接BatchNorm和ReLU。BatchNorm的作用是稳定训练、加速收敛ReLU提供非线性。第三最后一层用Tanh把输出压缩到$[-1, 1]$这是因为训练数据通常也归一化到这个范围。如果你用Sigmoid输出是$[0,1]$那训练数据也要相应归一化。3.2 判别器D的设计要点与注意事项判别器本质上是一个二分类器输入一张图片输出一个标量概率。它的结构和普通的CNN分类网络很像但有一些细节需要注意。class Discriminator(nn.Module): def __init__(self, img_channels3, feature_dim64): super(Discriminator, self).__init__() self.net nn.Sequential( # 输入: img_channels x 64 x 64 nn.Conv2d(img_channels, feature_dim, 4, 2, 1, biasFalse), nn.LeakyReLU(0.2, inplaceTrue), # 输出: feature_dim x 32 x 32 nn.Conv2d(feature_dim, feature_dim * 2, 4, 2, 1, biasFalse), nn.BatchNorm2d(feature_dim * 2), nn.LeakyReLU(0.2, inplaceTrue), # 输出: (feature_dim*2) x 16 x 16 nn.Conv2d(feature_dim * 2, feature_dim * 4, 4, 2, 1, biasFalse), nn.BatchNorm2d(feature_dim * 4), nn.LeakyReLU(0.2, inplaceTrue), # 输出: (feature_dim*4) x 8 x 8 nn.Conv2d(feature_dim * 4, feature_dim * 8, 4, 2, 1, biasFalse), nn.BatchNorm2d(feature_dim * 8), nn.LeakyReLU(0.2, inplaceTrue), # 输出: (feature_dim*8) x 4 x 4 nn.Conv2d(feature_dim * 8, 1, 4, 1, 0, biasFalse), nn.Sigmoid() # 输出: 1 x 1 x 1 ) def forward(self, x): return self.net(x).view(-1, 1)判别器有几个设计禁忌。第一不要用MaxPool用stride卷积代替下采样这样网络可以学习到自己的池化方式。第二不要用ReLU用LeakyReLU斜率取0.2。原因是ReLU在负半轴梯度为零当输入是生成样本时如果梯度完全消失G就得不到有效的更新信号。LeakyReLU在负半轴有一个小斜率保证了梯度总能回传。第三判别器最后一层用Sigmoid输出概率但如果你用BCEWithLogitsLoss就不要加Sigmoid因为那个损失函数内部已经包含了Sigmoid。3.3 训练循环的代码实现与参数选择训练GAN的循环和普通网络不一样因为有两个网络要交替更新。基本流程是固定G更新D若干次固定D更新G一次。这个“若干次”通常是1次但也可以调整。# 初始化 z_dim 100 lr 0.0002 beta1 0.5 beta2 0.999 num_epochs 200 batch_size 64 G Generator(z_dim).cuda() D Discriminator().cuda() # 损失函数和优化器 criterion nn.BCELoss() optimizer_G torch.optim.Adam(G.parameters(), lrlr, betas(beta1, beta2)) optimizer_D torch.optim.Adam(D.parameters(), lrlr, betas(beta1, beta2)) for epoch in range(num_epochs): for i, (real_imgs, _) in enumerate(dataloader): batch_size_cur real_imgs.size(0) # 真实和假的标签 real_labels torch.ones(batch_size_cur, 1).cuda() fake_labels torch.zeros(batch_size_cur, 1).cuda() # --------------------- # 训练判别器D # --------------------- optimizer_D.zero_grad() # 真实图片的损失 real_imgs real_imgs.cuda() outputs D(real_imgs) d_loss_real criterion(outputs, real_labels) # 生成假图片 z torch.randn(batch_size_cur, z_dim, 1, 1).cuda() fake_imgs G(z) outputs D(fake_imgs.detach()) d_loss_fake criterion(outputs, fake_labels) # 反向传播和优化 d_loss d_loss_real d_loss_fake d_loss.backward() optimizer_D.step() # --------------------- # 训练生成器G # --------------------- optimizer_G.zero_grad() # 重新生成假图片这次不detach z torch.randn(batch_size_cur, z_dim, 1, 1).cuda() fake_imgs G(z) outputs D(fake_imgs) # G希望D把假图片判为真 g_loss criterion(outputs, real_labels) g_loss.backward() optimizer_G.step()这里有几个实操细节值得展开。第一训练D时对假样本要加.detach()切断梯度回传到G否则会同时更新G的参数。第二优化器用Adam学习率设0.0002beta1设0.5而不是默认的0.9。这是DCGAN论文里的经验值beta1降低可以减少动量让训练更稳定。第三标签用1和0但有些实现会用标签平滑比如真实标签用0.9而不是1.0这能缓解D过于自信的问题。4. 训练GAN时最常见的坑与排查方法4.1 模式崩溃生成器只会造同一种东西模式崩溃是GAN训练中最让人头疼的问题之一。表现是无论你输入什么噪声向量G生成的图片都差不多或者整个batch里只有少数几种模式。比如训练人脸生成结果所有生成的人脸都朝同一个方向、有同样的表情。这个问题的根源在于G找到了一个“捷径”只要生成某一种能骗过D的样本就能获得稳定的损失下降于是它放弃了探索其他模式。D那边呢因为看到的假样本越来越单一它也逐渐只针对这一种模式进行判别导致整个系统陷入局部平衡。解决思路有几种。第一调整D和G的训练比例。如果D太强G得不到有效梯度如果D太弱G又会偷懒。通常建议D的更新频率略高于G比如D更新2次、G更新1次但这不是绝对的要根据实际损失曲线来调。第二使用小批量判别Mini-batch Discrimination让D不仅看单张图片还看整个batch的多样性如果batch内样本太相似就判为假。第三引入标签平滑或噪声增加D的判别难度。第四尝试不同的架构比如WGAN、WGAN-GP它们从损失函数层面缓解了模式崩溃。我自己的经验是模式崩溃往往在训练中期出现表现为G的损失突然下降然后稳定在一个很低的值但生成的图片多样性骤减。这时候可以保存检查点回退到崩溃前的状态调整超参数重新训练。4.2 梯度消失与训练不收敛另一个常见问题是梯度消失。当D太强时它对假样本的判断非常自信$D(G(z))$接近0此时$\log(1 - D(G(z)))$接近0梯度非常小G几乎得不到更新信号。反过来如果D太弱G又会收到错误的梯度方向。判断梯度是否消失可以监控D对假样本的平均输出概率。如果这个值长期低于0.1说明D太强了。解决方法包括降低D的学习率、减少D的更新次数、给D的输入加噪声、或者使用WGAN中的Earth-Mover距离代替原始JS散度。训练不收敛的另一个表现是损失剧烈震荡D和G的损失交替上升下降没有稳定的趋势。这通常是因为学习率太大或者batch size太小。可以尝试降低学习率到0.0001或0.00005增大batch size到128或256。另外BatchNorm对稳定训练帮助很大如果还没用建议加上。4.3 生成图片质量差的排查清单当你发现生成的图片模糊、有棋盘格伪影、或者颜色失真时可以按照以下清单逐项排查问题现象可能原因排查方法图片模糊G容量不足或训练不充分增加G的层数或通道数延长训练轮数棋盘格伪影转置卷积的stride和kernel不匹配改用最近邻上采样普通卷积或调整kernel_size颜色失真输出层激活函数与数据归一化不匹配检查Tanh对应[-1,1]Sigmoid对应[0,1]局部纹理重复模式崩溃的前兆参考4.1节的解决方法边缘伪影padding方式不当尝试reflect padding或zero padding训练后期质量下降D过拟合或G过拟合引入Dropout、权重衰减或早停棋盘格伪影特别值得说一下。它是因为转置卷积在重叠区域产生了不均匀的叠加。解决方法有两种一是用kernel_size4, stride2, padding1这种组合它能让每个输出像素被均匀覆盖二是先做最近邻上采样再用普通卷积做特征变换。后者计算量稍大但效果更稳定。5. 从原始GAN到改进版本的演进逻辑5.1 DCGAN把卷积引入GAN的关键设计原始GAN用的是全连接网络生成32x32的图片还行再大就力不从心了。DCGANDeep Convolutional GAN在2015年提出系统地研究了如何把卷积网络用到GAN里并给出了一套设计准则。DCGAN的核心贡献不是某个新公式而是一系列工程上的最佳实践。它规定G和D都使用卷积层不用池化层G用转置卷积上采样D用stride卷积下采样除了输出层每层都加BatchNormG用ReLUD用LeakyReLU输出层用Tanh。这些规则看起来简单但它们是经过大量实验验证的直接照做就能避开很多坑。我自己的项目里DCGAN架构至今仍然是很多任务的基线。即使后来有了StyleGAN、BigGAN这些更复杂的模型DCGAN的训练稳定性和代码简洁性依然让它成为入门和快速验证的首选。5.2 WGAN用Earth-Mover距离替代JS散度WGANWasserstein GAN针对原始GAN的梯度消失和模式崩溃问题从损失函数层面做了根本性改进。它用Earth-Mover距离也叫Wasserstein距离代替JS散度来衡量真实分布和生成分布的距离。原始GAN的JS散度有一个致命缺陷当两个分布没有重叠时JS散度是常数$\log 2$梯度为零。而WGAN的Earth-Mover距离即使在没有重叠时也能提供有效的梯度。这就像两个人站在不同的山上JS散度只告诉你“你们不在一起”但不告诉你往哪个方向走Earth-Mover距离则告诉你“你往东走100米就能靠近对方”。WGAN的实现改动很小D的最后一层去掉Sigmoid输出一个实数而不是概率损失函数不用log直接是$D(x) - D(G(z))$的期望差每次更新D后把D的权重裁剪到$[-c, c]$之间强制满足Lipschitz连续性。后来WGAN-GP用梯度惩罚代替权重裁剪效果更好训练也更稳定。5.3 条件GAN与特征匹配的实用价值条件GANcGAN让生成过程变得可控。你在G和D的输入里都加入条件信息$y$比如类别标签、文本描述或其他模态的数据。这样G就能根据指定的条件生成对应的样本而不是随机生成。cGAN的公式只是在原公式的期望里加了条件$$\min_G \max_D V(D, G) \mathbb{E}{x \sim p{data}}[\log D(x|y)] \mathbb{E}_{z \sim p_z}[\log(1 - D(G(z|y)))]$$特征匹配Feature Matching是Salimans等人在2016年提出的改进技巧。它的核心思想是不让G直接去骗D的输出层而是让G生成的样本在D的中间层特征上与真实样本匹配。具体做法是把D中间某一层的特征提取出来计算真实样本和生成样本在这层特征上的均值差异作为G的额外损失。这样做的好处是D的中间层特征比最终输出更稳定能提供更丰富的梯度信息缓解模式崩溃。我在做图像翻译任务时特征匹配配合cGAN使用生成质量比纯cGAN有明显提升。代价是需要多计算一次前向传播训练时间增加约20%但效果提升值得这个开销。6. 实操心得与避坑经验实录6.1 超参数选择的经验法则GAN的超参数没有一套放之四海而皆准的配置但有一些经验法则可以帮你少走弯路。学习率方面Adam的lr0.0002、beta10.5是DCGAN的经典配置适用于大多数64x64和128x128的任务。如果你用WGAN-GPlr可以设0.0001beta10.5或0.0。batch size建议至少64太小会导致BatchNorm统计量不稳定太大则显存吃紧且可能降低多样性。噪声维度z_dim64到256之间都常见。我通常从100开始如果生成多样性不足就加到128或256。D的更新次数和G的更新次数比例默认1:1如果D的损失下降太快就减少D的更新次数或者降低D的学习率。还有一个容易被忽视的参数是BatchNorm的momentum。默认0.1但在GAN里如果batch size较小可以降到0.01或0.001让统计量更新更平滑。另外D的第一层不要加BatchNorm这是DCGAN论文里明确指出的因为第一层直接处理像素归一化会破坏颜色和纹理信息。6.2 监控训练过程的实用指标训练GAN不能只看损失曲线因为损失值本身没有绝对意义。我通常会监控以下几个指标第一D对真实样本的平均输出概率。理想情况下应该在0.7到0.9之间如果接近1.0说明D过强如果低于0.6说明D太弱。第二D对假样本的平均输出概率。理想值在0.1到0.3之间。第三G的损失和D的损失。两者应该在一个区间内震荡而不是持续上升或下降。第四定期保存生成的图片肉眼观察质量和多样性变化。我习惯每5个epoch保存一次生成样本的网格图每20个epoch保存一次模型检查点。这样一旦训练崩溃可以回退到之前的状态。另外用TensorBoard记录上述指标能直观看到趋势变化。6.3 从零复现时最容易忽略的细节复现GAN论文时有几个细节论文里往往一笔带过但实际影响很大。第一数据归一化。如果你用Tanh输出训练数据必须归一化到[-1,1]而不是[0,1]。第二权重初始化。G和D的卷积层用均值为0、标准差为0.02的正态分布初始化这是DCGAN的配置。第三优化器的epsilon参数。Adam默认eps1e-8但在GAN里有时需要调到1e-5或更大防止数值不稳定。第四随机种子。固定随机种子能让实验可复现但也会限制多样性正式训练时建议不固定。还有一个坑是GPU显存管理。GAN训练时G和D同时驻留显存加上中间激活值显存占用比普通分类网络大不少。如果显存不足可以减小batch size、降低feature_dim、或者用梯度累积模拟大batch。我试过在8GB显存的卡上训练128x128的DCGANbatch size只能开到32feature_dim降到32生成质量会打折扣但至少能跑起来。6.4 常见问题速查表问题排查方向快速修复D损失为0G损失爆炸D太强降低D学习率减少D更新次数生成图片全黑或全白输出层激活与数据范围不匹配检查Tanh/Sigmoid与归一化范围训练几轮后图片质量骤降模式崩溃回退检查点加特征匹配或小批量判别损失震荡剧烈学习率过大或batch太小降lr到0.0001增大batch生成图片有固定噪声图案G的输入噪声有问题检查噪声是否每次重新采样D准确率始终50%G和D平衡但都没学到检查数据加载和标签是否正确显存溢出batch或模型太大减小batch降低通道数用混合精度这些是我在实际项目中反复遇到的问题每一个都花过不少时间排查。希望这张表能帮你快速定位。7. 一个完整的MNIST生成实例7.1 数据准备与模型定义为了让你能直接上手我用MNIST数据集写一个最小可运行的GAN。MNIST是28x28的灰度图数据量小训练快适合验证代码正确性。import torch import torch.nn as nn import torchvision import torchvision.transforms as transforms from torch.utils.data import DataLoader # 数据准备 transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,)) # 归一化到[-1,1] ]) train_dataset torchvision.datasets.MNIST( root./data, trainTrue, downloadTrue, transformtransform ) dataloader DataLoader(train_dataset, batch_size64, shuffleTrue) # 生成器 class Generator(nn.Module): def __init__(self, z_dim100): super().__init__() self.net nn.Sequential( nn.Linear(z_dim, 256), nn.BatchNorm1d(256), nn.ReLU(True), nn.Linear(256, 512), nn.BatchNorm1d(512), nn.ReLU(True), nn.Linear(512, 1024), nn.BatchNorm1d(1024), nn.ReLU(True), nn.Linear(1024, 28*28), nn.Tanh() ) def forward(self, z): return self.net(z).view(-1, 1, 28, 28) # 判别器 class Discriminator(nn.Module): def __init__(self): super().__init__() self.net nn.Sequential( nn.Linear(28*28, 512), nn.LeakyReLU(0.2, inplaceTrue), nn.Linear(512, 256), nn.LeakyReLU(0.2, inplaceTrue), nn.Linear(256, 1), nn.Sigmoid() ) def forward(self, x): return self.net(x.view(-1, 28*28))这个版本用全连接层比卷积版本更简单适合理解核心逻辑。实际项目中建议用卷积版本效果更好。7.2 训练过程与结果观察训练循环和前面3.3节的代码基本一致只是数据换成MNIST。训练10个epoch左右就能看到比较清晰的数字。我实测下来在单张GPU上每个epoch大约10秒总共不到2分钟。训练过程中我建议每100个batch打印一次D和G的损失每2个epoch保存一次生成样本。观察生成样本的变化很有意思第1个epoch基本是噪声第3个epoch能看出数字的轮廓第5个epoch数字变得清晰第10个epoch已经很难和真实MNIST区分。如果你发现训练到某个epoch后生成质量不再提升可以尝试降低学习率继续训练或者增加G的容量。如果生成数字多样性不足比如全是“1”那就是模式崩溃参考4.1节的方法调整。7.3 从MNIST扩展到彩色图像把MNIST的代码扩展到CIFAR-10或CelebA主要改动有三处。第一数据加载用对应的数据集归一化参数改成三个通道的均值和标准差。第二G和D改用卷积架构参考3.1和3.2节的DCGAN结构。第三输出层通道数从1改成3。CIFAR-10是32x32的彩色图用DCGAN训练大约需要100到200个epoch才能生成像样的图片。CelebA是64x64或128x128的人脸训练时间更长可能需要几小时到几天取决于硬件。我的建议是先在MNIST上把流程跑通确认代码无误再逐步升级到更大的数据集。扩展时最容易忽略的是数据增强。GAN训练通常不做随机裁剪或翻转因为这会改变数据分布让G学到的分布和真实分布不一致。但你可以做中心裁剪和归一化这两个是安全的。8. 关于GAN原理学习路径的个人建议回头看我自己学GAN的过程最大的弯路是一开始就死磕数学推导忽略了代码实践。公式当然重要但如果你连一个能跑的GAN都没写过看再多推导也是空中楼阁。我的建议是先照着教程写一个MNIST的GAN跑通看到生成数字从噪声变成清晰数字的过程建立直观感受。然后再回头去看min max公式这时候你会发现那些符号都有了具体的含义。第二步是理解为什么原始GAN会训练不稳定。这个问题的答案不在公式里而在实验里。你多跑几次观察D和G的损失变化看什么时候梯度消失、什么时候模式崩溃慢慢就有感觉了。第三步才是去看WGAN、DCGAN、cGAN这些改进理解它们各自解决了什么问题。还有一个建议是不要只盯着图像生成。GAN的应用远不止生成图片它可以用在数据增强、图像翻译、超分辨率、异常检测等很多场景。理解原理之后找一个你感兴趣的应用方向深入做下去比泛泛地看十篇论文更有价值。最后分享一个我常用的调试技巧当你不知道G为什么生成不好时先把D固定住只训练G看G能不能过拟合到某一张真实图片。如果连过拟合都做不到说明G的架构或训练流程有问题如果能过拟合但生成多样性差说明是D和G的平衡问题。这个二分法能帮你快速缩小排查范围。 GAN生成对抗网络原理图解：从min max公式到代码实现与训练避坑指南
1. 从一张白纸开始理解GAN到底在干什么如果你刚接触深度学习看到“生成对抗网络”这六个字大概率会一头雾水。生成什么对抗什么网络又是什么我当初第一次读原始论文的时候满脑子都是问号公式里那个min max看起来像天书两个网络互相打架到底图个啥。后来自己动手写了几版代码跑崩了无数次才慢慢把这里面的门道摸清楚。这篇内容就是把我踩过的坑、想通的逻辑、以及那些教程里很少讲透的细节用图解的方式重新梳理一遍。生成对抗网络英文Generative Adversarial Network简称GAN。它的核心目标非常朴素让机器学会凭空造出以假乱真的数据。你给它一堆真实图片它就能生成新的图片你给它一堆人脸它就能造出不存在的人脸。这个“造”的过程不是简单的复制粘贴而是学到了真实数据背后的分布规律然后从规律中采样出新的样本。听起来很玄但拆开来看它的结构其实只有两个角色一个负责造假一个负责鉴假。造假的那个叫生成器英文Generator通常记作G。鉴假的那个叫判别器英文Discriminator通常记作D。G的任务是接收一个随机噪声向量输出一个和真实数据维度相同的假样本。D的任务是接收一个样本判断它是来自真实数据集还是来自G的伪造。训练的过程就是让G和D互相博弈G想尽办法骗过DD想尽办法识破G。最终理想状态下G生成的样本连D都分不出真假此时D的输出概率趋近于0.5相当于在抛硬币。这个思路为什么有效因为D在不断进化它逼迫G也必须不断进化。如果G只会生成模糊的、模式单一的样本D很容易就能识别出来。只有当G真正学到了真实数据的复杂分布它才能骗过越来越强的D。这种对抗式的训练机制就是GAN区别于其他生成模型比如变分自编码器最本质的特征。适合谁来读这篇内容如果你已经了解神经网络的基本概念知道什么是前向传播、反向传播、损失函数但还没搞懂GAN的数学原理和代码实现那这篇就是为你准备的。如果你已经跑过几个GAN的demo但训练总是崩溃、生成结果惨不忍睹那这篇也能帮你找到问题根源。我会从最基础的公式推导讲起配合网络结构图、代码片段和实操经验尽量让每一个环节都清晰可复现。2. 原始GAN的数学框架与公式拆解2.1 那个让人困惑的min max公式到底在表达什么原始GAN的论文里给出了一个非常简洁的目标函数$$\min_G \max_D V(D, G) \mathbb{E}{x \sim p{data}(x)}[\log D(x)] \mathbb{E}_{z \sim p_z(z)}[\log(1 - D(G(z)))]$$第一次看到这个公式很多人会卡在几个地方为什么有min又有max为什么log里面没有负号期望符号是什么意思别急我们一项一项拆。先看$\max_D$这部分。D的目标是最大化整个式子。$x$来自真实数据分布$p_{data}$$D(x)$是D判断真实样本为真的概率。$\log D(x)$越大说明D对真实样本的判断越准确。$z$来自噪声分布$p_z$$G(z)$是生成的假样本$D(G(z))$是D判断假样本为真的概率。$\log(1 - D(G(z)))$越大说明D对假样本的判断越准确即$D(G(z))$越接近0$1-D(G(z))$越接近1log值越大。所以D的目标就是对真样本输出高概率对假样本输出低概率。再看$\min_G$这部分。G的目标是最小化整个式子。但注意G只能影响第二项因为第一项和G无关。G希望$\log(1 - D(G(z)))$越小越好也就是让$D(G(z))$越大越好即让D把假样本误判为真。所以G的目标和D正好相反。这就是“对抗”的数学表达。整个训练过程就是D在最大化VG在最小化V两者交替进行。2.2 为什么原始公式的交叉熵没有负号这是搜索热词里出现频率很高的问题。很多人学过二分类交叉熵损失形式是$$L -[y \log \hat{y} (1-y)\log(1-\hat{y})]$$这里有一个负号。但GAN的公式里没有负号为什么原因在于视角不同。交叉熵损失通常是最小化损失所以前面加负号把“最大化对数似然”转成“最小化负对数似然”。而GAN的公式写的是$\max_D V(D,G)$它本身就是一个最大化问题不需要再取负。如果你把GAN的D看作一个二分类器真实样本标签为1假样本标签为0那么D的交叉熵损失就是$$L_D -\mathbb{E}{x \sim p{data}}[\log D(x)] - \mathbb{E}_{z \sim p_z}[\log(1 - D(G(z)))]$$这个$L_D$是要最小化的。而$V(D,G)$是要最大化的所以$V -L_D$。换句话说GAN原始公式里的$V$就是负的交叉熵损失。没有负号是因为它写成了最大化形式。如果你在代码里用最小化损失来实现就需要加上负号。这是一个纯粹的符号约定问题理解了这个就不会再被绕进去。2.3 从理论最优解看GAN的收敛目标假设G固定我们来求最优的D。对于任意一个样本$x$它可能来自真实分布$p_{data}(x)$也可能来自生成分布$p_g(x)$。D的输出是一个概率值$D(x) \in [0,1]$。目标函数可以写成积分形式$$V(D) \int_x \left[ p_{data}(x) \log D(x) p_g(x) \log(1 - D(x)) \right] dx$$对于每个固定的$x$被积函数是$f(D) a \log D b \log(1-D)$其中$a p_{data}(x)$$b p_g(x)$。对D求导并令导数为零$$\frac{a}{D} - \frac{b}{1-D} 0 \Rightarrow D^* \frac{a}{ab} \frac{p_{data}(x)}{p_{data}(x) p_g(x)}$$这就是最优判别器的解析解。它告诉我们当D达到最优时它输出的概率就是该样本来自真实分布的后验概率。把这个最优D代回原目标函数经过推导可以得到$$V(D^*, G) -\log 4 2 \cdot JSD(p_{data} | p_g)$$其中JSD是Jensen-Shannon散度。JSD的取值范围是$[0, \log 2]$当且仅当$p_{data} p_g$时JSD为0此时$V -\log 4$。所以理论上当生成分布完全等于真实分布时目标函数达到全局最小值$-\log 4$D的输出处处为0.5。这个推导非常重要它从数学上证明了GAN的收敛目标是什么。但理论归理论实际训练中由于神经网络是非凸的、参数优化是迭代的我们很难达到这个全局最优。不过理解这个目标能帮我们判断训练是否在朝着正确方向走。3. GAN的网络结构设计与实现细节3.1 生成器G的设计思路与常见架构生成器的输入是一个低维的随机噪声向量$z$通常从标准正态分布或均匀分布中采样。这个$z$的维度一般取100、128或256太小会导致生成多样性不足太大则增加计算量且可能引入冗余。我个人的经验是对于MNIST这种28x28的灰度图64维或100维就够了对于128x128的彩色图128维到256维比较合适。G的网络结构通常是“反卷积”或“转置卷积”的堆叠。以DCGANDeep Convolutional GAN为例它的生成器结构大致如下import torch import torch.nn as nn class Generator(nn.Module): def __init__(self, z_dim100, img_channels3, feature_dim64): super(Generator, self).__init__() self.net nn.Sequential( # 输入: z_dim x 1 x 1 nn.ConvTranspose2d(z_dim, feature_dim * 8, 4, 1, 0, biasFalse), nn.BatchNorm2d(feature_dim * 8), nn.ReLU(True), # 输出: (feature_dim*8) x 4 x 4 nn.ConvTranspose2d(feature_dim * 8, feature_dim * 4, 4, 2, 1, biasFalse), nn.BatchNorm2d(feature_dim * 4), nn.ReLU(True), # 输出: (feature_dim*4) x 8 x 8 nn.ConvTranspose2d(feature_dim * 4, feature_dim * 2, 4, 2, 1, biasFalse), nn.BatchNorm2d(feature_dim * 2), nn.ReLU(True), # 输出: (feature_dim*2) x 16 x 16 nn.ConvTranspose2d(feature_dim * 2, feature_dim, 4, 2, 1, biasFalse), nn.BatchNorm2d(feature_dim), nn.ReLU(True), # 输出: feature_dim x 32 x 32 nn.ConvTranspose2d(feature_dim, img_channels, 4, 2, 1, biasFalse), nn.Tanh() # 输出: img_channels x 64 x 64 ) def forward(self, z): return self.net(z)这里有几个关键点。第一转置卷积的kernel_size通常取4stride取2padding取1这样每次上采样尺寸翻倍。第二除了最后一层每层后面都接BatchNorm和ReLU。BatchNorm的作用是稳定训练、加速收敛ReLU提供非线性。第三最后一层用Tanh把输出压缩到$[-1, 1]$这是因为训练数据通常也归一化到这个范围。如果你用Sigmoid输出是$[0,1]$那训练数据也要相应归一化。3.2 判别器D的设计要点与注意事项判别器本质上是一个二分类器输入一张图片输出一个标量概率。它的结构和普通的CNN分类网络很像但有一些细节需要注意。class Discriminator(nn.Module): def __init__(self, img_channels3, feature_dim64): super(Discriminator, self).__init__() self.net nn.Sequential( # 输入: img_channels x 64 x 64 nn.Conv2d(img_channels, feature_dim, 4, 2, 1, biasFalse), nn.LeakyReLU(0.2, inplaceTrue), # 输出: feature_dim x 32 x 32 nn.Conv2d(feature_dim, feature_dim * 2, 4, 2, 1, biasFalse), nn.BatchNorm2d(feature_dim * 2), nn.LeakyReLU(0.2, inplaceTrue), # 输出: (feature_dim*2) x 16 x 16 nn.Conv2d(feature_dim * 2, feature_dim * 4, 4, 2, 1, biasFalse), nn.BatchNorm2d(feature_dim * 4), nn.LeakyReLU(0.2, inplaceTrue), # 输出: (feature_dim*4) x 8 x 8 nn.Conv2d(feature_dim * 4, feature_dim * 8, 4, 2, 1, biasFalse), nn.BatchNorm2d(feature_dim * 8), nn.LeakyReLU(0.2, inplaceTrue), # 输出: (feature_dim*8) x 4 x 4 nn.Conv2d(feature_dim * 8, 1, 4, 1, 0, biasFalse), nn.Sigmoid() # 输出: 1 x 1 x 1 ) def forward(self, x): return self.net(x).view(-1, 1)判别器有几个设计禁忌。第一不要用MaxPool用stride卷积代替下采样这样网络可以学习到自己的池化方式。第二不要用ReLU用LeakyReLU斜率取0.2。原因是ReLU在负半轴梯度为零当输入是生成样本时如果梯度完全消失G就得不到有效的更新信号。LeakyReLU在负半轴有一个小斜率保证了梯度总能回传。第三判别器最后一层用Sigmoid输出概率但如果你用BCEWithLogitsLoss就不要加Sigmoid因为那个损失函数内部已经包含了Sigmoid。3.3 训练循环的代码实现与参数选择训练GAN的循环和普通网络不一样因为有两个网络要交替更新。基本流程是固定G更新D若干次固定D更新G一次。这个“若干次”通常是1次但也可以调整。# 初始化 z_dim 100 lr 0.0002 beta1 0.5 beta2 0.999 num_epochs 200 batch_size 64 G Generator(z_dim).cuda() D Discriminator().cuda() # 损失函数和优化器 criterion nn.BCELoss() optimizer_G torch.optim.Adam(G.parameters(), lrlr, betas(beta1, beta2)) optimizer_D torch.optim.Adam(D.parameters(), lrlr, betas(beta1, beta2)) for epoch in range(num_epochs): for i, (real_imgs, _) in enumerate(dataloader): batch_size_cur real_imgs.size(0) # 真实和假的标签 real_labels torch.ones(batch_size_cur, 1).cuda() fake_labels torch.zeros(batch_size_cur, 1).cuda() # --------------------- # 训练判别器D # --------------------- optimizer_D.zero_grad() # 真实图片的损失 real_imgs real_imgs.cuda() outputs D(real_imgs) d_loss_real criterion(outputs, real_labels) # 生成假图片 z torch.randn(batch_size_cur, z_dim, 1, 1).cuda() fake_imgs G(z) outputs D(fake_imgs.detach()) d_loss_fake criterion(outputs, fake_labels) # 反向传播和优化 d_loss d_loss_real d_loss_fake d_loss.backward() optimizer_D.step() # --------------------- # 训练生成器G # --------------------- optimizer_G.zero_grad() # 重新生成假图片这次不detach z torch.randn(batch_size_cur, z_dim, 1, 1).cuda() fake_imgs G(z) outputs D(fake_imgs) # G希望D把假图片判为真 g_loss criterion(outputs, real_labels) g_loss.backward() optimizer_G.step()这里有几个实操细节值得展开。第一训练D时对假样本要加.detach()切断梯度回传到G否则会同时更新G的参数。第二优化器用Adam学习率设0.0002beta1设0.5而不是默认的0.9。这是DCGAN论文里的经验值beta1降低可以减少动量让训练更稳定。第三标签用1和0但有些实现会用标签平滑比如真实标签用0.9而不是1.0这能缓解D过于自信的问题。4. 训练GAN时最常见的坑与排查方法4.1 模式崩溃生成器只会造同一种东西模式崩溃是GAN训练中最让人头疼的问题之一。表现是无论你输入什么噪声向量G生成的图片都差不多或者整个batch里只有少数几种模式。比如训练人脸生成结果所有生成的人脸都朝同一个方向、有同样的表情。这个问题的根源在于G找到了一个“捷径”只要生成某一种能骗过D的样本就能获得稳定的损失下降于是它放弃了探索其他模式。D那边呢因为看到的假样本越来越单一它也逐渐只针对这一种模式进行判别导致整个系统陷入局部平衡。解决思路有几种。第一调整D和G的训练比例。如果D太强G得不到有效梯度如果D太弱G又会偷懒。通常建议D的更新频率略高于G比如D更新2次、G更新1次但这不是绝对的要根据实际损失曲线来调。第二使用小批量判别Mini-batch Discrimination让D不仅看单张图片还看整个batch的多样性如果batch内样本太相似就判为假。第三引入标签平滑或噪声增加D的判别难度。第四尝试不同的架构比如WGAN、WGAN-GP它们从损失函数层面缓解了模式崩溃。我自己的经验是模式崩溃往往在训练中期出现表现为G的损失突然下降然后稳定在一个很低的值但生成的图片多样性骤减。这时候可以保存检查点回退到崩溃前的状态调整超参数重新训练。4.2 梯度消失与训练不收敛另一个常见问题是梯度消失。当D太强时它对假样本的判断非常自信$D(G(z))$接近0此时$\log(1 - D(G(z)))$接近0梯度非常小G几乎得不到更新信号。反过来如果D太弱G又会收到错误的梯度方向。判断梯度是否消失可以监控D对假样本的平均输出概率。如果这个值长期低于0.1说明D太强了。解决方法包括降低D的学习率、减少D的更新次数、给D的输入加噪声、或者使用WGAN中的Earth-Mover距离代替原始JS散度。训练不收敛的另一个表现是损失剧烈震荡D和G的损失交替上升下降没有稳定的趋势。这通常是因为学习率太大或者batch size太小。可以尝试降低学习率到0.0001或0.00005增大batch size到128或256。另外BatchNorm对稳定训练帮助很大如果还没用建议加上。4.3 生成图片质量差的排查清单当你发现生成的图片模糊、有棋盘格伪影、或者颜色失真时可以按照以下清单逐项排查问题现象可能原因排查方法图片模糊G容量不足或训练不充分增加G的层数或通道数延长训练轮数棋盘格伪影转置卷积的stride和kernel不匹配改用最近邻上采样普通卷积或调整kernel_size颜色失真输出层激活函数与数据归一化不匹配检查Tanh对应[-1,1]Sigmoid对应[0,1]局部纹理重复模式崩溃的前兆参考4.1节的解决方法边缘伪影padding方式不当尝试reflect padding或zero padding训练后期质量下降D过拟合或G过拟合引入Dropout、权重衰减或早停棋盘格伪影特别值得说一下。它是因为转置卷积在重叠区域产生了不均匀的叠加。解决方法有两种一是用kernel_size4, stride2, padding1这种组合它能让每个输出像素被均匀覆盖二是先做最近邻上采样再用普通卷积做特征变换。后者计算量稍大但效果更稳定。5. 从原始GAN到改进版本的演进逻辑5.1 DCGAN把卷积引入GAN的关键设计原始GAN用的是全连接网络生成32x32的图片还行再大就力不从心了。DCGANDeep Convolutional GAN在2015年提出系统地研究了如何把卷积网络用到GAN里并给出了一套设计准则。DCGAN的核心贡献不是某个新公式而是一系列工程上的最佳实践。它规定G和D都使用卷积层不用池化层G用转置卷积上采样D用stride卷积下采样除了输出层每层都加BatchNormG用ReLUD用LeakyReLU输出层用Tanh。这些规则看起来简单但它们是经过大量实验验证的直接照做就能避开很多坑。我自己的项目里DCGAN架构至今仍然是很多任务的基线。即使后来有了StyleGAN、BigGAN这些更复杂的模型DCGAN的训练稳定性和代码简洁性依然让它成为入门和快速验证的首选。5.2 WGAN用Earth-Mover距离替代JS散度WGANWasserstein GAN针对原始GAN的梯度消失和模式崩溃问题从损失函数层面做了根本性改进。它用Earth-Mover距离也叫Wasserstein距离代替JS散度来衡量真实分布和生成分布的距离。原始GAN的JS散度有一个致命缺陷当两个分布没有重叠时JS散度是常数$\log 2$梯度为零。而WGAN的Earth-Mover距离即使在没有重叠时也能提供有效的梯度。这就像两个人站在不同的山上JS散度只告诉你“你们不在一起”但不告诉你往哪个方向走Earth-Mover距离则告诉你“你往东走100米就能靠近对方”。WGAN的实现改动很小D的最后一层去掉Sigmoid输出一个实数而不是概率损失函数不用log直接是$D(x) - D(G(z))$的期望差每次更新D后把D的权重裁剪到$[-c, c]$之间强制满足Lipschitz连续性。后来WGAN-GP用梯度惩罚代替权重裁剪效果更好训练也更稳定。5.3 条件GAN与特征匹配的实用价值条件GANcGAN让生成过程变得可控。你在G和D的输入里都加入条件信息$y$比如类别标签、文本描述或其他模态的数据。这样G就能根据指定的条件生成对应的样本而不是随机生成。cGAN的公式只是在原公式的期望里加了条件$$\min_G \max_D V(D, G) \mathbb{E}{x \sim p{data}}[\log D(x|y)] \mathbb{E}_{z \sim p_z}[\log(1 - D(G(z|y)))]$$特征匹配Feature Matching是Salimans等人在2016年提出的改进技巧。它的核心思想是不让G直接去骗D的输出层而是让G生成的样本在D的中间层特征上与真实样本匹配。具体做法是把D中间某一层的特征提取出来计算真实样本和生成样本在这层特征上的均值差异作为G的额外损失。这样做的好处是D的中间层特征比最终输出更稳定能提供更丰富的梯度信息缓解模式崩溃。我在做图像翻译任务时特征匹配配合cGAN使用生成质量比纯cGAN有明显提升。代价是需要多计算一次前向传播训练时间增加约20%但效果提升值得这个开销。6. 实操心得与避坑经验实录6.1 超参数选择的经验法则GAN的超参数没有一套放之四海而皆准的配置但有一些经验法则可以帮你少走弯路。学习率方面Adam的lr0.0002、beta10.5是DCGAN的经典配置适用于大多数64x64和128x128的任务。如果你用WGAN-GPlr可以设0.0001beta10.5或0.0。batch size建议至少64太小会导致BatchNorm统计量不稳定太大则显存吃紧且可能降低多样性。噪声维度z_dim64到256之间都常见。我通常从100开始如果生成多样性不足就加到128或256。D的更新次数和G的更新次数比例默认1:1如果D的损失下降太快就减少D的更新次数或者降低D的学习率。还有一个容易被忽视的参数是BatchNorm的momentum。默认0.1但在GAN里如果batch size较小可以降到0.01或0.001让统计量更新更平滑。另外D的第一层不要加BatchNorm这是DCGAN论文里明确指出的因为第一层直接处理像素归一化会破坏颜色和纹理信息。6.2 监控训练过程的实用指标训练GAN不能只看损失曲线因为损失值本身没有绝对意义。我通常会监控以下几个指标第一D对真实样本的平均输出概率。理想情况下应该在0.7到0.9之间如果接近1.0说明D过强如果低于0.6说明D太弱。第二D对假样本的平均输出概率。理想值在0.1到0.3之间。第三G的损失和D的损失。两者应该在一个区间内震荡而不是持续上升或下降。第四定期保存生成的图片肉眼观察质量和多样性变化。我习惯每5个epoch保存一次生成样本的网格图每20个epoch保存一次模型检查点。这样一旦训练崩溃可以回退到之前的状态。另外用TensorBoard记录上述指标能直观看到趋势变化。6.3 从零复现时最容易忽略的细节复现GAN论文时有几个细节论文里往往一笔带过但实际影响很大。第一数据归一化。如果你用Tanh输出训练数据必须归一化到[-1,1]而不是[0,1]。第二权重初始化。G和D的卷积层用均值为0、标准差为0.02的正态分布初始化这是DCGAN的配置。第三优化器的epsilon参数。Adam默认eps1e-8但在GAN里有时需要调到1e-5或更大防止数值不稳定。第四随机种子。固定随机种子能让实验可复现但也会限制多样性正式训练时建议不固定。还有一个坑是GPU显存管理。GAN训练时G和D同时驻留显存加上中间激活值显存占用比普通分类网络大不少。如果显存不足可以减小batch size、降低feature_dim、或者用梯度累积模拟大batch。我试过在8GB显存的卡上训练128x128的DCGANbatch size只能开到32feature_dim降到32生成质量会打折扣但至少能跑起来。6.4 常见问题速查表问题排查方向快速修复D损失为0G损失爆炸D太强降低D学习率减少D更新次数生成图片全黑或全白输出层激活与数据范围不匹配检查Tanh/Sigmoid与归一化范围训练几轮后图片质量骤降模式崩溃回退检查点加特征匹配或小批量判别损失震荡剧烈学习率过大或batch太小降lr到0.0001增大batch生成图片有固定噪声图案G的输入噪声有问题检查噪声是否每次重新采样D准确率始终50%G和D平衡但都没学到检查数据加载和标签是否正确显存溢出batch或模型太大减小batch降低通道数用混合精度这些是我在实际项目中反复遇到的问题每一个都花过不少时间排查。希望这张表能帮你快速定位。7. 一个完整的MNIST生成实例7.1 数据准备与模型定义为了让你能直接上手我用MNIST数据集写一个最小可运行的GAN。MNIST是28x28的灰度图数据量小训练快适合验证代码正确性。import torch import torch.nn as nn import torchvision import torchvision.transforms as transforms from torch.utils.data import DataLoader # 数据准备 transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,)) # 归一化到[-1,1] ]) train_dataset torchvision.datasets.MNIST( root./data, trainTrue, downloadTrue, transformtransform ) dataloader DataLoader(train_dataset, batch_size64, shuffleTrue) # 生成器 class Generator(nn.Module): def __init__(self, z_dim100): super().__init__() self.net nn.Sequential( nn.Linear(z_dim, 256), nn.BatchNorm1d(256), nn.ReLU(True), nn.Linear(256, 512), nn.BatchNorm1d(512), nn.ReLU(True), nn.Linear(512, 1024), nn.BatchNorm1d(1024), nn.ReLU(True), nn.Linear(1024, 28*28), nn.Tanh() ) def forward(self, z): return self.net(z).view(-1, 1, 28, 28) # 判别器 class Discriminator(nn.Module): def __init__(self): super().__init__() self.net nn.Sequential( nn.Linear(28*28, 512), nn.LeakyReLU(0.2, inplaceTrue), nn.Linear(512, 256), nn.LeakyReLU(0.2, inplaceTrue), nn.Linear(256, 1), nn.Sigmoid() ) def forward(self, x): return self.net(x.view(-1, 28*28))这个版本用全连接层比卷积版本更简单适合理解核心逻辑。实际项目中建议用卷积版本效果更好。7.2 训练过程与结果观察训练循环和前面3.3节的代码基本一致只是数据换成MNIST。训练10个epoch左右就能看到比较清晰的数字。我实测下来在单张GPU上每个epoch大约10秒总共不到2分钟。训练过程中我建议每100个batch打印一次D和G的损失每2个epoch保存一次生成样本。观察生成样本的变化很有意思第1个epoch基本是噪声第3个epoch能看出数字的轮廓第5个epoch数字变得清晰第10个epoch已经很难和真实MNIST区分。如果你发现训练到某个epoch后生成质量不再提升可以尝试降低学习率继续训练或者增加G的容量。如果生成数字多样性不足比如全是“1”那就是模式崩溃参考4.1节的方法调整。7.3 从MNIST扩展到彩色图像把MNIST的代码扩展到CIFAR-10或CelebA主要改动有三处。第一数据加载用对应的数据集归一化参数改成三个通道的均值和标准差。第二G和D改用卷积架构参考3.1和3.2节的DCGAN结构。第三输出层通道数从1改成3。CIFAR-10是32x32的彩色图用DCGAN训练大约需要100到200个epoch才能生成像样的图片。CelebA是64x64或128x128的人脸训练时间更长可能需要几小时到几天取决于硬件。我的建议是先在MNIST上把流程跑通确认代码无误再逐步升级到更大的数据集。扩展时最容易忽略的是数据增强。GAN训练通常不做随机裁剪或翻转因为这会改变数据分布让G学到的分布和真实分布不一致。但你可以做中心裁剪和归一化这两个是安全的。8. 关于GAN原理学习路径的个人建议回头看我自己学GAN的过程最大的弯路是一开始就死磕数学推导忽略了代码实践。公式当然重要但如果你连一个能跑的GAN都没写过看再多推导也是空中楼阁。我的建议是先照着教程写一个MNIST的GAN跑通看到生成数字从噪声变成清晰数字的过程建立直观感受。然后再回头去看min max公式这时候你会发现那些符号都有了具体的含义。第二步是理解为什么原始GAN会训练不稳定。这个问题的答案不在公式里而在实验里。你多跑几次观察D和G的损失变化看什么时候梯度消失、什么时候模式崩溃慢慢就有感觉了。第三步才是去看WGAN、DCGAN、cGAN这些改进理解它们各自解决了什么问题。还有一个建议是不要只盯着图像生成。GAN的应用远不止生成图片它可以用在数据增强、图像翻译、超分辨率、异常检测等很多场景。理解原理之后找一个你感兴趣的应用方向深入做下去比泛泛地看十篇论文更有价值。最后分享一个我常用的调试技巧当你不知道G为什么生成不好时先把D固定住只训练G看G能不能过拟合到某一张真实图片。如果连过拟合都做不到说明G的架构或训练流程有问题如果能过拟合但生成多样性差说明是D和G的平衡问题。这个二分法能帮你快速缩小排查范围。