简介针对深度学习图像识别中的对抗样本问题这份答辩PPT系统梳理了对抗攻击与防御算法的研究框架面向计算机视觉、人工智能方向的毕业设计或课程设计学生可用于答辩展示或课题汇报。压缩包内仅含1个pptx演示文稿大小约7.11MB内容涵盖研究背景与意义、国内外研究现状、研究内容、总结展望及科研成果等完整模块既有Goodfellow、Madry、Carlini等经典工作的脉络梳理也有基于梯度、优化、GAN、预处理等攻击方式以及对抗检测、对抗训练等防御机制的对比分析。目前已有80人学习说明该主题受到相关领域学习者关注。通过这份PPT读者可以快速理解对抗样本的威胁机理掌握主流攻击防御方法的分类与优缺点并可直接参考其学术表达和页面结构来完善自己的答辩材料。1. 对抗样本不是 Bug是高维空间里的一层薄壳给你看一张猫的图片人眼看不出任何异常但一个在 ImageNet 上准确率超过 90% 的深度学习CNN模型会以极高的置信度把它识别成“吉他”。这不是模型训练不充分而是有人用极少量精心计算的像素扰动把图像推到了 DNN 决策边界的另一侧。Goodfellow 在 2015 年给过一个很反直觉的解释神经网络在高维空间中的决策边界近似线性单维度上的扰动虽然微小但维度同时向同一个方向累积时总扰动幅度足以跨过分类边界。这篇拆解围绕一套图像对抗算法研究项目展开先厘清攻击端的三条主流技术路线再拆一个基于特征解耦的防御方案 FDIN最后落到实验验证和特征聚类分析的具体复现方法。想快速建立对抗攻防坐标系、做人工智能安全相关毕业设计或课程设计的读者可以直接照着往下走。2. 攻击端梯度、优化与 GAN 三条技术路线怎么选2.1 攻击分类无目标、有目标、像素级与空间级对抗攻击算法设计的出发点是先回答“我要让模型错到什么程度”和“我能改多少像素”。按目标区分无目标攻击只要求模型输出类别不等于真实标签有目标攻击要求输出类别等于一个指定类按攻击者掌握的信息区分白盒场景下梯度完全可见黑盒场景下只能观察输出概率或标签绝大多数攻击算法都要面对这种信息差的折中。按扰动约束方式区分像素约束攻击把改动限制在 Lp 范数球内空间约束攻击则通过平移、旋转、缩放等几何变换来构造对抗样本两种约束对应完全不同的优化思路。这个分类框架不是学术名词的游戏它直接决定你选用哪类算法。例如评价一个防御模型时训练阶段用无目标 PGD 和无目标 DDN 攻击生成对抗样本测试阶段再用包括空间变换攻击在内的多种攻击去验就是为了覆盖“见过的攻击”和“没见过的攻击”两种情形。理解了攻击的分类维度后面读实验结果表才不会只盯着精度数字。2.2 基于梯度FGSM 与 PGD简单快速但有边界基于梯度的攻击是最容易上手的路线FGSM 是单步方法公式可以写成 x_adv x ε · sign(∇_x L(f(x), y))其中 sign 取损失函数对输入的梯度方向ε 控制扰动幅度。它的原理直接来自“决策边界近似线性”的假设既然单个维度上只需要微小偏移那把所有维度的偏移都指向梯度方向叠加起来一步就能跨越边界。PGD 是 FGSM 的迭代版本每步沿梯度方向走一个较小的步长 α然后把扰动裁剪回 ε 球内相当于多次单步攻击的累积生成的对抗样本通常比单步更强。import torchattacks # 选择目标分类器这里以预训练 ResNet-50 为例 model torch.hub.load(pytorch/vision:v0.10.0, resnet50, pretrainedTrue).eval() # 无目标 PGD迭代投影把扰动限制在 epsilon 球内 pgd torchattacks.PGD(model, eps8/255, alpha2/255, steps10, random_startTrue) adv_pgd pgd(images, labels) # images 需归一化到 [0,1] # CW 攻击L2 版本基于优化生成质量高但耗时明显 cw torchattacks.CW(model, c1e-4, kappa0, steps1000, lr0.01) adv_cw cw(images, labels)这段代码里 eps8/255 是 ImageNet 上常见的 L∞ 扰动预算alpha2/255 是迭代步长steps10 是迭代次数random_startTrue 表示先加一个随机初始扰动再开始迭代可以让生成的对抗样本更具多样性。CW 攻击的 c 是正则化权重控制“扰动幅度”和“攻击成功率”的平衡kappa 是置信度 margin后续训练防御模型时还会用到同样的概念。需要注意的一点是FGSM 虽然只需要一次前反向传播生成速度快但其扰动通常比 PGD 更粗糙而 PGD 这类迭代攻击在原始输入空间得到的梯度方向往往过拟合当前模型迁移到黑盒模型时成功率反而未必比 FGSM 高这就是项目材料里“扰动量较大、黑盒环境下可迁移性较差”这句判断的实际含义。2.3 基于优化CW 攻击为什么质量高CW 攻击把对抗样本的生成写成约束优化问题目标是最小化扰动范数与一个攻击损失项的组合min ||δ||_p c · f(x δ)。其中 f(x) 用 hinge 形式定义当攻击成功时该项为 0否则输出当前 logits 与目标类 logits 之间的差距再叠加一个可调的 kappa 控制置信度。相比直接对交叉熵做梯度上升CW 的损失函数让优化器在扰动小和攻击成功两个目标之间显式权衡因此生成的对抗样本往往视觉上几乎不可感知攻击成功率也高。但这条路的代价是计算开销。CW 的每个样本需要独立执行上百甚至上千步优化生成一个对抗样本就要跑完整的前反向过程。在 MNIST 这类小图上还可以接受放到 ImageNet 上做批量生成就非常慢。实际项目里我一般把 CW 当作“基准测试工具”而非“大规模数据增强工具”训练防御模型时用 PGD 和 DDN 这类效率更高的攻击生成样本评估时再用 CW 验证对强攻击的抵抗能力。2.4 基于 GAN攻击生成器与判别器的博弈基于 GAN 的攻击思路是把“生成对抗样本”本身训练成一个生成任务典型结构是生成器输入原图输出扰动或直接输出对抗样本判别器负责判断输入是原图还是对抗样本分类器则提供误导信号。训练完成后生成器可以一次前向就批量生成攻击样本相比逐样本优化快得多。它的难点在于生成器的表达能力有限既要保留原图的内容结构又要让分类器出错往往在可视质量和攻击成功率之间顾此失彼这也是相关论文里反复提到的平衡问题。三类攻击的技术对比可以归纳为下面这个表。攻击类别核心策略优势主要局限基于梯度FGSM、PGD 等沿梯度符号迭代计算快、实现简单扰动偏大、黑盒迁移性一般基于优化将攻击转为约束优化问题可视质量高、成功率高逐样本优化、生成速度慢基于 GAN生成器直接映射输入到扰动批量生成、速度快生成器表达力受限、训练不稳定我在实际做算法对比时会固定同一个分类器、同一批测试集和同样的扰动预算再分别用三类攻击去测试这样才能公平比较防御模型的鲁棒性而不是看单点效果说话。3. 防御端对抗训练、预处理与检测的边界在哪里3.1 对抗训练把攻击样本变成训练样本对抗训练的核心是 min-max 优化内层 max 在当前模型参数下生成最强对抗样本外层 min 在对抗样本和干净样本上同时更新模型参数让模型对扰动不再敏感。Madry 提出的 PGD-UGC 是这条路的代表它用固定步数的 PGD 攻击近似内层最优解外层则用普通 SGD 更新。def pgd_ugc_train(model, trainloader, optimizer, eps8/255, alpha2/255, steps10): for images, labels in trainloader: images, labels images.to(device), labels.to(device) # 固定当前参数跑多步 PGD 生成对抗样本 model.eval() delta torch.zeros_like(images).uniform_(-eps, eps) delta.requires_grad_(True) for _ in range(steps): loss F.cross_entropy(model(images delta), labels) grad torch.autograd.grad(loss, delta)[0] delta (delta alpha * grad.sign()).detach().clamp(-eps, eps) adv_images (images delta).clamp(0, 1) # 外层最小化干净样本与对抗样本的损失一起更新 model.train() optimizer.zero_grad() loss_clean F.cross_entropy(model(images), labels) loss_adv F.cross_entropy(model(adv_images), labels) (0.5 * loss_clean 0.5 * loss_adv).backward() optimizer.step()这段代码里 eps 的选择是关键。调太大会让模型过度关注对抗样本干净样本上的准确率明显下滑调太小则防御效果有限。在 CIFAR10 上 8/255 是常见起点但具体还要配合数据集和模型结构一起验证。对抗训练的另一个问题是泛化性差模型只是在“见过”的攻击类型上变鲁棒了换一种没见过的攻击算法或更大的扰动预算防御能力会迅速衰减。这其实可以用机器学习数学理论里的泛化误差界来理解对抗训练缩小的是特定扰动分布内的误差而不是所有可能扰动族的误差。3.2 基于预处理去噪与重构的隐忧基于预处理的防御思路比较直观先对输入图像做去噪或重构再交给分类器。常见的实现包括高斯滤波、JPEG 压缩、自编码器重构等。这类方案的问题是“去噪不彻底”——对抗噪声往往和图像纹理纠缠在一起简单去噪会把细节一起抹掉重构出来的图像既达不到原始干净图像的视觉质量也达不到标准准确率。更深一层的麻烦在于梯度遮掩预处理模块改变了模型的可微路径让基于梯度的攻击暂时失效但这不意味着模型真的鲁棒。攻击者只要把预处理模块展开进计算图或者用 BPDA 这类近似梯度方法就能绕过它。所以在评估任何预处理防御时不能只看它能不能挡住 FGSM还要看它在 CW、PGD 这类强攻击下的表现。3.3 对抗检测间接防御不是终点对抗检测的路子不试图修复分类器而是训练一个二分类器专门区分正常样本和对抗样本。它的优点是实现成本低、不影响原始分类精度但本质上属于间接防御检测器只是拦截可疑输入模型的决策边界没有被加固。攻击者完全可以拿着检测器再做一轮对抗攻击构造出既能骗过分类器又能骗过检测器的样本。想要建立一条完整的防线通常的做法是把检测和对抗训练组合起来检测先行过滤一部分攻击对抗训练兜底处理漏网样本。3.4 三条路线的组合策略实际项目中我不会只依赖某一种防御。对抗训练负责提升模型自身的鲁棒性是底子预处理防御负责在输入侧做一次筛选对抗检测负责最后兜底。三者的计算开销和生效位置不同组合起来才能在不大幅牺牲标准准确率的前提下覆盖更多攻击类型。回到这个研究项目的 FDIN 方案它走的是预处理重构路线但没有停留在简单去噪而是引入特征解耦的思想去解决“去噪不彻底”这个老问题这是它比普通去噪类防御更有价值的地方。4. FDIN把干净特征和噪声特征解耦的五个设计细节4.1 整体框架把“去噪”升级为“特征解耦”FDIN 防御方案的核心假设是对抗样本可以拆成两部分一部分是干净特征另一部分是纯对抗噪声特征。与其直接在像素空间里抹除噪声不如让网络学会把两类特征分开再只保留干净特征去重构图像。它在训练时拿原始干净图像的特征作为先验知识指导网络从对抗样本中提取出与干净图像尽可能一致的干净特征这样重构出的图像不仅视觉上接近原图分类结果也更可靠。这个设计与普通自编码器去噪有一个本质区别去噪是回归像素特征解耦是回归语义。4.2 网络结构双分支解耦与特征交互FDIN 的结构可以理解为编码器加双分支解耦模块再加解码器。编码器把输入图像映射成特征图解耦模块将其拆为干净特征流和噪声特征流两个分支之间通过一个交互模块交换信息避免干净分支在分离过程中丢失细节最终解码器重新生成干净图像和噪声图像。训练时干净图像和对抗样本成对输入编码器对干净图像提取的特征被 detach 后作为指导信号约束对抗样本解耦出来的干净特征向它对齐。测试阶段模型只接收对抗样本输出重构的干净图像交给目标分类器做正常分类。这里把重构目标拆成“干净图”和“噪声图”两张而不是端到端只输出一张干净图好处是显式分离了信号和噪声网络不会隐式地把噪声模式混进重构结果里。4.3 损失函数四路联合CW hinge 替代交叉熵FDIN 的损失设计是整套方案里最值得复用的部分四路损失各管一个层面。损失项作用实现要点权重参考重构损失保证重建图像的像素级质量用 L1 损失比 MSE 更少模糊λ11.0感知损失保证高层语义一致取 VGG 在 relu3_3 附近层的特征距离λ20.1指导损失把解耦出来的干净特征拉向干净先验用干净图像编码特征做回归目标λ30.5分类损失保证重构样本分类正确用 CW 的 hinge 损失替代交叉熵λ41.0四路损失的组合逻辑是重构损失保证“长得像”感知损失保证“语义像”指导损失保证“特征像”分类损失保证“分得对”。最后一项改用 CW 攻击的损失函数而不是常规交叉熵是 FDIN 的一个关键设计。举一个直观的例子交叉熵在两个类的 logits 差值足够大时梯度会趋于 0网络训练提前饱和CW 的 hinge 形式显式要求重构样本以一定 margin 与错误类拉开距离梯度信号更持续。def cw_hinge_loss(logits, labels, kappa50): 基于CW攻击的margin损失用于替代交叉熵 one_hot F.one_hot(labels, num_classeslogits.size(-1)).float() real (logits * one_hot).sum(dim1) # 真实类 logits # 抑制真实类位置后取最大值即最接近的错误类 other, _ (logits - 1e9 * one_hot).max(dim1) return torch.clamp(other - real kappa, min0).mean()注意这里 kappa 设定为 50含义是“真实类 logits 要比最接近的错误类高出至少 50 才算不分类错误”数值越大对分类置信度的要求越高但设得太大也会反过来约束重构自由度。我在复现时会让 kappa 从 0 开始递增观察重构图像的可视质量与分类精度的平衡点。4.3.1 为什么不用交叉熵交叉熵对已经分类正确的样本几乎不产生有效梯度模型优化到后期主要靠指导损失和感知损失在推分类边界的调整非常缓慢。CW hinge 在样本已经分类正确时只要 margin 没有达到 kappa 阈值仍然持续产生回传信号把决策边界继续往外推。这个细节直接对应实验结果里“重构样本聚类更加聚合、类间更加分散”的现象。4.4 训练流程与测试阶段的差异训练 FDIN 时输入是配对的干净样本和对抗样本对抗样本由无目标 PGD 和无目标 DDN 攻击生成。DDN 攻击把方向更新和范数调整两个步骤解耦能高效找到满足攻击成功条件的最小扰动用它做训练数据可以让防御模型学到更紧致的噪声分布边界。训练过程中目标分类器保持固定FDIN 不去动分类器参数这样测试时的分类精度就单纯反映预处理重构对分类的增强效果。测试阶段与训练阶段有一个明显差异测试时不存在配对的干净图像可供参考干净特征先验不再可用FDIN 必须单独依赖解耦模块从对抗样本中提取干净特征。这意味着训练时不能把指导损失当成捷径要让解耦模块在没有先验时也具备独立分离能力。实现上常见做法是训练后期以一定概率随机丢弃指导信号强迫网络真正学会“解耦”而不是“对照”。5. 实验验证从精度表到特征聚类的两条主线5.1 数据集与评测协议FDIN 的实验覆盖三个数据集目标分类器也各不相同这样能在不同分辨率、不同网络结构下验证方案可行性。数据集色彩类别数图像尺寸训练集测试集目标分类器MNIST灰度1028×286000010000LeNet-5CIFAR10RGB1032×325000010000ResNet-110Mini-ImageNetRGB100224×2244800012000Shufflenet_v2训练攻击固定为无目标 PGD 和无目标 DDN测试攻击则覆盖像素约束攻击和空间约束攻击。训练攻击与测试攻击刻意分离才会看到模型对未见攻击的迁移表现否则只能叫拟合实验。5.2 定量结果读懂三个关键数字MNIST 上平均精度 98.41%比 ARN 算法高 5.65 个百分点CIFAR10 上平均精度接近 90%在防御部分攻击时分类精度甚至超过了目标分类器自身的标准测试精度。第一组数字说明在简单数据上特征解耦的重构质量已经接近甚至超过直接分类第二组数字说明方案迁移到更复杂的彩色图像时依然有效第三组数字最反直觉它其实来自解耦后类别特征更加清晰聚类更紧凑分类器在重构图像上比原始图像还容易分。空间约束攻击的结果稍弱MNIST 上接受 STA 攻击时表现不佳但平均精度仍超过 ARN这说明几何型攻击是下一步需要补的短板。5.3 聚类可视化复现t-SNE 的三个判断准则定量精度之外特征聚类是验证“解耦是否真的有效”的另一种方式。通过 t-SNE 把特征压到二维平面观察分布结构from sklearn.manifold import TSNE from sklearn.decomposition import PCA # feats 为分类器倒数第二层特征shape[N, d] feats_pca PCA(n_components50).fit_transform(feats) tsne TSNE(n_components2, perplexity30, n_iter1000, random_state42) embed tsne.fit_transform(feats_pca)先做 PCA 降维到 50 维再接 t-SNE可以显著减少高维噪声对距离度量的干扰perplexity 在 5 到 50 之间调小数据集取 5-30 更合适。判读聚类图时看三点无目标 PGD 攻击下的样本簇数量比干净样本更多且簇的位置发生偏移说明攻击把样本推向了不同方向有目标 PGD 攻击下簇的数量与类别数相等但每个簇内部混合了各个类别的样本说明攻击在把一切特征拉向目标类重构样本的聚类结果与干净样本最接近说明解耦确实恢复了原始特征分布。跑 t-SNE 时固定 random_state把同一个测试集重复运行三遍如果簇结构不稳定先怀疑样本量和 perplexity而不是急着判断网络效果。本文还有配套的精品资源点击获取