扩散模型这几年的表现大家有目共睹文生图、图生图、视频生成几乎成了生成式AI的标配。但真正让我开始抠它采样过程的是源于一次不太愉快的线上经历图像生成服务因为用户排队太长被投诉整个推理链路里最大的瓶颈就是模型要跑完整的去噪链单个请求好几秒资源还烧得厉害。当时我脑子里只有一个念头这玩意儿到底能不能少走两步再出图后来我把DDIM、Classifier-Free Guidance、DPM-Solver完整过了一遍才理解“少走步数”这件事远不是把循环次数从1000改成50那么简单。它背后涉及采样轨迹是随机还是确定、条件信息如何引导分布、以及扩散逆向过程本质上是一个可以高阶求解的微分方程。这篇内容就是把这些经验整理出来尽量不堆公式把底层逻辑讲清楚适合正在做推理优化、或者在Stable Diffusion等模型上调采样参数的读者。1. 扩散模型为什么慢——采样链的马尔可夫代价1.1 慢在两个乘性因素迭代步数与单步推理成本扩散模型的“慢”不是某一处慢而是两个乘性因素叠加的结果。第一单步推理成本很高。在Stable Diffusion这类模型中每一步都要把带噪声的隐变量送入U-Net或DiT做一次完整的前向计算。这个网络本身动辄几十亿参数单次前向推理在GPU上也要几十毫秒到上百毫秒。你看到的“生成速度与步数成正比”背后其实是每多一步就多一次完整网络推断。第二采样步数非常多。经典的DDPM训练是在1000个离散时间步上进行的噪声从几乎干净逐步加噪到完全随机。生成时从纯噪声出发逆着时间步一步步还原典型配置要跑满1000步才能拿到比较干净的图像。把这两个数乘起来单张图的生成成本就是“千次级别的网络前向推理”这也是为什么扩散模型刚出来时被普遍认为“质量虽好但慢得没法用”。现在很多优化的思路其实都集中在这两个乘性因子上要么减少迭代步数要么压低单步计算量。前者就是本篇的主角们做的事后者则是蒸馏、量化、结构轻量化等方向在做的事。两者并不冲突可以叠加。1.2 马尔可夫链为什么天然需要“小碎步”要理解为什么扩散模型当初不得不走这么多步需要回到DDPM的训练-采样闭环。前向过程是逐步往真实图像上叠加高斯噪声从x_0一直到x_T每一步的噪声增量都很小。模型训练目标是在给定当前噪声图像x_t和时间步t的条件下预测出这一时刻被加入的噪声。反向采样时每一步只依赖当前状态x_t来修正一次然后加一点随机噪声形成一个标准的马尔可夫链。问题在于这套闭环每一步的修正能力是有限的。训练时模型只见过相邻时间步之间的噪声差异你让它从t900直接跳到t500跨越400个训练时间步它输入的time embedding不一样了预测的噪声分布也变了这一步就可能偏离真实数据流后续每步都在错误基础上修修补补画质自然崩。这就是为什么DDPM时代大家默认要跑满整个马尔可夫链一步也不能少。可以打一个比方模型像一个蒙眼从高楼往下走的行人每一步都只能稳稳地挪一小步。你催他跨大步他看不见前面的台阶容易一脚踩空。这个“看不见全局”的特点来自马尔可夫采样每一步只看当前噪声图、不看整体路径的设计。所以“少走步数”的第一个突破口就是打破这个“步步衔接、一步都不能少”的马尔可夫限制。2. DDIM把随机去噪变成确定性规划2.1 DDIM的非马尔可夫视角x0估计让跨步成为可能DDIM的全称是Denoising Diffusion Implicit Models它最重要的贡献不是发明了一个新采样公式而是重新审视了采样过程的结构。DDPM的逆向采样被建模为马尔可夫链x_{t-1}只依赖x_t。DDIM论文指出这个限制其实不是必须的。扩散模型训练完之后你手头有每个时间步的噪声预测器ε_θ(x_t, t)从这个预测可以反推一个对“干净图像x_0”的估计。有了x_0估计再生成x_{t-1}时就不一定非要紧跟前一步的状态可以直接基于当前噪声图和x_0估计的组合来确定下一步。DDIM的采样公式可以写成这样的直觉形式x_{t-1} √(ᾱ_{t-1}) · 当前步对x_0的估计 √(1-ᾱ_{t-1} - σ_t²) · ε_θ(x_t, t) σ_t · z其中第一项括号里的内容就是当前步对x_0的估计。当σ_t0最后的随机噪声项消失采样变成了纯确定性过程。这个设计的直接效果是采样路径不再受马尔可夫链约束。你可以随意选一个时间步子序列比如[999, 950, 900, 800, ...]。因为每一步都在利用“到干净图像的距离”来导航就算步长变大方向依然是准确的。换句话说DDIM让“大步长”成为可能而步长能拉多大取决于x_0估计的准确度和网络对时间步embedding的泛化能力。2.2 确定性轨迹的三重收益把σ_t设为0不只是“顺便省掉了随机项”它带来的收益非常实际。第一是少步数下的稳定性。随机噪声在大量步数时可以增加样本多样性但步数一旦变少每一步注入的随机扰动没有足够的后续步数来平滑会直接表现为生成结果发灰、细节碎裂、结构崩坏。去掉随机项之后路径变成一条平滑的确定性轨迹即使只有20-50步图像质量也远好于带随机项的DDPM。第二是可复现性。DDIM下同一个latent噪声、同一个模型生成结果完全一致。这个性质在做图像编辑、潜在空间插值时非常有用。你可以预先把源图反演成latent再沿确定性轨迹做可控修改而不用担心随机噪声把中间状态带到别处去。第三是可逆性。从x_T到x_0的确定性映射在理想条件下可以反过来把x_0映射回x_T这成为DDIM Inversion等编辑方法的基础。很多风格迁移、基于编辑的扩散模型应用都用它。不过也要提醒一句DDIM虽然能用比DDPM少一个数量级的步数出图但它本质上仍是一阶数值方法时间间隔内部的误差累积在高分辨率、复杂结构场景下依然存在。这也正好把问题推给了下一层——能不能直接解这个采样过程中的微分方程。3. Classifier-Free Guidance不是省步数而是让每一步更高效3.1 CFG的生成机制与训练方式Classifier-Free Guidance简称CFG是Ho与Salimans在2022年提出的引导采样方法。它的训练和采样方式都很特别。训练时模型同时学习两个分支一个是以类别文本或图像条件为输入的条件模型ε_θ(x_t, t, c)另一个是把条件置为空、只输入噪声图像和时间步的无条件模型ε_θ(x_t, t, ∅)。训练时随机把条件标签抹掉一部分让同一个网络学会两种预测。采样时把两路噪声预测组合起来ε_combined ε_uncond s · (ε_cond - ε_uncond)s就是guidance scale。s0时退化成纯无条件生成s1时等价于纯条件生成s1时条件信息被放大生成样本会更贴近给定条件。Stable Diffusion里常见的7.5意味着把“有条件预测比无条件预测多出来的那部分方向”再放大7.5倍加回去。这个操作的本质是重加权概率分布。无条件预测对应一个更平滑、更分散的分布条件预测对应集中在条件附近的分布两者相减得到一个“指向条件区域”的方向场scale越大方向场越强制分布的峰越尖锐。你甚至可以把它理解成一种“虚拟梯度”条件和无条件的差异就是在告诉你“往条件方向上再走一段距离”。3.2 CFG如何间接改变最低可接受步数很多人把CFG算作“加速”技术时会有点疑惑它没有减少网络计算次数为什么能算在“少走很多步”的范畴里我的理解是CFG提升的是每一步的信息有效度。采样步数少时模型没有太多机会在后期纠正早期方向偏差。如果在前面几步就走歪了后面哪怕有高阶求解器也救不回来。CFG相当于每一步都额外注入了一个“往条件方向走”的约束让轨迹从一开始就落在正确的区域里。实测经验是同样的采样器、同一题材下CFG1时可能要到25-30步才觉得图像结构合理而CFG7.5时15-20步就已经能到可用的清晰度。这等于用更少的网络前向次数换到了同样的质量。从这个角度看CFG并不是直接“减少步数”而是让你敢于把步数往下压同时不太吃亏。还有个细节值得注意CFG对生成质量的影响在高噪声段和低噪声段并不一致。采样早期图像还是大块噪点条件信息对结构布局的影响最大采样后期图像轮廓已经显现CFG的作用更多是细节锐化和语义对齐。所以很多实现里会做dynamic CFG就是在不同阶段动态调整scale避免末段过度锐化。3.3 CFG的边界过引导、过饱和与低步数不稳定CFG也不是越大越好。scale过高时模型会“过度自信”把中间状态强行推到条件模式的中心结果往往是颜色过饱和、对比度异常、边缘出现水彩状伪影这在人脸、文字生成上尤其明显。更关键的是CFG scale与采样器迭代步数存在耦合关系。我用DPM-Solver做10步以内的极低步数采样时发现CFG一旦超过10输出图像的饱和度会突然失控出现类似“烧焦”的效果而同样的CFG在30步下反而问题不大。原因是高阶数值求解器对方向场的局部变化更敏感CFG放大后的方向场在极少步数下会被高阶外推“过冲”。另一个常见现象是CFG对不同类型的LoRA或微调模型敏感度不同。风格化LoRA配高CFG容易直接把风格拉爆一些写实模型则偏好中等CFG。实际部署时最好对每组模型做一次CFG和步数的二维搜索找到一个稳定区域。这引出一个思路为了让低步数下CFG更稳研究者提出了不少变体。比如最近出现的cfg-ctrl这类带控制信号的CFG方法就是在不牺牲引导强度的前提下降低对采样轨迹的扰动。这类方向在生产环境里价值不小值得持续关注。4. DPM-Solver用数值分析把“大步长”变成可能4.1 PF-ODE从离散采样到连续方程DDIM虽然有效但它仍然是在离散时间点上做递推。如果我们把扩散模型的采样时间t看成连续变量整个去噪过程其实对应求解一个概率流常微分方程也就是大家常说的PF-ODE。这个ODE有一个特性它由漂移项和扩散项共同定义而其中的“分数函数”正是去噪网络ε_θ在预测的东西。一旦采样被写成ODE求数值解问题就转换成了经典数值分析里的话题——如何用尽量少的离散步数逼近连续解。常规思路是提高数值求解器的阶数。一阶欧拉法对应DDIM的简化形式在每一步用当前斜率近似整段曲线误差较大二阶、三阶的Runge-Kutta方法每步利用更多导数信息可以把误差降好几个数量级从而允许更大的步长。这也是为什么“少走步数”从工程角度看本质是数值分析问题。不过如果只是照搬通用ODE求解器效果还不够好。因为扩散ODE的线性部分结构太特殊了通用方法没有利用到这一点。这就像你知道前方有一段匀速直线运动的路径却还傻乎乎地用欧拉法一步步逼近它显然浪费了已知信息。4.2 指数积分器与DPM-Solver的实现直觉DPM-Solver的论文标题很有信息量直译过来是“扩散概率模型的求解器”。它的核心贡献是专门为扩散ODE设计了一套指数积分器。扩散ODE在log-SNR空间里有一个可分离结构一部分和当前状态x_t成线性关系另一部分是去噪网络给出的残差。对线性部分可以用指数积分公式精确求解这部分不需要任何离散近似对非线性残差部分再用多项式插值或分段线性近似。这样得到的效果是同样用10步DPM-Solver-2的精度远高于DDIM的10步接近DDIM用20-30步的质量DPM-Solver-3则在高精度场景下更有优势。后面社区常用的DPM 2M等实现都是在DPM-Solver算法基础上针对Stable Diffusion的噪声预测方式做了适配。我举一个不严谨但很好懂的类比普通采样像走楼梯一阶方法是一级一级走每一步都踩得实在高阶求解器则是在楼梯转角处测好斜度直接一大步跨过好几级台阶误差不大还省体力。DPM-Solver在“跨台阶”的时候还多做了一件事它不是随便跨而是用指数函数把台阶之间的弯曲轨迹精确算出来了所以跨得又大又稳。4.3 DPM-Solver在常见模型上的步数-质量表现这里结合我实际跑过的一些模型Stable Diffusion 1.5系列、SDXL、几个社区微调模型给出一个经验范围采样器典型可用步数步数-质量说明原始DDPM1000全链质量最稳速度不可接受DDIM30-5050步接近完整20步开始有细节损失DPM-Solver / DPM 2M15-2520步基本就是完整质量10步可用但细节略差DPM SDE10-15保留随机性低步数下纹理自然但每次结果有波动需要注意两点第一步数降到10步以下时性能瓶颈从求解器本身转移到了“模型的训练步数与噪声调度的匹配度”上。一些旧模型在高噪声段的预测并不准强行用10步会因为跨越过大而丢掉高噪声段的必要处理。第二DPM-Solver的SDE变体在极低步数下往往比纯ODE版本更稳。原因是随机项在这个场景里实际上帮模型躲避了过冲让纹理更自然代价是每次生成结果不同。这个“用随机性对抗离散误差”的思路和DDIM去掉随机性是反着来的但在低步数极限下确实有效。5. 三者联动工程配置、参数选取与踩坑记录5.1 三个方法的作用层级与叠加逻辑把三个技术摆在一起看它们其实作用在不同的层面DDIM是轨迹层面的改动把随机游走变成确定性路径。DPM-Solver是数值积分层面的升级在DDIM揭示的ODE基础上用高阶方法进一步压低步数。CFG则是分布层面的引导通过加大条件方向权重让每一步都更有目的性。这三者不是三选一而是可以叠加使用。现代推理管线的典型做法是用DDIM或确定性ODE把采样路线固定下来用DPM-Solver的高阶数值法把步数压缩到20步以内再用CFG把条件信息放大到合适的强度。三样一起上才能既保证质量又保证速度。理解了这个分层调参就会清晰很多如果生成结构不错但细节差优先动求解器阶数或步数如果生成结果与文本不匹配优先动CFG如果结果不稳定或编辑任务出问题考虑切回DDIM这条确定性路线。5.2 工程上可以直接抄的配置表根据我在不同任务里的常用参数整理成下面几组配置供参考场景采样器步数CFG scale备注文生图通用/快速DPM 2M Karras20-255-7.5SD1.5/SDXL均可文生图极致速度DPM SDE Karras8-124-6降低CFG避免过冲图生图/编辑DDIM30-505-7保持确定性便于反演人像/写实DPM 2M20-304-6CFG太高肤色假面感风格化LoRADPM 2M Karras18-253-5LoRA权重可适当降低要说明的是这些数值不是绝对的不同checkpoint的最优区域差异不小。我遇到过一些社区模型CFG 4和CFG 8的差异很小但另一些模型CFG 6以上就崩。所以配置表只能当起点真正上线前还是应该做小规模grid search。5.3 我踩过的坑和排查顺序最后分享几个真实踩过的坑希望你们别重复。第一个是低步数加高CFG的组合炸图。以前我把步数压到8步CFG维持7.5结果整体饱和度异常还出现了大量高频伪影。后来把CFG降到5问题立刻消失。结论是低步数场景下CFG要相应降不要照搬高步数时的最优值。第二个是DPM-Solver在某些微调模型上不稳定。我用一个社区人像模型时DPM 2M在20步时偶尔出现面部扭曲换成DPM-Solver的Karras变体或切回DDIM就正常。这类问题很难从理论上判定只能靠多采样器对比试验。第三个是DDIM并不总是“慢”。做图像反演和编辑任务时DDIM的必经路径稳定性比任何高阶求解器都好哪怕多花一点时间也值得。速度优化一定要看具体任务不能一刀切追求最小步数。排查采样问题的顺序我个人习惯是先固定CFG调步数和求解器找到能出图的区域再固定求解器调CFG找到质量峰值最后用一两组极端值验证稳定性。这样能把“采样器、步数、CFG”三个变量的影响拆开不会出现调了半天不知道是谁的问题。我在实际把采样服务上线之后最大的感悟是扩散模型的“步数焦虑”其实是被早期DDPM印象放大了。DDIM之后采样已经从“走完整个随机链”变成了“解好一个常微分方程”DPM-Solver又让解方程的步数进一步压缩CFG虽然不直接减少步数但它让每一步都更值钱。三件套配合好单次生成的实时性完全可以满足一般业务需求。如果让我给刚接触这块的人一句建议先花一个下午把DDIM和DPM-Solver分别跑一遍在固定CFG下对比步数-质量曲线比看十篇原理文章都有用。调参手感建立起来了后面再研究新采样器会顺手得多。