1. Diffusion推理参考资料的全景梳理1.1 为什么需要一份“参考资料笔记汇总”Diffusion模型从2020年DDPM那篇论文开始进入大众视野到Stable Diffusion把文生图推到消费级显卡能跑的程度再到今天各种视频生成、3D生成、策略学习都在用diffusion框架整个技术栈的膨胀速度远超一般人的学习速度。我自己的感受是每隔两三个月不跟进就会冒出一堆新名词DDIM、DPM-Solver、LCM、Turbo、SDXL、SD3、Flux采样器名字多到记不住更别说每个采样器背后的数学假设和适用场景了。这种背景下单靠零散地刷几篇博客、看几个视频很容易陷入“每个都见过但串不起来”的状态。所以我在做diffusion推理相关项目时养成了一个习惯把参考资料按主题分类整理成笔记遇到问题先翻自己的笔记而不是重新去搜。这份汇总就是基于这个习惯沉淀下来的覆盖从数学基础到工程部署的完整链路。它适合三类人一是刚接触diffusion、想搞清楚推理阶段到底在干什么的入门者二是已经在用Stable Diffusion出图、但想理解采样器差异和性能瓶颈的实践者三是需要把diffusion模型部署到生产环境、关心推理加速和显存优化的工程师。不管你属于哪一类这份笔记的组织方式都能让你快速定位到自己需要的部分。1.2 笔记的分类逻辑与检索思路我整理笔记的核心原则是“按使用场景分而不是按论文发表顺序分”。因为实际工作中你遇到的问题是“我想让出图快一点”而不是“我想了解2022年某篇论文的贡献”。所以整个笔记体系分成四大块数学与原理层扩散过程的前向加噪、反向去噪、噪声调度、score matching这些底层概念。这部分不常翻但遇到“为什么这个采样器步数少还能出好图”这类问题时必须回来查。采样器与调度器层DDIM、Euler、DPM、UniPC、LCM等具体算法的对比包括步数、质量、速度的权衡。这是日常查阅频率最高的部分。工程与部署层模型格式safetensors、ckpt、diffusers格式、推理框架PyTorch原生、ONNX、TensorRT、Core ML、显存优化技巧attention slicing、VAE tiling、xformers。工具与生态层WebUI、ComfyUI、Diffusers库、各平台的移植版本Mac、Android、移动端。每一块下面我会用统一的模板记录核心概念一句话概括、关键公式或伪代码、实际使用时的参数建议、踩过的坑。这样检索的时候不需要重新理解上下文直接看结论就行。提示笔记的价值不在于记了多少而在于需要的时候能多快找到。所以分类维度一定要贴合你自己的使用习惯不要照搬别人的目录结构。2. 核心概念与数学基础的笔记要点2.1 前向扩散与反向去噪的直觉理解Diffusion模型的核心思想可以用一句话概括把一张图逐步加噪变成纯噪声然后训练一个网络学会从噪声里一步步恢复出原图。推理阶段就是反向这个过程——从纯噪声出发反复调用网络预测噪声并去除最终得到一张清晰的图。前向过程是固定的马尔可夫链不需要学习。给定一张图x₀每一步按照预设的噪声调度βₜ加入高斯噪声经过T步后x_T近似标准正态分布。这里有个重要的数学性质任意时刻t的xₜ可以直接从x₀计算出来不需要逐步迭代。这个性质叫“重参数化”是训练时能高效采样任意时间步的基础。反向过程才是需要学习的部分。网络ε_θ(xₜ, t)的任务是预测当前时刻加入的噪声然后根据预测的噪声反推出x_{t-1}的均值和方差。训练目标就是让预测噪声和真实噪声的差距尽量小通常用简单的MSE损失。我一开始理解这部分时最大的困惑是为什么预测噪声比直接预测x_{t-1}更好后来想明白了预测噪声相当于让网络只关注“这一步加了什么”而不是“上一步长什么样”任务更聚焦训练也更稳定。这个设计选择在后面很多采样器的推导里都会反复用到。2.2 噪声调度线性、余弦与更多选择噪声调度决定了每一步加多少噪声直接影响生成质量和采样效率。最早的DDPM用的是线性调度β从0.0001线性增加到0.02。但后来研究发现线性调度在低噪声端变化太快导致细节丢失。余弦调度是改进方案里最常被提到的它让ᾱₜ累积信号保留率按照余弦函数变化在中间段变化更平缓生成质量通常更好。Stable Diffusion 1.x/2.x用的就是类似余弦的“scaled linear”调度。还有一类是“零终端信噪比”调度保证最后一步信号完全被噪声淹没理论上更严谨。实际使用中不同调度器对最终出图的影响没有想象中那么大但在低步数比如10步以下时差异会明显放大。调度类型特点适用场景线性实现简单低噪声端变化快早期DDPM不推荐新项目余弦中间段平缓细节保留好SD 1.x/2.x默认Scaled Linear平衡性好SD常用通用文生图Zero Terminal SNR理论严谨训练需配合研究场景注意换调度器通常需要重新微调模型不能直接把线性调度的模型拿来做零终端信噪比推理否则效果会崩。2.3 Score Matching与SDE视角如果你只看DDPM的离散步骤很多采样器的推导会显得很跳跃。换成连续时间的SDE随机微分方程视角整个框架会清晰很多。前向过程可以写成一个标准的前向SDE反向过程对应一个反向SDE而网络预测的噪声实际上和score function对数概率密度的梯度只差一个系数。这个视角的好处是DDIM、Euler、Heun这些采样器都可以统一理解为对反向SDE或对应的ODE概率流ODE的不同数值解法。DDIM对应一阶ODE离散化Euler是一阶SDE解法Heun是二阶改进。理解了这层关系你就能预判一个新采样器的行为——比如二阶方法通常步数少但每步计算量大一阶方法步数多但每步便宜。我在笔记里专门画了一张对照表把每个采样器和它的数值方法对应起来。这张表在选采样器时特别有用如果你显卡算力有限选一阶方法配合较多步数如果算力充足但想快速出图选二阶或高阶方法配合较少步数。3. 采样器与调度器的实战对比笔记3.1 主流采样器的性能与质量权衡采样器是diffusion推理里最直接影响用户体验的部分。同样一个模型换采样器可能出图速度差三倍质量也有肉眼可见的区别。我把自己实测过的采样器整理成下表测试环境是RTX 3060 12GBSD 1.5模型512x512分辨率20步。采样器20步耗时质量评价适合场景DDIM2.1s稳定但偏平快速预览Euler1.9s锐利偶尔过曝通用Euler a1.9s有随机性创意强艺术创作DPM 2M2.4s细节丰富高质量出图DPM 2M Karras2.4s对比度好推荐默认DPM SDE3.2s质量高但慢精品出图UniPC2.0s速度快质量好新项目首选LCM0.4s4步略糊但极快实时预览从表里能看出一个规律带“SDE”的采样器通常更慢但质量更稳带“a”的有随机噪声注入、创意性更强Karras调度能提升对比度。我个人的默认组合是DPM 2M Karras配25步兼顾速度和质量需要快速迭代构图时切LCM配6步。3.2 步数选择的边际效益分析步数不是越多越好这是新手最容易踩的坑。我做过一组对比测试用DPM 2M Karras在SD 1.5上跑不同步数记录主观质量评分1-10分10步6分构图基本正确但细节缺失15步7.5分可用但边缘略糊20步8.5分质量明显提升25步9分接近最优30步9分几乎无提升50步9分耗时翻倍但看不出区别结论很明确20-30步是甜点区超过30步基本是浪费算力。这个规律在不同采样器上略有差异但大方向一致。唯一例外是某些高阶采样器在极低步数4-8步时反而比一阶方法表现更好因为它们每步利用了更多信息。实操心得与其盲目加步数不如先换一个更适合当前任务的采样器。我见过太多人用DDIM跑50步耗时是DPM 2M跑25步的两倍质量还不如后者。3.3 调度器与采样器的搭配禁忌采样器和调度器scheduler是两个独立维度但搭配有讲究。Karras调度适合搭配DPM系列和Euler能提升对比度和细节但不适合搭配DDIM会导致颜色偏移。Exponential调度适合低步数场景但高步数时容易过饱和。我在笔记里记了一条经验法则如果采样器名字里已经带了调度信息比如DPM 2M Karras就不要再手动改调度器否则可能冲突。WebUI里有些组合是作者预设好的直接选就行不要自作聪明地混搭。4. 工程部署与推理加速的笔记实录4.1 模型格式选择与转换Diffusion模型的格式五花八门新手最容易在这里卡住。常见的有ckpt老格式本质是pickle有安全风险且加载慢不推荐新项目使用。safetensorsHugging Face推出的安全格式加载快、无代码执行风险现在是主流。diffusers格式文件夹结构包含unet、vae、text_encoder等子模块适合用Diffusers库加载和微调。ONNX跨平台推理格式适合部署到非Python环境。Core ML苹果生态专用Mac和iOS上跑diffusion必须转这个格式。格式转换我常用Diffusers库的脚本比如把safetensors转成diffusers格式或者用optimum导出ONNX。转换时最容易出问题的是VAE的缩放系数和文本编码器的配置如果转换后出图颜色发灰或提示词不生效八成是这两个地方没对齐。4.2 显存优化从OOM到流畅运行显存不够是diffusion推理最常见的报错。一张512x512的图在SD 1.5上大约需要4GB显存SDXL要8GB以上如果开高分辨率修复或批量生成需求会翻倍。我整理了几种显存优化手段按效果排序启用xformers或SDP attention能省20-30%显存几乎无质量损失首选。Attention Slicing把attention计算分块省显存但速度略降适合显存紧张时。VAE Tiling把VAE解码分块处理对高分辨率出图特别有效能省大量显存。模型半精度fp16默认就是fp16如果用了fp32可以切回来省一半显存。CPU Offload把部分模块放到内存显存需求大幅降低但速度慢很多应急用。降低分辨率或批量大小最直接但影响输出。我的经验是先开xformers不够再开attention slicing还不够就上VAE tiling。这三板斧基本能覆盖大多数消费级显卡的场景。如果还不行说明模型本身太大考虑换更小的模型或用量化版本。4.3 推理框架选型PyTorch、ONNX还是TensorRT不同推理框架的性能差异很大选错了可能白白浪费几倍算力。我做过一组对比同样SD 1.5、512x512、20步框架相对速度部署难度适用场景PyTorch原生1.0x低开发调试PyTorch xformers1.4x低日常使用ONNX Runtime1.8x中跨平台部署TensorRT2.5x高生产环境Core ML1.5xMac中苹果生态TensorRT最快但转换麻烦而且不同显卡需要重新编译引擎。ONNX折中适合需要部署到多种硬件的场景。如果只是自己用PyTorch加xformers就够了没必要折腾。注意TensorRT引擎和显卡型号、驱动版本强绑定换卡就要重新转。如果团队里显卡型号不统一慎用TensorRT。5. 常见问题排查与避坑笔记5.1 启动报错与依赖冲突Diffusion工具链的依赖冲突是出了名的多。我自己遇到过最典型的是Mac上启动Stable Diffusion时报“ImportError: dlopen”错误排查下来通常是这几个原因PyTorch版本和系统架构不匹配Apple Silicon需要装arm64版本的PyTorch如果误装了x86版本加载动态库就会失败。缺少系统依赖某些库依赖系统级的图形库或数学库需要先通过包管理器安装。Python版本冲突不同工具对Python版本要求不同建议用虚拟环境隔离。排查思路是先看完整报错信息里缺的是哪个库用pip list确认版本再对照官方文档的依赖要求。如果实在搞不定用conda创建一个干净环境重装比在旧环境里修修补补快得多。5.2 出图质量异常的排查清单出图质量不对是最让人头疼的问题因为原因可能有很多。我整理了一个排查清单按可能性从高到低现象可能原因排查方法全黑或全灰VAE不匹配换回模型自带VAE颜色偏移调度器冲突恢复默认调度器提示词无效文本编码器问题检查CLIP配置画面模糊步数太少增加到20步以上过曝或过饱和CFG太高降到7-9之间重复图案模型训练问题换模型测试CFG分类器自由引导是最容易被忽视的参数。它控制提示词的影响力太低5会导致提示词无效太高15会导致过曝和伪影。7-9是大多数模型的甜点区但不同模型有差异需要实测。5.3 跨平台移植的坑把diffusion模型移植到不同平台时坑特别多。Mac上要用Core ML或MPS后端Android上要用ONNX或TFLite每个平台都有自己的限制。我踩过的坑包括Mac MPS后端不支持某些算子需要手动替换或回退到CPU速度会慢很多。Android上显存和内存都紧张需要用量化模型而且分辨率要降到256或384。iOS上Core ML模型转换复杂需要指定计算单元和精度转换脚本参数很多。跨平台移植的核心原则是先在目标平台上跑通最小示例再逐步加功能。不要指望一次转换就能完美运行预留足够的调试时间。6. 学习路径与参考资料的组织建议6.1 从入门到进阶的笔记结构如果你刚开始整理自己的diffusion笔记我建议按这个顺序建立结构第一阶段只记“怎么用”怎么装环境、怎么加载模型、怎么调参数出图。这个阶段不需要理解原理先跑通再说。第二阶段补“为什么”采样器为什么有快慢之分、CFG为什么能控制提示词影响力、显存为什么不够。这时候回去看数学推导会更有感觉。第三阶段记“怎么优化”针对自己的硬件和使用场景记录哪些参数组合最优、哪些坑不能踩。这部分是最个性化的别人的经验只能参考必须自己实测。我自己的笔记就是按这个顺序演进的早期记的全是命令和参数后来慢慢加入原理注释和实测数据。现在回头看最有价值的部分恰恰是那些“实测下来这个组合最稳”的记录因为网上搜不到。6.2 参考资料的管理工具与方法笔记多了之后管理就成了问题。我试过几种方案纯Markdown文件夹简单直接用文件名和文件夹分类配合全文搜索够用。双链笔记工具适合建立概念之间的关联比如把“DDIM”和“ODE求解”链接起来但上手成本高。代码仓库把笔记和示例代码放一起方便复现适合工程导向的人。我最后选择的是Markdown加Git仓库的方案因为可以版本控制而且随时随地能clone下来看。每篇笔记开头写清楚“这篇解决什么问题”“适合什么阶段看”结尾附上相关笔记的链接。这样即使过了半年回来也能快速定位。实操心得笔记不要追求大而全宁可每篇短一点但主题聚焦。我见过太多人建了一个巨大的“diffusion笔记”文件结果每次打开都不知道从哪看起。拆成小文件用链接串联检索效率高得多。6.3 持续跟进新进展的渠道Diffusion领域进展太快笔记需要持续更新。我日常跟进的渠道包括arXiv上的新论文重点关注采样器和蒸馏方向、Hugging Face的Diffusers库更新日志、以及几个活跃的社区讨论区。每次看到新东西先判断它属于笔记体系的哪一块然后决定是新增笔记还是补充到已有笔记里。我的原则是只记录自己实际用过或验证过的内容纯理论的新论文先标记待验证等有实际需求时再深入研究。这样能避免笔记膨胀成论文摘要集合保持实用性。