尧图网页设计 
FakeQuant机制拆解Model Optimizer如何在PyTorch中模拟量化正反向传播【免费下载链接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.项目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer在深度学习模型压缩领域Model OptimizerModel-Optimizer是 NVIDIA 开源的一套统一模型优化工具库支持量化、蒸馏、剪枝等 SOTA 技术。其中FakeQuant伪量化是量化感知训练QAT与 PTQ 精度评估的基石它让模型在训练或校准过程中假装自己运行在 INT8/FP8/FP4 低精度下从而提前暴露低精度的精度损失。本文将从原理到源码拆解 Model Optimizer 在 PyTorch 中实现伪量化的前向与反向机制。什么是 FakeQuant为什么需要它真实的量化推理需要专用的低精度算子如 TensorRT-LLM、vLLM 里的 FP8 GEMM但训练框架 PyTorch 并没有原生支持这些低精度数据类型的梯度训练。于是出现了伪量化Fake Quantization的思路用高精度张量模拟低精度张量的数值行为。具体来说就是执行「量化 → 反量化」这个往返过程把浮点数按缩放因子映射到整数格点舍入再映射回浮点数。张量的数据类型不变仍然是 FP16/BF16/FP32但数值已经被扭曲成低精度下可表示的样子舍入误差也随之产生。这样模型在训练中看到的每一层输出都带着真实的量化噪声梯度就能学会补偿这种损失。在 Model Optimizer 中伪量化由三个核心组件协作完成组件路径职责TensorQuantizernn/modules/tensor_quantizer.py量化器模块管理校准、amax、前向调度量化功能函数tensor_quant.py真正的量化-反量化数值计算 自定义 autograd 反向量化配置config.pynum_bits、axis、fake_quant开关等参数定义其中fake_quant是一个显式的布尔配置项默认为True决定量化器走伪量化路径还是真量化路径定义在 config.py。前向流程一次量化-反量化往返伪量化的调度入口是TensorQuantizer.forwardtensor_quantizer.py。它按顺序做了三件事校准收集若处于校准模式if_calibTrue调用collect(inputs)把当前张量喂给校准器MaxCalibrator 或直方图校准器统计 amax伪量化若if_quantTrue且fake_quantTrue进入_fake_quantizetensor_quantizer.py按数据格式分派INT8/INT4 等整数量化 →fake_tensor_quantFP8E4M3浮点量化 →scaled_e4m3FP4/MX 系列动态块量化 →dynamic_block_quant形状还原块量化场景下把 reshape/pad 过的张量恢复原形。以最常见的 INT8 伪量化为例纯 PyTorch 参考实现_tensor_quanttensor_quant.py只有五行核心逻辑scale max_bound / amax # 缩放因子 x_q clamp( round( x * scale ) , -127, 127 ) # 舍入到整数格点 越界裁剪 x_out x_q / scale # 反量化回浮点amax是校准得到的张量最大绝对值动态量化时则前向中实时计算max_bound由位宽决定如 INT8 对称窄范围是 127全程用 FP32 计算防止溢出最后转回原始 dtype。关键点输出张量和输入张量 dtype 完全相同只是数值被舍入噪声污染了。GPU 上则优先走 CUDA 扩展fake_tensor_quant_with_axis等融合内核提速并注册为torch.library自定义算子tensor_quant.py以兼容torch.export。反向传播STE 直通估计 裁剪舍入操作round几乎处处不可导直接求导会得到零梯度训练必然失败。Model Optimizer 的解法是STEStraight-Through Estimation直通梯度估计反向时假装舍入不存在让梯度直接穿过——但做了一个精细的改进对前向中被裁剪clip掉的区域屏蔽梯度。核心反向函数在 tensor_quant.pygrad_in where( |x| amax , grad_out , 0 )含义是若输入值在 amax 范围内前向未被裁剪→ 梯度原样直通若输入值超出 amax前向被钳到边界舍入位置导数为零→ 梯度置零避免把不相关的梯度传给这些饱和元素。这一逻辑被封装在多个torch.autograd.Function子类中例如整数量化的FakeTensorQuantFunctiontensor_quant.py、FP8 的ScaledE4M3Functiontensor_quant.py、动态块量化的DynamicBlockQuantizationFunction。它们共享同一个反向入口_fake_quant_backward_function并都标注了 Implements straight through estimation with clipping。还有一个实用开关pass_through_bwd对 MX 系列格式MXFP4/MXFP8代码会直接置pass_through_bwdTruetensor_quantizer.py反向梯度完全不裁剪、纯直通因为这些格式的梯度统计量在训练中收益有限直通即可。amax 从哪来校准与前向的双模式伪量化的精度高度依赖缩放因子而缩放因子来自 amax。TensorQuantizer在_get_amax中支持两种来源静态量化amax 是校准阶段收集好、注册为 buffer 的固定值。校准入口load_calib_amax会调用校准器的compute_amax把统计结果写回_amaxbuffer之后前向直接读取动态量化每次前向对输入实时求amax按 axis 或 per-tensor 归约无需校准但每步多一点计算开销。校准完成、amax 落库之后通常用mtq.load/model_calib相关 API 切换到纯量化模式详见 model_calib.py。FakeQuant 与 Real Quant 的区别维度FakeQuant伪量化Real Quant真量化张量类型原 dtype 浮点张量数值带舍入噪声真正的 INT8/FP8/FP4 低精度张量QTensor显存占用不省权重仍是 FP16显著节省4bit 权重仅 1/4 大小可否训练✅ 可梯度经 STE 回传❌ 通常用于推理典型场景QAT 训练、PTQ 前精度评估、ONNX 导出权重压缩后部署TensorRT-LLM/vLLM在TensorQuantizer.forward中fake_quant为False时走_real_quantize把权重压成真正的低精度QTensor并存下_scale等 buffertensor_quantizer.py。因此典型工作流是先用 FakeQuant 校准/训练 → 导出 QDQ 图或直接真量化压缩 → 部署到低精度推理框架。量化后的线性层结构见 quant_linear.pyinput_quantizer → F.linear → weight_quantizer → output_quantizer的三明治结构。实战效果为什么训练期模拟量化值回票价伪量化最大的价值体现在QAD量化感知蒸馏场景仅做 PTQ 的模型在下游任务上常有 0.5~2 个点的精度损失而带着 FakeQuant 做少量 QAD 迭代后量化学生模型能逐步逼近 BF16 教师模型的精度。下图是 Qwen3.6-35B-A3B 做 W4A4 NVFP4 QAD 的学习曲线可见 QAD 迭代 500 步后多数基准已回升到教师模型水平附近伪量化同样用于扩散模型的低精度部署验证。以下两张图分别是 FP16 参考输出与 INT8 伪量化 PTQ 输出两者画质几乎一致说明量化方案在部署前已通过 FakeQuant 充分评估小结与延伸阅读回顾一下 Model Optimizer 中 FakeQuant 的完整机制前向scale → round → clamp → 1/scale的量化-反量化往返在浮点张量上精确模拟低精度格点值反向STE 直通估计且对超出 amax 的裁剪区域梯度置零保证训练稳定amax 管理静态校准收集与动态实时计算双模式支持 per-tensor / per-channel / 块级粒度。想进一步上手推荐阅读仓库内文档基础量化教程docs/source/guides/_basic_quantization.rst量化感知训练指南docs/source/guides/quantization_aware_training.rst量化配置系统docs/source/guides/11_config_system.rstQAD 实战示例examples/alpamayo/qad.py核心源码入口modelopt/torch/quantization/tensor_quant.py、modelopt/torch/quantization/nn/modules/tensor_quantizer.py【免费下载链接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.项目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 FakeQuant机制拆解：Model Optimizer如何在PyTorch中模拟量化正反向传播
FakeQuant机制拆解Model Optimizer如何在PyTorch中模拟量化正反向传播【免费下载链接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.项目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer在深度学习模型压缩领域Model OptimizerModel-Optimizer是 NVIDIA 开源的一套统一模型优化工具库支持量化、蒸馏、剪枝等 SOTA 技术。其中FakeQuant伪量化是量化感知训练QAT与 PTQ 精度评估的基石它让模型在训练或校准过程中假装自己运行在 INT8/FP8/FP4 低精度下从而提前暴露低精度的精度损失。本文将从原理到源码拆解 Model Optimizer 在 PyTorch 中实现伪量化的前向与反向机制。什么是 FakeQuant为什么需要它真实的量化推理需要专用的低精度算子如 TensorRT-LLM、vLLM 里的 FP8 GEMM但训练框架 PyTorch 并没有原生支持这些低精度数据类型的梯度训练。于是出现了伪量化Fake Quantization的思路用高精度张量模拟低精度张量的数值行为。具体来说就是执行「量化 → 反量化」这个往返过程把浮点数按缩放因子映射到整数格点舍入再映射回浮点数。张量的数据类型不变仍然是 FP16/BF16/FP32但数值已经被扭曲成低精度下可表示的样子舍入误差也随之产生。这样模型在训练中看到的每一层输出都带着真实的量化噪声梯度就能学会补偿这种损失。在 Model Optimizer 中伪量化由三个核心组件协作完成组件路径职责TensorQuantizernn/modules/tensor_quantizer.py量化器模块管理校准、amax、前向调度量化功能函数tensor_quant.py真正的量化-反量化数值计算 自定义 autograd 反向量化配置config.pynum_bits、axis、fake_quant开关等参数定义其中fake_quant是一个显式的布尔配置项默认为True决定量化器走伪量化路径还是真量化路径定义在 config.py。前向流程一次量化-反量化往返伪量化的调度入口是TensorQuantizer.forwardtensor_quantizer.py。它按顺序做了三件事校准收集若处于校准模式if_calibTrue调用collect(inputs)把当前张量喂给校准器MaxCalibrator 或直方图校准器统计 amax伪量化若if_quantTrue且fake_quantTrue进入_fake_quantizetensor_quantizer.py按数据格式分派INT8/INT4 等整数量化 →fake_tensor_quantFP8E4M3浮点量化 →scaled_e4m3FP4/MX 系列动态块量化 →dynamic_block_quant形状还原块量化场景下把 reshape/pad 过的张量恢复原形。以最常见的 INT8 伪量化为例纯 PyTorch 参考实现_tensor_quanttensor_quant.py只有五行核心逻辑scale max_bound / amax # 缩放因子 x_q clamp( round( x * scale ) , -127, 127 ) # 舍入到整数格点 越界裁剪 x_out x_q / scale # 反量化回浮点amax是校准得到的张量最大绝对值动态量化时则前向中实时计算max_bound由位宽决定如 INT8 对称窄范围是 127全程用 FP32 计算防止溢出最后转回原始 dtype。关键点输出张量和输入张量 dtype 完全相同只是数值被舍入噪声污染了。GPU 上则优先走 CUDA 扩展fake_tensor_quant_with_axis等融合内核提速并注册为torch.library自定义算子tensor_quant.py以兼容torch.export。反向传播STE 直通估计 裁剪舍入操作round几乎处处不可导直接求导会得到零梯度训练必然失败。Model Optimizer 的解法是STEStraight-Through Estimation直通梯度估计反向时假装舍入不存在让梯度直接穿过——但做了一个精细的改进对前向中被裁剪clip掉的区域屏蔽梯度。核心反向函数在 tensor_quant.pygrad_in where( |x| amax , grad_out , 0 )含义是若输入值在 amax 范围内前向未被裁剪→ 梯度原样直通若输入值超出 amax前向被钳到边界舍入位置导数为零→ 梯度置零避免把不相关的梯度传给这些饱和元素。这一逻辑被封装在多个torch.autograd.Function子类中例如整数量化的FakeTensorQuantFunctiontensor_quant.py、FP8 的ScaledE4M3Functiontensor_quant.py、动态块量化的DynamicBlockQuantizationFunction。它们共享同一个反向入口_fake_quant_backward_function并都标注了 Implements straight through estimation with clipping。还有一个实用开关pass_through_bwd对 MX 系列格式MXFP4/MXFP8代码会直接置pass_through_bwdTruetensor_quantizer.py反向梯度完全不裁剪、纯直通因为这些格式的梯度统计量在训练中收益有限直通即可。amax 从哪来校准与前向的双模式伪量化的精度高度依赖缩放因子而缩放因子来自 amax。TensorQuantizer在_get_amax中支持两种来源静态量化amax 是校准阶段收集好、注册为 buffer 的固定值。校准入口load_calib_amax会调用校准器的compute_amax把统计结果写回_amaxbuffer之后前向直接读取动态量化每次前向对输入实时求amax按 axis 或 per-tensor 归约无需校准但每步多一点计算开销。校准完成、amax 落库之后通常用mtq.load/model_calib相关 API 切换到纯量化模式详见 model_calib.py。FakeQuant 与 Real Quant 的区别维度FakeQuant伪量化Real Quant真量化张量类型原 dtype 浮点张量数值带舍入噪声真正的 INT8/FP8/FP4 低精度张量QTensor显存占用不省权重仍是 FP16显著节省4bit 权重仅 1/4 大小可否训练✅ 可梯度经 STE 回传❌ 通常用于推理典型场景QAT 训练、PTQ 前精度评估、ONNX 导出权重压缩后部署TensorRT-LLM/vLLM在TensorQuantizer.forward中fake_quant为False时走_real_quantize把权重压成真正的低精度QTensor并存下_scale等 buffertensor_quantizer.py。因此典型工作流是先用 FakeQuant 校准/训练 → 导出 QDQ 图或直接真量化压缩 → 部署到低精度推理框架。量化后的线性层结构见 quant_linear.pyinput_quantizer → F.linear → weight_quantizer → output_quantizer的三明治结构。实战效果为什么训练期模拟量化值回票价伪量化最大的价值体现在QAD量化感知蒸馏场景仅做 PTQ 的模型在下游任务上常有 0.5~2 个点的精度损失而带着 FakeQuant 做少量 QAD 迭代后量化学生模型能逐步逼近 BF16 教师模型的精度。下图是 Qwen3.6-35B-A3B 做 W4A4 NVFP4 QAD 的学习曲线可见 QAD 迭代 500 步后多数基准已回升到教师模型水平附近伪量化同样用于扩散模型的低精度部署验证。以下两张图分别是 FP16 参考输出与 INT8 伪量化 PTQ 输出两者画质几乎一致说明量化方案在部署前已通过 FakeQuant 充分评估小结与延伸阅读回顾一下 Model Optimizer 中 FakeQuant 的完整机制前向scale → round → clamp → 1/scale的量化-反量化往返在浮点张量上精确模拟低精度格点值反向STE 直通估计且对超出 amax 的裁剪区域梯度置零保证训练稳定amax 管理静态校准收集与动态实时计算双模式支持 per-tensor / per-channel / 块级粒度。想进一步上手推荐阅读仓库内文档基础量化教程docs/source/guides/_basic_quantization.rst量化感知训练指南docs/source/guides/quantization_aware_training.rst量化配置系统docs/source/guides/11_config_system.rstQAD 实战示例examples/alpamayo/qad.py核心源码入口modelopt/torch/quantization/tensor_quant.py、modelopt/torch/quantization/nn/modules/tensor_quantizer.py【免费下载链接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.项目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考