尧图网页设计 
简介这份资源面向希望掌握轻量级图像分类模型的开发者与深度学习入门者围绕MobileViG这一专为移动端设计的卷积神经网络架构展开实战。内容涵盖深度可分离卷积、残差块、批量归一化与全局平均池化等关键结构并完整走通数据预处理、模型构建、编译训练、评估测试、超参优化到移动端部署的全流程帮助读者理解如何在算力受限设备上兼顾精度与效率。资源包共2449个文件以2436张png图片为主辅以7个py脚本、2个json配置、1个pth权重文件及少量pyc与txt说明压缩包约804.18MB目录结构便于按模块查阅。目前已有396人学习下载适合想系统实践图像分类、迁移学习与模型轻量化部署的读者参考。1. 移动端图像分类选型为什么我押注 MobileViG 而不是直接上 ResNet去年帮一个做智能相册的朋友调模型他拿 ResNet-50 在服务器上跑得挺欢准确率 76% 出头一挪到中端安卓机上就翻车——单张推理 400 多毫秒机身烫得能煎蛋。这不是个例很多做图像分类的团队都卡在同一个坎上精度够用的模型太大能塞进手机的模型精度又掉得厉害。MobileViG 就是冲着这个矛盾来的它把深度可分离卷积和视觉图结构揉在一起在参数量和延迟之间找平衡点专门服务移动端图像分类这类任务。这份实战资源围绕 MobileViG 的图像分类落地展开包含训练脚本、类别映射文件class.json、结果记录result.json以及若干训练过程可视化图那几张 png。它适合两类人一是刚接触轻量级图像分类、想跑通完整流程的新手二是手里有移动端部署需求、需要一份可改可调的基线代码的熟手。你不需要从零推导卷积公式但得会装环境、看得懂训练日志。下面我按“先跑通、再调优、最后避坑”的顺序拆每一步都落到能直接抄的命令和参数上。2. MobileViG 结构拆解与训练环境搭建从深度可分离卷积到可运行代码2.1 深度可分离卷积到底省在哪MobileViG 为什么这么堆传统卷积做一次 3×3 卷积假设输入 64 通道、输出 128 通道参数量是 3×3×64×128 ≈ 7.4 万。深度可分离卷积把它拆成两步先做逐通道的深度卷积3×3×64再做 1×1 的逐点卷积1×1×64×128参数量变成 3×3×64 64×128 ≈ 8770差不多是原来的八分之一。MobileViG 的残差块就是围绕这个思路搭的深度卷积负责提取空间特征逐点卷积负责跨通道融合中间夹批量归一化和 ReLU最后加残差连接防止梯度消失。但光有深度可分离卷积还不够MobileViG 在部分块里引入了图结构式的特征聚合让不同位置的特征能互相“看一眼”这对森林图像分类这种纹理复杂、类别间差异细微的场景帮助明显。常见做法是每个残差块里先深度卷积、再归一化激活、再逐点卷积、再归一化最后和输入相加。堆叠若干个这样的块之后接全局平均池化把特征图压成一维向量再过一个全连接层输出类别概率。提示如果你用的是 CIFAR-10 这种 32×32 的小图第一个残差块的步长别设成 2否则特征图缩得太快精度会掉两三个点。ImageNet 那套 224×224 的配置不能直接照搬。2.2 环境安装与依赖版本锁定我一般用 PyTorch 做这类轻量模型TensorFlow 也能跑但 PyTorch 的动态图调试起来顺手。下面这套命令在 Ubuntu 20.04 Python 3.9 上验证过Windows 把 apt 换成对应安装方式即可。# 创建独立环境避免和系统里的老版本冲突 conda create -n mobilevig python3.9 -y conda activate mobilevig # 安装 PyTorchCUDA 11.8 版本没有 GPU 就换成 cpu 版 pip install torch2.1.0 torchvision0.16.0 --index-url https://download.pytorch.org/whl/cu118 # 数据处理和训练辅助库 pip install numpy1.24.3 pillow10.0.0 tqdm4.66.1 tensorboard2.14.0这里锁版本不是强迫症。torchvision 0.16 和 torch 2.1 是配套的混装容易出现torchvision::nms找不到符号的报错。numpy 别上 2.x部分老的数据增强代码会报np.float已移除。装完跑一句python -c import torch; print(torch.cuda.is_available())返回 True 说明 GPU 可用False 就检查驱动和 CUDA 版本。2.3 数据预处理与增强参数怎么设图像分类的数据管道就三件事读图、归一化、增强。MobileViG 原文用的归一化均值方差是 ImageNet 那套[0.485, 0.456, 0.406]和[0.229, 0.224, 0.225]如果你在自己的数据集上从头训建议先算一下自己数据的均值和方差替换掉默认值收敛会快一些。import torch from torchvision import transforms, datasets # 训练集增强随机裁剪 翻转 颜色抖动提升泛化 train_tf transforms.Compose([ transforms.RandomResizedCrop(224, scale(0.6, 1.0)), # 裁剪比例别低于0.5否则目标可能被裁没 transforms.RandomHorizontalFlip(p0.5), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) # 验证集只做缩放和归一化不能加随机增强 val_tf transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) train_set datasets.ImageFolder(data/train, transformtrain_tf) val_set datasets.ImageFolder(data/val, transformval_tf) train_loader torch.utils.data.DataLoader(train_set, batch_size64, shuffleTrue, num_workers4) val_loader torch.utils.data.DataLoader(val_set, batch_size64, shuffleFalse, num_workers4)RandomResizedCrop的 scale 下限我设 0.6比默认的 0.08 保守。森林图像分类里目标往往占画面比例不大裁太狠会把关键纹理切掉验证集精度波动会很大。ColorJitter的强度也别拉满0.2 左右够用再高模型会花精力去学颜色不变性反而拖慢收敛。num_workers设成 CPU 核数的 70% 左右设太高反而因为进程切换变慢。3. MobileViG 模型构建与训练循环残差块参数、损失函数与学习率调度3.1 残差块定义与通道数配置MobileViG 的残差块核心是深度卷积加逐点卷积下面这个实现把关键参数暴露出来方便你按自己数据集调整。import torch.nn as nn class MobileViGBlock(nn.Module): def __init__(self, in_ch, out_ch, stride1, expand4): super().__init__() mid_ch in_ch * expand # 逐点卷积先升维再深度卷积最后降维 self.conv1 nn.Conv2d(in_ch, mid_ch, 1, biasFalse) self.bn1 nn.BatchNorm2d(mid_ch) self.dwconv nn.Conv2d(mid_ch, mid_ch, 3, stride, 1, groupsmid_ch, biasFalse) # groupsmid_ch 即深度卷积 self.bn2 nn.BatchNorm2d(mid_ch) self.conv2 nn.Conv2d(mid_ch, out_ch, 1, biasFalse) self.bn3 nn.BatchNorm2d(out_ch) self.act nn.ReLU6(inplaceTrue) # ReLU6 在移动端量化时更友好 self.use_res (stride 1 and in_ch out_ch) def forward(self, x): out self.act(self.bn1(self.conv1(x))) out self.act(self.bn2(self.dwconv(out))) out self.bn3(self.conv2(out)) if self.use_res: out out x return self.act(out)expand4是逐点卷积的升维倍数MobileViG 原文用的就是 4你如果显存吃紧可以降到 2精度损失大概 1 个点。ReLU6把激活值截断在 6 以内后面转 TensorFlow Lite 做 int8 量化时动态范围可控比普通 ReLU 稳。残差连接只在stride1且输入输出通道一致时启用这是 MobileNet 系列的通用做法别硬加否则维度对不上直接报错。3.2 完整模型组装与分类头class MobileViG(nn.Module): def __init__(self, num_classes10): super().__init__() # 初始卷积把 3 通道升到 32 self.stem nn.Sequential( nn.Conv2d(3, 32, 3, 2, 1, biasFalse), nn.BatchNorm2d(32), nn.ReLU6(inplaceTrue) ) # 四个阶段通道数逐级翻倍步长控制下采样 self.stage1 nn.Sequential(MobileViGBlock(32, 64, stride1), MobileViGBlock(64, 64, stride1)) self.stage2 nn.Sequential(MobileViGBlock(64, 128, stride2), MobileViGBlock(128, 128, stride1)) self.stage3 nn.Sequential(MobileViGBlock(128, 256, stride2), MobileViGBlock(256, 256, stride1)) self.stage4 nn.Sequential(MobileViGBlock(256, 512, stride2), MobileViGBlock(512, 512, stride1)) self.pool nn.AdaptiveAvgPool2d(1) # 全局平均池化替代展平 self.fc nn.Linear(512, num_classes) def forward(self, x): x self.stem(x) x self.stage1(x) x self.stage2(x) x self.stage3(x) x self.stage4(x) x self.pool(x).flatten(1) return self.fc(x)AdaptiveAvgPool2d(1)把任意尺寸的特征图压成 1×1这样输入图片尺寸变了也不用改全连接层。num_classes按你的数据集类别数改CIFAR-10 就是 10森林图像分类如果是 8 类就填 8。整个模型参数量在 200 万左右权重文件不到 10MB塞进移动端毫无压力。3.3 训练循环、损失函数与学习率调度import torch.optim as optim from torch.optim.lr_scheduler import CosineAnnealingLR device torch.device(cuda if torch.cuda.is_available() else cpu) model MobileViG(num_classes10).to(device) criterion nn.CrossEntropyLoss(label_smoothing0.1) # 标签平滑抑制过拟合 optimizer optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-4) scheduler CosineAnnealingLR(optimizer, T_max100, eta_min1e-5) for epoch in range(100): model.train() for imgs, labels in train_loader: imgs, labels imgs.to(device), labels.to(device) optimizer.zero_grad() loss criterion(model(imgs), labels) loss.backward() optimizer.step() scheduler.step() # 每 5 轮验证一次记录精度 if (epoch 1) % 5 0: model.eval() correct total 0 with torch.no_grad(): for imgs, labels in val_loader: imgs, labels imgs.to(device), labels.to(device) pred model(imgs).argmax(1) correct (pred labels).sum().item() total labels.size(0) print(fEpoch {epoch1}, Val Acc: {correct/total:.4f})label_smoothing0.1把硬标签软化防止模型对某一类过度自信在类别不平衡的数据集上尤其有用。AdamW比 Adam 多了正确的权重衰减实现weight_decay1e-4是轻量模型的常用值设 1e-2 会欠拟合。CosineAnnealingLR让学习率从 1e-3 余弦降到 1e-5比阶梯衰减平滑T_max设成总轮数。训练日志里如果验证精度连续 15 轮不涨就可以停了再训也是浪费电。4. 训练过程排查与常见翻车点从 loss 不降到显存溢出4.1 loss 震荡不下降先查这三处现象训练 loss 在 2.3 附近来回跳验证精度卡在 10%等于随机猜。原因通常是学习率太大或者数据标签没对上。先看class.json里的类别顺序和ImageFolder按文件夹名排序的结果是否一致不一致的话标签全错位。再把学习率降到 1e-4 试 10 轮如果 loss 开始降说明就是学习率问题。最后检查归一化参数用了 ImageNet 的均值方差但自己的数据分布差很远也会导致梯度爆炸。4.2 验证精度远低于训练精度现象训练集精度冲到 95%验证集只有 60%。原因一般是过拟合或者验证集增强过头。先确认验证集没加RandomResizedCrop和ColorJitter这两个只能用在训练集。如果确认没加就加 dropout 或者提高weight_decay到 5e-4。还有一个隐蔽原因训练集和验证集的图片来自同一批数据但划分时没打乱导致验证集里全是难样本重新按 8:2 随机划分即可。4.3 显存溢出CUDA out of memory现象跑几个 batch 后报RuntimeError: CUDA out of memory。原因可能是 batch_size 太大或者没释放中间变量。先把 batch_size 从 64 降到 32还不行就降到 16。如果降了还溢出检查是不是在验证阶段忘了加torch.no_grad()验证时构建了计算图导致显存累积。另外num_workers设太高也会占显存设成 2 试试。4.4 转 TensorFlow Lite 后精度掉点现象PyTorch 上验证精度 78%转成 tflite 后只有 70%。原因是量化方式选错了。动态范围量化对深度可分离卷积不友好改成 float16 量化精度损失能控制在 1 个点以内。如果必须用 int8记得在转换时提供代表性数据集让量化器校准激活范围别用默认的 min/max 校准。4.5 训练到一半 loss 变成 NaN现象前 20 轮正常第 21 轮 loss 突然变 NaN。原因通常是学习率在后期仍然偏大加上某批数据里有异常值。把CosineAnnealingLR的eta_min从 1e-5 提到 1e-6并在数据管道里加一步transforms.Lambda(lambda x: torch.clamp(x, -3, 3))把归一化后的异常值截断。如果还出现检查有没有图片损坏导致读出来全是 0。5. 从训练到移动端部署模型导出、量化与一个验证技巧训练完拿到 78% 的验证精度只是上半场真正落地得把模型塞进手机还得保住精度。我一般先用torch.jit.trace导出 TorchScript再转 ONNX最后走 TensorFlow Lite 或 PyTorch Mobile。导出时有个细节AdaptiveAvgPool2d在 ONNX 里对应GlobalAveragePool但某些旧版转换器不认换成固定尺寸的AvgPool2d更稳。# 导出 ONNXopset 11 对移动端算子支持最好 dummy torch.randn(1, 3, 224, 224).to(device) torch.onnx.export(model, dummy, mobilevig.onnx, opset_version11, input_names[input], output_names[output], dynamic_axes{input: {0: batch}})dynamic_axes把 batch 维度设成动态部署时才能一次处理多张图。导出后用onnxruntime跑一遍验证和 PyTorch 输出对比误差超过 1e-3 就说明转换有问题得回去查算子。量化环节float16 量化几乎不掉精度文件大小减半int8 量化文件再减半但精度可能掉 2 到 3 个点。我的习惯是先在验证集上跑一遍 float16 量化模型精度损失在 0.5 个点以内就直接用超过就退回 float32。验证方法很简单拿 100 张验证集图片分别用原模型和量化模型推理统计预测类别一致的比例低于 95% 就说明量化太激进。注意量化后的模型在 CPU 上跑可能比原模型还慢因为 int8 算子在某些 ARM 芯片上没有加速。部署前一定在目标机型上实测延迟别只看文件大小。从那以后我每次导出模型都强制走一遍“PyTorch 输出 vs ONNX 输出 vs 量化输出”的三方对比任何一步误差超标就停下来查绝不带着隐患上机。这套流程帮我省了至少三次返工。希望帮到你。本文还有配套的精品资源点击获取 MobileViG移动端图像分类实战：从训练到部署全流程
简介这份资源面向希望掌握轻量级图像分类模型的开发者与深度学习入门者围绕MobileViG这一专为移动端设计的卷积神经网络架构展开实战。内容涵盖深度可分离卷积、残差块、批量归一化与全局平均池化等关键结构并完整走通数据预处理、模型构建、编译训练、评估测试、超参优化到移动端部署的全流程帮助读者理解如何在算力受限设备上兼顾精度与效率。资源包共2449个文件以2436张png图片为主辅以7个py脚本、2个json配置、1个pth权重文件及少量pyc与txt说明压缩包约804.18MB目录结构便于按模块查阅。目前已有396人学习下载适合想系统实践图像分类、迁移学习与模型轻量化部署的读者参考。1. 移动端图像分类选型为什么我押注 MobileViG 而不是直接上 ResNet去年帮一个做智能相册的朋友调模型他拿 ResNet-50 在服务器上跑得挺欢准确率 76% 出头一挪到中端安卓机上就翻车——单张推理 400 多毫秒机身烫得能煎蛋。这不是个例很多做图像分类的团队都卡在同一个坎上精度够用的模型太大能塞进手机的模型精度又掉得厉害。MobileViG 就是冲着这个矛盾来的它把深度可分离卷积和视觉图结构揉在一起在参数量和延迟之间找平衡点专门服务移动端图像分类这类任务。这份实战资源围绕 MobileViG 的图像分类落地展开包含训练脚本、类别映射文件class.json、结果记录result.json以及若干训练过程可视化图那几张 png。它适合两类人一是刚接触轻量级图像分类、想跑通完整流程的新手二是手里有移动端部署需求、需要一份可改可调的基线代码的熟手。你不需要从零推导卷积公式但得会装环境、看得懂训练日志。下面我按“先跑通、再调优、最后避坑”的顺序拆每一步都落到能直接抄的命令和参数上。2. MobileViG 结构拆解与训练环境搭建从深度可分离卷积到可运行代码2.1 深度可分离卷积到底省在哪MobileViG 为什么这么堆传统卷积做一次 3×3 卷积假设输入 64 通道、输出 128 通道参数量是 3×3×64×128 ≈ 7.4 万。深度可分离卷积把它拆成两步先做逐通道的深度卷积3×3×64再做 1×1 的逐点卷积1×1×64×128参数量变成 3×3×64 64×128 ≈ 8770差不多是原来的八分之一。MobileViG 的残差块就是围绕这个思路搭的深度卷积负责提取空间特征逐点卷积负责跨通道融合中间夹批量归一化和 ReLU最后加残差连接防止梯度消失。但光有深度可分离卷积还不够MobileViG 在部分块里引入了图结构式的特征聚合让不同位置的特征能互相“看一眼”这对森林图像分类这种纹理复杂、类别间差异细微的场景帮助明显。常见做法是每个残差块里先深度卷积、再归一化激活、再逐点卷积、再归一化最后和输入相加。堆叠若干个这样的块之后接全局平均池化把特征图压成一维向量再过一个全连接层输出类别概率。提示如果你用的是 CIFAR-10 这种 32×32 的小图第一个残差块的步长别设成 2否则特征图缩得太快精度会掉两三个点。ImageNet 那套 224×224 的配置不能直接照搬。2.2 环境安装与依赖版本锁定我一般用 PyTorch 做这类轻量模型TensorFlow 也能跑但 PyTorch 的动态图调试起来顺手。下面这套命令在 Ubuntu 20.04 Python 3.9 上验证过Windows 把 apt 换成对应安装方式即可。# 创建独立环境避免和系统里的老版本冲突 conda create -n mobilevig python3.9 -y conda activate mobilevig # 安装 PyTorchCUDA 11.8 版本没有 GPU 就换成 cpu 版 pip install torch2.1.0 torchvision0.16.0 --index-url https://download.pytorch.org/whl/cu118 # 数据处理和训练辅助库 pip install numpy1.24.3 pillow10.0.0 tqdm4.66.1 tensorboard2.14.0这里锁版本不是强迫症。torchvision 0.16 和 torch 2.1 是配套的混装容易出现torchvision::nms找不到符号的报错。numpy 别上 2.x部分老的数据增强代码会报np.float已移除。装完跑一句python -c import torch; print(torch.cuda.is_available())返回 True 说明 GPU 可用False 就检查驱动和 CUDA 版本。2.3 数据预处理与增强参数怎么设图像分类的数据管道就三件事读图、归一化、增强。MobileViG 原文用的归一化均值方差是 ImageNet 那套[0.485, 0.456, 0.406]和[0.229, 0.224, 0.225]如果你在自己的数据集上从头训建议先算一下自己数据的均值和方差替换掉默认值收敛会快一些。import torch from torchvision import transforms, datasets # 训练集增强随机裁剪 翻转 颜色抖动提升泛化 train_tf transforms.Compose([ transforms.RandomResizedCrop(224, scale(0.6, 1.0)), # 裁剪比例别低于0.5否则目标可能被裁没 transforms.RandomHorizontalFlip(p0.5), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) # 验证集只做缩放和归一化不能加随机增强 val_tf transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) train_set datasets.ImageFolder(data/train, transformtrain_tf) val_set datasets.ImageFolder(data/val, transformval_tf) train_loader torch.utils.data.DataLoader(train_set, batch_size64, shuffleTrue, num_workers4) val_loader torch.utils.data.DataLoader(val_set, batch_size64, shuffleFalse, num_workers4)RandomResizedCrop的 scale 下限我设 0.6比默认的 0.08 保守。森林图像分类里目标往往占画面比例不大裁太狠会把关键纹理切掉验证集精度波动会很大。ColorJitter的强度也别拉满0.2 左右够用再高模型会花精力去学颜色不变性反而拖慢收敛。num_workers设成 CPU 核数的 70% 左右设太高反而因为进程切换变慢。3. MobileViG 模型构建与训练循环残差块参数、损失函数与学习率调度3.1 残差块定义与通道数配置MobileViG 的残差块核心是深度卷积加逐点卷积下面这个实现把关键参数暴露出来方便你按自己数据集调整。import torch.nn as nn class MobileViGBlock(nn.Module): def __init__(self, in_ch, out_ch, stride1, expand4): super().__init__() mid_ch in_ch * expand # 逐点卷积先升维再深度卷积最后降维 self.conv1 nn.Conv2d(in_ch, mid_ch, 1, biasFalse) self.bn1 nn.BatchNorm2d(mid_ch) self.dwconv nn.Conv2d(mid_ch, mid_ch, 3, stride, 1, groupsmid_ch, biasFalse) # groupsmid_ch 即深度卷积 self.bn2 nn.BatchNorm2d(mid_ch) self.conv2 nn.Conv2d(mid_ch, out_ch, 1, biasFalse) self.bn3 nn.BatchNorm2d(out_ch) self.act nn.ReLU6(inplaceTrue) # ReLU6 在移动端量化时更友好 self.use_res (stride 1 and in_ch out_ch) def forward(self, x): out self.act(self.bn1(self.conv1(x))) out self.act(self.bn2(self.dwconv(out))) out self.bn3(self.conv2(out)) if self.use_res: out out x return self.act(out)expand4是逐点卷积的升维倍数MobileViG 原文用的就是 4你如果显存吃紧可以降到 2精度损失大概 1 个点。ReLU6把激活值截断在 6 以内后面转 TensorFlow Lite 做 int8 量化时动态范围可控比普通 ReLU 稳。残差连接只在stride1且输入输出通道一致时启用这是 MobileNet 系列的通用做法别硬加否则维度对不上直接报错。3.2 完整模型组装与分类头class MobileViG(nn.Module): def __init__(self, num_classes10): super().__init__() # 初始卷积把 3 通道升到 32 self.stem nn.Sequential( nn.Conv2d(3, 32, 3, 2, 1, biasFalse), nn.BatchNorm2d(32), nn.ReLU6(inplaceTrue) ) # 四个阶段通道数逐级翻倍步长控制下采样 self.stage1 nn.Sequential(MobileViGBlock(32, 64, stride1), MobileViGBlock(64, 64, stride1)) self.stage2 nn.Sequential(MobileViGBlock(64, 128, stride2), MobileViGBlock(128, 128, stride1)) self.stage3 nn.Sequential(MobileViGBlock(128, 256, stride2), MobileViGBlock(256, 256, stride1)) self.stage4 nn.Sequential(MobileViGBlock(256, 512, stride2), MobileViGBlock(512, 512, stride1)) self.pool nn.AdaptiveAvgPool2d(1) # 全局平均池化替代展平 self.fc nn.Linear(512, num_classes) def forward(self, x): x self.stem(x) x self.stage1(x) x self.stage2(x) x self.stage3(x) x self.stage4(x) x self.pool(x).flatten(1) return self.fc(x)AdaptiveAvgPool2d(1)把任意尺寸的特征图压成 1×1这样输入图片尺寸变了也不用改全连接层。num_classes按你的数据集类别数改CIFAR-10 就是 10森林图像分类如果是 8 类就填 8。整个模型参数量在 200 万左右权重文件不到 10MB塞进移动端毫无压力。3.3 训练循环、损失函数与学习率调度import torch.optim as optim from torch.optim.lr_scheduler import CosineAnnealingLR device torch.device(cuda if torch.cuda.is_available() else cpu) model MobileViG(num_classes10).to(device) criterion nn.CrossEntropyLoss(label_smoothing0.1) # 标签平滑抑制过拟合 optimizer optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-4) scheduler CosineAnnealingLR(optimizer, T_max100, eta_min1e-5) for epoch in range(100): model.train() for imgs, labels in train_loader: imgs, labels imgs.to(device), labels.to(device) optimizer.zero_grad() loss criterion(model(imgs), labels) loss.backward() optimizer.step() scheduler.step() # 每 5 轮验证一次记录精度 if (epoch 1) % 5 0: model.eval() correct total 0 with torch.no_grad(): for imgs, labels in val_loader: imgs, labels imgs.to(device), labels.to(device) pred model(imgs).argmax(1) correct (pred labels).sum().item() total labels.size(0) print(fEpoch {epoch1}, Val Acc: {correct/total:.4f})label_smoothing0.1把硬标签软化防止模型对某一类过度自信在类别不平衡的数据集上尤其有用。AdamW比 Adam 多了正确的权重衰减实现weight_decay1e-4是轻量模型的常用值设 1e-2 会欠拟合。CosineAnnealingLR让学习率从 1e-3 余弦降到 1e-5比阶梯衰减平滑T_max设成总轮数。训练日志里如果验证精度连续 15 轮不涨就可以停了再训也是浪费电。4. 训练过程排查与常见翻车点从 loss 不降到显存溢出4.1 loss 震荡不下降先查这三处现象训练 loss 在 2.3 附近来回跳验证精度卡在 10%等于随机猜。原因通常是学习率太大或者数据标签没对上。先看class.json里的类别顺序和ImageFolder按文件夹名排序的结果是否一致不一致的话标签全错位。再把学习率降到 1e-4 试 10 轮如果 loss 开始降说明就是学习率问题。最后检查归一化参数用了 ImageNet 的均值方差但自己的数据分布差很远也会导致梯度爆炸。4.2 验证精度远低于训练精度现象训练集精度冲到 95%验证集只有 60%。原因一般是过拟合或者验证集增强过头。先确认验证集没加RandomResizedCrop和ColorJitter这两个只能用在训练集。如果确认没加就加 dropout 或者提高weight_decay到 5e-4。还有一个隐蔽原因训练集和验证集的图片来自同一批数据但划分时没打乱导致验证集里全是难样本重新按 8:2 随机划分即可。4.3 显存溢出CUDA out of memory现象跑几个 batch 后报RuntimeError: CUDA out of memory。原因可能是 batch_size 太大或者没释放中间变量。先把 batch_size 从 64 降到 32还不行就降到 16。如果降了还溢出检查是不是在验证阶段忘了加torch.no_grad()验证时构建了计算图导致显存累积。另外num_workers设太高也会占显存设成 2 试试。4.4 转 TensorFlow Lite 后精度掉点现象PyTorch 上验证精度 78%转成 tflite 后只有 70%。原因是量化方式选错了。动态范围量化对深度可分离卷积不友好改成 float16 量化精度损失能控制在 1 个点以内。如果必须用 int8记得在转换时提供代表性数据集让量化器校准激活范围别用默认的 min/max 校准。4.5 训练到一半 loss 变成 NaN现象前 20 轮正常第 21 轮 loss 突然变 NaN。原因通常是学习率在后期仍然偏大加上某批数据里有异常值。把CosineAnnealingLR的eta_min从 1e-5 提到 1e-6并在数据管道里加一步transforms.Lambda(lambda x: torch.clamp(x, -3, 3))把归一化后的异常值截断。如果还出现检查有没有图片损坏导致读出来全是 0。5. 从训练到移动端部署模型导出、量化与一个验证技巧训练完拿到 78% 的验证精度只是上半场真正落地得把模型塞进手机还得保住精度。我一般先用torch.jit.trace导出 TorchScript再转 ONNX最后走 TensorFlow Lite 或 PyTorch Mobile。导出时有个细节AdaptiveAvgPool2d在 ONNX 里对应GlobalAveragePool但某些旧版转换器不认换成固定尺寸的AvgPool2d更稳。# 导出 ONNXopset 11 对移动端算子支持最好 dummy torch.randn(1, 3, 224, 224).to(device) torch.onnx.export(model, dummy, mobilevig.onnx, opset_version11, input_names[input], output_names[output], dynamic_axes{input: {0: batch}})dynamic_axes把 batch 维度设成动态部署时才能一次处理多张图。导出后用onnxruntime跑一遍验证和 PyTorch 输出对比误差超过 1e-3 就说明转换有问题得回去查算子。量化环节float16 量化几乎不掉精度文件大小减半int8 量化文件再减半但精度可能掉 2 到 3 个点。我的习惯是先在验证集上跑一遍 float16 量化模型精度损失在 0.5 个点以内就直接用超过就退回 float32。验证方法很简单拿 100 张验证集图片分别用原模型和量化模型推理统计预测类别一致的比例低于 95% 就说明量化太激进。注意量化后的模型在 CPU 上跑可能比原模型还慢因为 int8 算子在某些 ARM 芯片上没有加速。部署前一定在目标机型上实测延迟别只看文件大小。从那以后我每次导出模型都强制走一遍“PyTorch 输出 vs ONNX 输出 vs 量化输出”的三方对比任何一步误差超标就停下来查绝不带着隐患上机。这套流程帮我省了至少三次返工。希望帮到你。本文还有配套的精品资源点击获取