模型这行当里有个说法越来越流行真正能打的模型不是被人喂数据喂出来的是被另一个模型带出来的。这话听着像绕口令但你只要在训练一线待过一阵子就会发现它描述的是一个正在发生的现实——从预训练到蒸馏从Transformer到MoE整条技术链路正在从人设计、人调参、人标注往模型自己教自己的方向滑。而标题里那句最后一段没人走的路说的正是这条链路走到尽头时那个所有人都绕开、但迟早得有人踩上去的位置。我自己是从传统监督训练一路做过来的早期调ResNet、手写Transformer编码器、拿YOLOv5在树莓派5上折腾部署后来转到预训练语言模型和知识蒸馏这条线上。这几年最大的感受是工具越来越强但模型训练模型这件事的边界反而越来越模糊。下面我按自己的理解把这条进化路径拆开讲顺便说说最后那段路为什么没人走、以及如果真要走得准备什么。1. 从人教模型到模型教模型的分水岭在哪1.1 监督训练时代的天花板不是算力是标注早几年做视觉任务流程很固定收集数据、人工标注、划分训练集验证集、调超参、看loss曲线。ResNet预训练模型往上一挂fine-tune几轮指标就上去了。那时候大家讨论的核心是怎么标得更快更准labeling工具、半自动标注、主动学习全是围绕人的效率做文章。但这套逻辑有个硬伤标注成本随任务复杂度指数上升。一个分类任务可能几万张图就够换成2D医学图像分割比如MissFormer那类Transformer架构要处理的场景像素级标注得靠专业医生一张切片标半小时数据集规模直接卡死。你算力再猛没数据就是没数据。这就是分水岭的起点——当人教模型的成本高到不可持续时行业自然会把目光转向能不能让模型自己产生监督信号。1.2 预训练把通用知识和任务知识拆开了预训练语言模型的思路本质是把学习分成两段第一段在海量无标注文本上自学语言规律第二段在小规模标注数据上适配具体任务。RoBERTa中文预训练模型、各种Transformer变体走的都是这条路。这个拆分带来的最大变化是第一段完全不需要人标注。模型自己mask掉一些词然后猜猜错了调参数。听起来简单但它让模型从数据里自己找规律这件事第一次规模化跑通了。我实测下来的体会是预训练阶段的质量直接决定下游天花板。很多人fine-tune效果不好回头一查是预训练语料太脏或者训练不充分。这就像盖楼地基没打好上面装修再漂亮也白搭。1.3 蒸馏第一次真正意义上的模型训练模型知识蒸馏是这条进化路径上第一个明确的模型教模型范式。核心逻辑很直白一个大模型教师见多识广它的输出不只是答案还包含对错误答案的偏好程度这些软标签比硬标签信息量大得多。小模型学生去模仿教师的输出分布就能学到比单纯背答案更多的东西。知识蒸馏分几种玩法蒸馏类型教师可见性典型场景难点白盒蒸馏可见logits和中间层同架构压缩需要教师权重黑盒蒸馏仅可见输出跨平台迁移信息量受限在线蒸馏师生同步训练互相促进训练不稳定自蒸馏自己教自己无额外教师提升有限黑盒蒸馏在实际工程里用得最多因为你经常拿不到别人的模型权重只能调API拿输出。但黑盒蒸馏的天花板很明显——你只能学到最后那层softmax中间层的丰富信息全丢了。这也是为什么很多团队宁愿自己训教师模型也不愿意用黑盒方案。DeepSeekV4.1Flash蒸馏这类热搜词背后反映的就是工业界对用大模型能力反哺小模型的强烈需求。运动蒸馏、YOLO蒸馏这些具体玩法都是这个思路在不同任务上的落地。2. Transformer和MoE让模型教模型变得可行的两块基石2.1 Transformer解决了信息怎么传的问题Transformer模型详解这类内容网上已经烂大街了但我想从模型训练模型的角度重新讲一遍它的价值。传统RNN系结构在处理长序列时信息要一步步传传到后面前面的信息就衰减了。Transformer的自注意力机制让任意两个位置直接建立连接信息传递路径从O(n)变成O(1)。这个变化对蒸馏意味着什么意味着教师模型中间层的每一层输出都包含了全局信息学生模型学任何一层都能拿到相对完整的知识。The Illustrated Transformer那篇文章之所以经典是因为它把注意力机制画得足够直观。但很多人看完还是不知道手写Transformer代码时该注意什么。我的经验是位置编码、多头注意力的维度切分、残差连接的放置位置这三处最容易出错。尤其是多头注意力如果你把head维度搞错了模型能训但效果差一大截而且loss曲线看起来还挺正常特别坑。2.2 MoE把模型容量和计算量解耦了MoE架构的核心思想是模型总参数量可以很大但每次前向只激活其中一小部分。这就像一个大公司总员工几千人但处理一个具体项目只调动相关的那几十个人。对模型训练模型来说MoE带来两个关键好处第一教师模型可以做得极大而不至于推理成本爆炸。你有一个万亿参数的教师但每次推理只激活千亿学生蒸馏时能接触到更丰富的知识表示。第二MoE天然适合做专家分工。不同专家处理不同类型输入蒸馏时学生可以针对性地学不同专家的能力而不是笼统地模仿一个巨无霸。但MoE的坑也很深。路由网络的负载均衡是老大难问题如果路由塌缩到少数几个专家其他专家就白养了。我见过不少MoE训练失败的案例最后发现是auxiliary loss权重设错了或者路由温度参数没调好。2.3 视觉Transformer和轻量Transformer的取舍Vision Transformer把Transformer从NLP搬到视觉领域Swin Transformer又用窗口注意力把计算量降下来。轻量Transformer这一支的发展直接关系到学生模型能不能在边缘设备上跑起来。我之前做过一个项目要把训练好的模型部署到树莓派5上。原始模型是标准ViT推理一次要好几秒根本没法用。后来用蒸馏把知识迁移到一个轻量Transformer上参数量降到十分之一推理速度提上来了精度只掉了两个点。这个trade-off在工程上完全可以接受。这里的关键经验是蒸馏的目标模型架构要提前定好不能等教师训完了再想学生用什么。因为学生架构决定了它能承载多少知识架构太简单教师再强也灌不进去。3. 蒸馏实操从教师到学生的完整链路3.1 教师模型的选择与训练教师模型不是越大越好而是要和任务匹配。我见过有人拿一个通用大模型去蒸馏一个垂直领域任务结果学生学了一堆无关知识反而干扰了目标任务的收敛。选教师的原则教师在自己任务上的表现要显著优于学生基线否则蒸馏没意义教师的输出分布要有足够的信息量也就是softmax不能太尖锐否则和硬标签没区别如果做黑盒蒸馏教师的API要稳定因为你需要大量调用拿软标签训练教师时温度参数T的设置很关键。T越大输出分布越平滑软标签携带的信息越多。但T太大也会引入噪声。我的经验是T取3到5之间比较稳具体要看任务。3.2 损失函数的设计蒸馏的损失函数通常是两部分加权L α * L_CE(学生输出, 硬标签) (1-α) * L_KL(学生软输出, 教师软输出)α的取值直接影响学生学到的知识偏向。α大学生更依赖真实标签α小学生更依赖教师指导。实践中α取0.3到0.7之间具体看标注数据质量和教师质量。标注数据干净且充足α可以大一点标注数据少就多靠教师。KL散度那部分要注意温度缩放。学生和教师的softmax都要除以T最后梯度回传时还要乘T²这是Hinton原论文里的细节很多人实现时漏掉导致梯度量级不对训练不稳定。3.3 中间层蒸馏的几种对齐方式只蒸输出层信息量有限中间层蒸馏能让学生学到更丰富的表示。常见做法注意力对齐让学生模仿教师的注意力矩阵适合Transformer架构特征对齐在学生和教师中间层之间加投影层把维度对齐后算MSE关系蒸馏不直接对齐特征而是对齐样本之间的关系结构注意力对齐在视觉Transformer蒸馏里用得很多。但要注意教师和学生的注意力头数可能不一样需要做映射。我一般用简单的线性投影复杂方案收益不明显。3.4 训练过程中的监控指标蒸馏训练不能只看学生loss还要监控学生和教师输出的一致性。我通常看这几个指标学生top-1和教师top-1的一致率学生输出分布和教师输出分布的KL散度学生中间层特征和教师对应层的CKA相似度如果一致率上不去说明学生容量不够或者蒸馏损失权重有问题。如果KL散度先降后升可能是过拟合了要早停。4. 那些没人走的路自进化与自监督的边界4.1 模型自己生成训练数据可行吗这是模型训练模型最激进的一种形态模型自己生成数据自己标注自己训练。听起来像永动机但实际做起来问题一堆。首先是错误累积。模型生成的数据里必然有错用这些数据训练错误会被放大。一轮两轮可能看不出来迭代几轮后模型就崩了。其次是多样性坍缩。模型倾向于生成它熟悉的模式生成的数据分布会越来越窄最后模型只会那几招。目前比较靠谱的做法是模型生成人工筛选或者模型生成规则过滤纯自动的闭环还没看到稳定work的案例。4.2 自监督学习能走多远自监督学习是模型自己教自己最成功的范式。对比学习、掩码重建、自回归预测都是让模型从数据本身构造监督信号。但自监督有个隐含假设数据里存在足够的结构可以被挖掘。如果数据本身信息量低或者噪声大自监督学到的表示质量就很差。我试过在垂直领域数据上做自监督预训练效果远不如通用领域。原因是垂直领域数据量小、分布窄模型学不到通用规律。这时候还是得靠通用预训练模型做初始化再在垂直数据上fine-tune。4.3 最后一段路模型自主定义学习目标标题里说的最后一段没人走的路我理解是指模型不再依赖人设定的学习目标分类、重建、对比而是自己定义学什么和怎么学。这条路没人走原因很现实第一没有评估标准。如果模型自己定目标你怎么知道它学得好不好现有的所有评估体系都建立在人定义的任务上。第二不可控。模型自主定义目标可能学出一堆人类无法理解的东西工程上没法用。第三算力需求爆炸。自主探索学习目标的搜索空间比固定目标训练大几个数量级。但这条路的方向是清晰的。现在的一些元学习、神经架构搜索工作已经在往让模型参与决定怎么学的方向走了。只是离真正落地还有距离。5. 工程落地中的真实坑与应对5.1 蒸馏后模型部署的格式转换问题训练完的模型要部署经常遇到格式转换的坑。比如Paddle训练的模型怎么把inference.json转成nb格式这个问题我踩过。核心是要用PaddleLite的转换工具而且要注意算子兼容性有些自定义算子在转换时会报错。YOLOv5训练自己的模型后部署到树莓派5也是类似问题。PyTorch模型要先转ONNX再转成目标平台支持的格式。转换过程中最容易丢的是后处理逻辑NMS这些操作有时候不被支持得手动实现。5.2 数据质量比模型结构更重要我做过一个中医问答模型训练项目数据集五十四万条。一开始模型效果怎么调都上不去后来发现是数据里重复和矛盾样本太多。清洗数据后同样的模型结构效果直接提了一大截。这个教训很深刻在模型训练模型的链路里数据质量的影响会被放大。教师模型在脏数据上训出来软标签就是脏的学生学到的也是脏的。5.3 训练平台的选择K210模型训练平台、01科技在线训练模型网站这类工具适合快速验证想法但不适合做深度定制。它们的封装程度高很多底层参数调不了。如果要做蒸馏这种需要精细控制训练过程的实验还是得自己搭环境。Isaac Sim训练模型这类仿真环境适合机器人相关任务但和纯视觉或NLP任务的工具链差别很大迁移成本不低。5.4 评估体系的建立蒸馏模型评估不能只看最终精度还要看和教师模型的行为一致性在不同数据分布上的鲁棒性推理延迟和内存占用对对抗样本的抵抗能力我一般会建一个评估矩阵把学生模型和教师模型在各个维度上对比这样才能全面判断蒸馏是否成功。6. 我对这条路径的判断模型训练模型这条路径从预训练到蒸馏从Transformer到MoE技术栈已经相对成熟。工业界大量在用效果也验证过了。但越往后面走越触及一些根本性问题模型能不能自己定义学习目标能不能在没有人类监督的情况下持续进化。我的判断是短期内三到五年主流还是人设计框架模型填充细节的模式。蒸馏、自监督、MoE这些技术会继续优化但不会出现完全自主的模型。长期看自主定义学习目标这条路迟早有人走但前提是评估体系和可控性技术要先跟上。如果你现在在做相关项目我的建议是先把蒸馏这条链路吃透把教师选择、损失设计、中间层对齐、部署转换这些环节都跑通一遍。这些是基本功也是目前工业界最需要的技能。至于最后那段没人走的路可以先关注但不用急着上路。