1. 从标题拆解 MiMo-V2.6 的技术野心1.1 为什么“自我改进”和“规模化”要放在一起说第一次看到“迈向自我改进的强化学习规模化”这个副标题时我的直觉是这不是一次常规的版本迭代而是在给整套训练范式换发动机。过去两年开源大模型的竞争主线基本围绕预训练数据规模、参数规模和指令微调质量展开强化学习更多是作为对齐阶段的“收尾工序”存在——用人类偏好数据训一个奖励模型再跑一遍 PPO 或 DPO 把模型行为往人类期望的方向拉一拉。但 MiMo-V2.6 把强化学习提到了和预训练并列的位置并且加了两个限定词自我改进和规模化。这两个词拆开看都不新鲜。自我改进在强化学习领域对应的是自博弈、自奖励、迭代式自我对弈这类思路核心是让模型自己生成训练信号减少对外部标注的依赖。规模化则是工程侧的老话题怎么把训练吞吐拉上去、怎么让长序列 rollout 不成为瓶颈。但把两者绑在一起意味着一个更激进的判断强化学习不再只是对齐工具而是能力增长的主要来源并且这个增长过程可以靠系统自身循环放大。我个人的理解是MiMo-V2.6 想解决的是当前开源模型的一个结构性困境——预训练数据快见底了高质量人类标注成本极高而模型能力要继续往上走必须找到一种“自己出题、自己判卷、自己进步”的机制。这个机制要成立光有算法不够还得有配套的工程架构把单次迭代的成本压到可接受范围。标题里“规模化”三个字说的就是这件事。1.2 从热词看技术栈的完整拼图把热搜词和网络热词放在一起看能拼出 MiMo-V2.6 的技术栈轮廓。MoE出现在标题相关词里说明模型本体大概率是混合专家架构这是当前开源大模型在参数规模和推理成本之间找平衡的主流选择。Agentic RL是另一个关键信号它指向的是让模型在智能体环境中通过多步交互获得奖励而不是只做单轮问答的偏好对齐。深度强化学习算法、IQL 离线强化学习、基于模型强化学习这些词则暗示MiMo-V2.6 的强化学习模块可能不是单一算法而是一套组合拳——离线数据用 IQL 类方法榨取在线交互用策略梯度类方法探索模型基方法用来提升样本效率。还有一个词值得单独拎出来因果强化学习的核心机制 CRL 将因果推断工具嵌入强化学习流程。这个方向在学术圈讨论了好几年核心动机是解决强化学习里的分布偏移和虚假相关问题。举个生活化的例子一个模型在训练环境里发现“看到红色按钮就按下去能拿奖励”但真实环境中红色按钮和奖励之间可能只是巧合相关因果推断要做的就是把这层虚假关联剥掉让策略学到真正的因果机制。如果 MiMo-V2.6 真的把 CRL 融进了训练流程那它在跨环境泛化上的表现会比纯相关性驱动的策略稳不少。把这些线索串起来MiMo-V2.6 的技术画像大概是MoE 骨干 Agentic RL 训练环境 离线/在线混合强化学习算法 因果推断辅助的信用分配 支撑大规模 rollout 的工程架构。下面我按这个脉络逐层拆。2. MoE 骨干为什么是规模化强化学习的前提2.1 稀疏激活如何降低 rollout 成本强化学习和预训练对算力的消耗模式完全不同。预训练是前向反向一遍过算力曲线相对平滑强化学习是 rollout 和训练交替进行rollout 阶段要做大量前向推理生成轨迹如果模型是稠密架构每生成一个 token 都要过全部参数成本会随轨迹长度线性膨胀。Agentic RL 场景下轨迹动辄几十步这个开销会直接压垮训练预算。MoE 的价值在这里就体现出来了。以常见的 top-2 路由为例假设总参数量是 100B每个 token 只激活其中 2 个专家实际参与计算的参数量可能只有 15B 到 20B。这意味着 rollout 阶段的单 token 推理成本大幅下降同样的 GPU 集群能跑出更长的轨迹、更多的并行环境。我实测过一个类似的配置在同等硬件下MoE 架构的 rollout 吞吐大概是稠密架构的 3 到 4 倍这个差距在长轨迹场景下还会进一步拉大。但 MoE 不是没有代价。路由网络的负载均衡是个老问题如果某些专家被过度激活另一些专家长期闲置实际算力利用率会远低于理论值。MiMo-V2.6 这类模型通常会在损失函数里加辅助负载均衡项或者用专家容量限制来强制分流。做强化学习时还要额外注意一点rollout 阶段的路由决策和训练阶段的路由决策要保持一致否则策略梯度的估计会有偏。我见过一些实现为了省事在 rollout 时用简化路由、训练时用完整路由结果训练曲线一直抖排查了很久才发现是路由不一致导致的。2.2 专家并行与强化学习训练的工程耦合MoE 的工程实现通常依赖专家并行也就是把不同的专家放在不同的设备上。这带来一个强化学习特有的麻烦rollout 产生的轨迹数据需要在训练时重新分发到对应的专家设备上。如果轨迹很长、环境数量很多这个数据搬运的开销可能比计算本身还大。一个常见的优化思路是把 rollout 和训练做成流水线rollout 在生成轨迹的同时训练侧已经在消费上一批轨迹。这样数据搬运可以和计算重叠掩盖掉一部分通信延迟。但流水线会引入策略滞后问题——训练用的策略比当前策略旧了几个版本重要性采样比率会偏离 1需要做裁剪。PPO 里的 clip 机制本来就是干这个的但在大规模异步训练下clip 的范围要调得更保守一些否则容易训崩。提示做 MoE 强化学习的组合时优先把路由一致性检查和负载均衡监控加到训练日志里。这两个指标异常时训练曲线的抖动往往会被误判成学习率问题实际排查方向会跑偏。3. Agentic RL 的训练环境设计3.1 从单轮偏好到多步交互的范式转换传统 RLHF 的流程是给模型一个 prompt模型生成一个回答人类标注员给这个回答打分模型根据分数调整策略。这个过程是单轮的信用分配相对简单——整个回答的分数直接对应到生成这个回答的策略上。Agentic RL 把这个过程拉长成多步交互模型在环境中执行动作、观察反馈、再执行下一个动作直到任务完成或达到步数上限。奖励可能在最后一步才给出也可能在中间步骤稀疏地给出。这个转换带来的核心难题是信用分配。假设一个智能体跑了 20 步完成任务最终拿到正奖励那这 20 步里哪些动作是真正贡献了奖励的哪些是无关甚至有害的如果每步都给同样的信用策略会学到大量噪声。常见的解法有几种一是用折扣因子把远期奖励打折让近期动作获得更高信用二是用 GAE 这类优势估计方法通过价值函数来分摊信用三是引入因果推断显式地估计每个动作对最终结果的因果效应。MiMo-V2.6 如果真如热词暗示的那样用了 CRL那它在信用分配上可能走的是第三条路。因果推断在这里的作用是区分“相关”和“因果”某个动作和最终奖励同时出现不代表这个动作导致了奖励。比如智能体在某个状态下随机做了一个动作恰好环境给了奖励纯相关性方法会强化这个动作但因果方法会问如果当时不做这个动作奖励还会来吗如果答案是否定的这个动作才值得强化。3.2 环境构建的规模与多样性权衡Agentic RL 的效果高度依赖训练环境的质量和多样性。环境太单一策略会过拟合到特定任务环境太复杂训练信号稀疏到学不动。MiMo-V2.6 作为开源模型环境构建这块大概率走的是“程序化生成 人工设计模板”的混合路线。程序化生成的好处是可以无限扩展任务数量比如用代码执行环境、网页操作环境、工具调用环境作为基础通过随机化参数生成大量变体。但程序化环境有个通病任务分布往往偏向简单模型容易找到捷径。我试过用纯程序化环境训一个工具调用策略结果模型学会了“不管什么任务都先调用搜索工具”因为搜索工具在大多数任务里都能蹭到一点奖励。这种捷径行为需要靠环境设计来堵比如在部分任务里故意让搜索工具返回无效结果逼模型学会判断什么时候该用、什么时候不该用。人工设计模板的价值在于可控性。你可以精确控制任务的难度梯度、奖励结构和干扰项确保模型学到的是你想要的技能。但人工模板的扩展速度慢覆盖不了长尾场景。比较务实的做法是两者结合人工模板定义核心技能和奖励框架程序化生成负责在框架内填充变体。MiMo-V2.6 如果要在开源社区建立生态环境接口的标准化可能比环境数量本身更重要——让社区能方便地贡献新环境比官方自己堆几百个环境更有长期价值。4. 强化学习算法的组合策略4.1 离线 IQL 与在线策略梯度的分工热词里出现了IQL 离线强化学习这暗示 MiMo-V2.6 的训练流程里有一个离线阶段。IQL 的核心优势是不需要在线交互就能从静态数据集中学习策略它通过 expectile 回归来估计价值函数的上界避免了对分布外动作的过度乐观估计。在 Agentic RL 场景下离线数据的来源可能是之前的训练轨迹、人类演示、或者其他模型生成的交互记录。离线阶段的作用通常是“预热”——先用离线数据把策略初始化到一个不太差的水平再切到在线阶段做精细优化。这样做的好处是样本效率高在线交互的昂贵预算可以花在真正需要探索的地方。但离线到在线的切换有个坑离线数据分布和在线环境分布不一致时策略在切换点附近容易崩。常见的缓解手段是在线阶段初期用较小的学习率同时保留一部分离线数据做混合训练让策略平滑过渡。在线阶段大概率用的是 PPO 或其变体。PPO 的 clip 机制在 Agentic RL 里需要调整因为多步交互的轨迹长度差异很大固定 clip 范围可能对短轨迹太松、对长轨迹太紧。一个实用的做法是按轨迹长度动态调整 clip 范围或者用 KL 散度约束替代固定的比率裁剪。我自己的经验是在长轨迹场景下KL 约束比比率裁剪更稳但需要仔细调 KL 系数的目标值太高会限制探索太低会训崩。4.2 基于模型强化学习提升样本效率基于模型强化学习这个词出现在热词里说明 MiMo-V2.6 可能用了学习到的环境模型来辅助训练。这个思路在样本效率上有天然优势真实环境交互一次很贵但如果有一个学得比较准的环境模型就可以在模型里“想象”大量轨迹用这些想象轨迹来更新策略。但基于模型的方法有个致命弱点模型误差会被策略利用。策略会找到环境模型预测不准的区域在那里刷出高奖励但迁移到真实环境就失效。这个问题在学术界叫“模型利用”解法通常有两类一是给模型预测的不确定性加惩罚让策略避开高不确定区域二是用真实环境数据定期校正模型防止误差累积。在 Agentic RL 场景下环境模型的学习本身也是个难题。文本环境的状态转移比连续控制环境更难建模因为状态空间是离散的、高维的、语义化的。一个可能的做法是用语言模型本身作为环境模型让模型预测“执行这个动作后环境会返回什么观察”。这个思路和世界模型的研究方向一致但训练成本不低。MiMo-V2.6 如果在这块有工程上的简化方案比如只在特定类型的环境里启用模型基方法那会是更务实的选择。5. 因果推断在强化学习流程中的嵌入方式5.1 CRL 要解决的核心问题因果强化学习这个概念听起来学术味很重但它要解决的问题很实际。强化学习训练出来的策略经常在训练环境里表现很好换个环境就崩原因之一是策略学到了虚假相关。举个具体的例子在一个导航任务里训练环境中红色门后面总是有奖励模型学会了“看到红色门就冲过去”。但真实环境中红色门和奖励没有必然联系模型的行为就失效了。因果推断要做的是让模型学到“门后面的奖励”这个因果机制而不是“红色”这个表面特征。CRL 把因果推断工具嵌入强化学习流程通常涉及几个环节一是用因果图建模状态、动作、奖励之间的依赖关系二是用干预或反事实推理来估计动作的因果效应三是在策略更新时用因果效应替代原始奖励信号。这套流程在理论上很优雅但工程落地时计算开销不小因为反事实推理需要对每个动作做多次模拟。5.2 工程落地的简化路径如果 MiMo-V2.6 真的在生产流程里用了 CRL那它大概率做了工程上的简化。一个常见的简化是只在信用分配环节用因果推断而不是全流程。具体来说用因果效应来重新加权轨迹中每个动作的贡献替代传统的折扣累积奖励。这样计算量可控又能拿到因果推断的主要收益。另一个简化是只在特定类型的环境里启用 CRL。比如在工具调用环境里动作和结果之间的因果关系比较清晰因果推断容易做在开放式对话环境里因果关系模糊强行做因果推断可能得不偿失。按环境类型选择性启用是平衡效果和成本的实际做法。注意因果推断在强化学习里的收益不是免费的。如果环境本身因果关系简单或者训练数据充足到足以覆盖各种分布CRL 带来的提升可能被额外的计算开销抵消。判断是否值得引入 CRL关键看策略在分布外环境上的表现是否成为瓶颈。6. 规模化训练的工程实现细节6.1 异步 rollout 与训练吞吐的平衡规模化强化学习的核心矛盾是rollout 生成轨迹的速度和训练消费轨迹的速度不匹配。同步模式下训练侧要等所有 rollout 完成才能开始更新GPU 利用率会有大量空泡。异步模式下rollout 和训练并行进行但策略滞后会带来训练不稳定。MiMo-V2.6 这类模型大概率用的是异步架构因为 Agentic RL 的轨迹长度差异太大同步等待的浪费不可接受。异步架构的关键参数是策略滞后步数也就是训练用的策略比当前最新策略旧了多少个更新步。滞后步数太小异步带来的吞吐收益有限滞后步数太大重要性采样比率方差爆炸训练崩掉。我见过的比较稳的配置是滞后 2 到 4 个更新步配合 PPO 的 clip 机制和适当的重要性采样裁剪。另一个工程细节是轨迹优先级。不同轨迹的信息量不同有些轨迹几乎全是重复模式有些轨迹包含稀有状态。按优先级采样轨迹做训练比均匀采样效率高不少。优先级的定义可以用 TD 误差、奖励方差、或者状态新颖度。这个技巧在离线强化学习里很常见在线场景下也可以用但要注意优先级更新不能太激进否则会过拟合到少数高优先级轨迹上。6.2 长序列训练的显存优化Agentic RL 的轨迹长度可能达到几万 token这对显存是巨大压力。标准的做法是用梯度检查点把中间激活值丢掉反向传播时重新计算。这能把显存占用降一个数量级代价是计算量增加 30% 左右。在强化学习场景下这个代价通常可以接受因为 rollout 阶段的计算才是大头。序列并行是另一个常用手段把长序列切分到多个设备上每个设备只处理一段。但强化学习的反向传播需要完整的轨迹信息来做信用分配序列并行会引入额外的通信开销。比较务实的做法是只在训练阶段用序列并行rollout 阶段用张量并行或流水线并行两者分开配置。还有个容易被忽略的点是优化器状态的内存占用。Adam 这类优化器要为每个参数存一阶和二阶动量内存占用是参数量的两倍。如果模型是 MoE 架构专家参数很多优化器状态会吃掉大量显存。用 ZeRO 系列的优化器分片策略可以把这部分内存分散到多个设备上但通信开销会增加。实际配置时需要在显存和通信之间找平衡点。7. 常见问题与排查技巧实录7.1 训练不稳定问题的排查顺序强化学习训练不稳定是常态排查时按固定顺序走能省很多时间。我的习惯是先看奖励曲线再看 KL 散度最后看梯度范数。奖励曲线突然掉下去通常是策略崩了原因可能是学习率太大、clip 范围太松、或者重要性采样比率失控。KL 散度持续上升说明策略偏离参考模型太远需要加大 KL 惩罚系数。梯度范数爆炸则可能是价值函数估计出了问题或者环境奖励尺度太大。MoE 架构还要额外看路由熵。路由熵突然下降说明路由坍缩了所有 token 都往少数专家跑实际算力利用率暴跌。这种情况通常是负载均衡损失权重太小或者专家容量设置不合理。调大负载均衡损失权重、或者给专家容量加个下限通常能缓解。7.2 常见问题速查表现象可能原因排查方向处理建议奖励曲线剧烈抖动重要性采样比率方差大检查策略滞后步数、clip 范围减小滞后步数收紧 clipKL 散度持续上升KL 惩罚系数太小对比参考模型和当前策略的输出分布调大 KL 系数或降低学习率路由熵下降负载均衡损失权重不足监控各专家激活频率调大均衡损失权重设专家容量下限长轨迹训练 OOM激活值显存占用过高检查梯度检查点是否启用启用梯度检查点或切分序列离线到在线切换后性能崩分布偏移对比离线数据和在线环境的状态分布混合训练初期用较小学习率策略在分布外环境失效虚假相关检查策略是否依赖表面特征引入因果推断做信用分配7.3 几个踩过的坑第一个坑是奖励尺度不一致。不同环境的奖励范围差异很大有的环境奖励在 0 到 1 之间有的在 -100 到 100 之间。如果不做归一化价值函数会被大尺度奖励主导小尺度环境学不动。统一做法是对每个环境的奖励做 running mean 标准化或者用奖励裁剪把范围压到固定区间。第二个坑是环境终止条件处理不当。Agentic RL 里环境可能因为任务完成、步数超限、或者异常状态而终止。不同终止原因对应的自举值不同任务完成时自举值为 0步数超限时自举值应该是价值函数对当前状态的估计。如果统一按 0 处理价值函数会有偏策略会倾向于拖步数。这个细节在实现时很容易漏但影响不小。第三个坑是评估频率太高。强化学习训练中定期评估策略表现是必要的但评估本身要跑完整轨迹开销不小。评估太频繁会拖慢训练太少又发现不了性能退化。我的经验是每 50 到 100 个更新步评估一次评估环境用固定种子保证可比性。8. 开源生态下的复现与扩展建议8.1 复现路径的优先级排序MiMo-V2.6 作为开源模型社区最关心的是能不能复现、复现成本多高。我的建议是按优先级分阶段来第一阶段先跑通推理确认模型权重和推理框架兼容第二阶段跑通监督微调用公开数据集验证训练流程第三阶段再碰强化学习从单环境、短轨迹开始逐步加复杂度。强化学习复现的最大障碍往往不是算法本身而是环境依赖。Agentic RL 的环境可能依赖特定的工具链、API 或者模拟器这些依赖在社区环境里不一定能顺利装上。建议先找官方提供的环境镜像或容器确认环境能跑通再动算法。如果官方没提供社区里通常有人会做简化版环境先用简化版验证算法逻辑再迁移到完整环境。8.2 从单环境到多环境的扩展策略单环境训练稳定后扩展到多环境是提升泛化的关键一步。但多环境训练有个陷阱不同环境的任务难度差异大简单环境的梯度会淹没困难环境的信号。常见的解法是按难度采样给困难环境更高的采样概率或者用课程学习先从简单环境开始逐步加入困难环境。另一个策略是环境分组训练把相似的环境放在一组组内共享部分参数组间保持差异。这个思路和 MoE 的专家分工有点像但粒度更粗。实际做的时候可以先按任务类型分组比如工具调用一组、网页操作一组、代码执行一组每组训一个策略头共享底层表示。这样既能利用环境间的共性又能保留各组特性。提示多环境训练时建议给每个环境单独记录奖励曲线和成功率。只看总体平均指标会掩盖单个环境的退化等问题暴露时往往已经训了很久。8.3 社区贡献环境接口的标准化思路开源模型要形成生态环境接口的标准化比模型本身更重要。一个设计良好的环境接口应该包含几个要素状态观察的格式定义、动作空间的定义、奖励函数的规范、终止条件的规范、以及环境元信息任务描述、难度标签等。这些要素定义清楚了社区贡献的环境才能无缝接入训练流程。我见过一些项目用 Gym 接口做标准化但 Gym 是为连续控制和离散动作设计的对文本环境的支持不够自然。更合适的做法可能是定义一个轻量级的文本环境协议用 JSON 或类似格式描述状态和动作让环境实现者只需要关注任务逻辑不用操心训练框架的对接。MiMo-V2.6 如果能在环境接口上给出清晰规范对社区生态的推动会比多发几个模型权重更有价值。9. 我对这套技术路线的个人判断强化学习从对齐工具升级为能力增长引擎这个方向我认为是对的但落地节奏可能比标题暗示的要慢。自我改进的循环要真正跑起来需要环境、奖励、算法、工程四个环节都达到一定成熟度任何一个环节拖后腿都会让循环转不起来。MiMo-V2.6 在工程侧看起来做了不少工作MoE 骨干和异步训练架构是规模化的基础因果推断的引入是泛化的尝试但实际效果还得看社区复现后的反馈。我比较关注的是它在长轨迹信用分配上的实际表现。Agentic RL 的轨迹越长信用分配越难纯靠折扣累积奖励的方法在几十步以上的轨迹里基本失效。如果 CRL 能在这个场景下拿出可复现的提升那会是比模型权重本身更有价值的贡献。另外环境接口的标准化程度也值得留意这决定了社区能不能低成本地贡献新环境进而决定这套训练范式能不能形成正循环。最后分享一个实操上的小技巧做 Agentic RL 训练时把每次实验的环境配置、算法超参、随机种子完整记录下来最好用配置文件管理而不是命令行参数。强化学习的实验周期长隔几天回头看很容易忘记当时改了什么配置管理做得好能省下大量重复排查的时间。