1. 从第38期周刊看强化学习的三条主线《强化学习周刊》第38期把三个看起来不太搭边的东西放在了一起DreamingV2、Shadow-price DRL、离线强化学习。我第一眼看到这个组合的时候脑子里冒出来的判断是——这一期其实在讲同一件事的三个侧面样本效率。DreamingV2 解决的是怎么在想象里多学一点Shadow-price DRL 解决的是怎么用对偶价格把约束塞进策略里离线强化学习解决的是怎么在不与环境交互的前提下把已有数据榨干。三条路一个目标。强化学习这个圈子这几年有个很明显的趋势大家不再比谁的网络更大、训练更久而是比谁能在更少交互、更少算力、更少试错成本的前提下把策略训出来。原因很现实——真实环境里的交互太贵了。机器人摔一次要修推荐系统推错一次要掉用户工业控制调错一次可能出安全事故。所以基于模型强化学习离线强化学习约束强化学习这几个方向才会持续热。这篇博文我不打算写成论文摘要合集那种东西网上到处都是。我想做的是把这三个方向拆开讲清楚它们各自的核心机制、适用场景、实操时容易踩的坑以及如果你现在要上手应该从哪一步开始。关键词里出现的因果强化学习IQLLag强化学习多AGV路径规划Gazebo强化学习这些我也会在对应位置自然带进去因为它们恰好是这几个方向在真实项目里的落点。适合谁看如果你已经跑通过DQN、PPO这类基础算法想往样本效率更高的方向走这篇能帮你理清选型思路如果你是从控制、运筹、机器人背景转过来的对约束对偶离线这些词有直觉但不确定在RL里怎么落地这篇也能对上号。纯小白建议先把基础算法跑一遍再回来不然有些取舍你体会不到。2. DreamingV2在想象里学习到底强在哪2.1 从Dreamer到DreamingV2的核心演进逻辑要讲DreamingV2得先讲它继承的东西。Dreamer系列的核心思想是在世界模型里做梦先学一个环境的潜在动力学模型然后让策略在这个模型生成的想象轨迹上训练。这样做的好处是显而易见的——真实环境交互一步想象里可以走几十上百步样本效率直接上一个台阶。DreamerV1、V2、V3一路演进主要在做三件事把世界模型学得更准、把想象轨迹的误差控制得更小、把策略学习从想象里稳定地迁移回真实环境。DreamingV2这个名字里的V2其实暗示了它是在DreamerV2的框架基础上做的改进版本重点通常落在表示学习和想象 rollout 的稳定性上。我自己的理解是DreamingV2这类工作的价值不在于提出一个全新的范式而在于把基于模型强化学习从玩具任务推向更复杂的场景。早期基于模型的方法在CartPole、Pendulum上很漂亮一到高维视觉输入就崩原因是世界模型学不准想象轨迹几步之后就飘了。DreamingV2这一代工作基本都在解决这个飘的问题。2.2 世界模型、想象轨迹与策略学习的三段式结构把DreamingV2拆开它其实是三个模块咬合在一起的表示模型把高维观测比如图像压成低维潜在状态。这一步决定了后面所有事情的上限表示学不好动力学再准也没用。动力学模型含奖励预测在潜在空间里预测下一时刻的状态和奖励。这是做梦的引擎。策略与价值网络在想象出来的潜在轨迹上做actor-critic更新。这三段的关系有点像先学会看懂世界再学会预测世界最后在预测里练本事。很多人上手时容易犯的错是三个模块一起猛调结果loss此起彼伏根本不知道是谁的问题。我的建议是分阶段先把表示模型和动力学模型的重建loss压下去确认想象轨迹在短horizon内不发散再开策略学习。2.3 实操中想象horizon怎么定这是我最想强调的一个参数。想象horizon也就是每次做梦走多少步设得太短策略学不到长程依赖设得太长误差累积学出来的策略在真实环境里直接废掉。一个我实测下来比较稳的经验法则先看你的世界模型在多少步之后预测误差开始明显上升把想象horizon定在那个拐点的70%左右。比如你测出来15步之后重建误差翻倍那horizon就定10步左右。这个值不是拍脑袋是要实测的。具体怎么测固定一批真实轨迹让世界模型从同一个起点开始自回归预测逐步计算预测状态和真实状态的偏差画一条误差随步数增长的曲线。这条曲线在基于模型强化学习里的重要性不亚于学习率曲线。注意想象horizon和训练时的batch长度是两回事。前者是做梦的步数后者是采样批次。别混。2.4 基于模型方法的常见坑与规避踩过的坑列几个重建loss降了但策略不涨多半是表示空间里把和任务无关的信息也编码进去了动力学模型在学一堆没用的细节。解决办法是加KL约束或者用离散潜在变量。想象轨迹方差爆炸动力学模型是确定性的但环境是随机的或者反过来。检查你的模型有没有正确建模随机性。真实环境表现远差于想象典型的model exploitation策略学会了钻世界模型的空子。加集成模型ensemble取最悲观预测或者限制策略偏离数据分布的程度。Gazebo强化学习这类仿真环境里跑基于模型的方法特别合适因为你可以随时暂停、重置、拿真值对比调试世界模型比在真机上方便太多。多AGV路径规划这种任务也是基于模型方法的天然场景——环境动力学相对可预测状态空间结构化程度高。3. Shadow-price DRL把约束翻译成价格3.1 约束强化学习为什么需要影子价格现实任务里几乎没有随便你怎么优化只要回报高就行的情况。机器人有关节力矩上限推荐系统有内容多样性要求电网有功率平衡约束。这类问题统称约束强化学习Constrained RL目标是在满足约束的前提下最大化回报。处理约束最朴素的办法是reward shaping把违反约束的惩罚加到奖励里。但这招的问题在于惩罚系数极难调——调小了约束形同虚设调大了策略变得极度保守回报惨不忍睹。而且同一个系数在不同训练阶段的效果还不一样。Shadow-price DRL的思路来自凸优化里的对偶理论。简单说每个约束对应一个影子价格shadow price也就是拉格朗日乘子。这个价格的含义是约束每放松一个单位最优回报能提升多少。价格高说明这个约束卡得紧价格低说明约束目前不是瓶颈。3.2 拉格朗日乘子如何嵌入策略更新把影子价格嵌进DRL核心是构造拉格朗日函数L(θ, λ) J(θ) - Σ λ_i * (C_i(θ) - d_i)其中J是回报C_i是第i个约束的累计成本d_i是约束阈值λ_i就是影子价格。策略更新时actor朝着最大化L的方向走同时λ也在更新——如果约束被违反λ增大约束的价格上升策略被迫更重视它如果约束满足得很好λ减小策略可以更放开追求回报。这个机制的美妙之处在于它是自适应的。你不需要手工调惩罚系数λ会自己找到平衡点。Lag强化学习Lagrangian RL就是这条路线最直接的实现很多约束RL的baseline都是它。实操时的关键细节λ的更新步长要单独调通常比策略学习率大一点但太大会震荡。λ要有下界0影子价格不能为负否则约束方向就反了。多个约束时λ之间会耦合一个约束放松可能导致另一个变紧要有心理准备。3.3 对偶更新的稳定性问题与调参经验对偶更新最烦人的是震荡。我遇到过λ在0和很大值之间来回跳策略跟着一起抽风。后来总结出几条第一给λ的更新加动量或者用滑动平均别让它一步到位。第二约束成本用累计折扣形式别用瞬时值否则噪声太大。第三训练初期可以先固定λ跑一段等策略有个基本样子了再开对偶更新这样稳很多。还有一个容易被忽略的点约束阈值d_i的设定。设得太紧问题可能根本无解λ会一直涨设得太松约束等于没有。合理的做法是先跑一个无约束版本看看自然情况下约束成本是多少然后把d_i设在那个值的80%左右既有挑战又不至于不可行。3.4 多约束场景下的优先级处理真实项目里往往不止一个约束。比如多AGV路径规划你既要避免碰撞硬约束又想减少总行驶距离软约束还可能有关节速度限制。这时候影子价格机制会自然给不同约束分配不同的重视程度但前提是你的约束成本量纲要大致可比。如果两个约束的量纲差了几个数量级λ的更新会失衡。我的做法是先把每个约束成本归一化到相近范围再让对偶机制去调。这一步不做后面调参能调到怀疑人生。4. 离线强化学习不交互怎么把策略学好4.1 离线RL的核心难点分布偏移离线强化学习的设定很诱人给你一批别人跑出来的数据不许再和环境交互直接学出一个好策略。听起来像监督学习但难点在于分布偏移。监督学习里测试分布和训练分布大致一致。离线RL里你学出来的策略会倾向于选择数据里回报高的动作但这些动作可能只在特定状态下出现过。策略一旦走到数据没覆盖的状态价值估计就会外推外推往往高估高估导致策略更激进越走越偏最后崩掉。这个现象叫extrapolation error是离线RL所有方法都要对付的敌人。4.2 IQL、CQL与TD3BC的取舍主流离线RL方法可以按怎么压制外推来分类方法核心思路适用场景调参难度BCQ限制策略只能选数据里见过的动作数据质量高中CQL在Q值上加正则压低OOD动作的价值通用数据质量参差中高IQL用expectile回归学价值完全避开OOD动作查询数据质量差异大低TD3BC在TD3上加行为克隆正则简单任务快速baseline低IQLImplicit Q-Learning是这几年的热门它的聪明之处在于学价值函数时完全不查询OOD动作。传统Q-learning要max over actions这个max就是外推误差的来源。IQL用expectile回归替代max只在你数据里出现过的动作上做加权从根上绕开了问题。实测下来IQL对超参不敏感是很好的起点。CQL则是另一条路不回避OOD动作而是主动去压低它们的Q值。理论上更完备但调参更麻烦那个正则系数要仔细调。4.3 数据质量对离线训练的决定性影响离线RL有一句行话数据决定上限算法只是逼近上限。你给一批随机策略产生的垃圾数据再牛的算法也学不出好策略。反过来如果数据里已经包含接近最优的轨迹简单方法就能work。所以上手离线RL第一件事不是选算法是分析你的数据集。看几个指标状态覆盖范围、动作分布、回报分布、轨迹长度。如果数据里高回报轨迹占比极低你得考虑是不是要做数据增强或者换数据源。4.4 离线预训练加在线微调的组合拳纯离线RL在工业里落地其实不多更常见的是离线预训练 在线微调。先用离线数据把策略初始化到一个不错的水平再放到真实环境里小步微调。这样既利用了已有数据又保留了适应真实分布的能力。这个组合的关键是微调阶段的学习率要小而且要监控策略偏离离线数据分布的程度。偏离太远离线学到的东西就白费了。可以加一个KL约束让在线策略不要离离线策略太远。5. 因果强化学习与前沿交叉方向5.1 因果推断嵌入RL流程的核心机制因果强化学习Causal RL是这两年比较新的交叉方向。核心想法是普通RL学的是相关性因果RL想学的是干预效应。这在环境有混淆变量、或者你想做策略迁移的时候特别重要。举个直观的例子一个推荐系统观察到用户看了A商品之后买了B商品相关性上A和B有关但因果上可能是用户本来就想买B只是顺手看了A。如果策略学的是相关性它可能会疯狂推A但真正有效的是直接推B。因果RL通过引入干预、反事实推断这些工具试图把这种混淆剥离开。CRL把因果推断工具嵌入强化学习流程关键能力包括识别状态里的因果变量、估计干预下的转移概率、在反事实轨迹上做策略评估。这条路目前还在早期工程落地案例不多但方向很有意思。5.2 多AGV路径规划中的RL落地要点多AGV路径规划是强化学习落地比较实在的场景。状态是各AGV位置和速度动作是速度指令或下一目标点奖励通常包含到达时间、碰撞惩罚、能耗。用RL做这个的难点在于AGV数量一多联合状态空间爆炸。常见做法是参数共享所有AGV用同一个策略网络加局部观测每个AGV只看周围一定范围内的其他AGV。这样策略可以泛化到不同数量的AGV。Gazebo强化学习在这里是很好的训练场因为你可以精确控制物理参数、批量并行多个环境、随时重置。训练好的策略再迁移到真机时主要要处理的是仿真和现实的动力学差异通常加域随机化domain randomization能缓解。5.3 从仿真到真机的迁移注意事项仿真到真机的gap是绕不过去的。几个实操经验观测噪声要建模仿真里传感器太干净真机上一加噪声策略就废。动作延迟要模拟真机执行有延迟仿真里不加策略会学出依赖即时反馈的行为。动力学参数随机化质量、摩擦、电机响应都加扰动逼策略学鲁棒的解。别追求仿真里满分仿真里回报刷太高往往意味着过拟合到仿真动力学真机上反而差。6. 上手路线与常见问题速查6.1 三条路线的选型建议如果你现在要选一个方向上手我的建议是有仿真环境、能大量交互从基于模型强化学习Dreamer系入手样本效率优势明显。有明确约束、不能violate上Lagrangian RL影子价格机制比手工调惩罚省心。只有历史数据、不能交互离线RL先IQL跑baseline再考虑CQL。想做策略迁移、有混淆因素关注因果RL但要有心理准备工程化程度还不高。6.2 常见问题排查表现象可能原因排查方向想象轨迹发散世界模型误差累积缩短horizon检查动力学loss约束一直违反λ更新太慢或阈值太紧调λ学习率放宽d_i离线策略在线上崩分布偏移加KL约束降微调学习率多AGV策略不泛化状态表示不含邻居信息改局部观测参数共享仿真好真机差域gap加域随机化建模延迟和噪声6.3 我个人踩过的几个坑最后分享几个我自己踩过的坑。第一别一上来就上最复杂的算法。我见过太多人直接上CQL调了两周没work换成IQL一天就出结果。baseline先跑通再谈改进。第二日志要记全。约束RL里λ的变化曲线、离线RL里Q值的分布、基于模型方法里想象误差曲线这些不记下来出问题你根本不知道从哪查。第三评估要独立。训练时的回报和真实评估的回报经常对不上尤其是离线RL。一定要留一批独立评估数据或者独立环境别拿训练指标骗自己。第四复现别人的结果时先复现超参。强化学习对超参极度敏感论文里的结果往往建立在精细调参上。你换了环境换了数据超参基本都要重调别指望直接抄。这几个方向我后续还会继续跟尤其是因果RL和离线RL的结合感觉是有搞头的。有在做的朋友欢迎交流。