world model 这几年在 AI 圈里出镜率越来越高强化学习、视频预测、多模态大模型都在提这个概念。我最早被它吸引是因为被无模型强化学习的采样效率折磨得够呛想训练一个会过迷宫、会开车、会抓物体的智能体环境里动辄跑上百万步真实世界里的机器人根本试不起。World Model 的思路完全不同它更像是把环境“搬进”模型的脑子里先脑补、后执行很多策略在虚拟预演里就能完成评估。这篇内容不是学术综述而是我实际做 World Model 项目时的实操笔记。我会先用生活化的方式讲清楚它解决了什么问题再拆解它的三大核心模块接着给出一套从零训练的标准流程和关键参数最后把我踩过的坑、排查思路整理成速查表。无论你是刚接触强化学习的新手还是已经在做视频预测、模型预测控制的老手这套笔记应该都能帮你少走不少弯路。1. 一个能“脑补”出来的环境1.1 World Model 到底解决了什么痛点先把痛点放桌上。传统强化学习里智能体只能在真实环境里“试错”每一步都要和环境交互才能拿到状态转移和奖励。这种在线采样的方式有个致命问题训练成本极高。一个简单的 2D 赛车游戏想要学到基本的漂移过弯动辄需要几十万步交互换成机械臂抓取这种真实物理任务现实世界根本不允许你跑几千次实验。World Model 的核心思路就是既然智能体要的是环境的规律那不如先把规律本身学出来。具体来说我们会训练一个模型让它学会“环境对未来会怎么演化”的预测能力。这个模型输入当前状态和智能体的动作输出对下一秒甚至未来几十步的预测。一旦这个模型够准智能体就可以在模型的“想象空间”里疯狂试错完全不需要触碰真实环境。训练一个能在脑子里跑几十万步的虚拟世界比在现实里跑几十万步便宜太多了。我用一个生活化的类比来解释考驾照的时候学员先在模拟器里练习科目二等模拟器里已经不会压线、不会熄火了再上真车。真车驾驶次数有限、撞坏了要花钱但模拟器可以无限次重开。World Model 就是那台模拟器而强化学习智能体就是那个学员。这里要先澄清一个容易混淆的边界深度学习里的生成模型也能生成未来帧视频预测模型也能预测下一帧但它们不一定算 World Model。真正的 World Model 强调两件事第一它要能压缩高维观测比如把一帧 64×64×3 的图像压缩成几十维的向量第二它要在压缩后的空间里预测长期未来。只会在像素上做几帧外推的模型并没有建立“世界”的概念它更像是个视频插值器。1.2 World Model 和常见模型的边界在哪里我在做项目初期经常被一个问题困扰是不是只要能用神经网络预测下一步就算 World Model答案是否定的。传统 model-based RL 的做法是用一个状态转移函数预测下一个状态但这通常假设状态已经是低维向量比如位置、速度、关节角。而真实环境给到智能体的往往是图像、点云这类高维观测直接把像素丢给预测网络计算量和噪声干扰都是灾难。World Model 给出的解法是分两步走。先做一个“压缩器”把高维像素变成紧凑的潜变量再在这个潜空间里做动力学预测。这样做的好处是预测目标从“生成一张清晰的未来图”变成了“预测几十个数字的分布”。前者要处理像素层面的细节比如叶片颤动、光影变化这些细节对任务往往不重要后者只需要保留对决策有意义的语义信息比如障碍物在哪里、车速是多少、前方有没有弯道。另一个边界在于World Model 不一定要做策略决策。它负责的只是“世界会怎么变”至于智能体该怎么做那是 policy 模块的事。很多初学者会把二者混为一谈拿着一个训练好的 World Model 去问“为什么它不能直接帮我规划路径”其实是因为没有接上决策模块。World Model 提供了想象空间决策模块负责在想象空间里找最优动作两者是上下游关系。如果从概率图模型的角度看World Model 在学的是一个条件概率分布 P(z_{t1}, r_t | z_t, a_t)其中 z_t 是压缩后的状态a_t 是动作。它和时间序列模型、隐马尔可夫模型的区别在于World Model 明确把“环境动态”和“观测生成”分开建模并且都是在高维、部分可观测的环境中工作。这也是它能在机器人、自动驾驶、游戏 AI 这些场景里落地的根本原因——现实世界基本都是高维且部分可观测的。2. 拆开看 World Model 的三大模块2.1 视觉压缩模块把高维画面变成向量最早把 World Model 做成完整系统的是 David Ha 和 Jürgen Schmidhuber 在 2018 年发表的论文。他们把整个模型拆成了三个模块VVision、MMemory、CController。我在实践里基本沿用了这个框架因为它清晰到可以直接照抄。V 模块即视觉压缩模型通常用变分自编码器VAE实现。它的任务是读入一帧图像把它编码成一个低维潜变量 z然后再从 z 重建出图像。关键在于这个 z 就是智能体对“当前世界状态”的抽象理解。我们不需要让 z 保留所有像素信息只需要保留能重建出画面、且对预测下一步有帮助的信息。VAE 天然适合这个任务因为它强迫潜变量服从某种先验分布让 z 的每个维度都有明确的概率解释。我实际训练时最常踩的坑是潜变量维度的选择。维度太小比如只有 8 维模型为了强行压缩信息会把很多关键细节抹掉重建画面糊成一片维度太大比如 256 维理论上表达能力更强但动力学模型要预测的维度也变多了反而更难训。我常用的起点是 32 维对应一个 64×64 的灰度或 RGB 图像实测下来性价比最高。VAE 的训练目标包含两项重建损失和 KL 散度。重建损失保证 z 能还原图像KL 散度保证 z 的分布在结构上是良好的。这里有个容易被忽略的细节KL 项的权重需要单独调。权重设得太大模型会走捷径把所有输入都编码成同一个 z因为这样 KL 散度最低但完全忽略了输入信息这就是著名的“后验坍缩”问题。我的经验是先让 KL 权重保持很小比如 0.01等重建损失降到平台期再慢慢调大权重。2.2 记忆与动力学模块让“脑内模拟”成为可能有了压缩后的潜变量 z下一步就要学习“世界的动态规律”也就是 M 模块。M 模块接收当前隐状态 h 和当前动作 a输出对下一个潜变量 z 的概率分布。最经典的实现是 MDN-RNN即混合密度网络加循环神经网络。为什么不用简单的 LSTM 直接输出一个确定性的 z因为真实环境的演化往往是多模态的。举个例子你开车到一个十字路口既可能直行也可能转弯单靠一个高斯分布很难描述这种不确定性如果把两种可能平均成一个中间值那既不是直行也不是转弯预测就废了。MDN 的做法是让网络输出多个高斯分布的混合每个高斯有自己的均值和方差同时输出一个权重系数表示每种情况的概率。这样模型可以说“有 60% 概率左转40% 概率直行”这是对真实未来更诚实的描述。在训练 M 模块时输入的是 VAE 编码出来的真实 z 序列输出是对下一个 z 的预测。预测目标不需要是精确的 z_t而是整个分布。训练用的损失是负对数似然也就是让真实出现的 z 在预测分布下概率尽量高。这里我特别想提醒一件事如果只用单步预测损失来训练 M模型往往只能学会“预测下一步”等到实际使用时要连续 rollout 几十步误差会像滚雪球一样累积。我通常会在训练时随机截取长度为 10 到 100 的序列让模型在多个时间尺度上做预测虽然训练时间会长一些但长期稳定性明显更好。M 模块是整个 World Model 里最像“世界”的部分。它不关心像素长什么样只关心世界在抽象的语义空间里如何演化。很多性能瓶颈也出在 M 模块VAE 压缩得再好如果 M 预测不准想象空间就是空中楼阁。所以我在项目里会把大部分调试时间花在 M 上而不是 V 上。2.3 控制器在想象中学会行动最后是 C 模块也就是策略网络。它的输入是当前潜变量 z 和记忆隐状态 h输出是动作 a。在训练过程中智能体并不和真实环境交互而是在 M 模块构建的“梦境”里做决策。具体说从初始状态出发C 根据当前 z 和 h 输出动作M 根据动作和当前状态预测下一时刻 z 的分布智能体从这个分布中采样一个 z 作为新状态然后重复这个过程。这样一条完整的想象轨迹连同奖励一起就是训练策略的数据。策略的训练可以用常见的强化学习算法比如 PPO也可以用进化算法 CMA-ES。我第一次实现时用的是 CMA-ES因为它几乎不需要调超参数只需要定义奖励函数就行。在想象空间里跑几百条轨迹评估累计奖励然后用进化策略更新控制器参数循环往复。这一步的速度非常快因为纯神经网络推理要比环境模拟快几个数量级。这里有一个初学者很难理解的点C 模块输入的 z 是低维潜变量不是原始图像为什么部署到真实环境时也能直接用因为 VAE 在训练时已经建立了像素到 z 的编码器真实环境里先用 V 编码器把图像变成 z再喂给 C整条链路是一致的。所以只要 V 模块能处理真实分布的数据C 就能正常工作。这也是 World Model 天然适合 sim-to-real 的原因之一。三大模块之间的关系可以用下表概括模块职责典型实现输入输出V 视觉压缩高维观测到潜变量VAE原始图像z潜变量M 记忆动力学潜空间中的动态预测MDN-RNNz, a, hz 的概率分布C 控制器在想象中做决策CMA-ES / PPOz, h动作 a这套架构最让我佩服的地方在于“分工明确”V 负责压缩感知M 负责预测动态C 负责决策推理每一块都能独立调试、独立替换。如果换了一个新环境我通常只需要重新训练 V 和 MC 可以继承大部分基础策略这在实际项目里省了很多时间。3. 从零训练一个 World Model 的实操流程3.1 环境选择和数据收集要练手不建议一上来就选太复杂的环境。DQN 时代大家爱用 Atari但 Atari 的画面噪声和任务复杂度对 World Model 来说都不算友好。我推荐从自定义的 2D 迷宫或者 OpenAI Gym 里的 CarRacing 开始这两种环境状态清晰、奖励明确、可视化方便适合验证模型是否真的学到了规律。数据收集阶段的核心原则是“覆盖面要广”。用一个随机策略或者带探索噪声的策略在环境里跑足够多的步数把图像、动作、奖励全部存下来。这个阶段不需要任何智能策略因为目标是让 VAE 见过足够多样的画面同时让 RNN 见过足够多样的状态转移模式。我以前犯过错误为了省时间只收集了 2 万步数据结果 VAE 在常见场景里表现很好但一旦遇到训练集中少见的转角画面就彻底崩掉。一般 5 万到 10 万步是一个比较稳妥的起点数据量取决于环境的复杂程度宁可多存一点也不要后面回头补数据。收集到的数据需要保存成统一的格式我习惯存成 HDF5 文件里面有图像数组、动作数组、奖励数组。图像统一 resize 到 64×64方便 VAE 处理。注意动作空间需要归一化到 [-1, 1]这会直接影响 M 模块的训练稳定性。3.2 VAE 训练的关键参数VAE 训练可以照搬我常用的这组参数实测下来稳定性很好输入图像64×64×3像素归一化到 [0, 1]编码器4 层卷积通道数 32/64/128/256潜变量维度32KL 权重0.01先小后调优化器Adam学习率 3e-4Batch size128Epoch50 到 100视重建损失是否收敛而定训练过程中我会关注两个指标重建损失和 KL 散度。如果重建损失下降很慢而 KL 散度几乎为 0说明模型陷入了后验坍缩此时把 KL 权重调小是最快的解法。如果重建损失很低但 KL 散度非常大说明潜变量维度利用不够充分可以考虑把维度再加大一点。另外我对 VAE 的 decoder 结构也特意做了调整。与其用一层反卷积直接输出整张图不如在 decoder 中间加一层小尺寸的 feature map这样重建图像的边缘细节会更清楚。这个小改动不复杂但对后续 M 模块的训练很有帮助因为 z 向量里如果能保留更细的空间信息M 做预测的时候就不容易丢失关键线索。3.3 MDN-RNN 训练和想象策略训练VAE 训好后先把所有训练图像编码成 z 序列再拿 z 序列训练 M 模块。M 模块我用的配置是LSTM 隐层 256混合高斯组分数量设为 5。训练时随机从数据里截取长度 50 的序列每一步输入 (h, a, z)预测目标设为下一个 z 的分布。损失函数是负对数似然这里要注意z 的分布是 VAE 编码器输出的是均值和对数方差M 模型预测的也是 z 的分布但两者要独立处理不能混为一谈。M 训练完成后进入“梦境训练”阶段。这个阶段的代码其实非常简洁取一个初始状态 z_0初始隐状态 h_0 为零向量控制器 C 根据 (z_t, h_t) 输出动作 a_tM 模型根据 (h_t, a_t, z_t) 输出下一时刻 z 的分布从中采样出 z_{t1}把 (z_{t1}, a_t) 反馈给控制器继续循环每一步从环境奖励模型中拿到奖励累计起来作为这条想象轨迹的总回报。控制器我用的是 PPO因为它对超参数的敏感性较低而且能直接利用想象轨迹做多轮更新。PPO 里我特别关注的是 GAE广义优势估计的 lambda 值一般设成 0.95。这个值太小优势估计会偏短视太大方差又会上升。在想象空间里训练还有个好处每轮可以抽几千条平行轨迹并行度很高一张中端 GPU 就能在几分钟内跑完一轮策略迭代。整个流程训完我自己习惯做一个验证把训练好的控制器接回真实环境让它跑几个 episode把真实轨迹和想象轨迹做对比。如果真实轨迹的累计奖励和想象轨迹相差很大说明 VAE 或 M 模块对真实环境的拟合还不够好需要补数据或者调参。这个验证不能省它是判断 World Model 是否真正学到了环境规律的重要依据。4. 当代 World Model 的进化方向从 Dreamer 到扩散模型4.1 Dreamer 系列把想象训练做到极致MDN-RNN 那套架构虽然经典但在复杂环境中训练容易不稳定因为它把“压缩”和“动态预测”分成了两个独立的训练阶段。后来的 Dreamer 系列把这两者统一到一个端到端的框架里通过 RSSM循环状态空间模型学习潜变量动态再用一个单独的价值网络在预测轨迹上做策略优化。RSSM 最大的改进是引入两种潜变量确定性变量和随机变量。确定性变量由 RNN 维护负责记住长期依赖随机变量负责描述当前时刻的不确定性。这两个变量结合后世界模型在长期记忆和随机性建模上都要比 MDN-RNN 平衡。我在一个仿真机械臂环境里试过Dreamer V2 的训练步数只有传统 World Model 的三分之一就能达到同样的成功率。Dreamer 系列另一个值得学习的地方是它对奖励的建模。它除了预测 next latent还单独训练一个奖励预测器用同一个潜变量作为输入输出期望奖励的分布。这样在想象轨迹里每一步的奖励都能算出来策略优化就不需要依赖环境真实奖励了。这个技巧让整个训练流程更加端到端。我个人的感受是如果做研究建议先把 MDN-RNN 这套经典实现吃透因为它简单、透明、好调试如果做应用建议直接上 Dreamer 系比如 Dreamer V3它在稀疏奖励、多任务迁移方面表现更稳社区复现也比较成熟。4.2 扩散 World Model未来不是单点而是分布传统的 World Model 在预测下一状态时输出的是某个参数化分布比如高斯混合但这类分布的表达能力有限。现实世界的未来充满多模态比如一个行人可能向左走也可能向右走真正诚实的模型应该输出一个多峰的、甚至无法用参数化分布描述的概率。这正是扩散模型擅长的地方。扩散 World Model 的思路是直接用扩散模型来建模未来潜变量或者未来帧的分布。它的训练方式和图像扩散模型类似前向过程逐步加噪逆向过程学习去噪只不过条件中加入了当前状态和动作。在采样未来时从随机噪声开始用学习到的去噪网络逐步还原出未来帧这样输出的未来不是被平均掉的模糊结果而是真实可能发生的多种情况之一。这个方向的优势非常明显它彻底摆脱了高斯分布的限制能表达任意复杂的未来分布。代价是采样速度极慢一次未来帧的生成往往需要几十步去噪过程比一次 RNN 推理慢了几个数量级。所以在实际项目里我一般只在需要精准预测罕见事件时才用扩散 World Model比如自动驾驶里预测行人突然横穿马路这类场景普通 RNN 很容易把这种小概率事件平滑掉扩散模型反而保留住了这些长尾情况。4.3 World Model 的下一个战场现在业界对 World Model 的关注点越来越多地落在“通用世界模型”上。所谓的通用是指不针对某一个具体环境而是希望模型从大量多模态数据中学会通用的物理规律和交互规则。比如视频数据天然就包含了物体运动、遮挡、碰撞等物理信息如果一个大模型能从海量视频里学到这些规律它就可以像人的常识一样在没有真实交互过的情况下预测物体的行为。这个方向有一个著名的思路叫“联合嵌入预测”核心做法是让模型预测未来观测在表示空间中的 embedding而不是直接重建未来帧。它不要求模型重构出像素级的未来只要求模型对“未来状态”有正确的语义理解。这种设计的好处是任务难度大幅降低模型的泛化能力更强但代价是解释性变差——我们不知道模型内部到底理解和预测了什么。从我这些年做模型的经验看World Model 的下一个突破口大概率不是模型结构的大改而是训练数据的大规模扩充。结构上我们已经有 RNN、Transformer、扩散模型这些强大的组件缺的往往是足够多样、足够接近真实物理规律的数据。谁能在数据这条路上走得远谁的 World Model 就能先把“世界”这两个字真正立起来。5. 训练 World Model 踩过的坑和排查列表5.1 重建模糊与潜变量坍缩这是新手最容易遇到的头号问题。症状非常典型VAE 重建出来的图像模糊得像是隔了一层毛玻璃不同输入图像重建出来的结果几乎一模一样。出现这种情况不用怀疑基本就是后验坍缩也就是 decoder 忽略了输入直接用一个通用的先验去生成图像。排查顺序我建议这样走第一步看 KL 权重是不是太大先降到 0.0001 甚至 0看看重建损失能不能降下来第二步看潜变量维度是不是太窄32 维不行就试 64 维第三步检查编码器最后一层的激活函数很多坍缩问题是因为编码器输出全落在激活函数的饱和区。这里要注意KL 权重调小后潜变量空间会变得不规则但我们后面还要用 M 模块在 z 空间里做预测所以也不能只顾重建不管 KL需要在两个损失之间找到平衡。我在实际项目里找到的平衡点是先用很小的 KL 权重把重建损失压到目标值再逐步把 KL 权重涨到想要的数值。整个过程类似课程学习前几十个 epoch 重点学编码后面再开始规整潜空间。这个“先重建、后规整”的顺序帮我避开了大多数坍缩问题。5.2 长序列预测漂移M 模块在短时间步内预测得很准但一旦想象的序列超过 20 步预测的状态就开始飘甚至直接飞出合理范围。这个问题的根源是误差累积单步预测误差虽然小但每一步都会作为下一步的输入误差呈指数级增长。这就像你闭着眼睛走路每一步方向偏一点点走几十步后就完全找不到北了。解决思路有三个层面。第一训练 M 模块时不要只做单步预测而是随机预测多步让模型习惯“从自身预测中继续预测”。第二RNN 的输出分布不能只取均值必须在每次 rollout 时从预测分布中重新采样这样能避免模型输出一个四平八稳但完全无效的中间状态。第三在损失函数里加入隐状态的约束项比如限制 h 的范数防止长期 rollout 后隐状态爆炸。还有一个我从炼丹中发现的细节训练 M 时不要总使用真实 z 作为输入也就是不要一直用 teacher forcing。适当用一部分模型自己预测出来的 z 作为后续输入让模型在自己犯的错误上学习修正。比例可以从 10% 慢慢涨到 50%这个办法对长序列稳定性提升非常明显。5.3 想象与真实分布的偏移这是 World Model 落地时绕不过去的一道坎在想象里跑得很好的策略拿到真实环境里就失灵了。原因很直接World Model 是在有限数据上训练的它对真实世界理解的只是“数据里的世界”而不是“真实的世界”。一旦真实环境出现训练数据里没有的状态模型就会开始胡言乱语。应对方法里最实用的就是域随机化。在采集训练数据时刻意变化环境的颜色、光照、物理参数比如迷宫的墙色随机改、摩擦力随机改。这样训练出的 World Model 对分布偏移会有更强的容忍度。另一个思路是让控制器学会“不确定性感知”控制器如果发现当前状态对应的预测分布方差特别大就刻意采取保守动作而不是冒险冲锋。我在做机械臂仿真到真机迁移时还发现一个容易被忽略的地方动作延迟。仿真环境里动作立即生效但真实物理世界有通信延迟、执行器惯性导致真实轨迹和想象轨迹对不上。解决办法是在训练时给动作加一点随机延迟让 World Model 提前适应这种时间差。这个改动几乎没有成本但对 sim-to-real 的稳定性贡献极大。5.4 常见问题速查表我把实际开发中遇到的典型问题整理成下面这张表方便排查现象可能原因处理方案重建图像模糊KL 权重过大、潜变量维度太低调小 KL 权重、增大 z 维度重建结果都一样后验坍缩先重建后规整、检查编码器激活函数长序列预测漂移误差累积、没做多步训练多步训练、采样 rollout、冻结 teacher forcing 比例想象轨迹与真实轨迹差距大真实分布覆盖不足补数据、域随机化、动作延迟模拟控制器在想象里很猛、真实很弱分布偏移降低想象奖励置信度、引入不确定性惩罚M 模型损失大但预测崩溃混合高斯组分太少增大组分数量、检查梯度裁剪训练过程损失震荡很大学习率过高、batch 太小调低学习率、增大 batch size这张表不是标准答案但它覆盖了我自己项目里九成以上的翻车现场。每次你最怀疑模型结构有问题的时候先别急着换网络把上面这些参数挨个捋一遍往往能省下好几个晚上的调试时间。最后分享一个我坚持了很久的小习惯每次训练到一个阶段我会让想象空间自己跑一段录制一条视频看看里面有没有完整的物体轨迹变化而不仅仅是盯着曲线。曲线上的数字只能告诉你“模型在学没学”视频才能告诉你“模型学到的东西能不能用”。在 World Model 这类生成式模型里视觉化的直觉观察往往比所有指标加起来都更能发现问题。我见过不少项目loss 一路下降测试指标也像模像样但把想象视频打开一看里面全是一堆有纹理的随机噪点这就是典型的“学了个寂寞”。所以多让模型说少只看数字这条经验对我来说一直很受用。