具身智能这四个字最近一年我几乎每周都要在不同场合听到。有人拿它形容人形机器人有人拿它包装扫地机也有人直接把它等同于“AI的下一站”。但如果你真的打算入门动手做点东西会发现一个尴尬的事实网上讲“具身智能是什么”的文章多如牛毛讲“怎么下手、从哪开始建模”的干货却少得可怜。这个系列我想反过来直接从建模和方法聊起。之所以把“建模”放在第一篇是因为我见过太多新人卡在同一个地方——以为具身智能就是训练一个大模型结果一上来就啃强化学习算法、部署仿真环境忙活两个月机器人还是连一个方块都抓不稳。问题不在代码也不在硬件而在脑子里没有一个清晰的“模型意识”。机器人不是凭空会干活的它干活的底层逻辑是一层一层建出来的模型感知模型负责看懂世界世界模型负责预演未来策略模型负责做出决策。这三层模型怎么搭、怎么联调、怎么迁移到真机才是具身智能真正要学的东西。这篇文章会从零开始把具身智能的建模思路拆开讲清楚并给出一条可以直接照做的入门实操路径。不管你是做算法、做机器人、还是刚转行过来找方向读完之后至少能说出“我该建什么模型、用什么工具、第一步做什么”。这不是一篇收藏了就会的科普文而是一篇手把手带路的技术文。1. 先理解具身智能的独特之处1.1 具身智能和“大模型聊天”到底有什么区别很多人把具身智能理解成“把GPT装进机器人”这其实是个很大的误解。大模型的核心是语言和知识输入一段文字输出一段文字它不接触物理世界不产生物理动作。而具身智能的核心是“身体、大脑、环境”三者之间的闭环机器人通过传感器感知环境在大脑里形成对世界的理解然后输出控制指令驱动身体运动运动之后环境发生变化传感器再次感知循环往复。这个闭环里最要命的一点是物理世界的状态空间是连续且无穷的。桌面上一个杯子摆放在不同位置、不同角度、不同光照下就是完全不同的观测数据机械臂每个关节的角度、速度、力矩组合起来又是一个高维空间。传统大模型处理的是离散的token序列而具身智能要处理的是在一个高维连续空间里做决策的问题。这就是为什么具身智能不能直接套用纯语言模型的训练方法——它的输入输出都带着强烈的物理约束。打个比方大模型像一个博览群书的学者你问它“怎么端杯子”它能给你写出一篇一千字的论文。但具身智能是一个刚上手的新手厨师它必须真的伸手去端那个滚烫的杯子端不住就会烫到手。学者可以只靠知识工作厨师必须做到知行合一。具身智能难就难在这个“知行合一”上。1.2 具身智能里的“建模”不是数学竞赛里的数学建模这里必须先澄清一个高频误区。我最近发现搜索“具身智能建模”的人有很大一部分是从数学建模竞赛那边过来的搜“2026数学建模”“数学建模优秀论文”时顺带看到了这个概念。两类“建模”的侧重点完全不同数学建模是用数学方程描述一个现实系统比如交通流、人口增长、水资源分配核心是拟合规律而具身智能里的建模是给机器人建立一套从感知到决策再到控制的完整计算模型核心是让机器人在物理世界里能稳定地干活。但两件事也有相通的地方都需要把现实问题抽象成数学表达都需要做数据都需要设计评价指标。如果你有数学建模的基础这反而是个优势——你对误差分析、参数敏感性、模型的输入输出设计这些概念会更敏感。但接下来要补的是机器人的运动学、动力学、环境交互这些物理层面的东西这是数学建模竞赛里不会碰的。1.3 为什么入门必须先谈建模而不是先谈算法或硬件我刚入门的时候身边朋友都在比谁的显卡好、谁的机械臂贵还有人一上来就学PPO、SAC这类强化学习算法。结果呢算法跑通了机器人还是不会干活。后来我想明白了算法只是“求解器”你给它一个问题它才能求一个解。但问题本身从哪来问题就是模型。如果你的状态空间定义错了动作空间不符合机械结构奖励函数没有反映真实任务目标那再强的算法也白搭。所以入门第一课应该建立的是“模型意识”面对一个具身智能任务我要建立几个模型每个模型的输入是什么、输出是什么、用什么数据来拟合、用什么指标来评价。这个思路一旦想清楚后面的算法学习、仿真搭建、真机调试都顺了。反过来先从算法或者硬件入手就只能一直追着别人的代码跑换个任务就抓瞎。2. 具身智能建模到底在“建”些什么2.1 拆开来说四个层次的模型前面说了要建立“模型意识”那具体建哪些模型我把它们拆成四个层次从底层到顶层分别是感知模型、状态估计模型、世界模型、策略模型。这四个模型的职责分工非常清晰搞清楚它们的边界你就能看懂市面上几乎所有具身智能系统的架构。感知模型负责“看懂”。输入是图像、点云、力觉等原始传感器数据输出是语义信息比如“这是桌子”“这是红色杯子”“杯子距离我有0.5米”。状态估计模型负责“定位自己和物体在哪”。感知告诉你那儿有个杯子状态估计告诉你杯子在三维空间里的精确坐标同时告诉你机械臂末端现在在哪里。世界模型负责“预测下一步会发生什么”。比如你伸手去推杯子的底部世界模型会预测杯子会往哪个方向倒。策略模型负责“决定怎么做”。它接收前面所有模型的信息输出动作指令比如“右肩关节转动30度腕关节保持当前角度”。这四个模型不是必须全部显式建出来很多端到端系统把感知和策略揉在了一个神经网络里但这并不意味着中间不需要“隐式建模”——网络自己内部会学出状态表征。区别在于显式建模可解释性强、调试方便适合工程落地隐式建模精度上限高适合快速验证新idea。实操中建议新人先从显式模块化建模入手至少把感知、状态、策略三个模块分清楚再考虑端到端方案。2.2 世界模型具身智能的“游戏引擎”四个模型里世界模型是最具身智能特色、也是最容易被忽略的。普通深度学习的模型是“输入-输出”的映射但世界模型要做的是在脑子里建立一个“模拟器”给一个当前状态和动作它能预测下一时刻的状态。这就像一个游戏引擎你操作角色往前走一步游戏引擎立刻渲染出新的场景。为什么世界模型这么重要因为它拿掉了“环境只能靠真机试错”的制约。有了世界模型机器人就能在“脑子里的模拟器”里预演一万次端杯子的动作再挑最优的一套去真机上执行而不是每次都在真机上摔杯子。这种能力叫“想象”或者“脑内模拟”是泛化能力的重要来源——机器人看到一个没见过的物体它会先根据世界模型预测这个物体被推一下会怎么样再决定怎么抓。当然世界模型也有风险它是在虚拟环境里学的如果学偏了预演一万遍也是错的一万遍。后面我会在Sim2Real部分细讲这个坑怎么处理。2.3 三类主流建模范式先认清再选型目前具身智能的建模思路大致分成三派模块化建模、端到端建模、半模块化建模。模块化建模就是我前面说的感知-状态-世界-策略一条链路显式搭建每个模块可以单独用不同算法做比如感知用现成视觉模型、策略用强化学习。优点是每个环节都能validate缺点是需要大量人工设计和调试接口。端到端建模则是原始传感器数据直接进一个网络动作指令直接出来。这种范式最接近人类直觉——你看到杯子、伸手拿起来你并不会刻意分离“识别阶段”和“决策阶段”。但端到端模型的训练数据需求量极大一个简单抓取任务动辄上万条数据而且出了错很难定位是感知的问题还是决策的问题。半模块化建模折中一些感知和状态估计可以复用通用模型把重心放在策略模型的设计上目前业界很多优秀的机器人系统都是这个路线兼顾了开发效率和性能上限。我建议新人优先选半模块化或模块化理由很简单你能看懂每一步在干什么出了问题你知道去哪里找。3. 核心建模方法的原理与实操要点3.1 怎么建模感知与状态表征不让机器人“瞎看”感知建模的目标是让机器人从原始传感器数据里提取出任务相关的关键信息。听起来简单但实操里有个经典教训不需要把画面里所有东西都识别出来只提取当前任务需要的信息就够了。比如做“抓取红色杯子”这个任务你只需要输出杯子在相机坐标系下的位置和姿态外加一个物体类别标签画面里还有桌子、电脑、鼠标识别它们反而会增加计算负担和模型过拟合风险。具体实现上第一步是坐标系的统一。相机有自己的相机坐标系机械臂有自己的基座坐标系你必须在标定环节拿到两者的坐标变换关系否则感知模型输出的“杯子坐标”对机械臂来说没有意义。这个环节费时费力但漏掉它后面全是bug。第二步是选择合适的感知输出格式。物体位姿估计通常用6D姿态即三维位置加三维旋转在早期调试阶段甚至可以简化成只做二维目标检测把抓取点限定在水平面上等流程跑通再加难度。关于状态表征我举个非常实操的例子机械臂夹爪任务中宜家有一款弗里根收纳筐的抓取放到真实仓库场景里往往会出现夹爪被卡住的案例。很多玩家一开始不知道该让状态表征里包含“抓取接触面积变化率”这个量结果夹爪到底有没有碰到筐壁全靠视觉去猜。后来我给状态输入里加了一个低成本接触传感器计数值一旦它连续3帧持续增大就判定为“要卡住了”提前松开重新调整位姿问题就解决了。这个例子说明状态表征不是越多越好而是要覆盖任务关键的物理量尤其那些传感器感知不到或视觉盲区里容易遗漏的变量。3.2 策略建模强化学习之外还有两条更入门的路线策略模型是输出动作的那个模型也是大家最爱一上来就学强化学习的部分。先说结论强化学习不是入门首选它只是策略建模的一种方法而且数据效率极低、调参极其痛苦。我更推荐新手从另外两条路线入手。第一条是纯规划路线。适用于结构化环境比如已知物体精确位置机械臂要做的是从A点走到B点那直接用运动学逆解加轨迹规划就够了连“学习”都不需要。很多工业场景就是这么干的稳定、可解释、零训练成本。第二条是模仿学习。你通过遥操作录制几十条人类操作数据教机器人学轨迹。模仿学习的关键是数据质量同一任务在不同初始状态下要有足够多的变化否则学出来的策略只会“念经”——换个位置就不会了。等你把这两条路线走通了再碰强化学习不迟。这时候你会发现强化学习真正擅长的是那些“有长期回报但无法用规则描述”的任务比如机器人叠衣服、桌面整理这种依赖复杂序列决策的场景。用强化学习做这种任务重在奖励函数的设计和仿真环境加速新手千万别一上来就在真机上练成本太高。3.3 Sim2Real仿真里建模好的策略搬到真机为什么“水土不服”很多人在仿真里已经做得不错结果一到真机就翻车。真机和仿真之间的差距业界叫“Sim2Real Gap”说白了就是仿真引擎里的物理规则不够真实摩擦力算不准、关节柔性忽略不计、传感器噪声被理想化处理了。标准的解法是“域随机化”。你在仿真训练时故意把模型的物理参数加上噪声比如摩擦力在0.3到0.8之间随机变、物体的质量在0.8倍到1.2倍之间随机变、相机光照亮度以及相机位姿都做随机扰动。这样训练出来的策略不会过度依赖某个精确参数换到真机上时即使真机的某个物理参数和仿真有差异策略也能适应。打个比方你不能只在一间固定温度的教室里练考试换一间教室就发挥失常所以就在空调温度上随机加扰动让自己适应各种温度。另一个实用的技巧是“分层迁移”。先在仿真里只验证感知模型和策略模型确保软件链路通再把底层控制交给真机原生的PID控制算法让上层策略只负责出“位置增量”这种相对安全的指令。这个分层手法能让问题被隔离是工程落地最稳妥的路径。4. 动手实操从零搭建一个最小可跑的机械臂抓取建模理论讲了这么多得落地看一下。下面我以一个常见的六自由度机械臂抓取任务为例给出最小建模流程和核心代码思路。注意我这不是完整的工程手册而是帮你建立从“任务”到“模型”的映射关系。4.1 环境准备别一开始就上真机强烈建议新人在仿真里跑通全流程再碰真机。真机不是租不起而是调试成本高到你怀疑人生每次实验都有硬件损耗风险、需要现场盯着、复现也不方便。仿真的意义是让你以最低成本验证建模思路。我做这个入门任务选的是MuJoCo加Gymnasium的组合。MuJoCo是一个物理仿真引擎对刚体动力学模拟非常准确而且完全开源Gymnasium是强化学习环境的标准接口库让代码可以无缝切换多种仿真环境。硬件方面虚拟环境里选择常见的Franka Panda机械臂模型即可社区资料多、支持好。安装很简单pip install mujoco gymnasiumMuJoCo的建模文件是XML格式里面定义了机械臂的每个关节、连杆、质量、碰撞体等物理属性。初次接触时直接加载官方提供的模型文件即可import gymnasium as gym import numpy as np # 加载MuJoCo机械臂环境这里以官方panda为例 env gym.make(PandaReach-v0, render_modehuman) obs, info env.reset() # 打印观测空间和动作空间维度 print(Observation space:, env.observation_space) print(Action space:, env.action_space)跑通这一步你就完成了“环境建模”的最小闭环——环境和动作空间已经进入模型的世界了。4.2 建模任务目标定义状态、动作和奖励那三件事仿真环境跑通之后真正有意思的建模开始了。我们要完成一个“机械臂末端到达目标点”的入门任务这个任务虽然简单但麻雀虽小五脏俱全足够暴露你对状态空间、动作空间和奖励设计的理解水平。状态空间我建议用这组变量机械臂七个关节的角度和角速度14维加目标点三维坐标3维再加末端执行器当前三维坐标3维总共20维。动作空间直接用关节角度位置的增量7维。这里有个新手易错点动作空间选“关节力矩”还是“关节位置增量”会显著影响学习难度。力矩控制更贴近物理本质但训练难度大位置增量控制容易上手但上限低。入门阶段建议选位置增量控制先把流程跑通。奖励函数的设计可以遵循“稀疏奖励为主、密集奖励为辅”的原则。稀疏奖励就是到达目标点给大分值没到达就惩罚密集奖励则是每一步根据距离给一个小惩罚引导机器人慢慢靠近。经典写法是这样def reward_fn(state, goal, action): # 末端到目标的距离 distance np.linalg.norm(state[:3] - goal) # 稀疏奖励距离小于阈值给100分 sparse 100.0 if distance 0.05 else 0.0 # 密集奖励距离越远惩罚越大 dense -distance # 动作太大给惩罚让机械臂别乱甩 action_penalty -0.01 * np.sum(action ** 2) return sparse dense action_penalty这个设计很经典的一个原因是它同时给模型“远距离引导”和“近距离精确”的平衡。如果只有稀疏奖励模型会在巨大的空间里盲目搜索很难收敛如果只有密集奖励模型可能会找到一个“离目标很近但没完全到”的局部最优卡在那里不动。4.3 训练策略并做简单评估跑起来看曲线环境、奖励定义好后最省事的入门训练算法是稳定性比较高的近端策略优化PPO实现上可以直接用Stable-Baselines3库pip install stable-baselines3训练脚本极其简洁from stable_baselines3 import PPO # 构建PPO模型MLP策略网络两层256个神经元 model PPO(MlpPolicy, env, n_steps2048, batch_size128, learning_rate3e-4, tensorboard_log./ppo_log/) # 训练30万步视机器性能决定时长 model.learn(total_timesteps300_000, progress_barTrue) model.save(panda_reach_ppo)训练时我会同时开着TensorBoard观察奖励曲线。判断收敛有个技巧看“近30个回合的平均奖励”是否持续上升并且“单回合最长步数”是否稳定下降到阈值以下。如果你的奖励曲线像过山车一样剧烈震荡先检查学习率是不是太大、batch_size是不是太小如果曲线一直很平检查奖励函数的数值量级是否合理——奖励值动辄上千和动辄零点几对训练的影响天差地别。训练结束后在仿真里跑10次测试记录从起始位置到达目标点的平均步数和成功率。这一步是最重要的验证闭环仿真里都跑不出稳定效果就别提真机了。5. 新手最容易踩的五个坑提前替你踩过了5.1 数据采集和标注不重视垃圾进垃圾出我发现很多新人会认真调网络结构但对数据集极其随意用同一个物体的三张照片就当训练集或者标注时目标框歪了也不管。具身智能任务的数据质量直接影响模型表现这比网络结构的影响还要大。我自己的经验是宁可先采集150条高质量数据训练一次也别贪多凑1000条脏数据。一条数据的价值不在于像素有多清晰而在于它是否覆盖了任务的多样性——不同位置、角度、光照条件、物体摆姿都要覆盖否则模型只能记住“训练集”而非“任务”。5.2 仿真里能收敛换个环境就崩这种情况90%是因为没有做域随机化或者训练时环境固定死了。我见过有人用固定的起点位置训练抓取策略仿真里成功率高达99%一到真机就废了。原因是真实世界的目标物体不会每次都出现在同一个位置。处理方法我前面提到过给仿真加随机化从物体位置、光照、纹理到物理参数全部加扰动。不要嫌麻烦这一步省掉的将是真机上数不清的试错时间。5.3 从头训练网络浪费大量算力和时间大多数具身智能模型不需要从零训练。感知模块直接拿开源视觉模型做初始化动作模块可以先在纯规划路上收集数据再做模仿学习微调。这就像学做菜从西红柿炒鸡蛋开始练手没必要先学分子料理。具身智能行业迭代飞快学会站在巨人肩膀上才能把时间花在真正的核心创新上。5.4 评价指标只在仿真里看忽略真实场景验证评价模型性能时除了看仿真里的成功率还要关注两个容易忽视的指标一是动作平滑度机器人执行动作时抖动大不大抖动大会加速硬件磨损二是失败模式比如抓取失败是抓偏了还是中途掉落按失败模式分类统计你会发现80%的失败都集中在某一种情况针对性优化这个case远比整体调参有效。另一个重要的点是仿真里看成功率要看“多次随机初始条件下的平均值”而不是“最佳局域成绩”很多新手在仿真里反复试取最好的结果截图发出来其实没有参考意义。5.5 数据质量评价没有统一标准要自己设指标从“具身智能数据集质量要求及评价方法”这个话题的热度也能看出来行业里现在对数据质量还没有一个统一的标准。我自己的做法是给数据集设计三个可量化的指标完整度每一条数据是否包含完整的观测、动作、状态转移记录、多样性不同场景的覆盖比例、一致性相同条件下标注结果的重复性。训练前先跑一遍这三个指标比训练完再返工高效太多。我也建议新人在采集数据前就制定一份简单的采集清单比如记录光照条件、物体位置范围、机械臂起始位姿范围这些元信息在后期排查问题时会救你一命。6. 写在最后入门阶段最该建立的三个习惯聊到最后说点实在的。我做这个系列第一篇文章并不是想让你读完立刻就会部署一套具身智能系统——那不现实。但如果你能在这篇文章里带走三样东西我觉得就算值了第一具身智能的核心是感知、决策、控制闭环的建模不是单点算法第二先想清楚建什么模型再动代码和硬件能省掉大部分返工第三仿真和真机之间的鸿沟是绕不过去的从一开始就要把Sim2Real意识融入建模流程。我个人还有一个很深的体会入门阶段尽量不要一个人闷头折腾。找个至少有仿真环境的开源社区项目或者拉一两个同样在入门的同学结对互相看代码和实验结果进步速度完全不一样。具身智能这个圈子还很年轻方法论远未定型哪怕你现在只是个刚毕业的学生只要持续动手、持续输出很快就能做出有价值的东西。下一篇我打算接着聊具身智能的数据集质量要求与评价方法这也是目前行业里最缺标准、也最影响落地效果的一块。到时候见。