最近在做一个家用机器人小项目整体结构和“空中版”无人机的感知方案非常像却把传感器从天上搬到了地面。很多人以为无人机和地面机器人的感知差别很大真正做下来会发现前者的避障、视觉定位、路径规划思路几乎可以原封不动迁移到居家场景。本文就围绕“地面交给大疆ROMO2居家省心伙伴无人机感知技术落地地面”这个主题完整梳理一遍感知技术从无人机下沉到地面机器人时涉及的核心原理、环境搭建、代码实现和踩坑记录。如果你手里刚好有带云台的地面机器人底盘或者正准备用视觉方案给家里的移动机器人加感知能力这篇文章可以提供一套可直接复用的闭环思路。1. 无人机感知技术“落地地面”的背景与价值无人机在飞行过程中需要完成悬停、避障、定高、跟随等一系列复杂动作这些能力依赖的核心是一套成熟的感知系统视觉相机、惯性测量单元、激光雷达或者 ToF 传感器通过融合数据实时构建周围环境模型。过去几年这套技术在高空飞行器上已经打磨得相当成熟。但现在越来越多的机器人产品开始把“无人机感知技术”搬到地面。原因也很直接地面机器人的工作场景和环境复杂度并不比空中低。家庭环境里地面机器人要面对沙发腿、拖鞋、电线、地毯边缘、楼梯口、反复移动的小孩和宠物。传统的红外避障、机械碰撞条只能解决“碰到了再停”的问题距离真正“省心”还差得很远。如果能借鉴无人机在飞行中的主动感知能力让机器人在“撞上之前”就能判断障碍物的位置和距离整个体验会完全不一样。以标题中提到的“大疆 ROMO2”为例可以把它理解为集成云台与移动底盘的地面机器人形态。它的机身为“地面”感知能力却来自“空中技术”。这类产品把视觉、云台稳定、自主避障整合在一起成为家庭场景中的移动感知终端。虽然没有必要纠结具体型号但它代表了当前一个很明确的产品趋势感知技术不再只属于飞行器地面移动平台同样可以承接并发挥价值。对开发者来说掌握这套“从空中到地面”的迁移方法至少有三个收益理解无人机感知算法与地面机器人平台的兼容方式学会用视觉和距离传感器组合实现家庭级避障与定位掌握一套可落地的移动机器人感知工程实践。接下来的内容我会按照实际项目的推进顺序展开从硬件选型、环境安装、感知模块设计到避障与路径规划、常见问题排查尽量把关键点讲透。2. 地面机器人感知系统的组成与差异要复现无人机感知技术的落地过程首先需要弄清楚一套感知系统到底包含哪些部分以及从天上搬到地面后哪些要保留、哪些要调整。2.1 感知系统的通用组成一套完整的移动机器人感知系统通常由三部分构成传感器层负责获取原始环境信息比如图像、深度、点云、距离。算法层负责从原始数据中提取有效信息比如识别障碍物、估算位置、建立地图。决策与执行层负责把感知结果转化为运动指令比如停止、减速、绕行。无人机上最常见的传感器配置是前视双目相机、下视单目相机、ToF 测距模块、IMU、气压计、GPS 或者 UWB。地面机器人则会根据场景改为RGB 相机、深度相机、激光雷达、IMU、超声波传感器、防跌落传感器。2.2 空中与地面的关键差异虽然核心思想类似但迁移过程中有几个差异值得注意对比维度无人机感知地面机器人感知运动维度三维空间6 自由度二维平面3 自由度x、y、yaw速度与反应速度快需要极低延迟速度慢但要求更稳容错更低安全边界远离人群时容错较高贴近人群家具需要更保守的避障策略传感器高度较高视野开阔较低容易受遮挡需要更多传感器补盲环境结构多变空旷固定室内结构 动态障碍物定位依赖GPS / 视觉里程计激光雷达 / 视觉 SLAM / 标签定位这张表格基本可以回答“为什么无人机能飞起来但做成地面机器人反而复杂”。地面环境虽然少了一个维度但传感器的安装高度低、场景遮挡多、与人的距离近导致决策算法必须更加保守和安全。2.3 家用机器人感知的四个核心目标在居家场景中感知系统需要解决的目标其实很集中障碍物检测识别前方 30 厘米到 3 米的障碍物并判断是否可通行防跌落检测识别楼梯口、台阶边缘避免机器人掉下去视觉定位与建图知道“我在哪”“周围长什么样”动态目标跟随或避让识别家庭成员或宠物决定跟随还是保持距离。上面这些目标几乎都能从无人机技术栈中找到对应模块。比如无人机下视避障对应地面防跌落无人机前视避障对应地面动态避障无人机视觉里程计对应地面视觉定位。3. 环境准备与版本说明在动手写代码之前需要先把开发环境准备妥当。由于实际硬件平台千差万别这里不会给出绝对固定的版本号而是以一套通用、常见的环境组合为例重点演示配置思路。3.1 系统环境建议操作系统Ubuntu 20.04 或 Ubuntu 22.04机器人框架ROS 1 Noetic 或 ROS 2 Humble编程语言Python 3.8 或 Python 3.10视觉库OpenCV 4.x深度学习推理框架ONNX Runtime 或 TensorRT根据部署设备选择传感器驱动相机厂家提供的 ROS 驱动或者 Python SDK如果你使用的是带 ROS 驱动的移动底盘可以直接复用底盘驱动包。如果底盘只提供串口协议就需要自己写一个简单驱动节点把速度指令和传感器数据接入 ROS 话题。以 ROS 2 为例安装基础依赖可以使用下面的命令sudo apt update sudo apt install ros-humble-desktop python3-colcon-common-extensions sudo apt install ros-humble-cv-bridge ros-humble-image-transport sudo apt install ros-humble-nav2 ros-humble-slam-toolbox如果你所在的环境网络受限建议提前准备好离线 deb 包或者使用国内镜像源。安装过程中如果遇到依赖冲突可以优先尝试逐包安装避免一次性安装全部扩展包导致版本冲突。3.2 硬件平台参考这里以“地面交给大疆 ROMO2”作为参考场景假设你手中是一台具备以下能力的机器人可移动两轮或四轮底盘支持线速度和角速度控制配备 1 到 2 路摄像头带有一个或多个 ToF / 超声波测距模块可选配小型云台用于扩展视觉视野。示例代码会用通用接口实现不依赖某个具体品牌。底盘的驱动层只要对外提供cmd_vel话题订阅和odom话题发布就可以直接对接本文的感知控制逻辑。3.3 项目目录结构推荐使用下面的目录结构来组织工程ros2_ws/ ├── src/ │ ├── romo2_bringup/ # 启动文件 │ ├── romo2_perception/ # 感知模块 │ ├── romo2_navigation/ # 导航与避障 │ └── romo2_driver/ # 底盘驱动封装这样划分的好处是每个模块职责独立。感知模块只负责产出障碍物信息导航模块只负责决策和速度发布后续替换传感器或者算法时不需要改动其他模块。4. 感知模块设计与核心代码实现感知层是整个系统最重要的部分也是“无人机感知技术落地地面”的具体体现。下面我们按模块逐一实现。4.1 相机图像的获取与畸变矫正摄像头是地面机器人感知环境的主要传感器。由于成本限制普通广角摄像头通常存在比较明显的桶形畸变会严重影响障碍物定位的准确性因此第一步就是做畸变矫正。下面是一段使用 OpenCV 对单目相机进行畸变矫正的示例代码import cv2 import numpy as np # 相机内参和畸变系数需要通过标定获得 camera_matrix np.array([[520.0, 0, 320.0], [0, 520.0, 240.0], [0, 0, 1.0]], dtypenp.float32) dist_coeffs np.array([-0.25, 0.08, -0.001, 0.002, 0.0], dtypenp.float32) def rectify_image(image): h, w image.shape[:2] new_camera_matrix, roi cv2.getOptimalNewCameraMatrix( camera_matrix, dist_coeffs, (w, h), alpha0.5 ) map_x, map_y cv2.initUndistortRectifyMap( camera_matrix, dist_coeffs, None, new_camera_matrix, (w, h), cv2.CV_32FC1 ) undistorted cv2.remap(image, map_x, map_y, cv2.INTER_LINEAR) return undistorted这里需要特别说明camera_matrix和dist_coeffs不是随便填的必须通过棋盘格标定获得。标定工具可以使用 OpenCV 自带的示例脚本也可以用 MATLAB Camera Calibrator。每台相机的镜头参数都存在轻微差异标定一次之后参数保存在配置文件中程序启动时读取即可。畸变矫正的意义不只是让画面变好看更重要的是影响后续的测距和坐标转换。如果图像扭曲严重一个原本 30 厘米远的障碍物可能在图像中表现为 50 厘米远的距离导致避障策略失效。4.2 基于视觉的障碍物检测畸变矫正完成后下一步是识别画面中的障碍物。常见做法有两种传统视觉方法和深度学习方法。传统视觉方法适合计算资源受限的嵌入式平台通常使用颜色分割、边缘检测、深度阈值等算法。深度学习方法适合精度要求更高的场景通常使用 YOLO 系列目标检测模型。这里给出一个基于 YOLOv5 的简化检测示例重点是演示感知结果如何从“像素框”转换为“世界坐标下的障碍物信息”import cv2 import numpy as np class ObstacleDetector: def __init__(self, model_path, conf_threshold0.45): # 使用 ONNX Runtime 加载 YOLOv5 模型 import onnxruntime as ort self.session ort.InferenceSession(model_path, providers[CPUExecutionProvider]) self.conf_threshold conf_threshold self.input_name self.session.get_inputs()[0].name self.input_shape self.session.get_inputs()[0].shape def preprocess(self, image): img cv2.cvtColor(image, cv2.COLOR_BGR2RGB) img cv2.resize(img, (self.input_shape[2], self.input_shape[3])) img img.astype(np.float32) / 255.0 img np.transpose(img, (2, 0, 1)) return np.expand_dims(img, axis0) def detect(self, image): input_data self.preprocess(image) outputs self.session.run(None, {self.input_name: input_data}) boxes outputs[0][0] obstacles [] for row in boxes: x1, y1, x2, y2, score, class_id row[:6] if score self.conf_threshold and int(class_id) in [0, 56, 57]: obstacles.append({ bbox: [int(x1), int(y1), int(x2), int(y2)], score: float(score), class_id: int(class_id) }) return obstacles需要注意上面的class_id对应的是 COCO 数据集中的人、椅子、沙发等常见家居物体。实际项目中你可能需要在自己的家庭环境里重新采集数据并微调模型或者直接使用专门检测地面障碍物的数据集。检测到障碍物之后还需要把障碍物的像素位置转换为相对机器人的距离和角度。这需要结合相机内参、安装高度和俯仰角来计算。如果使用深度相机可以直接从深度图中读取每个像素对应的深度值会简单很多。4.3 ToF 与超声波传感器的接入视觉方案在光线不足或纹理不丰富的场景里可靠性会下降。因此地面机器人通常还会配置 ToF 或超声波传感器用作近距离补盲和底线保护。以 ToF 模块为例这类传感器通过发射红外光并测量反射时间来计算距离精度可以达到厘米级。下面是一个简化的串口读取示例import serial class TOFSensor: def __init__(self, port/dev/ttyUSB0, baudrate115200): self.ser serial.Serial(port, baudrate, timeout0.1) def read_distance(self): # 根据具体传感器协议解析数据 data self.ser.read(9) if len(data) ! 9: return None # 假设第 2 字节为低 8 位第 3 字节为高 8 位 distance data[2] | (data[3] 8) return distance / 1000.0 # 单位换算为米 def close(self): self.ser.close()要注意的是不同厂商的 ToF 传感器协议差别很大上面只是示例思路。实际接入时必须查阅官方协议文档确认数据帧格式和校验方式不能直接套用。超声波传感器则通常用于检测近距离障碍物。它的优点是对透明物体和光线不敏感缺点是测量周期相对较慢容易受环境噪声干扰。在最终的融合策略中建议把 ToF 作为主要近距离传感器超声波作为补充。4.4 视觉定位与标签导航无人机在空中可以通过视觉里程计估算自己的移动距离地面机器人也可以采用类似的方案。最简单的方法是通过 Aruco 标签或二维码实现固定位置的视觉定位适合居家环境下的定点巡航。假设我们在客厅固定位置粘贴一个 Aruco 标签机器人可以通过识别标签来获得自己相对于标签的位置和角度import cv2 import cv2.aruco as aruco import numpy as np # 相机内参 camera_matrix np.array([[520.0, 0, 320.0], [0, 520.0, 240.0], [0, 0, 1.0]], dtypenp.float32) dist_coeffs np.array([-0.25, 0.08, -0.001, 0.002, 0.0], dtypenp.float32) def locate_by_aruco(image): gray cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) dictionary aruco.getPredefinedDictionary(aruco.DICT_4X4_50) parameters aruco.DetectorParameters() detector aruco.ArucoDetector(dictionary, parameters) corners, ids, rejected detector.detectMarkers(gray) if ids is None: return None # 估计标签位姿 rvecs, tvecs, _ aruco.estimatePoseSingleMarkers( corners, 0.05, camera_matrix, dist_coeffs ) for i in range(len(ids)): # tvecs[i][0][0]、tvecs[i][0][1] 为相对标签的 x、y 偏移 distance np.linalg.norm(tvecs[i][0]) return { id: int(ids[i][0]), x: float(tvecs[i][0][0]), y: float(tvecs[i][0][1]), distance: float(distance) } return None这段代码的核心思想是借助已知尺寸的标签反推相机相对标签的位姿。实际项目中还需要把相机所在的坐标系换算到底盘中心坐标系两者之间存在一个固定的外参。5. 感知融合与避障决策感知模块返回了障碍物坐标、距离、类别等信息接下来要做的是融合决策。这一步可以类比无人机避障中的“悬停决策”只不过在地面机器人身上变成了“停车、减速、绕行”的组合。5.1 多路传感器融合策略多路传感器融合不是简单“谁的数据大就听谁的”而是要按照传感器特性和场景进行优先级划分。推荐一个保守的融合规则距离小于 0.2 米时物理停机不执行任何前进指令距离在 0.2 到 0.5 米时强减速只允许低速试探前进距离在 0.5 到 1.0 米时正常减速根据视觉结果规划绕行方向视觉检测到动态目标人、宠物时优先停车等待目标离开再恢复巡航。这样做的好处是即使视觉算法出现漏检或者误检近距离传感器仍然能守住安全底线。5.2 避障决策节点实现在 ROS 2 中可以编写一个避障决策节点订阅障碍物信息话题并发布新的速度指令。import rclpy from rclpy.node import Node from geometry_msgs.msg import Twist from sensor_msgs.msg import Range from std_msgs.msg import Float32MultiArray class SafeNavigationNode(Node): def __init__(self): super().__init__(safe_navigation_node) self.publisher self.create_publisher(Twist, cmd_vel_safe, 10) self.create_subscription(Range, tof_front, self.tof_callback, 10) self.create_subscription(Float32MultiArray, obstacle_list, self.obstacle_callback, 10) self.tof_distance 10.0 self.nearest_obstacle None self.speed 0.15 self.turn_speed 0.3 self.active False self.timer self.create_timer(0.1, self.decision_loop) def tof_callback(self, msg): self.tof_distance msg.range if msg.range 0.25: self.active True def obstacle_callback(self, msg): # 假设 msg.data 为 [距离, 角度] if len(msg.data) 2: self.nearest_obstacle {distance: msg.data[0], angle: msg.data[1]} self.active True else: self.nearest_obstacle None def decision_loop(self): cmd Twist() if self.tof_distance 0.25: # 紧急停车 cmd.linear.x 0.0 cmd.angular.z 0.0 self.get_logger().info(Emergency stop: obstacle too close) elif self.nearest_obstacle is not None and self.nearest_obstacle[distance] 0.6: # 减速绕行障碍物在左侧则右转 cmd.linear.x 0.05 if self.nearest_obstacle[angle] 0: cmd.angular.z -self.turn_speed else: cmd.angular.z self.turn_speed else: # 正常前进 cmd.linear.x self.speed cmd.angular.z 0.0 self.active False self.publisher.publish(cmd) def main(argsNone): rclpy.init(argsargs) node SafeNavigationNode() rclpy.spin(node) node.destroy_node() rclpy.shutdown() if __name__ __main__: main()这个节点用非常直白的方式展示了“感知到决策”的闭环。实际项目中你还需要加入速度平滑处理避免速度突跳造成云台抖动或者机械结构冲击。5.3 与云台的联动“地面交给大疆 ROMO2”这类产品的一个亮点是云台。云台可以扩大视觉感知范围让相机在机体转向之前提前看到障碍物。云台联动的基本逻辑是底盘正常前进时云台以一定频率左右扫描扫描过程中发现疑似障碍物时云台停止在当前角度进行精确识别识别完成后云台复位底盘根据结果执行避障动作。云台控制通常通过串口或 CAN 总线完成。在 ROS 2 中可以抽象出一个GimbalController类统一控制俯仰和偏航角。class GimbalController: def __init__(self): self.yaw 0.0 self.pitch 0.0 def set_angle(self, yaw, pitch, duration0.5): # 这里必须对接具体云台协议 self.yaw yaw self.pitch pitch # send_command(yaw, pitch, duration) def scan(self): # 云台扫描逻辑 for angle in [-30, 0, 30, 0]: self.set_angle(angle, 0.0, duration0.2) # 等待相机稳定后采集图像 time.sleep(0.3)云台控制的核心思想是“感知快于运动”让传感器提前扫描运动方向上的环境而不是等障碍物已经出现在正前方才做出反应。这也是无人机感知技术在空中形成“上帝视角”后在地面机器人身上依然有用的原因。6. 完整实战让机器人在客厅完成一次安全巡航下面我们把前面所有模块组合起来做一个完整的实战流程演示。假设我们要让一台地面机器人在一个 4 米乘 5 米的客厅中从充电桩出发绕过中间茶几最终到达阳台门口。6.1 需求拆解这个任务可以拆成四个阶段阶段一从充电桩出发沿直线前进阶段二识别茶几区域规划绕行路径阶段三绕过茶几后重新对准目标方向阶段四检测到阳台门框标签后停止。6.2 实现思路第一阶段可以依靠视觉定位的 Aruco 标签来校准起始方向。第二阶段通过深度相机检测茶几边缘并生成一个绕行点。第三阶段结合 IMU 和视觉里程计修正航向。第四阶段使用固定在阳台门框上的标签作为目标点。整个过程最核心的代码已经在前面的章节中实现。需要补充的是路径规划层的逻辑。如果项目比较小可以不用引入完整 Nav2而是写一个简单的状态机class CruiseState: def __init__(self): self.state move_forward self.target_aruco_id 10 def update(self, perception_result): if self.state move_forward: if perception_result[blocked]: self.state avoidance elif perception_result[target_reached]: self.state stop return forward, 0.15, 0.0 if self.state avoidance: direction perception_result[avoid_direction] if not perception_result[blocked]: self.state move_forward return turn, 0.03, direction if self.state stop: return stop, 0.0, 0.0 return stop, 0.0, 0.0状态机的写法虽然原始但非常容易调试和扩展。比一上来就上整套规划调度框架更适合初学者和中小型项目。6.3 运行验证建议建议先在仿真环境或者小范围真实场地上测试用纸箱模拟茶几用地毯边缘模拟门槛用卷尺实际测量机器人在关键位置的偏差。运行过程中通过 ROS 2 的命令行工具查看话题数据是最直接的验证方式ros2 topic echo /tof_front ros2 topic echo /obstacle_list ros2 topic echo /cmd_vel_safe ros2 run rqt_image_view rqt_image_view如果/cmd_vel_safe的速度值正常但底盘没反应大概率是cmd_vel话题映射或驱动权限问题。如果感知话题没有数据优先检查硬件连接和串口权限。7. 常见问题与排查思路在项目开发过程中最容易遇到下面这些问题我按现象、原因、解决思路整理成一张表方便快速排查。问题现象常见原因解决思路相机图像黑屏或花屏相机驱动异常、USB 供电不足、分辨率设置过高检查 USB 线缆和端口降低分辨率后重新测试避障节点收不到传感器数据串口权限不足、话题名不一致、传感器协议未正确解析执行sudo usermod -aG dialout $USER后重新登录确认话题名称机器人在障碍物前急停但产生撞击速度反馈太慢、传感器安装角度偏低调整传感器仰角增加预警距离加入速度平滑滤波ToF 数值跳动很大目标物体表面反射率低、阳光直射干扰增加滤波算法避免逆光场地测试必要时融合多传感器视觉检测偶发漏检模型训练数据不足、光线变化明显补充不同光照下的数据集或者改用深度相机结合视觉模型云台转动时画面模糊云台震动、曝光时间过长增大快门速度增加云台减震措施机器人在光滑地面打滑底盘驱动轮摩擦力不足、加速度过大降低加速度使用更软的橡胶轮或履带底盘排查这类问题有一个通用原则先确认硬件层数据是否正常再检查软件层算法。不要一上来就调参数先把数据链路打通。8. 最佳实践与工程建议最后这部分想分享一些项目落地层面的建议。这些经验不一定来自多么复杂的数学原理但对实际效果影响很大。8.1 传感器标定不能省无论是相机内参、相机与底盘的安装外参还是 ToF 与云台的相对位姿都要做标定。很多项目在实验室跑得好好的搬到实际环境中就“翻车”很大一部分原因是标定不严谨。建议每次更换传感器或者拆装硬件之后都重新标定一次并把标定结果纳入版本管理。8.2 安全逻辑必须硬件级兜底软件避障再完善也不能独立承担安全责任。建议在机器人底盘控制板上加一个独立的急停逻辑即使主控板死机只要距离传感器检测到过近距离也能直接切断驱动输出。这条在家庭场景中尤其重要。8.3 日志与可复现性开发过程中要把感知数据、速度指令、传感器原始值全部记录成日志最好能同步录下相机画面。出现问题时先回放日志而不是让机器人在现场不断重复“撞墙测试”。对居家机器人来说每次运行的场景可能有微小变化记录日志是复现问题和改进模型的重要依据。8.4 从“能跑”到“稳定”的参数收敛路径建议先固定所有参数只调整一个变量。比如先固定低速直线测试再逐渐提高速度最后加入转向和云台联动。把每一步的测试结果记录清楚形成一张参数优化表格。8.5 避障策略要符合真实生活习惯家庭环境里最常见的问题不是障碍物太多而是“误报”太多。物体被风吹动、窗帘飘动、光线的突然变化都容易让视觉算法判断错误。实际项目中需要给检测结果加一个置信度缓冲机制同一个障碍物连续几帧都被检测到才触发避障动作减少误触发。9. 总结与学习建议本文从无人机感知技术的背景出发详细梳理了感知系统在地面机器人上的落地过程覆盖了相机与传感器接入、障碍物检测、深度信息融合、避障决策、云台联动以及工程实践中常见的问题排查。核心收获可以概括为三点无人机感知技术中“先感知、再决策”的思路完全可以迁移到地面机器人上并且能显著提升家庭场景的使用体验视觉算法不是万能的需要结合 ToF、超声波等近距离传感器才能守住安全底线工程落地比算法调试更考验耐心标定、日志、参数收敛、安全兜底每一个环节都要认真对待。接下来你可以按照自己的项目进度逐步完善传感器驱动层把避障节点从简单状态机升级为更完整的 Nav2 导航框架也可以继续优化视觉模型的检测精度和推理速度。如果手头有真实底盘建议先从直线巡航和紧急停车开始把感知链路跑通再逐步增加复杂场景。技术迭代很快但感知系统的核心逻辑始终没有变让机器人在行动之前先“看懂”自己所处的环境。希望本文能帮你少走一些弯路。