机器人感知
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_3c6cb52e/robot-perception-lr-2p83
技能介绍
解决什么实际问题
机器人感知链路容易在真实硬件上断裂:传感器没标定、时间戳没对齐、缓冲没做好,或者模型在边缘端跑不起来。RobotPerception 用来补齐从传感器接入到模型部署的中间层,让你能处理相机、LiDAR 和深度设备的数据,而不是只靠仿真。
核心能力与关键步骤
- 传感器接入与配置:按设备类型选择
SDK/Driver和对应ROS2 Package,处理pyrealsense2、pyzed等常见驱动接入。 - 数据流水线搭建:构建 RGB、深度图和点云的处理流程,处理线程、缓冲和丢帧问题。
- 标定与对齐:完成内参、外参和手眼标定,解决多传感器之间的时间和空间错位。
- 感知算法实现:落地目标检测、分割和跟踪,并做多模态数据融合。
- 部署与调试:把感知模型部署到机器人硬件的 GPU 或边缘端,定位延迟、丢帧和配准偏差。
适用边界与注意点
技能偏向工程落地,不是通用视觉平台。需要你的环境里有对应硬件、驱动和 ROS2 包;标定质量依赖标定板和采集数据,算法效果受边缘端算力限制。复杂场景仍需调参,硬件依赖不解决,再好的流水线也跑不起来。
使用场景
- 无人机挂载RealSense相机和IMU,需要完成内参外参标定与时间同步以输出稳定航拍建图数据
- 工厂移动机器人同时接入ZED立体相机和激光雷达,要做多模态融合并实现物料识别与跟踪
- 在机器人边缘计算盒上部署YOLO检测模型,需要调试降低延迟和丢帧
- 多相机机械臂视觉引导抓取,需要完成手眼标定并输出校准后的坐标变换
适合人员
- 机器人工程师,需要把RealSense或ZED接入ROS2并完成内参外参和手眼标定
- 自动驾驶研究员,要为感知模块配置多传感器时间同步与数据融合
- 工业视觉工程师,要把检测分割模型部署到边缘计算盒并调试丢帧延迟
- 无人机开发者,要搭建RGB-D和点云处理流水线并输出稳定航拍数据