Agent Skills
返回列表
RDK X5 工具链 PTQ 量化

RDK X5 工具链 PTQ 量化

开发编程 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_76096a1e/rdk-x5-toolchain-quantization。

技能介绍

要解决什么问题

在 RDK X5 上跑推理,通常不能直接把训练导出的 ONNX 丢进板端:需要走 D-Robotics OpenExplorer 的 PTQ 链路,产出 .bin(或 .hbm)并在 BPU 上执行。常见卡点包括:hb_mapper checker 报 unsupported op、校准集格式/数量不对导致统计错位、yaml 里输入类型与归一化和训练不一致、编译后 cosine similarity 偏低,以及 BPU 利用率或 latency 不达预期。本技能围绕 OE v1.2.8 (py310) 的模型无关 PTQ 工作流,把「ONNX → 可部署产物 → 精度/性能验证」串成可复用的步骤与查阅索引。

技能如何组织工作流

主流程按五步展开,并指向 references/ 下的专题文档:

  1. 算子预检:在 OE Docker 内跑 hb_mapper checker,读 hb_mapper_checker.log 看 BPU/CPU 分布;不支持算子按 troubleshooting 做替换或 custom_op_method: register。
  2. 校准数据:默认 nv12 路径;每张图一个 raw bytes 文件(tensor.tofile),不能用 .npy;数量建议 20 张起步,预处理 resize/通道顺序与训练对齐,归一化由 yaml 的 norm_type + scale_value 负责。
  3. yaml 配置:四类必改项与 70+ 字段、输入类型矩阵见 yaml-reference.md。
  4. 编译:Docker 内 hb_mapper makertbin,得到 .bin、定点 ONNX 与编译报告 html/log。
  5. 验证:分类 cosine ≥ 0.99,检测/分割 ≥ 0.95;板端可选 hrt_model_exec;掉点走 accuracy-tuning.md,性能见 performance.md。

适用边界

  • 仅覆盖 PTQ,不含 QAT;芯片范围是 RDK X5 + OE v1.2.8,不适用于 X3/Ultra/S100 等。
  • 所有 hb_mapper* / hb_perf 必须在 OE Docker 内执行;端到端 YOLO 训练→量化→ROS2 部署应使用 RDK YOLO Toolkit。
  • 若只需导出 ONNX、不做量化,应使用框架自带导出工具,而非本流程。

使用场景

  • 训练侧已导出 ONNX,需要在 RDK X5 上生成可烧录/下发的 `.bin` 并核对 BPU 算子支持情况
  • 首次或改版 `hb_mapper makertbin` 的 yaml,要选对 nv12/rgb 等输入类型并与训练预处理对齐
  • 编译后分类或检测模型 cosine 低于 0.99/0.95,要在 Docker 内对比定点 ONNX 与浮点模型定位掉点
  • 校准集用 `.npy` 或张量形状不对导致 makertbin 异常,需按 raw bytes 规范重制 20+ 张代表性样本

适合人员

  • 在 RDK X5 产品线做模型落地的嵌入式算法工程师,要把第三方 ONNX 稳定编译成 `.bin`
  • 负责视觉检测/分割模型上板的 CV 工程师,需要校准集规范、yaml 归一化与 cosine 阈值门禁
  • 维护 CI 编译链的平台工程师,要在 OE Docker 内跑 checker/makertbin 并解读 html 报告与日志
  • 遇到 hb_mapper 不支持算子或板端 latency 偏高,需要查 troubleshooting 与 BPU 利用率优化文档的集成同事