Agent Skills
返回列表
在线 Agent 评测

在线 Agent 评测

AI Agent 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_6c5df2c8/agent-evaluation-jingsis。

技能介绍

问题：在线 Agent 难用一次互动就判断

在线 Agent 产品往往把规划、工具调用、重试和输出整合在一条链路里。只看界面或单次对话，很难判断它是偶尔能跑通，还是稳定可用。一个 数据分析 Agent 可能答对问题却调错参数，一个 客服 Agent 可能回复礼貌却没完成退款流程。

思路：把测评拆成可确认的小步

这个技能不会直接生成结论，而是以教学式工作流推进：每次需要决策时只提一个明确问题，等使用者确认当前产物后再进入下一步。核心步骤包括：

  1. 获取 demo URL 和四项基础产品信息
  2. 确认产品类型与测评目标
  3. 确认日志字段，并检查 日志导出、飞书 webhook 或 在线表格 能力
  4. 读取导出的 CSV/Excel 日志，生成《人工审查表》
  5. 让使用者挑选 BadCase 后，再生成《BadCase 记录表》
  6. 确认错误类型分类，生成《错误类型统计》
  7. 确认迭代优先级后，输出《产品迭代建议》
  8. 在使用者明确需要时，汇总《产品测评报告》

边界与注意点

  • 不做无日志推断：缺少日志时必须回到 demo URL 或导出文件，不凭空补数据
  • 不自动定责：BadCase 选择、错误分类和优先级都由使用者确认，避免模型替团队做产品决策
  • 适合有可运行 demo 和可采集日志的阶段；纯概念原型需先补齐记录能力
  • 默认输出 Markdown 产物，报告只在使用者明确要求或确认后生成

使用场景

  • 刚上线的数据分析Agent需要评估，收集操作日志并挑出工具调用错误的BadCase。
  • 客服Agent迭代前，根据飞书导出的会话日志统计报错原因，输出下一轮验收标准。
  • 需要为内容生成Agent撰写测评报告，基于审查表和错误统计梳理高优先级修复建议。

适合人员

  • 刚发布Agent产品的产品经理，需要通过真实日志找出高频报错并制定迭代计划。
  • 负责Agent质量保障的测试工程师，需要人工审查工具调用记录并输出BadCase明细。
  • 带领团队优化AI应用的技术负责人，需要基于错误类型统计确认下一轮的优化重点。