Agent Skills
返回列表
AI应用评测助手

AI应用评测助手

开发编程 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_b4da0893/ai-app-evaluator-cn。

技能介绍

它解决什么问题

大模型应用上线前，团队常拿几十个样例问一句「效果怎么样」，得到的多半是一句模糊的「还行」。真正要回答的是：客服机器人在高频、边界和高风险场景下各错在哪、要不要放行、两个版本谁更稳。AI应用评测助手 把这类模糊判断转成可执行、可复查的评测方案。

它如何工作

核心能力围绕五件事：

  • 测试集设计：按高频、边界、高风险三类构建场景矩阵与样例
  • 评分规则：把主观好坏转成带 1-5 分锚点的评分维度
  • 错误分类：区分模型、提示词、检索和工具错误的根因
  • 版本对比：输出盲测表与胜率
  • 上线门槛：给出质量、成本、时延的放行阈值

标准工作流分五步：定义真实任务和不可接受错误 → 构建样例 → 制定评分表 → 归因错误 → 设定回归集与上线门槛。

每次输出固定五部分：理解确认、可用成品（脚本、表格或命令）、判断依据、验收清单、下一步（最多三项）。

适用边界

  • 小样本评测不能代表所有线上流量
  • 自动评分需人工抽检和一致性校准
  • 外部系统操作会区分「规划建议」与「已执行」
  • 写入、删除、支付、发信等高风险动作需明确确认

使用场景

  • 客服机器人上线前，需要按高频、边界和高风险场景构造测试样例并给每个场景配评分锚点。
  • 两个模型版本准备替换，需要跑盲测、统计胜率，并按质量、成本、时延设定放行阈值。
  • 线上出现一批失败对话，需要区分是模型、提示词、检索还是工具调用导致的错误。
  • 回归集已有但口径混乱，需要统一成带 1-5 分锚点的评分规则并留下可复查的验收清单。

适合人员

  • 大模型应用产品经理，需要在排期和上线决策前拿到可量化的质量、成本、时延阈值。
  • 算法工程师，需要在调提示词或换模型后用回归集和胜率证明改动没有让效果回退。
  • 测试团队成员，需要把零散失败案例整理成带根因标签和验收标准的评测报告。