Agent Skills
返回列表
Skills评估实践指南

Skills评估实践指南

AI Agent 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_d0deb03a/skill-evaluation-practice。

技能介绍

为什么 Skills 必须先评估再发布

SkillBench 索引了 GitHub 上超过 5 万个 Skills，但几乎都没有配套的评估机制。AI Agent 的行为是非确定性的，任务失败时你无法判断是 Skill 本身质量差，还是任务超出了模型能力——没有评估，就等于在盲烧 Token。这个技能从 Philipp Schmid（Google DeepMind）在 AI Engineer World's Fair 2026 的演讲中提取核心框架，整理成一套可复用的方法论。

核心能力：它如何工作

  • 渐进式信息披露：三层信息架构——标题和描述（20–50 字）始终进入上下文，SKILL.md 主体按需加载，参考文件按需探索；长内容按云厂商等维度拆分外置。
  • 两类分法：能力型 Skills 教模型完成新任务，随模型迭代终将废弃；偏好型 Skills 固化团队私有知识，长期保留。两类 Skills 的评估目的不同，前者定下线时机，后者防性能退化。
  • 描述优先原则：SkillBench 数据显示 50% 的调用失败源于触发逻辑异常，描述必须指令式、写清「为什么+怎么做」，例如「当用户需要追踪日志时，使用此 Skill 逐行扫描错误模式」。
  • 评估 Harness 设计：以 Gemini 交互 API 为例，JSON 配置（prompt、should-trigger、校验规则）加极简 Python 脚本引擎，用正则做校验，无需 LLM 裁判；新模型发布只需改模型 ID。
  • 反模式清单与决策表：覆盖凭感觉测试、僵化分步工作流、no-ops 冗余指令等八类常见错误，并为写新 Skill、触发失败、Token 开销过大等七种场景给出推荐做法。

适用边界

  • 适用：编写、评估或下线 AI Agent Skills，优化 Token 开销，设计评估 Harness，做消融实验。
  • 不适用：模型训练调优、通用软件测试方法论——本技能只解决 Skills 特有的问题。

使用场景

  • 编写新 Skill 时需要将描述控制在 20–50 字、用指令式写法说明触发时机与执行方式，并把长内容拆分到参考文件。
  • Skill 调用失败时，需要按 SkillBench 数据优先排查描述是否触发逻辑异常，再评估主体内容质量。
  • 为团队私有规范 Skill 设计评估链路，用正则校验替代 LLM 裁判，并把模型 ID 变更接入新模型发布流程。
  • 做消融实验对比开启与关闭某个 Skill 时，需要用 3–6 次重复运行量化模型在非确定性任务上的真实贡献。

适合人员

  • 编写 AI Agent Skills 的工程师，需要掌握渐进式信息披露、描述指令式写法与 500 行/500 字上限审查。
  • 维护团队规范与流程知识库的工程师，需要在偏好型 Skills 中固化私有规则并设计防退化评估。
  • 负责 AI Agent 可靠性与成本控制的工程师，需要建立评估 Harness、非确定性重复测试与 Token 开销优化。
  • 在模型发布前验证 Skills 效果的工程师，需要切换模型 ID 跑全量用例并对比通过率。