Agent Skills
返回列表
技能有用性审计

技能有用性审计

AI Agent 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_15292d5a/yjkj-skill-usefulness-audit 到 AI 助手。

技能介绍

要解决的问题

Agent 工作区里的 SKILL 会越攒越多,却很少被清理。棘手的不是“这个技能没用”这种直觉,而是直觉没有证据:一个技能可能三个月没被调用,也可能只是触发描述写得含糊;两个技能功能重叠,可能其中一个换了宿主仍然有用;一个 SKILL.md 又长又重,但每次任务都真用得上。靠印象清理,要么删错,要么什么都不删。

这个技能把“该不该留着”变成一次可重复的审计:用调用日志、功能重叠、消融实验结果和质量负担等证据,给每个已安装技能打出 0–10 的本地分,再给出保留、合并或移除的建议。

审计如何进行

证据按七个层次收集,大致由客观到主观:

  • 使用证据:优先读取原生计数与遥测,如 calls、recent_30d_calls、last_used_at、active_days,以及负担字段 script_failures、repair_turns、false_triggers;原生计数缺失时才退回 transcript 提及。
  • 元数据与指令:逐个读取 SKILL.md,提取名称、描述、脚本、引用与资源体积。
  • 功能重叠:比对描述、标题和资源名,为每个技能保留重叠度最高的 peer 及相似度分。
  • 消融影响:对 general 类技能生成省钱的消融计划,只评估用户提供的 skill-on / skill-off 结果;api 与 tool 类技能(Excel、PDF、OCR、浏览器自动化等)走保护分支,不做假无工具模拟。
  • 质量负担:对过度触发、上下文臃肿、弱渐进披露、引用冗余、脚本质量差等逐项扣分。
  • 静态风险信号:扫描 shell、网络、安装钩子、动态执行等模式,只作为提示而非结论。
  • 社区先验:可选的离线注册表指标,仅作外部参考。

每个技能最终得到 local 分减去质量惩罚后的 final_score,报告输出完整排名、建议动作、删除候选、缺失证据和质量负担五张表。

适用边界

  • 只能由用户明确要求后手动触发,不会在常规任务执行中自动运行。
  • 永不自动删除或隔离技能:delete、merge-delete、quarantine-review 结果都是人工复核建议。
  • 仅靠结构审计(不带证据文件运行)得到的分数置信度较低,不应据此直接删技能。
  • 不适用于通用代码审查、安全审计或员工技能评估。

使用场景

  • Agent 工作区攒了几十个技能,需要按真实调用情况清理闲置项,又怕误删宿主核心技能。
  • 两个技能都能处理 Excel,描述高度相似,需要证据判断是合并还是各自保留。
  • 某技能的 SKILL.md 体积大、引用多且脚本频繁失败,想确认它是否拖累每次任务的上下文。
  • 从外部注册表拿到一批候选技能,想在安装前用审计脚本批量评估价值与风险。

适合人员

  • 维护 OpenClaw 等 Agent 工作区、需要定期清理无人调用技能的开发者
  • 为团队统一管理 Agent 技能包、需要数据支撑保留或移除决策的基础设施工程师
  • 维护开源技能合集、想定期审计收录技能质量与重叠度的作者
  • 搭建内部 Agent 平台、需要评估第三方技能安全性与实用价值的平台工程师