Agent Skills
返回列表
AI 智能体技能测评助手

AI 智能体技能测评助手

AI Agent 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_f52ec6c7/ai-agent-exam。

技能介绍

要解决什么问题

自研的 Agent Skill 往往只有 SKILL.md、脚本和参考文档，上线前很难判断：任务是否真的完成、步骤是否走对、输出是否符合约定、以及边界与对抗场景下会不会失控。手工试几条 prompt 既不可复现，也覆盖不了工具调用与回归样本。

技能如何工作

本技能面向用户自己制作的 Skill，在你说「测试我的 Skill」「生成评测题」「创建考核方案」「验证技能效果」等意图时启动，大致走五步：

  1. 收集 Skill 信息（URL、文件或正文）
  2. 分析结构：scripts/analyze_skill.py 检查目录、内容质量与潜在问题
  3. 生成评测集：按功能与复杂度产出约 8～30 题，覆盖基础问答、复杂推理、工具调用、边界对抗
  4. 执行测试：scripts/execute_skill_test.py 跑题
  5. 出报告：scripts/visualize_report.py 生成 HTML 可视化报告

评测框架里会区分四类成功指标（结果 / 过程 / 风格 / 效率），三类失控场景（触发边界、环境假设、执行顺序），以及显式、隐式、上下文调用与负例等回归样本；题型与难度可参考 references/ 下的模板与分级说明。

适用边界

评测对象是你提供的 Skill 包，不是替你做 Skill 开发。脚本需在本机或你配置的环境中运行；题目数量与难度随 Skill 复杂度变化，对抗与工具题能否有效验证，取决于被测 Skill 是否真实暴露了对应能力。

使用场景

  • 在自研 Skill 准备对外分享前，收集 URL 或文件包，跑结构分析并生成考题，执行测试后拿 HTML 报告做评审依据。
  • 维护方刚改完 `SKILL.md` 或 `scripts/`，需要按显式、隐式、上下文与负例样本做一轮回归，核对触发边界与执行顺序。
  • 负责人要求「创建考核方案」，希望按 Skill 功能与复杂度自动生成 8～30 道含推理、工具调用与对抗题的评测集。
  • 上线前想确认四类指标（结果、过程、风格、效率）是否有据可查，从收集信息到 `visualize_report.py` 走完五步流程。

适合人员

  • 在 SkillHub 维护 `SKILL.md` 与 `scripts/`、上架前需要可复现出题与 HTML 报告的技能作者
  • 负责内部 Agent 技能库质量门、要为每个 Skill 留存执行记录与题型覆盖的工程负责人
  • 按 `references/question-templates.md` 维护题型与难度、上线前要验证工具调用与对抗题有效性的评测维护者
  • 被产品或业务方要求「验证技能效果」、需用 analyze 与 execute 脚本产出客观证据的 Agent 开发者