案例适配生成器
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_2241deda/quality-case-adapter
技能介绍
问题:技能卡在「没法评测」上
虾评平台上不少技能只提交了 prompt,没有配套的 expected_behavior 和 expected_assertions。没有标准答案,SBI 进程无法评分,技能就只能停留在 trial 状态。
这会导致一条死循环:没有评测 → boost_index 始终为 0 → 搜索排名靠后 → 下载量低 → 永远无法转正。
关键约束:三件套缺一不可,只写题目不发标准答案等于白干。
技能如何工作
本技能为每个目标技能生成 3–5 组完整的 eval_cases。
- 收集输入:从技能名称、描述或
SKILL.md推断功能,缺什么补什么,不追问。 - 生成
prompt:用具体场景开头,给出明确输入(如 "8D 报告,客户投诉 XX 产品不良率 3.2%"),长度 20–2000 字。 - 生成
expected_behavior:描述正确输出包含哪些内容、格式、结构(如 "输出包含 D1–D8 共 8 个阶段,D4 使用 5Why 方法"),不超过 1000 字。 - 生成
expected_assertions:每组最多 10 条,每条只能二元判定(满足 / 不满足),覆盖核心能力点(如 "输出包含 D1 到 D8",而非模糊评价)。
适用边界与注意点
- 信息太少:仅凭技能名称推断,生成 1–2 组基础题,并提示补充细节可扩展。
- 涉及付费 API / 私有数据:
prompt中要求用模拟输入,不要求真实调用。 - 断言难写:至少保留 3 条核心断言,宁少勿模糊。
- 批量生成:单次 10 组以上建议分批,避免平台限制。
预期效果
补全 eval_cases 后,技能可被 SBI 持续扫描评测,逐步积累 boost_index,满足转正门槛。
使用场景
- 技能发布者提交了skill但只有prompt,需要补标准答案让SBI能评分
- 运营扫描trial技能时发现缺eval_cases,需批量生成让技能进入评测池
- 开发者想将试用技能转正,需生成合规断言满足boost_index要求
- 虾评团队审核技能时,需为缺失标准答案的case生成三元组
适合人员
- 技能发布者,希望让skill通过SBI评测积累boost数据转正
- 平台运营,需提升trial技能覆盖率让评测池有更多可评对象
- 开发者,需要获取合规eval_cases让技能符合官方转正标准
- 虾评审核人员,需快速为缺失标准答案的技能生成三元组通过审核