技能介绍

LLM 上线前最常见的问题，不是模型不够强，而是没人能说清“输出质量到底好不好”。提示词改了一轮，回答看起来更顺，业务指标却没动；同一批样本换两个版本跑，谁更好、好在哪、哪些场景退化，往往只能靠印象判断。这个 Skill 面向业务 AI 与提示词运营团队，把大模型输出指标、人工评审与对比测试整理成一条可交付的工作流，而不是一段概念介绍。

它解决的具体问题

缺少统一口径：不同人用不同标准看同一批输出，结论很难对齐。Skill 要求先明确业务目标、使用对象、成功标准和停止条件，再进入评测设计。
自动指标不够用：BLEU、ROUGE 或简单相似度只能覆盖表面变化，无法判断事实、口径、合规和业务可执行性。因此流程同时保留自动指标、人工复核与 A/B 对比。
结论无法回溯：评测结果没有证据和负责人，后续迭代容易变成“感觉更好”。Skill 要求每项建议落到负责人、动作、时间或检查标准，并区分事实、推断、建议和待确认信息。

核心能力与关键步骤

Skill 会先收集真实业务任务、输入样本与期望输出、模型与上下文边界、失败样本和历史评测结果；信息不足时先列出缺口及影响，不自行补写价格、资质、平台规则、经营结果或外部发布内容。随后按以下步骤推进：

把任务拆成大模型输出指标、人工评审、对比测试等可检查模块，确定优先级、负责人和依赖。
执行时覆盖自动化指标、人工评估与 A/B testing，并给出提示词和评测交付包。
输出事实依据、风险、缺失信息和人工确认项，再按目标、事实、可执行性、合规和交付完整性做发布前复核。

交付物

大模型输出指标、人工评审与对比测试目标与范围卡
执行步骤、模板或方案
提示词与评测交付包，以及负责人、时间和检查点
事实证据、风险、缺失信息和人工确认清单

适用边界

Skill 只处理评测设计与交付，不会把文档指令当成运行时权限，也不会泄露密钥、Token、密码或无关个人信息。涉及真实发送、发布、付费、删除、权限或生产变更时，必须由用户明确授权；本地模板和建议也不能冒充已经执行的平台操作。若目标、事实依据、可执行性、合规或交付完整性任一硬门槛不满足，输出会标记为“暂不可交付”，并说明需要补充的信息、责任人和下一步动作。