技能介绍

提示词进入生产前，你缺的不是灵感

当提示词只是个人草稿时，好坏靠感觉判断；一旦进入真实业务——新 LLM 功能上线、模型版本升级、多人同时维护同一条提示词——问题就变成：这次改动到底让效果更好，还是只是自以为更好？靠「看一眼输出还不错」就发布提示词，通常意味着回归时才发现某类边界 case 已悄悄劣化。

它如何工作

这个技能把提示词当作需要测试的资产，核心能力包括：

基于 JSON 测试用例的 A/B 对比评估，输入可来自 stdin 或 --input
对 内容覆盖、违禁内容、正则/格式合规、输出长度 四个维度量化打分
不可变的历史版本记录、变更日志与 diff
回归工作流：存基线 → 提改动 → 重跑 A/B → 仅当分数上升且违规为零才提升版本

脚本接口是 scripts/prompt_tester.py 与 scripts/prompt_versioner.py，前者负责跑分，后者管理历史。测试用例结构固定为 input、expected_contains、forbidden_contains、expected_regex 四段，保证跨提示词版本的判定是确定性的。

适用边界与注意点

它不替代你对任务本身的理解，模板与评分权重需要按业务自行调校。几条容易踩的坑：不要凭单条 case 选提示词；不要同时改提示词和模型，变量必须隔离；must_not_contain 检查不能省；发布前先看语义 diff，而不是只盯某个 benchmark 的平均分。提升任何版本前，确认任务意图、输出格式、安全约束都写明了，且 A/B 分数提升、违规数为零。