Self-Eval 自评
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_3c6cb52e/self-eval。
技能介绍
要解决的问题
AI 给自己的工作打分时,很容易滑向"一切皆是 4 分"。原因不是模型格外宽容,而是单一分数同时背负了两件事:任务本身有多难,以及执行得有多好。一次简单的配置修改和一次高风险的生产环境重构,只要交付都"还行",就可能拿到同一个分数。久而久之,评分历史失去区分度,4 分不再是信息,而是一种习惯。
工作原理
Self-eval 用两轴模型拆开这个混淆,再用固定矩阵合成最终分数:
- 任务难度轴(Task Ambition):评估"尝试了什么"。
Low对应熟悉、无失败风险的常规改动;Medium对应有新颖性、可能部分失败的工作;High对应陌生领域、高风险的重构或优化。关键自查:如果开始前就确信能完成,难度就不应该是 High。 - 执行质量轴(Execution Quality):评估"做得怎么样",与任务难度解耦。
Poor是交付未达到自身声明的标准;Adequate是完成了但留下明显改进空间;Strong是在给定范围内没有明显未做的改进。 - 矩阵锁定合成分:最终分数由查找表决定,而不是先挑一个数再找理由。例如低难度配强执行也只能得 2 分——安全的任务做得再完美也只是安全。5 分必须同时满足高难度与强执行,理应罕见。
合成分之前还有一个强制步骤:魔鬼代言人论证。必须分别写出"为什么该打更低"和"为什么该打更高"的理由,再做裁决;如果发现某一轴评错了,重新评级并重算矩阵。论证总长不足三句会被视为没有真正参与。
另一个细节是跨会话防通胀:技能会在工作目录维护 .self-eval-scores.jsonl,追加每次评分。再次评分时会检查最近 5 条,若其中 4 条以上相同,就标记"分数聚集"警告,提示可能锚定在默认值上。
适用边界
这套机制的有效性取决于几个前提。首先,两轴评级本身仍需诚实——如果把"写脚本"都评为 High ambition,矩阵再严谨也救不了失真输入。其次,矩阵是硬约束,模型不能绕过合成结果直接指定分数,这限制了灵活性,但也保证了校准。再者,技能是纯提示词实现,没有外部工具或验证器,防通胀检查依赖本地评分文件的完整性。最后,它衡量的是模型对自身工作的感知,任务描述本身含糊,评级也会跟着含糊。把它当作对抗"4 分惯性"的约束装置,而不是对交付质量的最终裁判,会更接近它的设计意图。
使用场景
- 在 Claude Code 会话中完成新功能实现,需要评估这次开发的任务难度与执行质量并记录分数
- 完成一次涉及不熟悉 API 的集成后,要对这次工作的难度与交付质量打分,并写入本地评分文件
- 连续多次完成编程任务后,怀疑 AI 自评偏高,用历史评分文件检测是否存在分数聚集并重新校准
适合人员
- 使用 Claude Code 的独立开发者,希望 AI 对每次代码交付给出诚实评分而非一律 4 分
- 维护 Agent 技能仓库的开发者,需要一套可复用的自评模块来约束模型评分行为
- 关注 AI 输出质量的工程师,想用结构化自检对抗模型评分膨胀