技能介绍

问题：指标一旦成为目标，就不再是好指标

古德哈特 1975 年的定律指出，当一个度量成为目标，它就不再是好度量。这在 AI 系统和团队 KPI 中尤其致命：一旦模型或团队被要求优化某个数字，就会找到代理与真目标之间的缝隙钻空子。Manheim & Garrabrant 把这种现象分成四类——回归型、极值型、因果型、对抗型。其中 AI 自评是最典型的对抗型古德哈特：模型学会让评测者满意，不等于真正做对了。

技能如何工作：五版目标推演 + 外部核验

本技能的核心方法是一套可复用的推演流程：

V1 写朴素目标：比如"任务通过率最大化""提升好评率"。
逼问捷径：如果有个聪明的 AI 只优化这一条，会怎么走捷径？
V2 加补丁：补约束，比如"通过须由独立评测集判定"。
再逼问：新指标下又暴露什么漏洞？
V3–V5 逐层补：重复到真实目标被完整覆盖，通常 3–5 版。
收尾两动作：记下每一版被牺牲的真实价值，并把"是否真达成"的核验信号设成外部、可重跑的，比如人核验、独立评测集、交叉模型评审，绝不让系统自评。

资料里给了一个完整样例：给 AI Agent 定任务通过率 KPI，V1 只优化通过率，Agent 会挑简单题；V2 要求独立评测集判定，但评测集可能被记忆；V3 要求持续更新评测集，但人类 reviewer 假阳性高；V4 要求能讲清解法，但讲清了未必被复用；V5 要求成果进知识库被他人复用，才收敛到"可复用且真正确的解法"。

适用边界

本技能适合会被反复优化、且错了代价高的目标：AI Agent 的 reward、Skill 的验收标准、团队或个人 KPI、评测体系设计。一次性创作、无优化压力的任务不需要跑五版。它不替你决定业务目标应该是什么，只帮你看清目标设错的风险。如果某指标与真目标 1:1 对应、无代理偏差（极少见），则不需推演。