通用 AB 归因测试

它解决什么问题

工程师迟早会撞上一个说不清的问题：手里这套 skill 或方法论，到底值不值？ 花两天写的专门技能，会不会和「随便写写」没有本质区别？多技能编排值不值得默认开启？系统里哪个能力组件最弱、该优先补哪块？凭感觉拍板的后果，要么是过度工程化，要么是把本来有效的方案误杀。

它如何工作

这套协议把「值不值」从感觉变成可复现的实验数据，核心是多档对照 + 独立盲评 + 三维聚合：

• 档位（tiers）：阶梯模式默认四档——L0 无方法基线、L1 静态提示、L2 单技能、L3 多技能编排；--compare 模式则把 N 个候选 skill 或思路并列横评，不预设谁比谁高级。
• 出题与生成：每题打一个明确可评的异构域任务（诊断、写作、代码、空间、谈判等），建议 ≥8 题才有统计意义；scripts/init_experiment.py 生成各档回答骨架，且各档必须真按对应方法论执行。
• 盲评：起独立子 agent，匿名并打乱映射后按六维打分；同一题各档必须在同一次 judge 调用里评完，否则绝对分不可比。
• 聚合与交付：scripts/score_attribution.py 汇总质量、成本（token 估算）、鲁棒性三维，输出报告。报告末尾的「⭐ 方案建议」才是最终交付——决定默认启用哪层、哪些组件进补深队列、几个候选该选谁——而不是中间分数。

适用边界与注意点

• 别漏 L1：它是「廉价结构化」基准，用来区分「结构化本身有用」与「动态选对专门方法才有用」，这是最常见的实验设计错误。
• 审美类任务禁裸跑单模：实测中 L2 在创意/审美任务里容易过度套用技法（如用情感法写出 tell-not-show），L3 靠多镜自平衡规避了这个问题。
• 同模型盲评有偏：同一 judge 评各档存在系统性偏好，要靠多题取势缓解，勿据单题下终局结论。
• 结论要过终止线：铺到 20–30 题、覆盖 5+ 域、画出「质量-成本-鲁棒性」三维曲线，才能把信号变成统计。