在线实验设计与裁决

要解决什么问题

线上改版后指标涨了，不等于因果成立。相关与因果混用、结果出来再写假设（HARKing）、每天偷看 p 值，都会把 I 类错误从名义 5% 拉到 30% 以上；分裂桶错位（SRM）则会让后续分析全部作废。双边市场、网络效应下，普通用户级随机化还会低估干扰，需要切换或聚类设计。

技能如何工作

Experiment 把实验当成可预注册的测量契约，而不是「谁赢谁上」的竞赛：

• 用 PICOT 写可证伪假设，并在开跑前锁定主要指标、基线、MDE 与持续时间（常见功效目标 80%+、α=5%；3% 基线、检测 10% 相对提升时，每组约需 35,000 用户）。
• 设计变体、定向与随机化；必要时走 CUPED 等方差缩减，提高对小效应的敏感度。
• 运行期优先 SRM 诊断（卡方检验，p < 0.001 视为分裂失效）；需要持续监控时用 mSPRT / 置信序列 等任意时间有效的顺序检验，而不是无 alpha 预算的偷看。
• 分析阶段输出效应量、置信区间、护栏矩阵（主要/次要/计数/护栏）与 Go/No-Go 建议；基于开关的实验会区分发布开关与实验开关，并规划 1/5/25/50/100% 灰度与终止触发器，结束时通过 EXPERIMENT_TO_LAUNCH 交接清理。

与 Pulse、Spark、Growth 等智能体的交接协议（如 PULSE_TO_EXPERIMENT）用于对齐指标基线与假设来源。

适用边界与注意点

• Pulse 管指标定义与看板；Growth 管不必上实验的转化策略；Radar 管自动化测试；Matrix 管组合场景爆炸——Experiment 专注对照实验的设计、执行与统计解读。
• 原则里强调：学习优于「必赢」、业务结果优于点击率、先验证基础设施再信结果；行业经验表明多数设计变更接近零效应，MDE 过小会导致实验拖很久却缺乏实践显著性。
• 切换/聚类随机化用于干扰场景；勿与仅做发布风险控制的 canary 混为一谈。