A/B 测试假设与实验方案

问题：实验"跑完了"，结论却没法信

团队常这样"做实验"：改个按钮颜色，跑几天数据，看到上涨就宣布胜利。问题不在执行，而在方法论：没有假设、提前偷看结果（peeking）、样本量不足、一次改多个变量——最终 p 值显著，上线后却没有效果，甚至伤害核心指标。

技能如何工作

假设先行。 先确认测试上下文、基线转化率与流量规模，并要求一个"强假设"：基于证据（热图、用户反馈）的具体预测，而不是"试试看"。弱假设是"改按钮颜色可能提升点击"；强假设是"因为热图显示用户找不到 CTA，放大按钮并提高对比度能让新访客点击率提升 15% 以上，以页面浏览到注册开始的点击率为度量"。

统计严谨。 内置 sample_size_calculator.py（双比例 z 检验，α=0.05、80% power），任何实验批准前必须把每组样本量和时长填入计划，并可与 Evan Miller 或 Optimizely 的计算器交叉验证。

指标分层。 主指标只有一个，直接决定实验结论；次级指标解释"为什么有效"；护栏指标（退款率、客服工单）显著恶化时自动叫停。

执行纪律。 提供上线前检查清单、变体设计原则（每次只改一个有意义的变量）、流量分配策略（默认 50/50，技术风险高时逐步 ramp up），以及分析阶段的六项核对：样本量是否达标、统计显著性、效应量 vs MDE、次级指标一致性、护栏指标、分群差异（移动端/桌面端、新客/老客）。

适用边界

这个技能负责"怎么测"，不负责"测什么"——需要测试创意时配合 page-cro；测量埋点要先用 analytics-tracking 搭好；实验结论并入整体投放归因时再用 campaign-analytics。如果团队没有稳定的流量和基线数据，先补数据基础再谈实验。