A/B测试显著性与业务结果分析

当p值通过，业务却没动

做经营分析的大概都踩过这个坑：A/B测试报告写着"显著"，置信水平95%，团队上线后核心指标纹丝不动。或者反过来，活动季数据涨了一波，但说不清是实验组带来的，还是自然波动。

问题往往出在三层。统计显著和业务重要混为一谈——样本量一大，0.05%的提升也能p < 0.05，但对DAU的贡献可以忽略。指标口径没对齐——看板写的是次日留存，实验平台配的是第2日访问，两拨人对着两个数讨论。归因链条断裂——知道实验组转化率高了，但不知道是哪步改动带来的，也不确定下个季度能不能复现。

这个技能做什么

不是简单算个p值，而是把A/B测试显著性判断和业务结果分析串成一套可检查的工作流。

核心能力：

• 从指标口径、时间范围、数据来源一路梳理到决策门槛，确保所有分析基于同一套事实
• 把任务拆成显著性检验和业务结果分析两个独立模块，各自标注负责人和依赖
• 输出经营分析与复盘包，明确区分事实依据、推断、待确认信息

关键步骤：

1. 先对齐业务目标、使用对象和成功标准——要回答什么问题，给谁看，做完意味着什么
2. 整理已有数据、素材和约束，列出缺失信息的影响范围
3. 拆分可执行模块，确定优先级和负责人
4. 执行分析，生成复盘包，每条结论标注依据来源
5. 发布前做一轮复核：目标对齐、事实准确、可落地、合规

每个交付物都对应真实业务问题。涉及价格、时间、案例或经营结果时，信息不足就标注缺口，不编。

边界在哪

相关性不等于因果。 差异可能由其他变量驱动，技能会明说，不把相关系数包装成因果结论。

不隐瞒限制。 样本不足、分组不均衡、口径缺失，都会写进风险清单。

不冒充已执行的操作。 本地文档和模板不会声称已经在平台上跑过了。涉及发布、付费、删除或权限变更时，需要你先明确授权。