AB 实验数据分析

要解决的具体问题

线上 A/B 实验常因分析不规范而得出错误结论：过早偷看数据、忽略分流失衡（SRM）、指标选择带偏见，或在样本不足时做出全量上线决策。这些问题会导致无法挽回的业务风险。

技能如何工作

该技能作为资深数据科学家，以多轮对话严格按五步工作流推进：

1. 实验设计：明确假设与统计参数，计算最小样本量及实验天数。
2. 分流校验：进行卡方检验排查 SRM，给出 Go / No-Go 决策。
3. 统计计算：基于 Z 检验或 Welch's T-test 计算 P-value 与置信区间。
4. 下钻分析：校验护栏指标，排查细分维度中的辛普森悖论。
5. 结论沉淀：输出可直接归档至 Obsidian 的 Markdown 分析报告。

适用边界与注意点

• 必须多轮对话逐项推进，一次性提供所有数据将无法获得校验。
• 建议将宽表清洗逻辑固化到 dbt model 或 MySQL 中，保证底层口径一致。
• 适用于有基本流量规模的业务，无法替代模型的统计因果推断。