技能介绍

解决什么问题

在实际的转化率优化（CRO）中，很多团队直接拍脑袋定变体、凭感觉估样本量，上线后才发现实验周期不够、指标定义不清、或者 MDE 的绝对/相对口径搞混导致样本量差了 40 倍。更常见的是，没有预先注册实验方案，看到数据后临时调整阈值，让结果偏向自己想要的结论。这个技能把 A/B 测试的前期规划标准化，从假设到样本量、从指标到停止规则，确保实验在启动前就具备统计严谨性和可执行性。

核心能力与工作流程

技能围绕 sample size calculation、testing hypothesis 和 CRO experimentation 三个场景展开，输出包含统计显著性与决策准则的完整实验规范。

关键步骤：

样本量计算：基于基线转化率、MDE（绝对或相对）、显著性水平（默认 95%）和统计功效（默认 80%），确定每个变体的所需样本量。特别要注意 --mde-type 的绝对与相对区别，在 5% 基线下同样"10%"的口径差异会导致样本量相差约 40 倍。
假设构建：使用 If/Then/Because 格式陈述假设，确保变化有数据或 UX 原则支撑，而非拍脑袋。
变体设计：明确 control 和 treatment 的具体改动，多变量测试还需定义变量矩阵与交互效应。
指标定义：区分 primary metric（决定胜负）、secondary metrics（监控副作用）和 guardrail metrics（触发提前停止），例如测试 CTA 点击率时，同时监控跳出率、页面停留时间和下游转化。
时长与可行性：根据流量和样本量估算天数，至少覆盖一个完整业务周期（7 天），超过 8 周标记有效性风险。流量不足时建议减少变体、提高 MDE 或转定性方法。
监控与停止规则：设定技术 QA、SRM 检测和 guardrail 告警的检查点，明确提前终止、不明确结果和胜负判定的标准。
预注册文档：在上线前记录假设、指标、样本量、时长和决策准则，防止事后合理化。

适用边界与注意事项

该技能仅用于 A/B 测试假设、样本与指标规划场景，不会主动读取任务范围外的文件、账号或数据。信息不足时会标记缺口并向你确认，而非猜测。命令和脚本默认作为可审查的参考方案，只有在你明确要求执行、目标路径与影响范围清楚且完成预检后，才会运行最小必要步骤。若请求涉及高风险或越权操作，技能会停止并给出合规替代方案。