技能介绍

常见反模式：把实验当抽奖

很多团队把 A/B 测试当成“改一改看看会怎样”：同时调整按钮文案、布局和价格，跑了一周看到曲线变好就宣布胜利。这种做法的问题不在于不努力，而在于实验设计本身无法给出可归因的结论——你没法知道是哪个改动起了作用，也不知道这个“胜利”是不是随机波动。另一个常见坑是偷看结果提前停止（peeking）：样本量还没攒够就忍不住看数据，看到显著就停，假阳性率会显著升高。

技能如何工作

这个技能把一次实验拆成可执行的流程，关键步骤如下：

假设先行：从数据或用户反馈出发，写一个可证伪的预测，而不是“试试看”。弱假设如“改按钮颜色可能提升点击”，强假设则明确预期提升幅度与度量口径。
明确单一变量：一次只测一个改动，否则无法归因。
预设指标体系：定义一个与业务价值直接绑定的 primary metric，辅以解释性的 secondary metrics 和防止劣化的 guardrail metrics。
提前计算样本量：根据基线转化率和期望检测的最小提升反推每组所需样本，覆盖 A/B、A/B/n、MVT、Split URL 等类型；详细表格见 references/sample-size-guide.md。
流量分配与实现：默认 50/50，风险高时用 90/10 或先小流量 ramp；区分客户端（PostHog、Optimizely、VWO）与服务端（LaunchDarkly、Split）实现的取舍。
分析与归档：按预注册的样本量分析，检查置信区间、效应量与分群差异，结论落入文档模板（references/test-templates.md），形成可复用的实验 playbook。

技能会先读取 product-marketing.md 上下文再提问，避免重复收集信息。

适用边界

它是一个规划与分析助手，不替代实验平台本身：样本量参考表是简化口径，正式决策前应用 Evan Miller 或 Optimizely 的计算器复核；技能不生成变体素材（文案可配合 copywriting 技能），也不处理埋点实现。统计显著只是阈值而非保证，分群 cherry-picking 和过早停止都会误导决策。它不自动安装依赖、修改系统权限、创建持久化任务或执行下载内容；涉及发送、发布、删除、付款、部署等外部写入时，会先展示目标与影响并取得明确确认。