技能介绍

解决什么问题

A/B 测试门槛看似很低：改个按钮文案、分一半流量，两周看结果。但工程实践中的翻车方式高度一致：样本量没算清就上线，跑了一周偷看结果，勉强过线就宣布胜利，上线后转化纹丝不动；或一次改标题、按钮、布局三处，数据涨了却不知道归功于谁。

技能如何工作

这个技能把一次转化实验拆成八个步骤，强制你把模糊的「想验证个想法」变成可执行的方案：

上下文收集：固化页面/功能、当前转化率、月流量、主/次指标、护栏指标、周期约束与测试平台（Optimizely、VWO 或自研）。
假设框架：假设必须归类到五类之一——Clarity（看不懂产品）、Motivation（没行动动力）、Friction（流程繁琐）、Trust（不信任）、Relevance（内容不符意图），据此决定改标题、加社会证明、缩短表单还是做个性化。
样本量与周期：内置 95% 显著性、80% 功效的速查表（如基线 5%、MDE 15% 时每组约 67,040 样本）；周期 =（每组样本 × 变体数）/ 日流量，最短 7 天、最长 8 周，超限则放大 MDE、减少变体或换高流量页面。
测试类型：A/B、A/B/n、MVT、Bandit、Pre/Post 各有适用条件与坑（Bandit 难达显著性、Pre/Post 因果证据最弱）。
分元素设计：标题、CTA、布局、定价、文案各有标准测试维度；定价测试用 revenue per visitor 而非单纯转化率，并盯紧退款率等护栏指标。
运行纪律：上线前核对检查清单（样本量、双端 QA、埋点验证、流量 50/50、排除机器人）；运行期禁止偷看、禁止中途加变体，关注样本比例失配（SRM 偏差 >1% 说明分流有问题）。
避坑与排序：偷看会把假阳性率推到 25-30%；整体持平可能掩盖移动端赢、桌面端输，必须分层；用 ICE 评分排路线图，同页测试串行跑避免交互效应。