A/B 测试设计与搭建
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/sundial-org-awesome-openclaw-skills-ab-test-setup。
技能介绍
要解决什么问题
产品改动上线前,团队常说「做个 A/B 看看」——但往往缺少可检验的假设、事先算好的样本量,以及主指标与护栏指标的区分。中途偷看仪表盘、样本未够就停测,会把随机波动当成胜利,带来错误放量决策。
技能如何协助你
该技能以实验设计专家视角,按固定脉络推进:先做初始评估(业务目标、基线转化率、流量与约束),再用假设框架把「可能有效」改成可观测、可度量的陈述(观察、改动、预期效果、受众、指标)。
在方案层,它会区分 A/B、A/B/n、MVT 与 Split URL 的适用场景,结合基线率与 MDE 讨论样本量与测试周期,并引用常见计算器思路(如 Evan Miller)。指标上强调三类分工:Primary 用于判定胜负,Secondary 解释机制,Guardrail 防止收入或留存受伤。
执行与复盘阶段覆盖流量分配(50/50、保守 rollout、ramping)、客户端 vs 服务端实现取舍、上线前检查清单,以及分析时对照「是否够样本、是否显著、效应是否有业务意义、分群是否一致」。输出形态包括测试计划与结果摘要,并点出偷窥停测、多变更同测等常见坑。
适用边界
它指导设计与方法论,不负责替你接 PostHog、Optimizely 等工具的 SDK,也不替代统计软件的正式检验。多样本、复杂分群或序贯检验等进阶议题,需在对话中补充上下文后细化。
使用场景
- 定价页改版前,需要把「按钮颜色试试」写成含 MDE 与 CTA 点击率主指标的完整假设
- 首页分流实验上线前,用基线转化率估算各变体样本量并约定最短运行周期
- 注册流程改 UI 时,需同时定义完成率主指标与用户激活率护栏,避免牺牲质量
- 测试结束后,按显著性、置信区间与分群差异整理结论,决定放量还是保留对照
适合人员
- 负责增长实验的产品经理,需要可给研发对齐的测试计划而非口头「先跑两周」
- 对接营销页改版的前端工程师,要在客户端/服务端实验与无闪烁实现之间做选型
- 编写实验复盘文档的数据分析师,希望统一假设结构与指标分类便于检索
- 运营主导落地页 CRO,需区分主辅指标并在放量前过护栏检查