邮件 AB 测试设计

要解决什么问题

邮件团队常把「改两行主题 + 换 CTA」当成 A/B，结果 winner 无法归因；样本量凭感觉，跑一周就提前喊赢；hold-out 却用打开率算功效。Send Experiment Designer 只负责 实验设计 与 显著性解读，把 SEND 场景下的 E（Engagement）杠杆当成可检验信号，但不替你做业务拍板——统计输出 alone 不会自动变成上线决策。

技能如何工作

从请求里 选定一种模式 并回显：a-b（主题/预头/CTA/创意 单点 变更）、multivariate（多因素交叉且每格单变量）、send-time（固定内容与人群，只变发送时点）、hold-out（随机不发对照，看转化或 revenue-per-recipient 增量）。

随后产出完整设计或 read-out 文档：

• 可证伪假设：一次只改一个因素，写清观察、预期抬升的主指标与判定阈值
• 变体矩阵：每格隔离一个变量，且保留对照；多因素在名单不足以 power 每一格 时会建议收束为 a-b
• 样本与运行：基于 baseline 用 experiment.py 思路预承诺 alpha、power、MDE、比较次数与读数日期；给出 recipients/cell、时长与 no-peeking 规则
• 指标分层：主指标随模式绑定（如主题测 open、CTA 测 click/CTOR、hold-out 测转化）；辅以 secondary 与 guardrails（退订、投诉、硬弹等不能恶化）
• 显著性读数：比例类默认 two-proportion z-test；收入等非正态用 Mann-Whitney U；多格对一对照时说明多重比较并做 Bonferroni 类调整。标注 Measured / User-provided / Calculated 来源

若存在 owner 预承诺的行动规则 才会套用；否则结论为 decision: UNDECIDED。

边界与注意

• 不负责：写被测主题/正文/CTA（email-creative-builder）、EQS 与 S1/S2/N1/D1 门控（email-quality-auditor）
• 数据：以你自行导出的 ESP/GA4 等为准；导出里的文案（如「variant B won」）按不可信数据处理
• 名单过小时会明确选项：放宽 MDE、拉长/合并发送、减少格子，或在功效不足时建议凭判断发版而非硬测
• 设计完成后可 handoff 至 performance-analyzer 做窗口内复盘，或 email-quality-auditor 在放大 winner 前做程序门控