简诗 AI A/B 测试分析

这个技能解决什么问题

A/B 测试跑完之后，常见的困境是：数据看起来"涨了"，但说不清是真效果还是噪声；或者主指标赢了，却没注意到护栏指标在悄悄恶化。看一眼转化率就拍板上线，代价可能是留存下滑或性能回退。

技能如何工作

技能按六个步骤推进，先想清楚再算：

1. 还原实验背景：明确假设、改动内容（variant）、主指标与护栏指标、实验时长和流量分配。
2. 校验测试配置：

- 样本量是否足够，公式 n = (Z²α/2 × 2 × p × (1-p)) / MDE²，功效低于 80% 时标记为 underpowered
- 实验是否覆盖至少 1–2 个完整业务周期
- 是否存在样本比例失配（SRM）迹象
- 新奇效应/初始效应是否已充分消退

1. 计算统计显著性：对照组与实验组的转化率、相对提升幅度，双侧 z 检验或卡方检验的 p 值与 95% 置信区间；除了 p < 0.05，还要判断提升对业务是否有实际意义。提供原始数据时，技能会生成并运行 Python 脚本完成计算。
2. 检查护栏指标：收入、参与度、页面加载时间等是否恶化——主指标赢了但护栏崩了，不算真正的赢。
3. 给出决策建议：按结果矩阵输出五类结论之一：Ship it（全量上线）、Investigate（先弄清取舍）、Extend（延长测试）、Stop（无差异，停止）、Don't ship（回滚并复盘）。
4. 输出分析报告：逐步推理，结果保存为 Markdown。

适用边界与注意点

• 不自动安装依赖、修改系统权限、创建持久化任务或执行外部下载内容。
• 涉及发送、发布、删除、付款、部署等外部写入时，先展示目标与影响，并获得明确确认。
• 凭据仅用于用户指定的官方服务，不回显、不记录、不转发。
• 生成的命令与代码默认作为参考，仅在用户明确要求且目标范围清晰时才执行。