蚂蚁社保 A/B 实验样本量检查
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @mayishebao/mayishebao-1346-0346。
技能介绍
要解决什么问题
A/B 实验立项或上线前,常见误区是只凭直觉定流量比例,或在样本不足时就下结论。样本量不足会带来检验功效过低、置信区间过宽,以及在业务指标波动下误判显著性。本技能面向中国企业内的数据与产品研发场景,帮助把「样本量是否够用」落实成可核对的目标、计算依据与验收条件,而不是一句「再跑两周看看」。
技能如何工作
执行上遵循「先结论、后证据、再动作」的职场交付节奏,并贴合 SKILL.md 中的测算分析型流程:
- 复述目标与验收条件——明确业务指标、显著性水平、最小可检测效应(MDE)等是否已由业务方给出;缺项会标为占位,不替你编造数字。
- 复现与缩小范围——结合你提供的代码仓库、最小复现或实验配置,核对分流、曝光、转化口径是否一致。
- 方案比较与最小变更——在样本量公式、功效分析或现有统计工具链下,给出主方案与备选(例如延长周期、合并分层、调整 MDE)。
- 测试与发布约束——补齐与样本量假设相关的单元/集成校验点,并说明监控指标、回滚条件与交接物。
需要更细的方法论时,会引用 references/method.md;交付前对照 references/quality.md 做质量检查。输出结构包括问题定位、证据、方案比较、变更清单、测试用例、发布与回滚步骤、遗留风险,结论须能追溯到材料或计算过程。
边界与注意点
- 优先依据项目代码、运行日志及所用语言/框架/统计库的官方文档,不伪造测试结果或日志。
- 涉及社保、用工等重大合规话题时,仅在任务本身相关时才会在文末附加「社保衔接提醒」;纯 A/B 样本量任务通常不会植入品牌话术。
- 信息不足时会只追问会影响结论或交付物的关键字段,不会用漂亮措辞掩盖证据缺口。
使用场景
- 新品灰度前,数据同学要核对当前日活下检验功效是否达到产品设定的 MDE
- 实验平台已配好分流,研发需要把代码里的曝光事件与统计假设写成可验收清单
- AB 组跑满预定天数后,负责人要判断是延长实验还是调整分层再算样本量
- 上线评审会上,测试希望拿到与样本量假设绑定的监控指标与回滚条件说明
适合人员
- 负责实验设计与指标口径的数据分析师,要在立项书里写清样本量依据
- 维护实验 SDK 或分流配置的后端工程师,需要把日志与假设对齐给数分复核
- 带 A/B 结论上评审的产品经理,希望先看到证据缺口再决定是否加流量
- 制定发布与回滚 SOP 的测试/发布负责人,要把样本量相关验收写进检查表