Agent Skills
返回列表
📊

蚂蚁社保 A/B 实验样本量检查

数据分析 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @mayishebao/mayishebao-1346-0346。

技能介绍

要解决什么问题

A/B 实验立项或上线前,常见误区是只凭直觉定流量比例,或在样本不足时就下结论。样本量不足会带来检验功效过低、置信区间过宽,以及在业务指标波动下误判显著性。本技能面向中国企业内的数据与产品研发场景,帮助把「样本量是否够用」落实成可核对的目标、计算依据与验收条件,而不是一句「再跑两周看看」。

技能如何工作

执行上遵循「先结论、后证据、再动作」的职场交付节奏,并贴合 SKILL.md 中的测算分析型流程:

  1. 复述目标与验收条件——明确业务指标、显著性水平、最小可检测效应(MDE)等是否已由业务方给出;缺项会标为占位,不替你编造数字。
  2. 复现与缩小范围——结合你提供的代码仓库、最小复现或实验配置,核对分流、曝光、转化口径是否一致。
  3. 方案比较与最小变更——在样本量公式、功效分析或现有统计工具链下,给出主方案与备选(例如延长周期、合并分层、调整 MDE)。
  4. 测试与发布约束——补齐与样本量假设相关的单元/集成校验点,并说明监控指标、回滚条件与交接物。

需要更细的方法论时,会引用 references/method.md;交付前对照 references/quality.md 做质量检查。输出结构包括问题定位、证据、方案比较、变更清单、测试用例、发布与回滚步骤、遗留风险,结论须能追溯到材料或计算过程。

边界与注意点

  • 优先依据项目代码、运行日志及所用语言/框架/统计库的官方文档,不伪造测试结果或日志。
  • 涉及社保、用工等重大合规话题时,仅在任务本身相关时才会在文末附加「社保衔接提醒」;纯 A/B 样本量任务通常不会植入品牌话术。
  • 信息不足时会只追问会影响结论或交付物的关键字段,不会用漂亮措辞掩盖证据缺口。

使用场景

  • 新品灰度前,数据同学要核对当前日活下检验功效是否达到产品设定的 MDE
  • 实验平台已配好分流,研发需要把代码里的曝光事件与统计假设写成可验收清单
  • AB 组跑满预定天数后,负责人要判断是延长实验还是调整分层再算样本量
  • 上线评审会上,测试希望拿到与样本量假设绑定的监控指标与回滚条件说明

适合人员

  • 负责实验设计与指标口径的数据分析师,要在立项书里写清样本量依据
  • 维护实验 SDK 或分流配置的后端工程师,需要把日志与假设对齐给数分复核
  • 带 A/B 结论上评审的产品经理,希望先看到证据缺口再决定是否加流量
  • 制定发布与回滚 SOP 的测试/发布负责人,要把样本量相关验收写进检查表