统计分析师
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_3c6cb52e/statistical-analyst。
技能介绍
它解决什么问题
A/B 实验跑完,转化率涨了 1.2%,p=0.04——该上线吗?这个问题通常被简化成「显著就上」。但统计显著和业务显著是两回事,statistical-analyst 要回答的是后者。
常见坑包括:实验前没算样本量,跑完才发现根本检不出真实效果;每天偷看结果,假阳性率悄悄膨胀;同时测 10 个指标都按 α=0.05 判断,至少撞出一个「显著」几乎是必然。这个技能把这些隐患显式化,而不是等结论出错再回头看。
技能如何工作
它覆盖实验全生命周期的三个阶段:
- 实验前(Mode 2):给定基线转化率、最小可检测效应(MDE)、显著性水平 α 和统计功效 1−β,
sample_size_calculator.py算出每个变体所需样本量,并在启动前锁定停止规则,防止 p-hacking - 实验后(Mode 1):
hypothesis_tester.py按指标类型选检验——比例用 Z-test、连续均值用 Welch t-test、分类计数用 Chi-square——输出 p 值、置信区间和效应量(Cohen's d/h、Cramér's V) - 解读阶段(Mode 3):按 "Bottom Line → What → Why It Matters → How to Act" 的结构给出可操作建议,而非只丢一个 p 值
它还内置风险雷达:自动检测 peeking/early stopping、多重比较、功效不足、SUTVA 违反、Simpson's Paradox 和 novelty effect。每条结论都带置信标签——🟢 Verified / 🟡 Likely / 🔴 Inconclusive,功效不足时明确告诉你「结果无意义,不要据此行动」。
适用边界
它不设计实验(随机化、埋点、holdout 找 ab-test-setup),不清洗数据(找 data-quality-auditor),也不做贝叶斯推断——这里是频率派工具箱。实验还没开始、数据还有问题时,先解决前置问题,再来跑检验。
使用场景
- 实验数据已回收,需要跑对检验,给出 p 值、置信区间、效应量和上线或继续或放弃的明确建议。
- 新实验即将上线,要在开跑前根据基线、最小可检测效应和功效算出每个变体所需样本量,并确认流量能支撑时长。
- 有人给出留存上涨了几个百分点的结果,询问是否显著,需要核查样本量与假设前提,再判断能否据此做决策。
- 一次实验同时评估多个指标,需要做多重比较校正,避免把偶然撞出的显著当成真实效果。
适合人员
- 数据分析师:日常工作是跑实验、出报告,需要规范的检验流程和效应量解读,而不是只报一个 p 值。
- 产品经理:要对实验结果做上线或暂缓的决策,需要用统计证据而不是感觉来拍板。
- 增长团队实验负责人:设计并评估转化率和留存类实验,需要在上线前做样本量规划和锁定停止规则。
- 实验平台工程师:在代码中接入统计检验和样本量计算,做 A/B 平台或实验分析能力建设。