Agent Skills
返回列表
📊

统计分析师

数据分析 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_3c6cb52e/statistical-analyst。

技能介绍

它解决什么问题

A/B 实验跑完,转化率涨了 1.2%,p=0.04——该上线吗?这个问题通常被简化成「显著就上」。但统计显著和业务显著是两回事,statistical-analyst 要回答的是后者。

常见坑包括:实验前没算样本量,跑完才发现根本检不出真实效果;每天偷看结果,假阳性率悄悄膨胀;同时测 10 个指标都按 α=0.05 判断,至少撞出一个「显著」几乎是必然。这个技能把这些隐患显式化,而不是等结论出错再回头看。

技能如何工作

它覆盖实验全生命周期的三个阶段:

  • 实验前(Mode 2):给定基线转化率、最小可检测效应(MDE)、显著性水平 α 和统计功效 1−β,sample_size_calculator.py 算出每个变体所需样本量,并在启动前锁定停止规则,防止 p-hacking
  • 实验后(Mode 1):hypothesis_tester.py 按指标类型选检验——比例用 Z-test、连续均值用 Welch t-test、分类计数用 Chi-square——输出 p 值、置信区间和效应量(Cohen's d/h、Cramér's V)
  • 解读阶段(Mode 3):按 "Bottom Line → What → Why It Matters → How to Act" 的结构给出可操作建议,而非只丢一个 p 值

它还内置风险雷达:自动检测 peeking/early stopping、多重比较、功效不足、SUTVA 违反、Simpson's Paradox 和 novelty effect。每条结论都带置信标签——🟢 Verified / 🟡 Likely / 🔴 Inconclusive,功效不足时明确告诉你「结果无意义,不要据此行动」。

适用边界

它不设计实验(随机化、埋点、holdout 找 ab-test-setup),不清洗数据(找 data-quality-auditor),也不做贝叶斯推断——这里是频率派工具箱。实验还没开始、数据还有问题时,先解决前置问题,再来跑检验。

使用场景

  • 实验数据已回收,需要跑对检验,给出 p 值、置信区间、效应量和上线或继续或放弃的明确建议。
  • 新实验即将上线,要在开跑前根据基线、最小可检测效应和功效算出每个变体所需样本量,并确认流量能支撑时长。
  • 有人给出留存上涨了几个百分点的结果,询问是否显著,需要核查样本量与假设前提,再判断能否据此做决策。
  • 一次实验同时评估多个指标,需要做多重比较校正,避免把偶然撞出的显著当成真实效果。

适合人员

  • 数据分析师:日常工作是跑实验、出报告,需要规范的检验流程和效应量解读,而不是只报一个 p 值。
  • 产品经理:要对实验结果做上线或暂缓的决策,需要用统计证据而不是感觉来拍板。
  • 增长团队实验负责人:设计并评估转化率和留存类实验,需要在上线前做样本量规划和锁定停止规则。
  • 实验平台工程师:在代码中接入统计检验和样本量计算,做 A/B 平台或实验分析能力建设。