简诗 AI 业务假设实验
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_fccf428b/hypothesis-tester。
技能介绍
解决什么问题
产品经理常把模糊想法当结论:一句「用户喜欢这个功能」就准备上线,或者 A/B 测试跑两周看到曲线抬头就宣布成功。另一个坑是只看主指标,结果某个功能把留存拉高了,却把崩溃率和核心路径点击率打穿了。更常见的是实验方法本身有问题:样本量拍脑袋、新鲜期效应没考虑、护栏指标被跳过,导致上线后才发现效果衰减或副作用已经发生。
这些场景模糊了「数据验证」和「事后找理由」的边界。团队需要一种能先收紧假设、再设计实验、最后诚实解读结果的工作方式。
技能如何工作
- 假设打磨:把「用户想要语音消息」拆成可证伪链条,例如「开启语音消息的用户会话消息数 +15%」,再落到
messages_per_session这个具体指标; - 实验设计:围绕 MDE、置信度、流量规模估算样本量和时长,默认至少跑 14 天来观察新鲜期衰减;
- 指标分层:主指标、次要指标和护栏指标一起定义,避免「主指标涨 10%、崩溃率涨 5%」被误判为成功;
- 风险预判:提前标记选择偏差、OS 版本偏差、指标埋点缺口、营销活动干扰等常见坑;
- 结果解读:区分统计显著和实际决策意义,不只报 p-value,还看效应大小、分段一致性、指标趋势;
- 决策输出:清晰给出 上线 / 迭代 / 终止 / 延长 的建议,并把边界条件写明,例如「D30 留存提升低于 2pp 就重新评估」。
适用边界
- 流量不足以检测目标效应时,建议改用用户访谈、影子测试或定性信号验证;
- 结果模糊或护栏指标异常,不应强行下结论,优先延长实验或补查分段;
- 不能替代用户访谈、数据埋点审查或线上监控仪表盘,只能把这些输入整理成更可执行的实验判断。
使用场景
- 运营发现推送点击率下滑,希望把模糊想法拆成可验证假设并设计 A/B 测试,判断召回按钮是否值得上线,同时设置崩溃率等护栏指标。
- 产品经理要上线新引导流程,需要计算样本量和实验周期,确认现有流量能否检测目标效应,避免跑到一半才发现不够显著。
- 数据分析师收到 D7 留存提升但会话时长异常的实验结果,需要拆解显著性、新鲜期衰减、分群一致性和护栏指标。
- 增长团队面对主指标上升但某个核心路径使用率下降的结果,需要判断功能是否真正成功,还是只是把流量从旧路径挪走。
适合人员
- 负责上线决策的产品经理,想把模糊业务想法转成可证伪假设,并设计包含主指标、次要指标和护栏指标的实验。
- 数据分析师,需要复核 A/B 测试的样本量、MDE、周期、新鲜期效应和统计结果,避免把波动当成稳定提升。
- 用户体验研究员,希望在功能上线前用结构化假设和实验设计表达风险、边界条件和后续验证计划。
- 增长工程师或实验平台负责人,需要把实验假设、埋点指标、护栏阈值和 go/no-go 条件写成可执行的实验文档。