技能介绍

问题：bar chart 说明不了任何事

提示词或模型变体上线前，你多半看过这样的对比：A 模板平均分 8.2，B 模板 8.5，于是结论是 B 赢了。但这个结论几乎总是错的——平均分差 0.3 可能只是几十条评测样本上的随机波动。单次运行的评测分数没有不确定性度量，8.5 和 8.2 的差异既可能是真实改进，也可能只是噪声。靠肉眼看柱状图做决策，等于把发布风险外包给直觉。

这个技能做什么

它在发布前对评测结果做统计上站得住脚的比较：把每条输入的得分整理成 score arrays 或评测结果表，交给 analyze() 跑一组统计检验，再用 print_analysis_summary() 输出完整报告，包括置信区间折线图、prompt template 之间的两两比较等。核心思路是让变体是否获胜由置信边界判断，而不是看 bar-chart 高低。

适用边界与注意点

前置条件：Python 环境、promptstats/evalstats 包、每条输入的得分数组或评测结果表、待比较的 prompt 或模型实验输出。
统计路径可选：默认路径之外，设置 method="lmm" 会切换到混合效应模型（score ~ template + (1|input)），配合 Wald 置信区间和参数化秩分布；该路径依赖 statsmodels（纯 Python）。
工具取舍要说明：原始资料以 evalstats 作为 Python API 入口（analyze()），与 promptstats 的名称对应关系需在接入时确认，不要假设两者完全同义。
报告包含置信区间与两两比较，但没有给出固定的最佳检验选择规则；资料建议按“我的场景该用哪个检验”的思路自行判断。
它只负责统计判断，不负责生成评测数据本身，样本量和评测集质量仍需自己保证。