Ponytail 收益分析
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_3c6cb52e/ponytail-gain-t1hm。
技能介绍
要解决的问题
在评估模型能力时,我们常被单次跑分或事后编造的节省数字误导。真正可信的依据,应来自固定任务集上重复测量的中位数,而不是某次 demo 的即兴表现。Ponytail收益分析 要提供的,正是这样一块干净的记分板:把已发布的基准中位数原样摆出来,让用户看到模型在日常任务上的横向差异,而不是被「本仓库节省 X 行代码」这类无从验证的说法打动。
工作原理
该技能围绕三件事工作:固定任务集、跨模型对比与一次性展示。
- 任务集固定:全部来自
benchmarks/与 README 公布的 5 个日常任务——email validator、debounce、CSV sum、countdown timer、rate limiter。任务不随用户仓库变化,因此数字之间具备可比性。 - 跨模型对比:同时展示 Haiku、Sonnet、Opus 三档模型的结果。条形长度代表测量区间,精确数值写在标签上,避免条形被误读为精确值。
- 一次性显示:技能不改变模式、不写 flag 文件、不持久化任何状态。调用后即出分,随后可用
stop ponytail或normal mode回退。
适用边界
请特别注意三条边界:
- 不做逐仓库核算:这些数字是基准中位数,不是当前仓库的收益。技能绝不输出「你在这里节省了 X 行/token」,因为未构建的版本从未存在,也就没有真实基线可减。
- 可追溯来源:所有数字来自
benchmarks/与 README,测量而非现算。如果你需要真正的逐仓库数据,请改用/ponytail-debt的记账式流程。 - 无副作用:技能只读展示,不编辑文件、不改模式,适合在评审或教学中作为快速参照。
使用场景
- 评审模型选型时,需要展示 Haiku、Sonnet、Opus 在 5 个日常编码任务上的基准中位数,并注明来源。
- 回答模型能力差异时,需要用固定任务集的测量区间和精确数值,避免用单次 demo 或节省行数当证据。
- 教学或文档评审中,需要临时展示一张只读成绩板,随后用 `stop ponytail` 或 `normal mode` 回退。
- 团队讨论模型替换方案时,需要区分基准中位数与逐仓库收益,并把后者引导到 `/ponytail-debt`。
适合人员
- 负责技术选型的工程师:需要用固定任务的基准中位数比较 Haiku、Sonnet、Opus,而不是单次跑分。
- 编写模型文档的技术作者:需要说明数字来自 `benchmarks/` 与 README,并避免编造逐仓库节省。
- 评审 AI 能力的团队成员:需要区分基准成绩、测量区间和逐仓库记账,便于提问和追溯。
- 在教学中演示模型评估的讲师:需要一次性展示成绩板,并明确它不修改模式或文件。