Agent Skills
返回列表
📊

Ponytail 收益分析

数据分析 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_3c6cb52e/ponytail-gain-t1hm。

技能介绍

要解决的问题

在评估模型能力时,我们常被单次跑分或事后编造的节省数字误导。真正可信的依据,应来自固定任务集上重复测量的中位数,而不是某次 demo 的即兴表现。Ponytail收益分析 要提供的,正是这样一块干净的记分板:把已发布的基准中位数原样摆出来,让用户看到模型在日常任务上的横向差异,而不是被「本仓库节省 X 行代码」这类无从验证的说法打动。

工作原理

该技能围绕三件事工作:固定任务集、跨模型对比与一次性展示。

  • 任务集固定:全部来自 benchmarks/ 与 README 公布的 5 个日常任务——email validator、debounce、CSV sum、countdown timer、rate limiter。任务不随用户仓库变化,因此数字之间具备可比性。
  • 跨模型对比:同时展示 Haiku、Sonnet、Opus 三档模型的结果。条形长度代表测量区间,精确数值写在标签上,避免条形被误读为精确值。
  • 一次性显示:技能不改变模式、不写 flag 文件、不持久化任何状态。调用后即出分,随后可用 stop ponytail 或 normal mode 回退。

适用边界

请特别注意三条边界:

  1. 不做逐仓库核算:这些数字是基准中位数,不是当前仓库的收益。技能绝不输出「你在这里节省了 X 行/token」,因为未构建的版本从未存在,也就没有真实基线可减。
  2. 可追溯来源:所有数字来自 benchmarks/ 与 README,测量而非现算。如果你需要真正的逐仓库数据,请改用 /ponytail-debt 的记账式流程。
  3. 无副作用:技能只读展示,不编辑文件、不改模式,适合在评审或教学中作为快速参照。

使用场景

  • 评审模型选型时,需要展示 Haiku、Sonnet、Opus 在 5 个日常编码任务上的基准中位数,并注明来源。
  • 回答模型能力差异时,需要用固定任务集的测量区间和精确数值,避免用单次 demo 或节省行数当证据。
  • 教学或文档评审中,需要临时展示一张只读成绩板,随后用 `stop ponytail` 或 `normal mode` 回退。
  • 团队讨论模型替换方案时,需要区分基准中位数与逐仓库收益,并把后者引导到 `/ponytail-debt`。

适合人员

  • 负责技术选型的工程师:需要用固定任务的基准中位数比较 Haiku、Sonnet、Opus,而不是单次跑分。
  • 编写模型文档的技术作者:需要说明数字来自 `benchmarks/` 与 README,并避免编造逐仓库节省。
  • 评审 AI 能力的团队成员:需要区分基准成绩、测量区间和逐仓库记账,便于提问和追溯。
  • 在教学中演示模型评估的讲师:需要一次性展示成绩板,并明确它不修改模式或文件。