Agent Skills
返回列表
模型自动轮询器

模型自动轮询器

AI Agent 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_1d2b7f41/model-auto-rotator。

技能介绍

要解决什么问题

在多模型、多 Key 或本地与云端混用的环境里,单个固定模型名一旦配额耗尽、路由失败或响应超时,整条 Agent 链路就会卡住。手工改配置、重启会话成本高,也不适合长时间运行的自动化任务。

技能如何工作

Model Auto Rotator 会在运行时自动发现当前系统里「真正可用」的模型,再按策略把请求分发出去:

  • 发现流程:先查预定义的模型别名映射,再用 session_status 做会话状态探测,辅以轻量 API 连通性检测与响应时间采样,最后过滤失败或超时的候选。
  • 轮询策略:支持 Round Robin 与 Weighted 两种模式,在多个健康模型间分摊负载。
  • 故障转移:某模型不可用时自动跳过,避免把错误反复打在同一端点上。
  • 成本倾向:在能力满足的前提下,可优先使用免费模型。
  • 可观测性:持续反映各模型可用性,配置可随检测结果自适应调整。

集成侧通常通过环境变量与文档中的 API 方法接入,适合作为 Agent 调用层前的模型选择中间件。

适用边界与注意点

发现逻辑依赖你环境中的别名定义、session_status 与探测用 API 是否可用;探测本身会消耗少量调用,频繁轮询时要权衡开销。Weighted 权重与别名表需要与真实路由一致,否则可能出现「探测通过但实际业务模型 ID 不匹配」的情况。该技能解决的是可用性与分发,不替代鉴权、计费对账或模型能力选型本身。

使用场景

  • 本地 Agent 挂了多个 LLM 端点与别名,某端点返回 429 或超时后需自动换下一个可用模型把批任务跑完
  • 长时自动化任务要在多个 API Key 间按 Round Robin 分摊调用,避免单 Key 配额在短时间内被打满
  • 部署或发版前用 `session_status` 与轻量探测扫一遍别名表,把已失效、超时的模型从候选里剔除
  • 同一环境里免费模型与付费模型并存,业务允许时优先走免费线路,探测失败再自动跳过或切换

适合人员

  • 负责 Agent 模型层集成的工程师,维护多 Key/多别名,希望运行时自动发现可用模型而不是改配置重启
  • 平台或 SRE 同学托管长链路推理任务,需要在单模型故障或限流时自动跳过并继续执行
  • 在 SkillHub 等环境发布技能、后端模型列表经常变动的独立开发者,想靠探测自适应更新路由
  • 做模型网关或中间件的开发者,需要 Weighted 分发策略并查看各模型实时可用性状态