Agent Skills
返回列表
LLM 密钥池分层轮询管理

LLM 密钥池分层轮询管理

AI Agent 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_7c8b7398/llm-key-pool。

技能介绍

解决的问题

当 Agent 需要稳定调用大模型 API 时，单个平台的额度限制、429 限流、密钥过期和单点故障会让任务中断。llm_key_pool 将多个平台的 API Key 组织成可配置的分层池，让调用方以统一的 OpenAI 兼容方式访问模型，同时由底层处理限流与故障切换。这在大模型任务批量执行、多 Agent 并行或长流程自动化中更常见。

工作方式与边界

该技能通过 llm_config.yaml 配置三层 Key：主力层面向高额度平台，例如阿里云百炼、智谱 AI；每日回血层面向每日刷新平台，例如火山引擎、Google AI Studio；兜底层面向开源或聚合平台，例如硅基流动、OpenRouter。核心流程是：先按策略选择主力层 Key 发起请求；遇到 429 后将当前 Key 标记冷却，并切换到下一个可用 Key 或下一层；冷却结束后自动恢复。--status 可查看各层级 Key 的使用情况，--test 可验证配置是否正确。

需要注意：配置文件包含敏感 API Key，不应提交到版本控制；跨层切换会增加少量延迟；建议每层至少配置一个可用平台，并优先选择支持 OpenAI 兼容接口的平台。

使用场景

  • 批量调用大模型生成文案时，避免单平台 429 限流导致任务中断。
  • 多 Agent 并行请求模型时，用分层 Key 池自动切换到可用额度。
  • 长流程自动化运行中，主力层耗尽后回落到每日刷新或兜底平台。
  • 上线前用 --test 与 --status 检查多平台 Key 配置和池状态。

适合人员

  • 负责 Agent 工具链的工程师：需要统一调用多个模型平台并处理限流。
  • 做批量推理脚本的后端工程师：希望在 429 时自动冷却并切换 Key。
  • 搭建自动化流水线的平台工程师：需要主力、回血、兜底三层额度配置。
  • 维护 LLM 网关的运维工程师：要查看 Key 池状态并验证配置。