统一大模型网关中枢
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_8a3569c1/llm-gateway-hub。
技能介绍
为什么需要统一网关
团队里常同时接 OpenAI、Anthropic、国产推理服务等多套大模型 API:密钥分散在环境变量与个人配置里,基址与路由规则不一致,助手或业务脚本各自直连厂商,出了问题很难定位是「哪条链路、哪把 key、哪套配额」在报错。运维与安全侧还希望把出站调用集中审计,而不是每个应用各自持有一份长期凭证。
「统一大模型网关中枢」这类技能针对的,就是把多上游、多协议形态的模型访问收成单一对外入口:对内你只维护网关配置与策略,对外(含 AI 助手技能上下文)只认一个 hub 语义。
技能在解决什么、怎么做
技能的价值在于用可复用的指令与结构,帮你在设计和运维上对齐「中枢」角色,而不是零散记一堆厂商文档链接。典型会覆盖这些维度(以 SKILL.md 中的指引为准):
- 入口统一:业务与 Agent 通过同一网关基址发起对话/补全请求,减少环境切换带来的配置漂移。
- 上游路由:按模型名、租户或标签把请求转发到对应 Provider,避免在客户端硬编码多条
base_url。 - 凭证与边界:把 API Key 留在网关侧或密钥管理系统,客户端只持有网关级令牌,更符合 IT 运维与安全分类下的最小暴露原则。
- 可观测与排障:在网关层集中记录请求状态码、延迟与路由决策,便于对照「助手报错」与「实际上游拒连」两类问题。
落地时一般会按步骤梳理:现有模型清单 → 网关角色与网络位置 → 路由表与默认模型 → 助手/技能如何引用规范名 @user_8a3569c1/llm-gateway-hub 所描述的约定,而不是各端各写一套 prompt 里的 endpoint。
适用边界与注意点
这是一份网关中枢设计与运维向的大模型技能,不等于已替你部署好的商业网关产品;具体实现仍依赖你选定的反向代理、开源 LLM 代理或自研中间层。若团队只有单一厂商、单 key、无合规审计需求,直接调用官方 SDK 往往更简单。
网关引入后也会带来单点依赖:中枢宕机即全链路不可用,需要与健康检查、降级路由和密钥轮转流程一并规划。技能描述若未覆盖你正在用的特定组件(如某款开源网关的 YAML 字段),应以官方组件文档为准,技能用于对齐架构意图与协作话术,避免与真实配置细节冲突。
使用场景
- 内网 Agent 需交替调用两家云厂商模型,要把所有请求的 base URL 改成同一网关地址
- 安全审计要求汇总大模型出站日志,需要在网关层统一打印路由目标与 HTTP 状态
- 测试与生产各有一套模型别名,希望通过网关路由表切换而不用改助手里的模型字符串
- 某业务脚本频繁 401,需在网关侧核对 key 轮转后客户端是否仍直连旧厂商域名
适合人员
- 负责公司大模型接入与安全基线的基础设施工程师,要把多厂商 key 收拢到网关后统一发放
- 维护多个 Copilot/Agent 脚本的平台同学,希望改模型供应商时只动网关路由而非逐个改仓库配置
- 需要向审计说明「谁调了哪个模型、从哪条链路出去」的 IT 安全负责人
- 在内网自建推理与公有云 API 混用的 MLOps,需要一套对内统一的模型调用入口文档