Shepherd 模型网关流量代理

要解决什么问题

当 Agent 运行时需要同时对接多个模型后端——自托管的推理服务、云端 API、embedding 服务——流量入口往往是分散的。每个后端有自己的地址、鉴权方式和限流策略，缺少统一的路由层，缓存策略难以跨后端生效，调用链路的可观测性也无从谈起。该技能要解决的就是这个多后端流量治理问题。

核心能力与工作原理

它的思路是在 Agent 与模型后端之间插入一层网关：

• 统一接入：代理 OpenAI、Anthropic、Responses API 格式的请求，同时覆盖 embeddings 与 MCP 工具调用流量，让不同协议的后端挂在同一个入口下
• 缓存感知路由：路由策略会参考缓存状态，命中时直接返回，避免重复调用昂贵的推理后端
• 可观测性：可选接入 Prometheus / OpenTelemetry 栈，暴露网关层的请求与路由指标
• 高可用部署：多节点场景下采用基于 SWIM 协议的 mesh 网络

关键步骤是：先准备好 SMG 本体（二进制、Docker 镜像、Python 包或 Rust 安装方式任选其一），启动一个指向若干推理 worker 端点的网关实例，再把 Agent 运行时的模型调用地址改为指向该网关。

适用边界与注意点

这套方案并非零配置：

• 需要至少一个可用的模型 worker 端点，网关本身不提供模型能力
• Agent 运行时必须显式改为调用网关地址，改造成本取决于现有接入方式
• 可观测性依赖额外部署的 Prometheus / OpenTelemetry 组件，不部署就只有基础路由能力
• 上游文档对多节点 mesh 的说明较简略，大规模部署前需自行验证 SWIM 协议的实际表现