RouterBase 模型路由
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_3c6cb52e/routerbase-model-routing-skillhub。
技能介绍
要解决的问题
Agent 代码里最常见的写法是把 model 参数写死。这种做法有两个后果:要么所有请求都跑在最贵最强的模型上,分类、抽取这类轻任务白白付溢价,延迟也被拉高;要么为了省成本选了便宜模型,等遇到长上下文或工具调用密集的循环才发现能力不够,只能在线上临时打补丁。
更麻烦的是决策过程没留下痕迹。谁定的这个模型、为什么选它、失败时回退到哪——这些信息通常只存在于某个人的脑子里,交接和复盘时全靠口述。
RouterBase 把这件事显式化:它不替你选模型,而是给 Agent 一套可执行的路由规划流程,最终产出带取舍说明的方案。
核心能力与关键步骤
第一步:工作负载盘点。 先把流量拆成不同类别:便宜的分类任务、高上下文分析、工具调用密集的 Agent 循环、媒体生成,以及最终面向用户的综合输出。分类的粒度直接决定后续策略能不能落地。
第二步:逐类配置。 每个类别都要确定几件事:
- 主模型与一到两个备用模型
- 重试上限与超时预算
- 日志方案:记录路由决策本身,但不保存敏感提示词与凭证
第三步:验证。 用一组小规模提示词跑通每条路由,对比输出质量,检查错误处理路径。同时明确写出:系统应该在什么情况下 fail closed,而不是静默降级到一个不支持该能力的模型上。
适用边界
这是指导型技能,输出的是规划文档和决策规则,不是可运行的路由服务。它不会告诉你某个模型的实际延迟或价格,这些数字需要自己压测和核对。如果你的工作负载只有单一类型,硬编码可能更简单——路由本身的开销就不划算。另外,fallback 链上相邻模型的能力差异越大,静默降级的风险越高,文档里必须显式标注能力边界。
使用场景
- Agent 内同时跑分类、长文分析和工具循环,需要按任务类别分别指定主模型与备用模型,而非全局写死一个模型。
- Agent 服务上线前,需要用一组小规模提示词跑通每条路由,对比输出质量并确认错误处理路径是否符合预期。
- 不同任务类别的模型价格差距明显,需要在路由方案里为每类写明超时预算和重试上限,控制整体成本与延迟。
- 合规审计要求不能落库原始提示词,需要设计一套只记录路由决策、不含敏感内容和凭证的日志方案。
适合人员
- 负责 Agent 生产上线的工程师,需要把路由决策和 fail closed 策略写成可审查的文档,而不是靠团队口头约定。
- 被调用量账单困扰的技术负责人,需要把分类、分析、生成等任务分开路由,避免轻量任务也跑重模型。
- 接手他人 Agent 项目的开发者,需要搞清楚每个任务类别为什么选当前模型、失败时会回退到哪。
- 关注可审计性的架构师,需要一套能记录路由决策但不落敏感提示词和凭证的日志规范。