LLM多模型路由策略审查器
将以下提示词粘贴到你的 AI 对话框中:
请根据官方安装指南 https://skillhub.cn/install/skillhub.md,将技能 @user_b26bd65e/llm-routing-policy-reviewer-b26bd65e 安装到你的 AI 助手中。
技能介绍
多模型路由的决策失控风险
当系统接入多个 LLM 时,路由策略往往从「哪个模型最合适」逐渐演变成「哪个模型碰巧能处理」。路由决策可能在不知不觉中绕过安全约束,用成本更低但能力不足的模型处理复杂请求,或者在 fallback 链路中丢失关键能力。更隐蔽的问题是,当路由决策没有完整日志时,你无法回答「为什么这个请求被路由到了这个模型」。
审查流程与核心能力
这个技能按照一个明确的工作流审查路由策略:
- 输入验证:列出所有路由决策使用的输入,检查它们的质量、新鲜度和隐私合规性。如果路由依赖的输入本身有问题,整个决策链都不可靠。
- 硬过滤器先行:在考虑成本和延迟之前,先应用不可妥协的约束——模态支持、上下文窗口、工具调用能力、区域合规、数据策略、安全要求和合约限制。这些是路由决策的底线。
- 评分与决胜规则审查:在硬约束通过后,审查用于优化成本、延迟、质量、可用性和用户偏好的评分机制,以及
tie-breaking逻辑是否合理。 - 对抗性测试:用未知、模糊、对抗性和分布外的请求测试路由行为,观察系统是否会做出不安全的决策。
- fallback 验证:确认
fallback路径不会绕过安全护栏,也不会静默移除原本必需的模型能力。 - 可观测性要求:路由决策必须记录实际使用的模型、策略版本、覆盖原因,形成可解释的决策日志。
- 发布治理:定义
canary策略、回滚机制、漂移检测和手动覆盖流程。
适用边界
这个技能审查的是路由策略本身,不替代模型评估或安全审计。它不生成新的路由规则,而是验证现有策略是否存在漏洞。对于敏感属性用于路由的场景,必须有文档化的必要性说明和审批记录,否则应被视为违规。
使用场景
- 团队为不同任务路由到多个 LLM,需要审查路由契约是否先满足模态、上下文和区域等硬约束
- 策略调整涉及成本与延迟优化,需要验证评分和 tie-breaking 是否在安全条件之后执行
- 线上出现复杂请求被错误路由到能力不足模型,需要用未知和对抗样本复现并定位决策链
- 准备发布新路由规则,需要补齐 fallback 验证、决策日志、canary 与回滚门槛
适合人员
- 负责 LLM 网关或路由层的后端工程师,需要在上线前确认硬过滤器和 fallback 不绕过护栏
- 管理多模型成本与质量的平台负责人,希望在不牺牲安全约束的前提下审查评分和决胜规则
- 关注数据合规和区域限制的法务或安全工程师,需要检查路由输入、敏感属性使用和决策日志
- 准备灰度发布路由策略的发布工程师,需要设计 canary、漂移检测和手动覆盖流程