LLM 降级与容灾策略设计器

解决的问题

一次 LLM 调用失败时，最常见的应对是备一份更受欢迎模型的清单。但失败并不一样：限流可以重试，能力缺失换更热的模型也补不上，而审核或策略拦截根本不该换个提供方再试。如果不先区分哪些失败可重试、哪些允许回退、哪些必须由用户纠正、哪些禁止回退，回退链要么静默丢掉能力，要么在不可能成功的重试上烧掉延迟和成本。

核心工作方式

• 硬需求盘点：梳理模态、上下文长度、工具、结构化输出、区域、隐私、延迟与成本，每一项都落到可衡量的下界。
• 失败分类：把失败分成 retryable、fallback-eligible、user-correctable、policy-blocked、terminal 五类，不同类别走不同处理路径。
• 准入校验：候选模型满足全部硬需求才准入，否则必须定义显式的 degraded mode，不能假装没有能力损失。
• 排序与预算：按业务优先级排序，同时限制总尝试次数、总耗时与总花费。
• 幂等保护：tool calls 与副作用只在幂等前提下重放，不安全的操作禁止自动重试。

输出物

• 失败矩阵
• 有序回退链
• 降级契约：明确标注每一步丢失的能力
• 尝试 / 时间 / 成本预算
• 监控字段与回滚触发条件：记录尝试过的模型、实际使用的模型、原因、延迟、成本与结果，不落敏感信息

适用边界

这个技能解决决策层的策略设计，运行期仍需调用方自己实现上述契约。审核或策略导致的失败必须排除在回退之外，因为换模型绕过保护机制是禁止的。当候选模型只满足部分需求时，它属于显式降级声明，而不是一次静默切换。