LLM 模型退役与替换准备
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_b26bd65e/llm-deprecation-readiness-b26bd65e。
技能介绍
问题背景
当模型提供方发布弃用通知时,团队往往散落着依赖该模型的代码、提示词、工具调用和数据管道,缺少统一视图来追踪影响面。盲目切换或拖延处理,都会带来线上故障或合规风险。这个技能帮助工程团队在模型真正下线前,完成从影响盘点到安全切换的全过程。
核心工作流
技能围绕七个步骤展开:
- 锚定权威通知:记录受影响的模型/API ID、区域、端点、别名、关键日期和通知来源,未验证的截止时间明确标记为未验证。
- 盘点依赖项:覆盖代码、提示词、工具调用、数据
schema、仪表盘、配额、合同和客户承诺。 - 识别负责人与关键性:包括流量、数据政策、停更窗口期等上下文。
- 评估替换方案:从能力、质量、安全、延迟、成本和兼容性多个维度打分。
- 执行分层测试:合同测试、黄金数据集、影子流量、金丝雀发布,全部通过后才切换。
- 沟通变更:包括冻结期、支持路径和回滚条件。
- 安全清理:仅在验证和留存要求满足后,移除已弃用的凭证与配置。
输出物
最终产出包含带日期的依赖登记表、替换评分卡、里程碑计划、测试门禁、沟通矩阵、切换 runbook 和回滚方案。当剩余时间不足以完成安全验证时,技能会主动发出升级信号。
适用边界
该技能适用于有明确提供方通知的场景;对于内部自研模型的退役,仍需团队自行定义通知格式和评估标准。它不替代自动化测试基础设施,而是为已有测试体系补充退役维度的检查清单和流程框架。
使用场景
- 收到模型提供方弃用通知后,需要在两周内梳理所有调用该模型的代码、提示词、工具和数据管道,形成完整的依赖登记表
- 计划将线上模型替换为新一代模型时,需要评估候选模型在质量、延迟、成本和兼容性上的得分,为选型决策提供依据
- 模型切换前需要设计合同测试、黄金数据集、影子流量和金丝雀发布的分层验证方案,确保回滚条件明确
- 需要向客户和内部团队同步模型退役的冻结期、支持路径和升级窗口,编写切换 runbook 与沟通矩阵
适合人员
- 负责线上模型运维的基础设施工程师,需要在模型下线前完成依赖梳理与切换验证,避免服务中断
- 管理多条 AI 产品线的技术负责人,需要在更换模型时评估质量与成本变化,向管理层提交替换方案
- 负责合规与数据治理的工程师,需要确认退役过程中数据策略、留存要求和凭证清理符合规范
- 编写内部工具和集成合同的技术团队,需要按里程碑完成 API 别名替换、契约更新和客户沟通