LLM 应用上线检查清单

这个清单解决什么问题

LLM 应用上线前，很容易陷入"功能跑通了就发布"的直觉。但大模型输出的不确定性、外部依赖的脆弱性，以及成本与隐私的连锁风险，让传统 Web 服务的上线经验不再够用。一个勾选框如果没有对应的交付物（artifact）和负责人（owner），就等同于没有检查。

技能如何工作

该技能围绕 8 个门禁（Gates） 收集证据，并输出可追溯的上线决策：

• Product：明确使用场景边界、模型局限性、用户披露方式、反馈机制与人工升级（human escalation）路径。
• Quality：建立版本化评估集、验收阈值、关键切片（critical-slice）结果，并获得签字确认（sign-off）。
• Safety/Privacy：威胁建模、提示注入防御、滥用场景、数据最小化、留存策略、用户同意，以及供应商审查。
• Reliability：超时、重试、幂等性、降级方案、配额、负载测试，以及依赖故障模式。
• Security：最小权限密钥、密钥存储、访问控制、日志、漏洞响应与工具权限范围。
• Cost：实测单位成本、预算上限、配额限制、异常告警与成本负责人。
• Observability：模型与提示版本、质量代理指标、延迟、错误、token 用量、实际调用的模型，以及安全日志。
• Operations：运行手册、值班、事故处理、客服支持、回滚机制与变更控制。

最终输出 PASS / CONDITIONAL / NO-GO 决策，并列出阻塞项（blockers）、证据链接、每个缺口的负责人与截止日期、残余风险、灰度（canary）计划、监控窗口与回滚触发条件。核心原则是：绝不能为了赶排期而豁免关键安全或隐私阻塞项。

适用边界

• 该清单是证据收集与决策框架，不替代具体技术实现，也不生成测试代码。
• 清单质量取决于你提供的证据真实度，缺少交付物的场景会被判定为不完整。
• 适合 LLM 应用上线前的内部审查、跨团队评审或合规审计场景，不适用于纯传统 CRUD 服务（可借鉴部分门禁）。