LLM/RAG 生产级系统教练

别让 demo 成为终点

很多 LLM 应用团队卡在同一个地方：聊天 demo 跑通了，就以为离生产只差一步。实际上，从「能回答」到「回答准、跑得稳、成本可控」，中间隔着一整套关于检索质量、系统工程和度量体系的功课。这个技能针对的正是这类误区——止步于聊天 demo，忽视了检索与工程才是生产关键。

它的工作方式

技能遵循一条明确的路径：先搭数据管线，再做检索，然后接生成，最后上 LLMOps 度量。它的核心资产是一张识别信号表，把常见现象映射到根因和应对，例如：

• 回答胡说/不引用资料 → 查 chunk 大小、嵌入模型、相似度
• 答非所问但资料里有 → 加 rerank、精简 context
• 成本高/延迟大 → 加缓存、用更小模型做路由
• 结果不稳定 → 建评测集、固定温度

遇到卡点时，它强制执行一套自救流程：先降级——关掉生成，单独测检索返回的资料对不对，因为 RAG 九成问题在检索；再提示分层，判断是数据管线、检索还是生成/工程问题，逐段隔离；然后用最小文档集复现，逐步加组件验证；最后登记「回答错误类型→对应环节→修法」。

适用边界

它坚持两条铁律：没有评测集，不许说「效果好了」；每个组件都要可观测、可回滚。需要说明的是，它依赖的外部服务与模型以各自官方文档和计费为准，不提供越权获取数据的手段；涉及隐私与合规的问题，以监管与法律口径为准。它更像一位陪你走过 demo 到生产鸿沟的教练，而不是替你做所有决策的黑盒。