大模型集成

要解决什么问题

LLM 集成看起来只是发一次 HTTP 请求，工程上的坑却不少：把整篇文档塞进 prompt、没有重试逻辑导致一次限流就让流程挂掉、token 消耗失控直到账单出来才发现、RAG 检索质量没验证就上线、模型输出没做校验就直接写进业务代码。这套技能针对这些具体问题，给出一份可以逐项核对的工程清单。

核心能力与关键步骤

API 客户端模式：把请求封装成统一的客户端，配上指数退避重试和错误处理，让瞬时故障不至于变成线上故障。

流式响应：面向用户的交互走流式输出，压低首字延迟，体验接近打字机效果。

函数调用（工具使用）：让模型按预定义的 schema 调用外部工具，schema 里的描述必须写清楚——模型是照着描述做推理的。

RAG 流水线：文档切块控制在 500-1000 tokens 并保留重叠，在检索召回和上下文连贯性之间取平衡。

成本优化：能用小模型就不上大模型；embeddings 和常见响应做缓存；对延迟不敏感的场景改走批量请求。

适用边界与注意点

• 先评估检索质量再谈 RAG 效果，检索不准，生成再漂亮也只是垃圾进垃圾出。
• LLM 输出按不可信数据对待，进入业务代码前必须校验和清洗。
• 持续跟踪 token 用量，成本失控往往事后才暴露。
• 简单分类任务用最便宜的模型，没必要为它烧掉预算。
• 上线前对照 Checklist 逐项确认：重试逻辑、流式输出、chunk 大小、模型选择、缓存策略。