Opik LLM 应用评估与观测

解决的核心问题

LLM 应用上线后常陷入「盲飞」状态：改了 prompt 或换模型后，无法判断效果是变好还是变差；生产环境中偶发的答错、延迟飙升、成本突增等问题，缺乏可追溯的链路来定位根因；团队仅靠 demo 验证，没有系统的评估数据集支撑回归对比，迭代方向全靠「拍脑袋」。

核心能力与关键步骤

该技能以 Opik 方法论为核心，通过三大能力将 LLM/RAG/Agent 应用转化为可度量、可回归的工程系统：

• Tracing（调用链追踪）：记录每一次 LLM 调用、工具调用及中间结果，形成完整的可追溯链路。当某次回答出错时，能快速定位是模型生成问题、工具调用异常还是上下文传递错误。
• Evaluation（自动评估）：先收集包含真实输入与期望输出（或评分标准）的数据集，再定义如「回答是否包含关键事实」「与标准答案的相关性」等指标函数，对数据集自动打分。后续每次修改 prompt、更换模型或调整 Agent 逻辑时，只需用同一数据集跑一遍，就能直观对比效果变化。
• Monitoring（生产监控）：在生产环境持续采集质量、延迟、失败率等数据，建立基线后实现异常告警。同时通过输出质量采样人工复核，避免自动化评估的盲区。

关键步骤遵循「建链路→定标准→跑回归→盯生产」的逻辑：先通过 Tracing 打通调用链，再构建评估数据集与指标函数，每次迭代用同一数据集做回归对比，最后在生产环境持续监控关键指标。

适用边界与注意点

该技能的评估指标仅作为辅助手段，AI 生成的最终内容仍需以官方输出为准；涉及关键业务决策的结论（如医疗建议、财务分析），必须经过人工复核，不能依赖自动化评估结果直接下结论。此外，评估指标需要与业务目标对齐——若指标仅关注「回答长度」，即使分数很高，也可能无法满足实际业务需求。