技能介绍

要解决的问题

Agent 应用一旦进入生产环境，排查问题往往靠日志和复现脚本。但 LLM 调用链通常跨越多个工具、提示词和模型响应，单纯查看输入输出很难定位是哪一步引入了偏差：某次改写让工具调用的 JSON Schema 失效，某个提示词调整后答案不再稳定，或评估指标在某次改动后悄悄下滑，却没有明确的时间线可供回溯。

技能如何工作

该技能将 MLflow 的追踪、评估和提示词管理能力接入现有 LLM 或 Agent 工程流程。其核心链路可概括为：

自动追踪：对模型调用、工具执行和中间步骤建立结构化记录，便于按 trace 回放一次完整运行。
系统化评估：在 CI 或批量任务中运行评估集，从内置指标与 LLM 评判器中选择合适的判据，也可自行定义规则。
质量回归监控：跨版本记录指标变化，使提示词或模型替换引发的质量变化尽早暴露。
提示词与实验管理：将提示词版本纳入可追踪对象，避免生产中运行时使用不可解释的旧版本。

典型流程是：准备一个 MLflow tracking server 与现有 Agent 工程；在代码中接入 MLflow 追踪；准备评估集与指标；运行评估后在跟踪服务中对比版本。

适用边界与注意点

该技能适合已经有 LLM 或 Agent 项目、并希望引入结构化观测与质量门禁的工程团队。若运行环境不允许部署或访问 MLflow tracking server，自动追踪和实验记录将无法正常工作。此外，LLM 评判器适合重复性较高的任务，但评判标准本身也需要持续调优，不应假定一次定义即可长期有效。