Phoenix 代理运行追踪与评估

要解决的具体问题

当你把多个模型、工具和中间步骤拼成一个 Agent 时，线上日志往往只能告诉你“失败了”，很难解释为什么失败。一次运行可能经过规划、检索、调用、工具执行和反思，如果缺少统一的 trace，你很难判断是提示词不稳定、模型选择不当，还是外部工具返回异常。事后复盘时，静态代码也看不出同一输入在不同版本下的差异。

技能如何工作

这个技能围绕 Phoenix 的可观测能力展开：

• 对 LLM 与 Agent 调用建立可追踪的运行记录，保留模型请求、响应、工具调用和关键状态的变化。
• 使用评估流程检查结果是否满足预期，而不是只依赖肉眼检查输出。
• 支持对 prompt 进行重放，方便比较不同提示、模型或参数在相同输入上的表现。
• 可以把已有样本整理成数据集进行检查，观察失败模式在集合中的分布。
• 通过 MCP 暴露观测相关的工作流，便于在已有开发环境中接入。

使用时，你需要一个 Phoenix server，并让应用接入 OpenTelemetry 或受支持的框架集成。模型提供商凭据、LLM 或 Agent 应用是基本前提；如果希望直接操作观测工作流，还需要可用的 MCP client。

适用边界与注意点

它解决的是追踪、评估与复盘，不替代模型微调或业务逻辑设计。是否能拿到细粒度数据，取决于框架集成和埋点是否完整；对自定义执行路径，可能需要额外配置才能把关键调用纳入观测。