技能介绍

代理工作流转生产时遇到的具体问题

当你的代理从 demo 转向真实业务时，问题往往不只是“能不能跑通”，而是“出问题时能不能定位”。一次代理运行通常跨越多次 LLM 调用、工具调用和状态更新，失败可能发生在任何一环；没有结构化追踪时，你只能靠日志和复现，耗时且容易漏掉回归。同时，评估集散落在测试脚本里，版本难以和代码、追踪记录对齐，回归对比也就失去了依据。

这个技能解决什么

这个技能面向代理工作流的评估与追踪：在运行时对代理进行 instrument，采集 trace，管理评估数据集，检查执行图，并在部署前复查回归。它不负责替代你的业务代码，而是把运行过程变成可检查的证据链。

核心能力与关键步骤

Instrument 代理运行：用 RagaAICatalyst 接入已有工作流，记录关键执行步骤，形成可回放的 trace。
采集与管理追踪：将每次运行的 trace 与项目关联，便于按代理、数据集或执行路径筛选，定位“是哪一步开始偏离预期”。
维护评估数据集：管理用于回归和评估的样本，避免评估数据和代码变更脱节。
检查执行图：通过 execution graph 观察代理在工具调用、LLM 调用和状态转移之间的实际路径，发现隐式分支或多余步骤。
部署前复查回归：在发布前对比历史结果，确认变更是否引入非预期行为，而不是只凭单次成功判断。

适用边界与注意点

适合已经有 Python 环境、RagaAI Catalyst SDK 和 Catalyst 项目凭证的场景；工作流应是已接入的 LLM 或代理流程，并准备评估数据集或 trace 样本。它更偏评估与追踪，不会替你设计代理逻辑，也不替代上游模型或工具本身的调试。使用前需要确认凭证管理、数据合规和项目配置已就绪。