AgentOps 代理运行跟踪与调试
将以下提示词粘贴到你的 AI 对话框中:
请根据官方安装指南 https://skillhub.cn/install/skillhub.md,安装技能 @user_3c6cb52e/trace-and-debug-agent-runs-with-agentops 到 AI 助手中。
技能介绍
代理调试的盲区
多步代理出问题时,控制台里往往只有一句“执行失败”。具体是第几步失败、那次 LLM 调用返回了什么、工具调用传了什么参数,全都看不到。没有会话级的记录,排查只能靠反复加 print,成本高且难以复现。
这套技能做了什么
AgentOps 的思路是给代理会话埋点:在运行时初始化一个 AgentOps 客户端,之后代理产生的每次 LLM 调用、每次工具调用都会自动生成分析数据。基于这些数据,你可以:
- 回放整个会话:一步步重放代理运行过程,定位失败发生在哪一步。
- 追踪模型成本:把每次 LLM 调用的开销汇总出来,而不是事后估算。
- 检查工具调用:查看每个工具调用的输入输出,验证行为是否符合预期。
- 跨框架对比行为:同一代理逻辑跑在不同框架上,用同一套数据对比差异。
底层支持 OpenAI Agents SDK(Python 与 TypeScript)、CrewAI、Agno、LangChain、AutoGen/AG2、CamelAI 等框架,也可以选择自托管部署在自己的云上。
适用边界
- 技能不替代框架本身的调试能力,它做的是会话级记录,排查仍需结合代理逻辑本身。
- 数据上报依赖 AgentOps 客户端,网络或密钥配置不当会影响记录完整性。
- 自托管虽然可行,但意味着自己维护部署,接入前需评估运维成本。
使用场景
- 多步代理执行失败但日志只有一句话,需要回放整个会话定位具体失败步骤和那次LLM调用的返回内容
- 代理即将上线,需要汇总过去一周所有LLM调用的实际成本,评估是否符合预算限制
- 将代理从LangChain迁移到CrewAI后,需要对比两个框架上同一任务的执行路径和工具调用差异
- 工具调用偶尔失败但参数看起来正常,需要查看历史调用记录确认传入参数和返回值的实际内容
适合人员
- 正在调试多步代理但控制台只有错误信息、需要逐步骤回放会话定位问题的AI应用工程师
- 负责代理项目上线、需要在部署前汇总LLM调用成本以确认预算的项目负责人
- 正在将代理从一个框架迁移到另一个框架、需要对比行为差异确认迁移正确性的技术负责人
- 遇到工具调用失败但日志信息不足、需要查看完整调用参数和返回值来修复bug的后端开发者