Agent Skills
返回列表
🤖

OpenLLMetry LLM 与 Agent 追踪

AI Agent 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_3c6cb52e/trace-llm-and-agent-workflows-with-openllmetry。

技能介绍

解决什么问题

当一个代理开始串起多次模型调用、工具调用和分支判断时，日志往往只剩零散的 print 和几行请求耗时。出问题时很难回答：哪一步的 prompt 导致了异常输出？某次工具调用是超时了还是返回了错误？不同模型提供商之间的延迟差异在哪里？这个技能要做的就是把 LLM 和代理工作流纳入已有的 OpenTelemetry 观测体系，让 prompts、tool calls、latency、errors 和 provider behavior 都能在现有的采集器和后端里被检查。

核心能力与关键步骤

  • 基于 OpenLLMetry / Traceloop SDK 对代码做插桩，不要求推倒重写现有可观测性架构
  • 追踪数据直接汇入 OpenTelemetry 兼容的 collector 或后端，复用既有的面板与告警
  • 覆盖模型调用、工具调用、延迟、错误和提供商行为等关键链路信息
  • 接入步骤很轻：在代码中初始化 Traceloop 后，工作流即可被自动插桩
  • 面向 Python 项目，通过标准 SDK 初始化接入，不需要更换基础设施

适用边界与注意点

  • 前提是环境已能运行 Python，并选定了 OpenLLMetry 或 Traceloop SDK
  • 需要一个 OpenTelemetry 兼容的 collector 或后端来接收数据，否则追踪没有落点
  • 该技能本质是文档型技能，详细配置以官方上游文档为准（见来源链接）
  • 不同提供商和代理框架的插桩深度可能不同，建议先在单条链路上验证再铺开

使用场景

  • 调试多步代理流程：在现有监控中回放链路，定位是哪次模型调用的提示词或工具调用导致异常输出。
  • 对比多家模型提供商在同一代理链路上的延迟与错误率差异，为选型或切换提供商提供数据依据。
  • 排查代理工作流偶发失败：在现有 OpenTelemetry 后端中逐次检查模型调用与工具调用的状态。
  • 把 LLM 代理纳入公司统一监控：无需重写代码，直接在现有 collector 与后端查看提示词与耗时。

适合人员

  • 构建 LLM 代理的后端工程师：要在多步模型与工具调用链路中定位异常输出或失败发生的具体环节
  • 负责 AI 应用可观测性的平台工程师：想把 OpenTelemetry 追踪接入现有监控栈并统一查看链路数据
  • 负责 agent 提示词与工具编排的工程师：想在真实运行链路里看到每次提示词、工具调用的延迟与错误
  • 需要做模型提供商选型的技术负责人：希望用同一套链路数据对比不同提供商的延迟与错误表现