Agent Skills
返回列表
💻

OpenLIT 追踪 Agent 与 LLM 工作流

开发编程 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_3c6cb52e/trace-coding-agent-and-llm-workflows-with-openlit。

技能介绍

为什么需要追踪 AI 工作流

当 coding-agent 开始调用工具、处理多步推理或生成结构化输出时，传统日志系统很难还原完整链路。开发者常面临三类典型问题：

  • 执行路径不透明：无法直观看到 LLM 在何时调用了哪个工具、输入输出是什么
  • 性能瓶颈难定位：延迟高时难以区分是模型推理慢还是工具执行慢
  • 成本失控风险：长流程中 token 消耗、API 调用次数缺乏实时监控

OpenLIT 通过 OpenTelemetry 标准解决了这些痛点。它不是简单的日志收集器，而是将 agent 的每次决策（如 prompt 构造）、工具调用（如搜索 API）、成本产生（如 token 计费）都转化为结构化的 trace span，最终在可视化界面中呈现完整调用树。

这个技能做了什么

核心能力

  1. 多维遥测集成

- 自动捕获 LLM 请求/响应的 trace 上下文
- 记录工具调用（如 git commit、HTTP POST）的输入输出与耗时
- 统计每次交互的 token 用量和估算成本

  1. 评估信号采集

- 支持注入自定义评估指标（如任务成功率、输出准确性）
- 将评估结果与原始 trace 关联，便于回溯

关键步骤

  • 环境准备：部署 OpenLIT 后端（支持本地 Docker 或云服务）
  • 代码接入：在 agent 代码中初始化 OpenLIT SDK，通常只需几行配置
  • 上下文传播：SDK 自动将 trace ID 注入到 agent 的上下文对象中
  • 数据查看：通过 OpenLIT dashboard 查看分布式 trace、metrics 看板

适用边界与注意事项

  • 上游依赖限制：需严格遵循 OpenLIT 官方文档的 SDK 版本要求，避免与 OpenTelemetry Collector 版本冲突
  • 性能开销：在高频调用场景（如每分钟千次 LLM 请求）下，建议调整采样率而非全量记录
  • 敏感数据处理：trace 中默认会记录 prompt 内容，需配置脱敏规则或禁用敏感字段采集
  • 工作流对齐：该技能侧重数据层追踪，不直接优化 agent 的决策逻辑，需配合 Prompt Engineering 使用

使用场景

  • 给接入 LLM 的代码助手埋点，确认每一步推理、工具调用和 token 消耗落在同一条 trace 上。
  • 排查智能客服多轮对话超时，定位是模型推理慢还是外部工具接口延迟。
  • 在多 Agent 流水线中追踪每个节点的输入输出和费用，方便后续按任务拆账。
  • 在 CI 中回放一次失败的代码生成，核对当时使用的工具参数和评估信号。

适合人员

  • 维护 coding-agent 的后端工程师，需要在发布前补齐 trace、指标和成本数据。
  • 负责 LLM 应用稳定性的平台工程师，想按工具调用和评估信号定位回归问题。
  • 需要控制模型费用的技术负责人，希望按工作流节点核对 token 用量与估算成本。
  • 做技术博客和内部分享的工程师，想记录一次真实 agent 调用的完整链路作为案例。