Agent Skills
返回列表
🤖

Langtrace 大模型应用追踪与评估

AI Agent 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_3c6cb52e/trace-and-evaluate-llm-application-behavior-with-langtrace。

技能介绍

解决什么问题

LLM 应用一旦离开 notebook 进入生产环境，传统的日志和断点调试就开始失灵。一次看似正常的回答背后，可能涉及提示词模板拼接、模型参数调整、工具调用链、重试与回退逻辑等多个环节。当用户反馈「回答质量变差了」，你很难快速判断问题出在模型本身、上下文组装还是工具调用过程。这个技能要解决的就是 LLM 工作流在生产环境中的可观测性缺失问题。

技能如何工作

该技能基于 Langtrace 与 OpenTelemetry 标准，核心思路是用标准的追踪（Traces）、指标（Metrics）和评估（Evaluation）视图，把应用运行时的每一步记录下来：

  • Instrument 应用：为 Python 或 TypeScript 编写的 agent 应用注入 OpenTelemetry 埋点，自动捕获模型调用、工具执行、Token 消耗等关键事件；
  • 收集运行时数据：所有遥测数据汇聚到 Langtrace 服务（支持官方 API Key 或自托管实例）；
  • 关联分析：在评估视图中将 Trace 与具体的输入、输出、延迟、成本等指标关联，支持对单个请求进行下钻分析。

适用边界与注意点

  • 需要 Python 或 Node.js 运行时环境；
  • 需要提供 Langtrace API Key，或自行部署 Langtrace 实例；
  • 该技能本身是文档与指导的集合，不包含可执行代码，实际接入需按上游文档配置 SDK；
  • 埋点会引入一定的运行时开销，在对延迟敏感的场景下需要评估采样策略；
  • 评估视图的效果取决于你在应用中是否正确传递了语义上下文（如 prompt、模型名称、工具名称等）。

使用场景

  • 智能体应用上线后出现回答质量下降，需要回放单次请求的调用链，定位是提示词拼接错误还是工具返回结果异常。
  • 团队需要监控生产环境中LLM应用的Token消耗与延迟指标，为不同模型或提示词版本设置性能基线并排查超标原因。
  • 在重构包含多步工具调用的TypeScript Agent时，需要评估不同重试策略对整体工作流成功率和成本的具体影响。

适合人员

  • 正在将Python编写的LLM Agent部署到生产环境的研发工程师，需要排查线上偶发的工具调用超时或模型输出幻觉问题。
  • 负责维护企业级大模型应用平台的技术负责人，需要通过统一的评估视图对比不同模型版本在实际业务流中的延迟与Token成本。
  • 使用TypeScript开发复杂工作流Agent的后端开发者，需要在代码迭代中验证提示词修改对下游工具执行成功率的实际影响。