Langtrace 大模型应用追踪与评估
将以下提示词粘贴到你的 AI 对话框中：
请根据 https://skillhub.cn/install/skillhub.md 的指引，将 @user_3c6cb52e/trace-and-evaluate-llm-application-behavior-with-langtrace-skillhub 安装到当前的 AI 助手中。
技能介绍
生产 LLM 工作流的观测难题
在 Python 或 TypeScript 编写的 agent 应用中，LLM 调用链进入生产环境后往往难以排查。一次请求可能涉及多次模型调用与工具调用，传统日志通常只记录入口参数和最终输出，难以还原中间步骤的调用顺序与耗时分布，也无法对回答质量做系统化评估。当线上出现异常行为时，团队缺少能快速定位问题的观测数据。
核心能力与关键步骤
该技能基于 OpenTelemetry 标准，为 agent 应用注入 链路追踪（traces）、指标（metrics） 与 评估视图（evaluation views） 三类信号，目标是为生产环境的 LLM 工作流提供调试依据。使用路径大致如下：
- 准备运行时：确认应用运行在 Python 或 Node.js 环境中，并准备好 Langtrace API key 或自托管实例地址；
- 注入观测信号：按 OpenTelemetry 方式在应用中埋点，将 trace 与指标上报到 Langtrace；
- 查看与评估：在 Langtrace 面板中回放 trace 调用链，配合评估视图分析应用行为是否符合预期。
需要明确的是，该技能聚焦于 可观测性：它负责把应用行为转化为可追踪、可度量的数据，并不直接修改模型行为、改写 prompt 或优化推理成本。
适用边界与注意点
使用前需满足两项前提：运行环境为 Python 或 Node.js；具备 Langtrace API key 或可访问的自托管 Langtrace 实例。若项目尚未引入 OpenTelemetry，或运行在其他语言栈上，需要先评估接入成本。此外，trace 与指标本身不等于质量结论，评估视图的具体配置与人工判断仍是判断应用行为是否健康的关键环节。
使用场景
- 线上 agent 出现异常回答时，用 trace 回放定位是哪次模型或工具调用失败
- 为 Python agent 接入 OpenTelemetry trace 与指标，排查生产环境 LLM 工作流耗时
- 在 Langtrace 的评估视图中对比不同 prompt 版本的回答质量差异
- 自托管 Langtrace 实例上集中查看多个 TypeScript agent 的调用链路与运行指标
适合人员
- 维护生产 LLM agent 的工程师，需要在故障时快速定位问题调用链
- 为多条 agent 链路统一接入 OpenTelemetry 观测能力的研发负责人
- 需要基于 trace 与评估数据判断应用行为是否健康的算法或 QA 工程师
- 运行自托管 Langtrace 的运维工程师，希望集中查看应用运行指标
相关技能
每天收集对话、任务日志与错误记录，按九模块复盘思维盲区，输出可执行行动并写入记忆。
面向 Skill 开发者的免费矩阵分发助手，可引导发布到腾讯 SkillHub、虾聊、虾友 SkillHub、GitHub 与 ClawHub，并区分创建、更新与删除流程。
用于为即梦 Seedance 2.0 生成视频提示词，覆盖 @ 引用、运镜、分时段、音频指导和常见避坑。
围绕超级趋势拆解物理供应链，识别第二、三层瓶颈，执行估值与反向验证，并维护可追踪的报告。