LangSmith SDK

当 LLM 应用变成黑盒

实际开发 LLM 应用时，最常见的痛点是「看不见」。一次请求可能经过多个 prompt 拼接、若干次工具调用、多次模型推理，中间任何一环出错，都很难从终端日志里快速定位。尤其是团队使用不同框架（LangChain、自定义 pipeline、多 agent 协作）时，日志格式各自为政，缺乏统一的追踪结构。

LangSmith SDK 如何工作

这个技能封装了 LangSmith 的 Python 与 JavaScript SDK，目标是为 LLM 应用提供结构化的追踪、评估与调试能力。它的工作方式可以拆成三层：

• 追踪（Tracing）：通过 SDK 上报 prompt、chain、tool call 等环节的运行数据，形成完整的调用链路视图。
• 评估（Evaluation）：支持对模型输出跑 eval runs，结合 datasets 做回归对比。
• 调试（Debugging）：在统一界面中回放某次请求的完整路径，定位异常环节。

使用前需要在环境中设置两个变量：LANGSMITH_TRACING=true 开启追踪，LANGSMITH_API_KEY 提供访问凭证。之后 SDK 会自动将运行时数据上报到 LangSmith 平台。

适用边界

• 该技能本质上是 LangSmith 官方 SDK 的封装，具体功能与行为以 LangSmith 官方文档 为准，SKILL.md 中的说明来自上游仓库提取。
• 没有有效的 API key，追踪数据无法上报，SDK 单独存在意义有限。
• 它解决的是可观测性问题，不替代模型训练、prompt 工程或框架选型本身。