Agent Skills
返回列表
🔒

LLM 应用可观测性

IT 运维与安全 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @kunlungrowth/kunlun-llm-observability-helicone。

技能介绍

要解决什么问题

把 LLM 接进业务线之后,调用链、token 消耗、延迟与失败率往往散落在各家 SDK 与网关日志里,线上一出问题就变成「模型挂了还是 prompt 炸了」的猜谜。团队还常见:可观测性相关的 PR 没人按统一标准审;要不要上追踪层、日志里能否落 prompt,方案只有口头争论;告警来了却缺少「复现→看链路/指标→验证假设」的固定节奏。

本技能把通用工程能力收窄到 LLM 应用可观测性 场景:用结构化模板和检查清单代替临时发挥,不接入付费产品,也不要求你提交密钥。

技能如何工作

听到对应 触发词 会进入六种能力之一,也可组合使用:

  • 代码评审:输入 diff / PR,产出检查清单与 阻断 / 建议 / 可选 分级意见(正确性、安全、可维护性优先于风格)。
  • 技术方案设计:输入需求与约束,产出含背景、目标、选型、风险的方案骨架。
  • 调试排错:输入报错与上下文,产出定位树、复现步骤与修复验证项。
  • 架构权衡:输入场景与规模,产出候选方案的利弊、适用边界与成本对比表。
  • API 设计:围绕资源与操作,整理 RESTful 约定、字段契约与错误码。
  • 工程规范:按语言/框架给出清单与常见反模式。

工作流上沿用 SKILL 里的两条主线:评审 先读意图再查正确性与泄露面;线上排错 先稳定复现、隔离环境/数据/版本,再用日志与链路证据做二分假设,最后修复与复盘。

适用边界

产出是方法论与文档模板,不能替代 你对合规、数据分级与最终合并/上线的决策。涉及凭据时只给脱敏示例;不鼓励绕过鉴权或未授权访问。若场景信息太粗,在输入里补全人群、约束与规模,输出才会贴近你的栈。

使用场景

  • LLM 网关接入追踪与成本埋点后,需要按统一清单评审 PR 是否泄露 prompt 或密钥
  • 首次为对话接口设计可观测性方案,要在选型表里写清日志、链路与指标的分工
  • 生产环境 LLM 延迟飙高且失败率上升,要按定位树从复现到链路证据排查根因
  • 在自研埋点与第三方观测平台之间做架构对比,需列出规模、成本与合规约束下的利弊

适合人员

  • 负责 LLM 服务稳定性的后端工程师,希望线上告警有固定排查清单而非凭直觉改代码
  • 技术负责人要在评审前拿到可观测性相关改动的阻断级/建议级分级意见
  • DevOps 在对接观测平台前需要架构权衡表支撑「留哪些字段、存多久」的决策
  • 全栈开发者独立维护 LLM 功能,需要 API 契约与工程规范清单避免联调与日志口径不一致