LLM 应用可观测性
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @kunlungrowth/kunlun-llm-observability-helicone。
技能介绍
要解决什么问题
把 LLM 接进业务线之后,调用链、token 消耗、延迟与失败率往往散落在各家 SDK 与网关日志里,线上一出问题就变成「模型挂了还是 prompt 炸了」的猜谜。团队还常见:可观测性相关的 PR 没人按统一标准审;要不要上追踪层、日志里能否落 prompt,方案只有口头争论;告警来了却缺少「复现→看链路/指标→验证假设」的固定节奏。
本技能把通用工程能力收窄到 LLM 应用可观测性 场景:用结构化模板和检查清单代替临时发挥,不接入付费产品,也不要求你提交密钥。
技能如何工作
听到对应 触发词 会进入六种能力之一,也可组合使用:
- 代码评审:输入
diff/ PR,产出检查清单与 阻断 / 建议 / 可选 分级意见(正确性、安全、可维护性优先于风格)。 - 技术方案设计:输入需求与约束,产出含背景、目标、选型、风险的方案骨架。
- 调试排错:输入报错与上下文,产出定位树、复现步骤与修复验证项。
- 架构权衡:输入场景与规模,产出候选方案的利弊、适用边界与成本对比表。
- API 设计:围绕资源与操作,整理 RESTful 约定、字段契约与错误码。
- 工程规范:按语言/框架给出清单与常见反模式。
工作流上沿用 SKILL 里的两条主线:评审 先读意图再查正确性与泄露面;线上排错 先稳定复现、隔离环境/数据/版本,再用日志与链路证据做二分假设,最后修复与复盘。
适用边界
产出是方法论与文档模板,不能替代 你对合规、数据分级与最终合并/上线的决策。涉及凭据时只给脱敏示例;不鼓励绕过鉴权或未授权访问。若场景信息太粗,在输入里补全人群、约束与规模,输出才会贴近你的栈。
使用场景
- LLM 网关接入追踪与成本埋点后,需要按统一清单评审 PR 是否泄露 prompt 或密钥
- 首次为对话接口设计可观测性方案,要在选型表里写清日志、链路与指标的分工
- 生产环境 LLM 延迟飙高且失败率上升,要按定位树从复现到链路证据排查根因
- 在自研埋点与第三方观测平台之间做架构对比,需列出规模、成本与合规约束下的利弊
适合人员
- 负责 LLM 服务稳定性的后端工程师,希望线上告警有固定排查清单而非凭直觉改代码
- 技术负责人要在评审前拿到可观测性相关改动的阻断级/建议级分级意见
- DevOps 在对接观测平台前需要架构权衡表支撑「留哪些字段、存多久」的决策
- 全栈开发者独立维护 LLM 功能,需要 API 契约与工程规范清单避免联调与日志口径不一致