LLM 应用评估与观测(Opik)
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @kunlungrowth/kunlun-llm-eval-observability-opik。
技能介绍
要解决什么问题
把 Opik 用在 LLM 应用上时,评估指标怎么对齐、链路怎么查、改动有没有踩坑,往往没有可复用的检查方式。评审靠个人经验、方案只堆功能、线上异常靠猜,交接时也缺少固定模板。
技能如何工作
本技能把通用工程能力落到「LLM 应用评估与观测(Opik)」语境:听到 review/评审/CR 走代码评审,输出检查清单与阻断/建议/可选分级;设计/方案/架构 走技术方案,给出背景、目标、选型与风险框架;debug/排查 走调试排错,按复现→隔离变量→日志/链路/指标→假设验证组织结论。另有架构权衡(利弊与成本表)、API 设计(REST 契约与错误码)、工程规范(清单与反模式)。
核心工作流在 SKILL 里写得很具体:评审先看正确性与安全再谈风格;排错要求先稳定复现再改代码。还提供 5 维代码质量量表与意图路由表,把「帮我看看这段代码」「用 A 还是 B」映射到对应能力。
适用边界
纯方法论与模板,不接入付费服务,不处理真实密钥或凭证(仅脱敏示例)。评审意见是辅助参考,合并与上线决策仍由负责人承担;不鼓励绕过安全或访问未授权系统。
使用场景
- 接入 Opik 的 PR 需要按阻断/建议/可选分级做评审,避免 eval 链路改动上线后难回溯
- 线上 LLM 调用异常或 Opik 指标告警时,要用复现与日志/链路证据定位,而不是直接改配置猜根因
- 在 Opik、自建日志与 A/B 评估方案之间做选型,需要利弊、适用规模与运维成本的对照表
- 为评估结果或 trace 查询设计 REST 接口时,需要统一的字段契约、错误码与幂等/鉴权检查项
适合人员
- 负责把 Opik 埋点与评估任务合进主分支的后端工程师,希望评审有固定清单而非口耳相传
- 要写 LLM 评估与观测技术方案的技术负责人,需要在背景/选型/回滚之间做可讨论的取舍
- 值班时收到 Opik 或模型服务告警的 DevOps,需要按隔离变量与证据链排错而非盲改
- 独立开发者自研 Agent 应用,需要 API 契约与工程规范清单来减少联调与交接缺口