LaunchDarkly AI Config 在线评估

你要解决什么问题

当你在 LaunchDarkly 里给 AI Config 配好多个变体之后，真正的麻烦才刚开始：线上到底跑的是哪个变体、评判标准写在哪里、为什么某次变更的线上指标突然变差。只看 SDK 回传的最终输出，你拿不到“为什么这个输出被判定为失败”的证据，也很难把线上信号和离线评审的结论对齐。这个技能要处理的，就是如何给变体附加评判器（judge attachments），并把在线评估的结果读成可复盘的生产质量信号。

技能做了什么

核心能力围绕三件事展开：

• 附加评判器：把 judge attachment 挂到 LaunchDarkly AI Config 的具体变体上，让某个变体在线上被评估时携带对应的评判逻辑和上下文。
• 自定义评判器：当你不满足于内置的评判方式时，可以按项目需求写自己的评判器，用来覆盖业务特有的约束或偏好。
• 采样率设置：通过 sampling rate 控制线上评估的触发比例，避免全量评估带来的延迟和成本压力。

典型工作流大致是这样：

先确认你手上有 AI Configs 的配置权限，以及可用的 API token 或 SDK 访问路径。接着把评判器挂到目标变体上，配置好采样比例。运行之后，技能会帮你把线上评估返回的信号拆成可读的结论——哪个变体在线上表现如何、评判器给出的判断依据是什么、采样规模是否足够支撑结论。

适用边界与注意点

• 这个技能只覆盖 在线评估（online evaluations）的配置和解读，不负责离线批量评测的数据管道。
• 采样率设得太低，线上信号的置信度会打折；设得太高，又会引入可观的延迟和 token 开销，需要按实际流量权衡。
• 自定义评判器本身是一段逻辑，评判标准的漂移往往比模型变更更隐蔽，建议把评判器的版本也纳入变更管理。
• 最终结论仍然依赖 LaunchDarkly 回传的指标质量，技能做的是解释和归因，不会凭空补全缺失的评估数据。