Agenta 评估和监控 LLM 工作流

要解决什么问题

把 LLM 工作流推上生产之后，回归往往不是大版本带来的，而是一次提示词微调、一次模型替换造成的静默漂移。线上只有零星人工抽查时，输出质量的下降通常会先被真实用户撞见，而不是被工程团队发现。这个技能要解决的就是这个问题：在变更到达用户之前，用系统化的评估把行为变化拦住。

核心能力与工作流程

技能基于 Agenta 编排三类检查，覆盖从提示词到线上观测的完整链路：

• 提示词实验（prompt experiments）：对提示词做受控的对比实验，观察改动带来的输出差异，而不是凭感觉判断“好像没变”。
• 测试集评估（testset evaluations）：用预先准备的测试用例批量运行工作流，对输出质量做量化检查，适合在改动前后各跑一次做对照。
• 可观测性审查（observability reviews）：结合 LLM 应用的追踪数据（traces）回看线上行为，把测试集覆盖不到的异常路径也纳入视野。

三者配合的用法是：先用测试集建立基线，再通过提示词实验验证单点变更，最后用线上 trace 确认线上行为与预期一致。

适用边界与注意点

• 运行前提是手上已有 Agenta 环境、LLM 应用的 trace 或测试用例，以及可用的模型 / provider 凭证；缺少这些输入，技能无法产出有意义的评估结果。
• 当前 SKILL.md 没有自动提取到经来源验证的安装与使用说明，上游仓库位于 github.com/1991513ccie-png/skills。若要在敏感的生产流程中使用，建议先人工审查上游代码，确认评估逻辑与凭证调用方式符合预期。
• 技能负责编排评估流程，替代不了正式的测试基建与 CI 门禁设计；它更像一次可复用的评估入口，而不是零配置的监控平台。