技能介绍

评估 Agent 的真实困境

在构建智能体（Agent）系统时，开发者常面临一个核心痛点：Agent 的动态决策与运行不确定性导致其往往没有单一标准答案。若沿用传统软件测试思维去死磕“执行路径”，不仅极易产生误判，还会掩盖实际结果的质量缺陷。此外，单一的总分制容易稀释某些关键维度的致命失败，而缺乏结构校验的工件甚至可能被 LLM 评委的“宽容分”洗白。

结果导向的评估框架设计

为了应对上述挑战，本技能强调重结果而非执行路径的度量哲学。其核心工作流包含以下几个关键步骤：

多维 Rubric 拆解：将质量拆分为事实准确性、完整性、引用准确性、来源质量与工具效率等独立维度，映射至 0.0-1.0 区间并按用例加权汇总，避免单一分数掩盖短板。
确定性校验前置：在调用 LLM 评委消耗 token 前，优先利用机器可检结构（如 schema_valid、必需证据路径）进行快速失败拦截，确保无效工件不进入质量评估阶段。
分层测试集构建：按复杂度将测试集分为简单、中等、复杂与极复杂四个层级，防止简单样例拉高整体通过率而产生“虚高”假象。
上下文工程验证：通过同测试集对比不同上下文策略，并执行退化测试寻找性能悬崖，从而科学界定安全运营上限。

适用边界与注意点

需要明确的是，本技能专注于结果度量与质量门的搭建。如果你需要设计评委 Prompt、进行成对比较或校准偏差，请交由 advanced-evaluation；若涉及自主控制面、回滚机制或人工批准边界，则需结合 harness-engineering；而具体上下文失败的深度诊断，应使用 context-degradation。在生产环境中，建议将评估接入 CI/CD 流，当通过率跌破警告线 0.85 或严重线 0.70 时自动拦截部署。