技能介绍

问题背景

智能体系统与传统软件、甚至普通 LLM 应用不同：决策是动态的，运行结果非确定，往往也没有唯一标准答案。若仍用「检查固定步骤」的方式评估，很容易误判——两条路径可能工具调用次数差很多，却都合理地完成目标。失败还常依赖上下文：简单查询通过、长对话或换一套工具后才暴露问题。

技能如何帮你建框架

本技能强调以结果为导向：评判是否在合理过程下得到正确结果，而不是绑定某一条执行路径。核心包括：

多维评分标准：事实准确性、完整性、引用与来源质量、工具效率等，各维度映射到 0.0～1.0 并加权汇总
评估方法组合：LLM-as-Judge 做规模化一致判断；人工评估补边界与幻觉；对改持久化状态的智能体可用最终状态评估
测试集设计：从真实用法与已知边界抽样，按简单 / 中等 / 复杂 / 极复杂分层；开发期可小样本快速看回归
上下文工程验证：同一测试集对比不同上下文策略，并做降解测试找 token/上下文断崖
持续评估：变更触发的评估流水线、版本对比，以及生产侧抽样与告警

实践上可按技能给出的八步清单落地：定义维度 → 写带级别描述的 rubric → 建测试集 → 自动化流水线 → 基准 → 变更前跑评估 → 趋势跟踪 → 人工抽查。

适用边界与注意点

BrowseComp 类研究提示：性能差异里 token 预算、工具探索次数、模型选择占比很高——评估要在现实 token 预算下跑，而不是无限资源假设。避免过拟合单一路径、单一 KPI、忽略边界与上下文规模；自动化不能替代对罕见查询与系统故障的人工审查。本技能与 context、multi-agent、tool-design 等技能在「质量衡量」上形成横切关联，但具体指标实现需结合你的用例设定通过阈值与权重。