技能介绍

解决的核心问题

当前Agent系统迭代中普遍存在评估维度单一、结果可复现性差的问题：多数团队仅关注最终任务成功率，忽略轨迹质量、状态管理等过程性指标；人工评估耗时且难以应对多轮交互、工具调用链等复杂场景；部分评测方案缺乏反作弊机制，易被Agent通过“刷规则”绕过真实能力验证；此外，量化某个评估维度（如沙箱隔离）的实际价值时，常缺少标准化的消融实验方法。

技能的工作原理

该技能融合OSWorld2.0、Google DeepMind SkillBench、Skill Doctor七维评估法的核心思路，提供可执行的评测框架：

四维测评体系：覆盖轨迹质量（任务步骤合理性、工具调用有效性）、状态管理（环境状态追踪、上下文一致性）、验证行为（输出校验、失败回溯能力）、难度构造（用例梯度设计、场景复杂度控制）四个核心维度。
评估Harness设计：支持搭建自动化测试管线，通过沙箱隔离待评测Agent与外部环境，采用Diff驱动评估对比预期轨迹与实际执行结果，减少人工干预。
多维评分细则：采用10分制打分，要求每个得分点附带证据链（如工具调用日志、环境状态快照），并标注置信区间，提升结果可信度。
反作弊与鲁棒性：内置对抗性测试、注入检测、功能完整性校验三重机制，识别Agent通过“关键词匹配”“硬编码规则”等非真实能力完成任务的行为。
消融实验：支持按需关闭某个评估维度（如禁用沙箱隔离），量化该维度对最终评分的影响，帮助团队聚焦关键优化点。
长周期评测：适配多轮交互场景，可追踪工具调用链、环境状态变化，验证Agent在长任务中的持续表现。

适用边界与注意点

该技能适用于AI Agent Skills/模型的评测设计、评估Harness构建、评测维度优化三类场景，评估对象是任何可描述为接收输入→调用工具→产输出的Agent系统。
不适用于模型训练调优、通用软件测试（非Agent场景）、纯性能基准测试。使用时需提供待评测Agent的完整描述及至少1个评估用例；建议单次评估用例不超过20个，避免Token资源浪费。