会议技能自评管家

要解决的问题

会议类 Skill 上线后，最常见的问题是无法证明它真的有用。谈判教练弹出的锚定警报是否贴合原文？沉默激活师判定的高风险参会人是否真的长时间未发言？这些判断如果只凭 Skill 自己输出，就成了黑盒：误报无法复现，命中率没有统计口径，优化建议也落不回规则。

更麻烦的是评估本身缺乏纵向数据。单次评估只能给出一个快照，无法回答“这周比上周准了吗”。《Agent Skill Evaluation and Evolution》综述也指出，当前领域缺少多轮演化评估，指标往往被简化为有效/无效二元判断。

核心机制

本 Skill 作为会议 Skill 系列的元层管家，不重新实现会议能力，而是挂载腾讯会议原生能力，对已部署的会议 Skill 做独立校验：

• 实时转写作为真值基准，复读两段转写，核对警报/热力图是否贴合原文，判定命中或误报
• 参会人统计量化真实环境覆盖度，统计覆盖场次与参会人多样性
• 智能纪要对照作战卡/激活预案，评估生成完整度
• 云录制定位误报时间戳，留存证据，让每条判定可审计、可复现

评估按六维度展开：效用（命中率/误报率/采纳率）、生成（模板完整度）、检索路由（短指令→动作准确率）、安全（越权与确认率）、软件工程（脚本跑通率）、真实环境（覆盖度）。每个判定都记录置信度与依据，而不是只给通过/失败。

关键步骤

1. 配置阶段：读取被管 Skill 的 references/ 与 scripts/，载入评估指标定义与 golden 数据集，初始化六维度日志
2. 运行时校验：对每场会议独立复读转写，逐条核对警报、热力图与纪要落地项，写入评估日志 JSON
3. 会后报告：scripts/generate_health_report.py 消费日志，输出 Mermaid 雷达图、跨场次演化曲线、误报规则清单与回写建议（零第三方依赖，可直接运行）
4. 回写闭环：连续误报≥3次的规则触发回写建议，经用户一句话确认后写入被管 Skill 的 references/，并建为待办/日历行动项

适用边界

• 集成优先走腾讯会议 connector；未连接时降级为读取用户导入的转写 JSON 或 Skill 导出日志，评估逻辑不变
• 所有原生能力调用需显式授权；只读写被管 Skill 自己的 references/ 与导出日志，不触碰私人数据
• 任何回写修改不静默执行，评估结论只经私聊推送给本人，避免泄露被评估 Skill 的内部数据
• 它评估的是会议 Skill 的产出质量，不替代会议本身的能力；没有可用的会议数据时，只能得到空报告