Agent Skills
返回列表
AI助手表现持续优化

AI助手表现持续优化

AI Agent 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据官方安装指南 https://skillhub.cn/install/skillhub.md,安装技能 @user_fccf428b/agent-orchestration-improve-agent。

技能介绍

要解决的问题

上线后的 Agent 往往会逐渐偏离预期:任务完成率下降、用户频繁纠正输出、长对话中出现上下文丢失,甚至产生幻觉。问题在于,「感觉 Agent 变笨了」很难直接转化为可修复的工程问题——没有基线指标,就无法判断一次提示词改动是优化还是回归。

核心能力与工作流程

这套技能提供一条数据驱动的迭代路径:

  • Phase 1 建立基线:采集任务完成率、工具调用效率、Token 消耗、幻觉事件等量化指标,从用户反馈中归纳纠错模式、澄清请求与任务放弃点,再按根因对失败模式分类(指令误解、格式错误、上下文丢失、工具误用等)。
  • Phase 2 提示词改进:用思维链增强(Let's approach this step-by-step...)、精选 Few-Shot 示例、角色定义细化、批评-修订自检循环等手段做定向修正,每个改动都对应可度量的目标。
  • Phase 3 测试验证:构建代表性测试集,做 A/B 对比(每组至少 100 个任务、95% 置信度),通过后小流量灰度发布,指标异常时快速回滚。

发布后按周监控指标、按月复盘迭代,形成持续改进节奏。

适用边界与注意点

  • 只用于优化已存在的 Agent,不适用于从零构建。
  • 没有指标、反馈或测试用例时无法建立基线,应先补齐数据。
  • 提示词上线前必须经过回归测试;该技能不替代环境相关的专项验证与专家评审。
  • 缺少必要的输入、权限或安全边界时,应停下来请求澄清。

使用场景

  • 线上客服 Agent 的幻觉投诉上升,需要采集错误样本、分类失败原因并修正提示词。
  • 知识库问答机器人回答冗长且偏离主题,计划用 A/B 测试对比思维链和 F ew-Shot 两版提示词。
  • 长对话中用户频繁要求澄清,需要检查角色定义是否模糊并补充工具选择约束。
  • 生产 Agent 经过一轮提示词改动,用回归测试集确认质量未下降后再全量发布。

适合人员

  • 负责维护客服或问答 Agent 的后端工程师,想用指标定位线上质量回退的根因。
  • 设计 Agent 交互流程的产品经理,需要基于纠错与放弃数据决定提示词调整方向。
  • 构建内部自动化 Agent 的平台团队,打算建立规范化的测试与灰度发布流程。
  • 关注 Agent 安全与合规的工程师,希望在提示词变更中保留回滚机制与自检环节。