Agent Skills
返回列表
🤖

GEPA 评分评估集提示迭代优化

AI Agent 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_3c6cb52e/iteratively-optimize-prompts-and-text-based-agent-configs-against-scored-eval-sets-with-gepa 技能到 AI 助手中。

技能介绍

手动调提示的常见困境

靠人工经验反复修改提示词或文本型代理配置，往往缺乏系统性：既难针对真实评分评估集持续优化，也容易忽略跨样本的整体信号，最终效果依赖试错积累，迭代成本高且难以复现。

核心能力与工作方式

这个技能引入 GEPA 的反思式搜索（reflective search），以评分函数作为反馈信号，对提示词或基于文本的代理组件进行迭代改进。它的核心在于用真实评估集替代主观判断：

  • 基于训练集与验证集拆分，利用评分函数量化每次调整的效果
  • 通过反思机制从历史尝试中提取可迁移的改进方向，而非简单试错
  • 直接优化目标提示词或文本配置，输出贴合评估集表现的改进结果

关键步骤包括：准备带评分函数的评估数据、提供模型访问权限（API 或本地模型）、指定待优化的初始提示词/文本配置，技能将自动迭代并生成优化后的版本。

适用边界与注意点

  • 依赖有效的评分函数与具有代表性的评估集，否则优化方向可能偏离真实需求
  • 适合基于文本的代理配置优化，复杂结构化配置可能需要额外适配
  • 模型访问的稳定性会直接影响迭代效率，本地模型需确保性能达标

使用场景

  • 优化客服智能体的对话提示模板时，希望基于真实评分评估集自动迭代出更佳版本
  • 调整基于文本配置的代码生成代理时，需要用验证集的评分函数反馈来改进生成逻辑
  • 构建评估流水线时，希望通过反思式搜索为模型生成结构化的提示词改进建议
  • 针对特定任务的提示词缺乏灵感，需要基于真实测试集反馈自动生成迭代方向

适合人员

  • 正在构建和调优大模型智能体的工程师，需要通过系统化方法替代手动试错来改进提示词和文本配置
  • 从事模型评估的研究人员，希望利用真实评分评估集的反馈自动优化提示词，提高评估结果的可复现性
  • 维护文本型代理组件的技术负责人，需要基于验证集评分函数对配置进行持续迭代优化