推理轨迹优化
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @kunlungrowth/reasoning-trace-optimizer。
技能介绍
Agent 跑任务失败时,往往只抛出一句“工具调用错误”或“目标未达成”——真正导致失败的中间思考(reasoning traces,模型在工具调用之间的推理步骤)完全被隐藏。这种黑盒状态让调试陷入两难:要么盲目改提示词,要么对着报错信息猜测原因,无法定位是上下文过长丢失了关键指令,还是模型误解了工具的输出格式,或是任务目标在多轮对话中逐渐被遗忘。
核心工作方式
该技能的核心是将推理轨迹转化为可分析的优化依据,通过“捕获-识别-评分-优化-重跑”的闭环把黑盒报错拆解为具体问题。具体步骤如下:
- 捕获轨迹:使用支持交错思考(interleaved thinking)的模型运行任务,保留每次工具交互之间的思考块(而非仅在开头生成一次推理),这是后续分析的基础。
- 模式识别:对照
references/template.md中的失败模式表,标注轨迹中出现的问题——比如context_degradation(长上下文丢失关键信息)、tool_confusion(误解工具能力或输出)、instruction_drift(逐渐偏离原始指令)等6类常见模式。 - 评分与归因:给轨迹打0-100分,针对每个命中模式给出具体修改建议:比如命中
tool_confusion时,提示词需明确“工具返回为空时,先检查参数而非直接报错”;命中goal_abandonment时,需增加“每完成1个步骤,复述当前核心目标”的约束。 - 优化提示:每轮只修改1-2处最关键的提示词(如补强目标约束或明确工具使用规则),避免多处修改导致无法归因。
- 重跑闭环:重复“跑任务→捕获轨迹→分析模式→优化提示→重跑”流程,直到分数收敛(通常≥80即可停止,无需追求满分)。
适用边界与注意点
该技能聚焦于推理轨迹的调试与提示优化,不替代其他专用技能:需要落盘式上下文管理时交给filesystem-context,多代理拓扑设计交给multi-agent-patterns,模型评测交给evaluation。使用时需注意:
- 捕获的轨迹必须包含完整的思考块,否则模式识别会失去依据;
- 每轮优化需限制改动点,避免多处修改导致无法定位效果来源;
- 沉淀为技能前必须人工复核,确保学到的模式和提示词具有通用性,而非仅适用于特定任务。
使用场景
- Agent任务执行失败时,需分析推理轨迹定位具体失败模式并优化提示词
- 处理Agent上下文退化问题时,需捕获工具调用间思考块分析信息丢失
- 优化Agent工具使用逻辑时,需识别工具误用模式并修改系统提示词
- 调试Agent指令漂移问题时,需评估轨迹得分并迭代提示词直至收敛
适合人员
- Agent开发工程师,需要定位Agent任务失败的具体原因并优化提示词
- 提示词工程师,需要归因Agent工具误用或目标偏离问题并迭代改进
- Agent应用维护人员,需要减少Agent运行错误率并沉淀调试经验
- AI Agent研究者,需要分析推理轨迹中的失败模式并提升Agent表现