Prompt Flow 工作流测试与评估

解决什么问题

把多个 LLM 调用、提示词和 Python 代码拼成一条工作流后，调试会变得很痛苦：改一个 prompt 可能影响整条链路，串行步骤里某处失败很难定位，没有评估基准时只能靠感觉判断新版本是否变好。这个技能针对的就是从「能跑通」到「敢上线」之间的那段空白。

技能如何工作

核心做法是用 Prompt Flow 把 LLM、提示词、Python 代码和其他工具组织成可执行的 flow 图，然后分两个层面验证：

• 交互式测试：在开发阶段对单条输入快速试错，观察每一步的输出；
• 批量测试：用一批输入跑完整流程，产出可对比的结果集；
• 追踪检查：通过 trace 记录查看链路上每个节点的输入输出，定位失败点；
• 指标评估：用评估指标量化版本差异，而不是凭直觉；
• 受控发布：只有经过评审的工作流版本才会被 promote 到正式环境。

适用边界与注意点

这个技能假设你已经具备基础环境：Python 3.9 到 3.11，以及配置好的 OpenAI 或 Azure OpenAI 连接。它本质上是围绕 Prompt Flow 的测试与评估流程，不负责模型训练或部署编排；如果你的工作流依赖大量自定义基础设施，需要自行评估适配成本。