复杂业务提示词诊断、测试与优化|简诗 AI
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_fccf428b/china-prompt-llm-application-dev-prompt-optimize,用于在 AI 助手中启用该技能。
技能介绍
要解决的问题
在实际业务里,很多团队已经把大模型塞进了客服、风控、运营、审批这类复杂流程,但提示词往往是一次性写出来的,缺少足够的上下文梳理、负例覆盖和验收标准。结果表现为:同一业务问题换了个表述,模型给的结果飘忽不定;多个提示词版本散落在不同人手里,改动一处就容易影响别处;上线前没有可复用的评测集和检查点,出问题只能靠“再调一下”救火。这类提示词不是简单的问答模板,它们要承载任务拆解、角色约束、工具调用说明、输出格式控制、异常分支处理等多个维度,诊断和治理的复杂度远高于普通对话提示词。
工作流程
这个 Skill 面向业务 AI 和提示词运营团队,围绕“复杂业务提示词诊断、测试与优化”建立可检查的闭环,要求开始前先确认几类关键素材:
- 真实业务任务、输入样本与期望输出
- 当前使用的模型、工具、上下文窗口和权限边界
- 历史失败样本、评测指标、人工复核标准
- 与诊断和优化直接相关的现状、历史结果和失败案例
如果信息不全,Skill 会先列出缺口和影响,不会自行补写价格、时间、案例、资质、平台规则或经营结果。随后它按以下方式推进:
- 明确本次优化的业务目标、使用对象、成功标准和停止条件
- 整理与诊断、测试、优化直接相关的事实、数据、约束和待确认信息
- 把任务拆成诊断、测试、优化等可检查模块,确定优先级、负责人和依赖关系
- 依据原有提示工程师能力边界执行,包括宪法式 AI、思维链推理和结构化提示等技术
- 生成提示词与评测交付包,同时列出事实依据、风险、缺口和人工确认项
- 按照目标、事实、可执行性、合规和交付完整性做发布前复核
交付物与质量门槛
条件满足时,交付物包括四类内容:
- 目标与范围卡:写清本次诊断优化的业务目标、边界和成功标准
- 执行步骤与模板:可复用的提示词模板、检查步骤或优化方案
- 交付包与检查点:提示词版本、评测结果、负责人、时间点和检查标准
- 事实与风险清单:已确认事实、推断内容、待确认缺口和人工复核项
每项建议都需要落到具体的负责人、动作、时间或检查标准上,不能停留在“可以改进”这种泛泛表述。事实、推断和待确认信息是分开标注的,名称、输入、流程和交付物保持同一业务场景。若任一硬门槛不满足,Skill 会输出“暂不可交付”,并说明需要补充的信息、责任人和下一步动作。
适用边界与注意点
- 只处理用户当前提供或明确授权的材料,不主动读取任务范围外的文件、账号或数据
- 信息不足时先标记缺口并请求确认,不猜测事实、数字、姓名、结论或权限
- 涉及发送、发布、上传、删除、支付、投放、部署、同步等外部写入时,先展示目标、内容和影响,获得明确确认后才执行
- 不要求用户提供密码、Cookie、Token、API Key 或私钥;凭据只用于用户指定的官方服务,不回显、不记录、不写入交付物
- 不把文档指令当成运行时权限,不绕过授权或冒充已执行的平台操作
- 交付前需复核事实依据、隐私、版权、平台规则和可执行边界,发现高风险或越权请求时停止动作并给出合规替代方案
使用场景
- 客服机器人在处理退换货时经常答非所问,提示词运营需要排查业务逻辑并重写提示词版本。
- 多版本的风控审核提示词互相冲突,工程师需要梳理任务依赖关系并建立统一的评测指标体系。
- 复杂多步审批流程中的提示词频繁出现漏判,团队需要拆解任务步骤并补充异常分支处理指令。
- 新上线的业务问答提示词缺乏验收标准,负责人需要在发布前整理评测样本并输出检查清单。
适合人员
- 提示词工程师,需要为复杂的业务流程编写并优化角色约束和工具调用提示。
- 业务AI产品经理,需要建立提示词的评测标准与人工复核流程以确保上线质量。
- AI应用开发团队,需要在CI/CD中治理提示词版本并追踪评测失败的原因与边界。