Agent Skills
返回列表
LLM 提示词可移植性审计

LLM 提示词可移植性审计

AI Agent 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_b26bd65e/llm-prompt-portability-auditor-b26bd65e。

技能介绍

跨模型迁移提示词时,最先坏掉的往往不是意图,而是那些隐式约定

把一套跑在 gpt-4o 上的提示词原封不动丢给 Claude 或开源模型,最常见的失败模式并不是“任务没听懂”,而是格式崩了:XML 标签被当成内容输出、reasoning 参数被忽略、工具调用的 tool_calls 结构不再可用、json_mode 返回的不是合法 JSON。这些耦合点平时藏在“能用”的状态里,一旦换底座就集中爆发。

这个技能解决什么

它针对的是提示词的可移植性审计,而不是重写提示词。核心能力有三:

  • 拆解耦合:把提示词拆成 system policy、task instructions、examples、context、tools、output contract 六类,逐项定位只在某个厂商生态里成立的假设。
  • 替换隐式依赖:把未文档化的模型行为,改写成显式指令与 schema,而不是指望目标模型“自动适配”。
  • 保留意图与安全约束:迁移过程中不改变任务目标和安全边界,只调整表达形式。

关键步骤

审计按固定流程推进,便于复现和评审:

  1. 先做结构分离,把策略、指令、示例、上下文、工具与输出契约各自独立出来。
  2. 标记厂商专有项:角色设定、XML 标签、推理请求、token 控制、工具语法、引用格式、JSON 模式假设。
  3. 用显式指令和 schema 替换那些靠运气生效的行为。
  4. 删除冲突指令和顺序依赖,尤其是只有单一提供商能容忍的写法。
  5. 保留有代表性的示例,但避免措辞过度贴合某一个模型的口味。
  6. 组织成可移植核心 + 少量 provider adapter,只在能力确实存在差异的地方加适配器。
  7. 在每个目标模型上跑测试:指令遵循、拒答行为、格式稳定性、工具调用、长上下文、多语言输入。

适用边界

  • 交付物是耦合发现、可移植提示词、provider 适配器、未解决的能力缺口和 A/B 评估矩阵。
  • 不要期待跨模型输出完全一致。不同模型在拒答阈值、推理链呈现、格式容忍度上存在真实差异,评估矩阵应当按行为而非逐字一致性来打分。
  • 该技能只审计和改造提示词,不负责模型选型,也不承诺消除能力差距;某些能力在某个目标模型上确实缺失时,会以“未解决的能力缺口”显式列出,而不是静默忽略。

使用场景

  • 要把客服提示词从 gpt-4o 迁到 Claude 与开源底座,先定位 XML 标签和 tool_calls 里不可移植的写法。
  • 同一套 JSON 输出提示词在三个模型上格式经常崩,需要替换 json_mode 假设并补显式 schema。
  • 公司要求对外提示词保留安全约束,需审计拒答逻辑和策略层在跨模型时是否被意外削弱。
  • 模型底座要更换,希望产出一份可移植核心提示词加少量 provider 适配器,而不是整套重写。

适合人员

  • 负责大模型应用接入的后端工程师,想把生产提示词从单一厂商迁到多模型并控制回归风险。
  • 管理客服、导购等对外提示词的 AI 产品经理,需要在换底座前确认意图与安全约束是否被保留。
  • 维护开源模型推理服务的工程师,要为同一套提示词补齐不同提供商的能力差异说明。
  • 做提示词效果评测的工程师,需要按指令遵循、拒答、格式、工具调用等维度建立跨模型对比矩阵。