Agent Skills
返回列表
🤖

LLM 应用开发全流程工作流

AI Agent 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @kunlungrowth/llm-app-dev-flow。

技能介绍

为什么 LLM 应用会「上线即翻车」

很多团队的 LLM 应用停留在「demo 惊艳」阶段：提示词散落在业务代码里，改一处提示就要动整个项目；上线后没有评测集，换一个 prompt 只能靠感觉判断好坏；更糟的是，上线后质量悄悄退化，却无人察觉。这些不是个别问题，而是缺少工程化流程的必然结果。

这个技能如何工作

这套工作流把 LLM 应用开发拆成五个可执行步骤：

  • 提示模块化：将提示抽成独立节点，参数与逻辑分离，迭代提示时不必触碰业务代码。
  • 流程编排：用图结构连接多步流程（如检索→生成→校验），让复杂逻辑可读、可复用。
  • 批量评测：建立数据集和量化指标，对 prompt 变体做 A/B 对比，用数据而非直觉选优。
  • 部署为服务：将编排好的流程发布成 API 端点，直接接入应用。
  • 线上监控：持续跟踪质量、延迟与成本，当回归触发时自动重跑评测。

每一步都可版本化管理，告别一次性笔记本式的开发。

适用边界与注意点

  • 效果与合规以实际评测和官方文档为准，本工作流不替代具体的模型验证。
  • 涉及用户数据时需遵守隐私与平台规范。
  • 关键决策建议保留人工复核环节。
  • 这套流程适合需要长期维护的 LLM 应用，而非一次性实验脚本。

使用场景

  • 提示散落在多个业务模块，改一处提示就引发连锁错误，需要拆分模块独立迭代。
  • 要为客服问答的多个 prompt 变体做批量评测，用量化指标选出最优版本。
  • 已上线的文档生成服务出现质量下滑，需要跟踪延迟成本并触发回归评测。
  • 检索增强生成流程需要从实验脚本变成可复用的 API 端点，接入现有系统。

适合人员

  • 后端工程师：想把 LLM 流程从实验脚本变成可版本化部署的服务。
  • 算法工程师：需要在上线前用数据对比多个 prompt 的实际效果。
  • 技术负责人：想监控已上线 LLM 应用的质量、延迟和成本回归。
  • 数据合规人员：想确保涉及用户数据的 LLM 流程有规范的评测与复核。