AI 工程评审工作室
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_add7f3d3/winson-ai-technology-office-skill 到您的AI助手中。
技能介绍
解决什么问题
团队常把"需要哪些岗位"列成花名册,却没有回答"每个角色从什么维度审视、检查什么、输出什么"。结果是架构决策、AI 选型、安全策略里的盲区在评审会上无人认领,直到返工。本技能针对 AI 前沿领域的工程化落地:LLM 应用没有评估体系就是定时炸弹,护栏必须在模型之外实现,而不是指望模型自我纠错。
核心能力与工作方式
技能以三层角色架构提供"先审视、后执行"的能力:
- 总监组:
CTO对照技术北极星与工程原则,VP Engineering检查 CI/CD 与交付节奏,Head of Product做过度工程化检测。 - 三核组:
Chief Architect审视模块边界与模型热替换能力,Head of AI/ML管理模型选型、成本预算与评估体系,Head of Security & Trust覆盖威胁建模、越狱防护与合规隐私。 - 专业组:后端、前端、SRE、数据、ML 工程师执行落地检查,
AI Safety Engineer负责红队对抗与护栏兜底,QA & Evaluation Lead推动评估驱动开发。
每个角色遵循"先问问题 → 给选项 → 等你决定 → 展示草案 → 等你批准"的协议,不做自主决策。审视清单保持抽象,执行时读取项目 memory 中的具体设定来落地判断。
适用边界与注意点
- 本技能提供的是审视框架,不写代码。缺少
tech-north-star、ai-strategy等 memory 注入时,角色判断无法精准落地。 - 角色不是越多越好。AI 时代已砍掉传统"美工+测试"固定配比,重心在工程、AI、安全三大支柱。
- 评估是质量的地基而非收尾环节,护栏必须在 LLM 之外实现:输入校验、输出拦截、回退策略、人工兜底。
使用场景
- 评审一个引入 LLM 的客服方案,需要从工程、AI 能力与安全三个维度检查架构决策是否成立
- 在模型选型阶段权衡开源与闭源方案,需要核对推理成本预算、能力边界与回退策略
- 上线前检查 AI 输出内容,需要建立红队对抗流程与模型外的输入校验、输出拦截机制
- 评估现有 CI/CD 与交付节奏,需要审查代码审查规范、测试覆盖底线与知识是否集中在少数人身上
适合人员
- 负责架构选型的技术负责人,需要用完整审视维度检查决策是否经得起团队拷问
- 管理 LLM 应用生命周期的机器学习工程师,需要评估模型成本、评估体系与 Harness 设计
- 负责安全与合规的安全工程师,需要核对威胁建模、Prompt 注入防护与护栏是否落在模型之外
- 主导产品方向的产品负责人,需要检测过度工程化并确认技术投入与用户价值匹配