CAIO AI 上线压力测试

什么场景该用它

当团队准备发布 AI 功能、签下多年期 AI 供应商合同、在欧盟上线、扩招 AI 团队或承诺 fine-tune 项目时，一个常见现象是：评估靠感觉，成本只算 token 单价，合规结论来自某个渠道销售的一句话。caio-review 针对的就是这种“AI 上线前的决策真空”。它不生成方案，而是用六个强制问题把模糊的直觉变成可审查、可量化、可追责的决策记录。

六个问题如何运转

它把评审拆成六步，每一步都有明确判据，而不是笼统的“考虑一下风险”。

1. 评估集优先：上线前必须定义 50-100 条代表性输入，附期望输出或评分 rubric，覆盖歧义、对抗和格式边界。没有评估集就不发布。
2. 失败模式预案：量化幻觉/错误率 SLO（例如“事实查询幻觉率 <5%”），指定检测手段与回退路径——人工复核、低风险默认回复或拒答，同时评估违约时的爆炸半径。
3. 合规分级：凡涉及欧盟用户或受监管领域，运行 ai_risk_classifier.py 确定风险等级：禁止、高风险（需合规评估与 EU DB 注册）、有限风险（透明度义务）或最小风险。
4. 自建 vs API vs fine-tune：运行 model_buildvsbuy_calculator.py，区分三种路径的适用比例——大多数 B2B SaaS 用 API，约 15% 在特定条件下 fine-tune，自建通常低于 1%。
5. 12 个月成本轨迹：运行 ai_cost_economics.py，把 API 的线性变量成本与自托管的固定成本（运维、监控、更新、容量、故障转移、安全）算清楚，别忘了 prompt caching。
6. 招聘顺序：把 AI 能力映射到具体岗位，明确 AI engineer、ML engineer 与 research scientist 的区别，避免把研究科学家当作第一个 AI 招聘。

适用边界与注意点

这个技能的价值是“迫使回答”，不是“替你回答”。它输出结构化决策压力测试，最终判断仍需要工程、法务和财务的输入。它面向规划阶段，而不是已上线后的事故复盘。如果问题已经绕开这六个维度，比如训练数据版权、提示注入威胁建模或多年期 GPU 合约 TCO，应转向 /cs:cdo-review、/cs:ciso-review、/cs:cfo-review 等配套技能，并用 /cs:decide 记录结论、/cs:freeze 60 冻结长期承诺。