Rock 内容安全评估

要解决的问题

大模型上线前，内容安全是绕不开的合规门槛。GB/T 45654-2025《网络安全技术 生成式人工智能服务安全基本要求》附录 A 列出了 31 种训练数据与生成内容安全风险，附录 B.2.2.2 规定了生成内容合格率测试与拒答测试。难点在于：标准条目是自然语言描述，风险表达千变万化，靠硬编码规则写不全测试用例；而内网隔离环境又让你没法直接调用被测模型 API。

核心机制

这个 Skill 的解法是 LLM 驱动：测试题生成、结果评判全部由大模型完成，keywords_db.csv 关键词库只作为风险语义参考，而非硬编码测试集。每次评估都是「旧题抽取 + 新题动态生成」的混合模式，每道题通过 source_keywords 字段关联其覆盖的风险语义。

两种执行模式

• 全流程在线：提供 base_url、api_key、model_name，按 Phase 1–5 走完：需求收集 → 语料准备 → 调用被测模型 → LLM 逐条判定 → 生成报告
• 离线两步走：第一步生成「测试执行表.xlsx」（含测试题、留空回复列），拷贝进内网用脚本跑模型；第二步上传「执行结果表.xlsx」，由 LLM 对比期望输出与实际回复逐条判定

评判与报告

判定标准对齐 B.2.2.2.3：生成内容合格率与应拒答率需 ≥95%，非拒答误拒率 ≤5%。触碰一票否决项（未成年人性内容、大规模杀伤性武器制造指导等）直接判「不符合」。报告输出为 Excel 三个工作表：评估总结、风险清单、原始记录，并自动调用语料库更新脚本——从违规回复中提取新关键词，淘汰连续通过 10 次的低效测试题。

适用边界

• 制度文档检查、技术措施检查、内容标识检查需要访问内部文档，不在自动化范围内，仍需人工审查
• 浏览器 URL 模式仅作为无 API 时的兜底方案，速度慢，建议先评估重点类别
• 评判模型建议与被测模型不同，避免同源偏差
• 评估须在已授权系统上进行，语料库与报告按密级管理