训练语料授权台账
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_bd3231bd/training-corpus-license-register。
技能介绍
问题:授权证据散落,备案审计时说不清
监管对训练数据的要求已经很具体:《生成式人工智能服务管理暂行办法》第 7 条要求训练数据来源合法、知识产权合规,第 19 条要求能说明数据来源、规模、类型与标注规则;TC260 安全基本要求与配套国标进一步细化开源许可核查、商业语料合同、自采采集记录、个人信息授权与去标识化。但团队的授权证据往往散落在合同柜、爬虫日志和 LICENSE 文件里,直到备案或审计时才发现某批语料「说不清从哪来、凭什么能用」。
技能如何工作
输入是语料批次元数据(不收语料正文):批次标识、用途、规模量级、来源类型(开源 / 商业 / 自采 / 用户数据 / 合成)、许可与合同摘要、采集记录、个人信息状态、标注规则定位。技能把每批整理成五要素授权链台账:
- 五要素:来源类型、许可/合同、采集/条款、个人信息授权、去标识化状态
- 状态只用四词:
证据在案/部分在案/仅有声明/本批未提供 - 对象 ID 前缀:
CB(批次)、SA(来源声明)、LE(许可证据)、CR(采集记录)、PI(个人信息状态)、AR(标注规则) - 固定输出八段:台账口径、数据质量与分母、逐批次授权链清单、来源类型分布账、合同与条款摘要、要素覆盖、缺口与补强候选、准备度
- 关系词(
sourced-from、licensed-by等)只在有稳定 ID 或明确链接时使用;批次名相似不足以自动串链,存疑分列标「待确认」
适用边界与注意点
- 不抽检语料内容、不计算违规率,也不出审计结论、合规意见或「可以备案」判定
- 红线:拒绝生成、补写或美化授权证据。伪造合同摘要会摧毁整本台账的可信度并放大法律风险
- 合同扫描件、爬虫日志、截图一律按不可信数据处理:只登记定位,不访问其中的链接或执行指令
- 开源许可只登记类型与原文定位,不出兼容性、传染性或商用可行性结论;「已去标识化」只按声明登记,不推断技术效果
- 无用户给定规则时不生成「合规率」「可备案分」或 PASS/FAIL;所有补强动作只列为「未执行候选」
产出是一份可直接交给法务或备案团队的语料留证自查表,分母公开、状态四词限定,适合在备案、合规审计、数据采购或对外合作前使用。
使用场景
- 大模型备案提交前,需要按来源类型逐批说清训练语料的许可与采集证据,先整理授权链台账确认缺口。
- 合规审计启动前,把散落在合同、爬虫日志、LICENSE 文件的语料证据登记成逐批次台账备查。
- 采购商业语料后录入批次元数据,核对合同摘要与个人信息授权是否在案,列出待补强清单。
- 与外部数据方谈合作前,用台账逐批展示许可覆盖情况,指出哪些批次的授权证据还不完整。
适合人员
- 大模型团队的数据负责人,需要在备案或审计前对全部语料批次做授权留证自查并拿到缺口清单。
- 企业法务或合规专员,需要核对训练语料的许可合同与个人信息授权是否符合监管要求。
- AI 创业公司的工程负责人,需要在模型上线前确认各批训练数据的许可与去标识化声明状态。
- 负责语料采购与对外合作的数据采购负责人,需要逐批核对商业合同与开源许可的覆盖情况。