数据标注工作流

问题背景

机器学习项目里，标注质量与成本往往决定模型上限，但团队常卡在：标签体系含糊、多人标注不一致、全量人工标注拖慢迭代，以及导出格式与训练流水线对不齐。本技能让 Agent 按可复现的流程，从 schema 设计一路管到导出校验。

技能如何工作

核心覆盖六段工作流：

• 定义 schema 与指南：为分类、NER、检测框或分割任务设计标签体系，并为每个标签写清正例/反例与边界情况说明。
• 搭建环境：配置 Label Studio、Labelbox、Prodigy 等工具，导入数据并匹配任务类型的界面模板。
• 模型预标注：用现有模型或规则生成初标，标注员只做审查修正，资料中常见可节省约 40–60% 人工时间。
• 质量控：对同一条目安排 2–3 人冗余标注，用 Cohen's kappa / Fleiss' kappa 衡量一致性；低一致条目与嵌入队列的黄金标准用于纠偏。
• 主动学习：在已有标注上训练模型，用不确定性采样或 query-by-committee 挑选高信息未标注样本进入下一轮。
• 导出与验证：输出 JSONL、COCO、CoNLL、CSV 等格式，并做标签一致性与类别分布检查。

另支持 Snorkel 等弱监督标注函数路径，以及 modAL、ALiPy 等主动学习组件选型参考。

适用边界

• 标注员 kappa 长期低于 0.6 时，应先改指南或拆分标签，而不是继续堆量。
• schema 中途增类 时，旧数据需按新版本重新审查，不宜直接改历史标注。
• 弱监督里多标注函数冲突会导致低置信标签，冲突样本宜转人工。
• 连续标注 2–3 小时后质量易下滑，宜拆成 100–200 条一组并持续对照黄金标准。