数据标注

要解决的问题

标注数据是监督学习的输入，但把原始数据变成可训练的标注集，中间要处理一串琐碎又容易出错的环节：标签体系怎么定义、歧义样本怎么处理、多人标注结果不一致怎么办、预算只够标几千条时该优先标哪些样本。很多项目在「先写代码训模型」和「先把标注流程理清楚」之间选择了前者，结果在返工的标注数据上浪费了大量时间。

技能如何工作

这个技能把标注当作一条可工程化的流水线，核心能力包括：

• 标签体系与指南设计：按任务类型定义标签——分类的类别体系、NER 的实体类型、检测的框类别、分割的掩码标签，并为每个标签编写带正负例的标注指南，覆盖边界场景。
• 标注环境配置：基于 Label Studio、Labelbox 或 Prodigy 搭建任务界面模板，导入原始数据并分配账号权限。
• 模型辅助预标注：用已有模型或启发式规则先生成候选标签，标注员在此基础上修改。资料称可减少 40–60% 标注时间。
• 质量控制：同一条目分配 2–3 名标注员，用 Cohen's kappa 或 Fleiss' kappa 度量一致性；低一致样本送高级标注员复核；任务队列中嵌入 5–10% 的金标准样本监控标注质量。
• 主动学习循环：训练初版模型后，用不确定性采样或委员会查询选出信息量最大的未标注样本进入下一轮，资料称同等性能可节省 30–50% 标注量。
• 弱监督：用 Snorkel 等工具编写标注函数（labeling functions）程序化生成标签，适合规则明确的任务。
• 导出与校验：输出 JSONL、COCO、CoNLL、CSV 等训练格式，校验标签一致性、缺失率与类别分布，并记录元数据保证可复现。

适用边界与注意点

这套方法不是免费的午餐：

• kappa 低于 0.6 说明指南或标签体系需要修订，低于 0.4 说明任务定义本身有歧义，此时应该拆分子标签、补充示例或组织校准会议，而不是继续加标注量。
• 预标注和主动学习都依赖一个尚可的基线模型；没有可用模型时，先做小批量人工标注再迭代。
• 目标类占比低于 5% 时随机抽样几乎采不到正例，需要用关键词过滤或分层抽样补充队列。
• 标注员连续工作 2–3 小时后质量下降，任务应拆成 100–200 条的批次并随机排序。
• 项目中途新增标签类别时，历史数据必须整体回炉重标，因此从第一天就使用带版本的 schema。

合理预期是：它能把标注流程变得可度量、可复现，但标注质量最终仍取决于指南写得是否清楚、标注员是否得到足够的校准。