技能介绍

要解决的标注难题

数据标注是模型训练链路中最耗时、也最容易失控的环节之一。常见问题包括：标注规范在大规模标注启动后才暴露边界模糊；多人协作时一致性只能靠抽查；已有基线模型的预测能力未被利用，标注人员仍在从零开始；标注完成后导出格式与训练管线不匹配，需要二次转换。这些问题在分类、NER、目标检测等任务上反复出现。

技能如何工作

该技能围绕标注生命周期提供可执行的流程设计，核心能力覆盖人工标注、模型辅助预标注、主动学习循环与程序化弱监督。

关键步骤如下：

定义标注 schema 与指南：设计分类标签体系、NER 实体类型或检测框类别，编写带正反例的标注指南。
搭建标注环境：配置 Label Studio、Labelbox 或 Prodigy，导入原始数据并设置标注界面模板。
模型预标注：用已有模型或启发式规则生成初步标签，标注人员只做审核与修正，可减少 40-60% 标注时间。
带质量控制的标注执行：通过冗余标注（2-3 人标注同一样本）计算 Cohen's kappa 或 Fleiss' kappa，低一致样本交由资深标注员复核。
主动学习迭代：用不确定性采样或 query-by-committee 挑选最有信息量的未标注样本进入下一轮，预算受限时可减少 30-50% 标注量。
导出与验证：输出 COCO JSON、CoNLL、JSONL 等格式，检查标签一致性、缺失标注与类别分布。

弱监督方面支持 Snorkel、Skweak 等 labeling functions；主动学习支持 modAL、ALiPy。

适用边界与注意点

该技能不自动安装依赖、修改系统权限或创建持久化任务。涉及发送、发布、删除等外部写入操作时，会先展示目标与影响并取得用户确认。凭据仅用于用户指定的官方服务，命令和代码默认作为参考，需用户明确要求且目标范围清楚时才可执行。

最佳实践包括：每个标签至少 3 个正例和 3 个反例；在任务队列中嵌入 5-10% 黄金标准样本用于持续监控；kappa 低于 0.6 时应修订指南或 schema；大规模标注前先跑 50-100 样本的试点轮次。常见边界情况如标注员分歧过高（kappa < 0.4）、严重类别不平衡（目标类 < 5%）、弱监督 labeling function 冲突等，技能均提供了对应的处理策略。