数据集建设全流程复盘

要解决的问题

数据集建设项目往往涉及多阶段流程，但复盘时容易只关注专家修订阶段，忽略资料工程、解析、方案设计等上游环节。这种"最后一公里"式复盘导致方法论无法迁移，质量门禁不完整，团队难以复用经验。

核心能力与工作流

本技能覆盖从原始资料到版本交付的完整链路，包括七个关键步骤：

• 界定复盘范围：确保覆盖完整生命周期，而非仅专家修订阶段
• 重建端到端链路：按资料工程、知识结构化、方案设计、方案优化、数据生成、专家评审、修订验证七段组织，每段明确输入、处理、输出和质量风险
• 整理关键产物清单：列出原始资料目录、解析中间产物、数据集版本、split与评测文件、专家评审清单、修订日志、before/after对照等
• 汇总专家评审结果：统计意见总数、定位数、优先级分布，分类处理为fixed/quarantined/needs_source_review/deferred/not_applicable
• 建立质量门禁：10项检查确保JSONL可解析、schema完整、seed与训练样本分开校验、无占位符残留、P0问题全部闭环
• 输出复盘判断：区分"专家点名问题的可追溯修订闭环完成"与"全数据集质量治理完成"
• 沉淀后续行动：制定规则候选池治理、回源复核、OCR/公式/图表解析质量门禁等计划

适用边界

• 适用场景：复盘微调数据集、评测集、RAG数据集建设项目；生成复盘报告或交付说明；沉淀可复用SOP
• 不适用场景：简单文档润色、单点数据清洗、无流程复盘需求的普通文档总结
• 注意事项：缺失材料需标注"未提供/待补充"；不可将搜索摘要当作已读原文；不可硬改不可判定样本；交付前必须扫描内部占位符如[Full tool-call argument omitted]、TODO、待补充