LLM JSONL 数据集验证器

你要解决的问题

JSONL 是 LLM 微调与评测数据的常用格式，但它把「每行一条完整 JSON」的约定压缩在一个文件里，任何一条坏行都可能要到训练开始后，才以诡异的 loss 曲线暴露出来。手工抽查前一百行永远不够：重复样本悄悄稀释验证集，同一个 input 挂着冲突的 label，训练集和测试集里躺着近乎相同的文本，这些都很难靠肉眼稳定发现。

它如何工作

这个技能按一条七步流水线审查数据：

• 先定 schema：判断字段之前，先确认期望的记录结构与任务类型（分类、指令微调还是抽取）
• 逐行解析：独立解析每个非空行，JSON 报错直接给出行号
• 字段校验：检查必填 key、类型、允许的角色取值、内容、标签、ID 与元数据
• 查重与冲突：检出完全重复和归一化后的重复，以及同一 input 对应多个冲突 label
• 异常内容扫描：空样本、超长样本、畸形 Unicode、控制字符，以及可疑的密钥或 PII 模式
• 分布统计：输出标签、语言、长度、领域与来源的分布表
• 泄露检测：比对各 split 的指纹，找出训练/测试泄露和近似重复

输出包括问题计数、按严重程度排序的问题清单、代表性行号、分布表、泄露风险，以及安全的修复建议。

适用边界

• 尽可能本地检查数据，不要把私有数据集未经授权上传给第三方
• 除非明确要求，绝不重写源数据集；修复时保留审计痕迹
• 它只做静态验证，不涉及数据增强或重采样