easy-dataset 数据集生成器

要解决的问题

手上有一批领域文档——PDF、DOCX、EPUB 或 Markdown——直接塞进模型或丢进向量库，效果往往不稳定。瓶颈通常不在模型，而在材料：没有清洗、没有对齐任务的格式、也没有衡量效果的测试题。通用文档解析工具只负责把格式读出来，产出的仍是非结构化文本，离 训练样本、检索语料、评测题目 还差一层转换。

技能如何工作

这个技能把转换固化为一条流水线。输入源材料限定为 PDF、Markdown、DOCX、TXT、EPUB 五种格式，输出三类数据集，按用途分开生成：

• LLM 微调集：把文档内容整理成监督微调所需的训练样本。
• RAG 语料：文档切块后组织成检索用的文档集合。
• 评估集：把领域文档转成测试题，v1.7.0 起支持自动运行多维评估，可直接检验模型在文档范围内的表现。

典型流程是：确认源材料格式受支持 → 启动 easy-dataset 应用（本地运行或官方 Docker 镜像）→ 指定文档与目标数据集类型 → 运行转换任务 → 导出结构化结果。

适用边界与注意点

• 它解决的是数据集准备，不是通用文档解析，只想提取文本的场景用不上。
• 依赖 easy-dataset 应用本身：本地部署需要 Node 环境，Docker 部署需要调整 docker-compose.yml。
• 输入格式有限制，其他格式需要先自行转换。
• 评估能力要求 v1.7.0 或更高版本，旧版本只能产出微调和 RAG 数据。
• 适合由操作者或 Agent 逐步推进的任务，中间产物需要确认后再进入下一步。