书籍精调管线

把一本书变成风格迁移训练集的难点

用一本书训练“作者声音”模型时，最大的坑不是数据不够，而是模型在背情节而不是学风格。直接按字数截断会切断语义边界，模型学到的是破碎的句法；单一指令模板会让模型记住特定段落，换个场景就露馅；PDF 转文本的 OCR 错误会被当成“作者习惯”学进去。更麻烦的是，训练完你很难判断模型到底是学会了风格，还是只是在复述原文。

书籍精调管线如何工作

这条管线的核心信念是：学节奏与词汇模式，而非背情节。它把一本书拆成 500-1000 条高质量 SFT 样本，最终训出一个能在现代场景套用原作者风格的轻量 LoRA。

关键步骤：

1. 智能分段：每块 150-400 词，必须落在自然边界，禁止句中切断；小块+重叠比大块更好——8.6 万字书约得 300 块，每块 2 变体就是 600+ 样本。
2. 多样化指令：15+ 用户模板 + 5+ 系统提示组合，指令由快而便宜的 LLM 生成，用 2-3 句话描述该段“发生了什么”（人物/动作/情绪/场景），不直接引用原文。
3. 风格优先于内容：合成指令描述场景而非复述情节，避免模型记忆具体事件。
4. 基座模型训练：用基座（base）而非指令微调模型，典型配置 rank=32、lr=5e-4、batch=4、3 epoch。
5. 现代场景验证：用原著不可能出现的场景（如“咖啡师做拿铁”）测试，若模型套用风格标记，说明学到的是风格；再 grep 训练集确认输出无原句匹配。

适用边界与注意点

适用场景：从文学作品构建微调数据集、训练“作者声音”模型、为 Tinker 等 SFT 平台准备数据、在 8B 及以下小模型上做风格迁移。

不适用场景：对话级记忆管理交给 memory-systems；纯提示层风格模仿交给 context-fundamentals。

避坑要点：不句中切断、用基座模型而非指令模型、保留 ≥50 条测试集、必须做现代场景验证和原创性核查。