技能介绍

解决什么问题

用 LoRA / QLoRA 微调大模型时，最容易卡住的往往不是写训练循环，而是动手前的数据排查和参数决策。JSONL 里混进空回复、重复样本或超长文本，训练几小时后才暴露；7B 模型 24GB 显存到底够不够、rank=8 还是 16、batch_size 能开多大，全靠猜。参数表里一堆默认值，但没人告诉你为什么选这个值。

lora-trainer 把这几件脏活提前做掉：先分析数据再谈参数，先算显存再定 batch size，每个推荐值都附理由，生成的脚本改两行路径就能跑。

技能如何工作

核心流程分四步：

数据诊断：扫描 JSONL，检测格式合法性、空字段、重复对和长度异常，同时估算字符数与 token 数——注意中文字符约 2 个 token，直接拿字符 p95 当 max_seq_length 会差出 7 倍。
显存估算：内置 40+ 模型规格库，感知 MoE 架构，分别列出模型权重、LoRA 参数、激活值、优化器的占用明细，而不是一句「应该够用」。
参数推荐：57 条规则驱动，覆盖 chat / code / math / roleplay / CPT 五类任务，每个参数（r、dropout、epochs、learning_rate）都给出基于样本量和任务的取值理由。
脚本生成：输出 train_qlora.py、inference.py 和 YAML 配置，自带断点续训、OOM 自动降 batch_size 重试和配置存档。

内置 5 个独立脚本，其中 check_env.py、validate_data.py、memory_check.py 是纯 Python 实现，不装 PyTorch 也能跑，方便在训练前快速体检。

适用边界

能做的： 单卡 7B–72B 文本模型（CausalLM）的 SFT 与 CPT，支持 JSONL、ChatML 格式，自动适配 instruction/output 与 messages 两种数据组织方式。

不能做的： 全量微调、16+ GPU 分布式训练、视觉/语音多模态模型、RLHF / DPO 对齐、macOS GPU 训练。数据格式只认 JSONL，不支持 CSV / Parquet 直读。

几个高频坑值得提前留意：target_modules 名称因架构而异（Phi-3 用 qkv_proj，Bloom 用 dense），写错会被 PEFT 静默跳过，训练完发现什么都没学到；QLoRA 必须确认 BitsAndBytesConfig(load_in_4bit=True) 真的生效；角色扮演数据里的 system prompt 参与训练但不产生 loss，统计样本量时要意识到这一点。遇到新模型或不支持的场景，技能会直接说明，而不是编一个配置。