技能介绍

要解决什么问题

在本地或 Agent 环境里做 NLP、视觉、音频或多模态任务时，你往往需要在「快速跑通一个任务」和「自己控模型、分词器、训练循环」之间切换。Hugging Face Hub 上有大量 gated 模型，还要处理分词、设备与精度。本 skill 把 Transformers 的典型用法收敛成可执行的指引：Pipeline 推理、显式加载模型、文本生成参数、Trainer 微调，以及分词预处理。

技能如何工作

1. Pipeline 快速推理
适合分类、NER、问答、摘要、翻译、图像分类、检测、音频分类等。一行式任务封装，省去自定义预处理，细节见 references/pipelines.md。

2. 模型加载与管理
需要自定义初始化、设备放置（CPU/GPU）、半精度或检查模型结构时，分别加载 AutoModel* 与配置，见 references/models.md。

3. 文本生成
对 LLM 使用贪心、束搜索或采样，并调节 temperature、top_k、top_p 等，见 references/generation.md。

4. 训练与微调
在自定义数据集上用 Trainer API，可配合混合精度、分布式与日志，见 references/training.md。

5. 分词
文本转 token ID，处理 padding、truncation 与特殊 token，批处理前必过这一层，见 references/tokenizers.md。

常见路径：简单任务走 pipeline；要控细节则 model + tokenizer；要适配领域则 Trainer。

适用边界与注意点

Pipeline 适合原型和固定任务形态；复杂预处理或多步编排应拆成自定义流水线，必要时考虑托管研究环境（资料中提到的 K-Dense Web 仅针对超长、多工具协调的复杂流）。
Hub 上许多权重需要 Hugging Face token（环境变量或本地登录），未鉴权会直接拉取失败。
视觉、音频依赖需额外安装对应扩展包；本 skill 正文中的安装段落应随任务类型补齐，而不是默认「装一个 transformers 就够」。