Agent Skills
返回列表
💻

YaRN 上下文扩展

开发编程 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_1a99cb00/yarn。

技能介绍

问题背景

在 4K 上下文上预训练的 Llama 2、CodeLlama 等模型,若要处理长文档、整库代码或长对话,直接外推位置编码往往会劣化注意力分布,远距离 token 的有效利用率很差。学界常见路线包括改架构重训、推理期插值,或像 YaRN 这样在保留原权重主体的前提下,用一套可复现的训练脚本拉長可用上下文。

技能覆盖什么

本技能围绕 ICLR 2024 的 YaRN 展开,说明它不是挂在现成 API 上的插件,而是一套会改动 RoPE、校正 softmax 温度并做轻量微调的流程,产出新的模型权重。

核心机制可以概括为三点:

  • NTK-aware 缩放:按频率维度区别对待 RoPE 的 base,低频(长距离)维度拉伸更多,高频(短距离)维度尽量保持训练时尺度。
  • 温度校正:扩展后注意力熵偏大,在 softmax 前引入系数 t,使扩展后的注意力分布更接近原训练阶段的熵水平。
  • 轻量微调:在扩展后的序列长度上用少量步数(论文流程里约 400 步量级)适应新的位置分布。

仓库侧按用途拆成 attn_and_long_ctx_patches/、examples/、paper/ 与核心实现 YaRN.py;技能材料会指向 Llama 2(7B/13B)及 CodeLlama 等权重的扩展示例与复现路径。

边界与注意点

  • 交付物是权重文件,不能指望「装上即用」地嫁接在你已经在线服务的同款 checkpoint 上而不换权重。
  • 原论文语境下常见上限是 64K / 128K;若目标是百万级上下文,应改用 LongRoPE 或原生长上下文模型,而不是把 YaRN 当成万能延长器。
  • 复现细节、权重下载与论文对照实现以上游 jquesnelle/yarn 的 README 与 paper/ 为准。

使用场景

  • 已在 4K 上下文 Llama 2 权重上跑通推理,需要按 YaRN 流程拉出 64K 可用 checkpoint 并核对 RoPE 与温度参数
  • 维护 CodeLlama 7B/13B 衍生权重,要在不整模型重训的前提下扩展最大序列长度并做短步微调
  • 复现 ICLR 2024 YaRN 论文实验,对照 `paper/` 与 `YaRN.py` 里的 NTK 缩放与熵匹配实现
  • 评估 128K 以内的长文档或长代码输入时,该用 YaRN 训练脚本还是改走 LongRoPE / 原生长上下文路线

适合人员

  • 做开源 LLM 权重维护的工程师,要把 Meta Llama 2 官方或自改 7B/13B 扩到论文常见的 64K/128K 并产出可分发权重
  • 在长上下文 benchmark 里对比 RoPE 扩展方案的算法研究员,需要读懂 NTK 维度缩放与 softmax 前温度系数的推导与实现位置
  • 负责内部 code LLM 上下文长度的 MLOps,要在 CodeLlama 类模型上走 `examples/` 流程而不是只改推理期的 position 插值
  • 读 arXiv:2309.00071 复现清单的学生或实习生,需要弄清补丁目录与训练脚本对应关系,避免把技能当成在线模型插件