RL 熵坍缩 STEER
将以下提示词粘贴到你的 AI 对话框中：
请根据 https://skillhub.cn/install/skillhub.md，安装 @user_d0deb03a/rl-entropy-collapse。
技能介绍
要解决的问题
RLVR 训练跑一段时间后，你可能会发现：模型的输出越来越像，同一 batch 里各条采样路径高度雷同，验证集指标早早见顶就不再动。这类现象背后往往是熵坍缩——策略熵快速下降，采样空间被过早压缩。
本技能源自 ACL 2026 杰出论文 Rethinking Entropy Interventions in RLVR: An Entropy Change Perspective（浙大 & 腾讯）。它指出问题的根子不在全局熵，而在 token-level 熵变：每个 token 的更新方向并不一致，有的在压熵、有的在拉熵，简单调全局熵只会误伤健康的分支。
技能如何工作
技能以推理树模型拆解熵坍缩：节点是 token 选择，分支是推理路径，token 熵相当于节点处的"有效分叉数"。增枝（探索新路径）与剪枝（概率质量集中到有效分支）是两种对立力量，健康训练需要二者动态平衡。
核心流程分三步：
- 定位四象限：按优势信号 × token 概率把 token 更新分成四类，看清哪些在降熵、哪些在升熵
- 接入 STEER：给熵变过于剧烈的 token 降权（
STEER = Stabilizing Token-level Entropy-changE via Reweighting），像刹车一样把熵变速率控住，而不是粗暴拉高全局熵 - 按症状调参：配套 GRPO/RLOO/OPO 训练循环，提供诊断表与调参方向
论文数据显示，在 Qwen2.5-Math-7B 与 Qwen2.5-Coder-14B 上，STEER 相对 GRPO 分别带来约 4.4 和 2.5 的分数提升。
适用边界
- STEER 是限速器而非放大器：它防止熵坍缩，不能凭空制造探索能力
- 正样本极少的场景（DAPO 类），建议先放开
clip-high让低概率正确 token 参与更新，再叠加 STEER - 高概率正样本过度推高导致输出重复时，需配合 Positive-Reweighting
- 训练后期熵已坍缩到极限时，调高
steer_lambda给更多空间，而不是从头重训
参考：论文 https://arxiv.org/abs/2510.10150 ，代码 https://github.com/zz-haooo/STEER
使用场景
- GRPO 训练跑一段时间后策略熵断崖式下降，需要定位是哪些 token 更新在压熵并限速
- 同一 batch 内各条采样结果越来越像，group advantage 失效，想降低 steer 阈值加强限制
- 想用 STEER 接入 GRPO 训练循环，改善 7B 数学模型在 AIME 上的表现
- 对比 DAPO、Positive-Reweighting 与 STEER，评估哪类方法更适合当前的熵管理需求
适合人员
- 做 RLVR 后训练的算法工程师，需要解决训练后期采样同质化、指标停滞的问题
- 研究 RL 推理的高校研究生，想把 token-level 熵变分析应用到自己的实验里
- 负责 SFT/RL 数据策略的研发人员，想在接入 GRPO 前理解熵坍缩与限速手段
- 训练框架开发者，需要在现有 GRPO/RLOO/OPO 循环中集成 STEER 重加权逻辑
相关技能
每天收集对话、任务日志与错误记录，按九模块复盘思维盲区，输出可执行行动并写入记忆。
面向 Skill 开发者的免费矩阵分发助手，可引导发布到腾讯 SkillHub、虾聊、虾友 SkillHub、GitHub 与 ClawHub，并区分创建、更新与删除流程。
用于为即梦 Seedance 2.0 生成视频提示词，覆盖 @ 引用、运镜、分时段、音频指导和常见避坑。
围绕超级趋势拆解物理供应链，识别第二、三层瓶颈，执行估值与反向验证，并维护可追踪的报告。