强化学习实战教练

先别急着上 DQN

很多人卡在强化学习，不是因为算法多难，而是一开始就跳进了坑：明明只有标注数据、没有环境，却硬要套 DQN；或者状态空间很小，却直接上神经网络，最后奖励不动、训练崩溃，还不知道为什么。本技能专门解决这类“还没分清是不是 RL 问题就上模型”的误区。

它坚持先问清楚三件事：有没有环境？有没有奖励？反馈是不是延迟的？ 缺一个，就不是 RL，大概率用监督学习就够了。如果确认是 RL，再按“表格法打地基 → 函数近似再放大”的路线走，而不是反过来。

教练怎么带你练

技能按依赖顺序铺开知识地图，并把常见卡点做成识别信号表：

• 没有环境、只有标注数据 → 不是 RL，用监督学习。
• 状态小且离散 → Q表 足够，别上深度。
• 状态连续或巨大 → 必须函数近似，上神经网络。
• 奖励稀疏 → 做奖励塑形、curiosity 或分阶段。
• DQN 不收敛 → 查经验回放、目标网络、奖励缩放。
• 训练抖或崩 → 梯度裁剪、调小学习率、检查折扣因子。

遇到不收敛时，教练会先让你降级：退回表格 Q-learning，在 CartPole 这类小环境里确认问题可解，再对齐奖励曲线、换任务。它不会让你死背公式，而是让每个概念都在 gym 里“被感觉到”。

学习节奏也给了模板：在职每天 1.5 小时重现实例并改一个超参观察；全职每周一个模块，配实验和曲线记录。铁律只有一条：先表格后深度，任何新算法先在小环境证明再放大。

边界与免责

RL 训练不稳定是常态，本技能不承诺“一定能收敛”。它不提供利用漏洞刷分手段，目标始终是真实策略能力。涉及实控系统时，以安全规范和监管口径为准。