PPO 决策智能教练

先解决你正在卡的问题

当你面对离散、连续或混合动作空间时，不确定该选哪个PPO变体；当训练出现奖励稀疏学不动、震荡频繁、多智能体协作混乱时，需要快速定位是reward设计问题还是clip超参问题。本技能不把PPO当作孤立算法，而是一条主干+按任务换组件的主线，先理清主干再扩展家族。

核心能力：从信号到方法的快速映射

• 动作空间适配：纯离散用类别分布策略，连续控制用高斯/重参数化，混合动作用HyAR分制分布，多模态观测走多模态编码+不变性
• 训练痛点诊断：奖励极稀时引入ICM/RND好奇心+行为克隆，奖励量级差异大用Pop-Art/价值归一，长程遗忘用LSTM/GTrXL记忆，部分可观测转Belief MDP/观测历史
• 多智能体与对齐：协作场景走MAPPO/HAPPO/值分解，大模型对齐用PPO+奖励模型(RLHF)
• 卡点自救流程：推导卡住先退到策略梯度直观解释，训练崩按reward→clip→熵→学习率→网络分层排查，对照课程代码重写主干并跑收敛曲线，把「为什么用GAE」写成知识卡片串起时序建模主线

学习节奏：理论与代码的4:6铁律

在职学习按六阶段推进，每章配习题+代码，理论与代码时间比严格保持4:6，不跑出收敛曲线不算懂该章。从策略梯度直觉到TRPO推导，再到PPO主干实现与变体扩展，逐步建立「主干逻辑→组件替换→故障排查」的完整能力链。

适用边界与注意点

RL训练存在随机性，不保证具体指标；不提供代做、作弊服务，以真实理解为目标。涉及实际控制系统时，需严格遵循安全规范，本技能侧重算法原理与训练方法，不替代工程实现中的安全评估。