强化学习交易引擎

先说清楚要解决的问题

多数强化学习交易教程直接调用 Stable-Baselines3 或 gymnasium，几行代码就能跑出一个看起来赚钱的策略。但当你想弄清 PPO 的 clipped objective 为什么要有、Double DQN 如何缓解价值高估、Prioritized Experience Replay 的 TD-Error 采样到底改变了什么，框架的黑盒就挡在面前。本引擎把 DQN、PPO、A2C 三大算法的网络层、反向传播与优化器全部用纯 NumPy 手写，让你能逐行阅读并修改每一步，同时保留一套可直接用于研究回测的工程骨架。

核心能力与关键流程

• 三种算法从零实现：DQN（Double DQN + Dueling Architecture + Prioritized Experience Replay）、PPO（GAE + Clipped Objective + Entropy Bonus）、A2C
• 可选 LSTM：在 Q 网络或 Actor-Critic 网络中嵌入循环层，捕捉趋势、动量与波动率聚集等时序依赖
• 数据接入：通过 akshare 拉取 A 股个股、ETF、指数历史行情，也可导入自定义 CSV
• 回测与报告：逐笔交易记录、权益曲线，以及 Sharpe Ratio、Max Drawdown、Win Rate、Profit Factor、Calmar Ratio、年化收益与波动，并用 Plotly 输出权益曲线、回撤热力图、交易分布直方图、月度收益热力图
• 模型持久化：pickle 格式保存，可中断恢复训练或部署推理

典型流程：拉取行情 → 构建状态与奖励 → 选择算法并决定是否开启 LSTM → 训练并周期性回测 → 检查指标与报告。

适用边界

• 仅供研究与回测，不连接任何券商接口，无法实盘下单
• 单标的，不支持多资产组合
• 纯 NumPy CPU 实现，无 GPU 加速
• 不做订单簿仿真，也不建模滑点与冲击成本
• 不提供 OpenAI Gym 或 Stable-Baselines3 兼容接口

上手时建议先用 PPO 跑一条 baseline：收敛性最好、调参负担最低；DQN 更适合离散动作空间，A2C 训练快但方差偏大。