NeoRL: 接近真实世界的离线强化学习基准

摘要

为什么提出 NeoRL？

• 从保守和有限的数据中学习

  在很多真实的领域中，收集到的数据通常是保守的，并且数据量有限。更重要的是，在真实的运行系统中进行探索性的动作会损害系统的性能，为了保障系统安全和系统的效益，产生这些离线数据的工作策略通常比较保守且几乎是确定性的。因此，收集到的离线数据集的分布通常非常狭窄。需要注意的是，保守仅仅意味着探索性低以及坚持使用这个工作策略，并不要求这个工作策略的性能好坏或策略的形式。在许多现实任务中，工作策略往往可以有不同性能或形式（例如，人工设计的规则、深度学习的模型等），但大多都是比较保守的。

• 和工作策略进行对比

  在现实应用中，只有当训练得到的策略在部署后比系统当前的工作策略性能更高，才被认为是有效的。至于之前的基准集，为了促进离线强化学习，许多数据集都从有较高探索性的策略中采样得到，部分数据集甚至由多个策略的混合产生。此时，使用行为克隆作为一个对比基线并不妥当，此时的行为克隆的性能往往会比确定性的工作策略更差。因此，在探索行较高的数据集上，如果把行为克隆当为工作策略的参考，离线强化学习的可用性会被高估。

• 离线策略验证必不可少

  几乎在所有的现实任务中，我们会使用不同算法（或不同超参数）训练得到多个策略，但我们往往只允许验证1~2 个策略来部署测试。只有当我们认为策略的性能会超过系统当前的工作策略时，该策略才可能上线部署。而在之前的基准集上，我们注意到算法在训练完成后，就直接在真实环境中部署测试性能。离线策略验证往往被忽略了，从而也忽略了离线验证的挑战。因此，即使某个算法在基准集上的性能较好，也很难评估在真实任务上该算法的真实性能。

• 所有任务都提供了保守和有限的数据集
• 在线策略选择和离线策略选择评估的基准结果
• 和工作策略的比较结果
• 一些离线评估的经验

任务

CityLearn

CityLearn（CL）环境是一个类似OpenAIGym的环境，它通过控制不同类型建筑的储能来重塑电力需求的聚集曲线。高电力需求提高了电价和配电网的总体成本。扁平化、平滑化和缩小电力需求曲线有助于降低发电、输电和配电的运营和资本成本。优化的目标是协调用电方（即建筑物）对生活热水和冷水储存的控制，以重塑电力需求的总体曲线。

MuJoCo

MuJoCo连续控制任务是在线强化学习算法的标准测试平台。我们从中选择了Halfcheetah-v3、Walker2d-v3和Hopper-v3三种常用于之前离线基准集的环境构建了离线强化学习任务。

如何使用 NeoRL

• 安装

  git clone https://github.com/polixir/neorl.git

  cd neorl

  pip install -e .
  安装后，CityLearn、FinRL、IB、SP四个数据集将可以直接调用。如果想要使用MuJoCo，请获取 许可 并按照说明安装后，运行：
  pip install -e .[mujoco]
  当前，我们的MuJoCo环境支持"HalfCheetah-v3"、"Walker2d-v3"和"Hopper-v3"。

• 加载数据集

  import neorl

  env = neorl.make("citylearn")

  data = env.get_dataset()
  更多信息可以在 NeoRL 仓库 上找到。