离线强化学习的目标是在不与真实环境进行额外交互的前提下，仅从历史数据中学习一个有效的策略。根据我们离线强化学习的落地应用经验，我们注意到现有的离线强化学习测试基准环境与现实应用有显著差异，目前我们已经意识到的包括（1）使用了数据量较大且具有很强探索性质的数据集，（2）对比基线被弱化，（3）上线前缺少策略验证。在许多现实场景中，为了保证系统安全，严禁运行一个过度探索的策略去产生大量数据，使得我们只能从非常有限的保守数据中学习。通过训练得到的策略一般要超过当前实际部署于系统中策略的性能，才被认为是有效的；训练好的策略必须经过充分验证，对性能有把握后，才可能在部署到真实环境。为了体现上述性质，我们提出了接近现实的离线强化学习基准（NearReal-world Benchmark for Offline RL）—— NeoRL。NeoRL使用了更保守的数据采集方式。此外，NeoRL对齐了显示应用的情形，即经过进行离线训练和离线验证，离线选出最好的模型来部署测试。我们在NeoRL上评估了最近提出的一些最先进的离线强化学习算法。实验结果表明，和行为克隆策略以及确定性策略相比，测试的部分算法竞争力下降，这意味着这些算法在真实任务中部署时性能会比在之前的基准集上测试的结果更低。我们还发现，使用现有的离线策略评估方法，几乎选不出真正部署时最好的策略。我们希望NeoRL 能为未来的研究提供一些启示，并且引起社区对强化学习落地应用的关注。