google推出了一个全新的基于 Tensorflow 的框架——Dopamine，旨在为 RL 研究人员提供灵活性、稳定性和可重复性。这个框架受大脑奖励动机行为主要组件的启发，并反映了神经科学与强化学习研究之间强的历史联系，旨在实现可以推动激进发现的投机性研究。该框架还提供了一组解释如何使用框架的 Colab（https://github.com/google/dopamine/blob/master/dopamine/colab/README.md）。

清晰和简洁是这个框架的两个关键设计考虑因素。我们提供的代码非常紧凑（大约 15 个 Python 文件），并且有详细的文档。这是基于 Arcade 学习环境（一个成熟的、易于理解的基准）和四个基于值的代理 DQN、C51、Rainbow 代理的简化版本以及隐式分位数网络代理（刚在上个月的国际机器学习大会上发布）实现的。我们希望这种简洁能够让研究人员轻松了解代理的内部运作并快速尝试新的想法。

我们非常关注可重现性在强化学习研究中的作用。我们的代码通过了完整的测试覆盖，这些测试用例也可作为某种形式的文档使用。此外，我们的实验框架遵循了 Machado 等人给出的使用 Arcade 学习环境标准化进行经验评估的建议。

对于研究人员来说，能够根据已有方法快速对想法进行基准测试是非常重要的。因此，我们以 Python pickle 文件（用于使用我们的框架训练的代理）和 JSON 数据文件（用于与其他框架训练的代理进行比较）的形式提供了受 Arcade 学习环境支持的 60 个游戏的完整训练数据。我们还提供了一个网站，可以在上面快速查看所有的训练运行情况。下图展示了我们的 4 个代理在 Seaquest 上的训练运行情况。

x 轴表示迭代，其中每次迭代是 100 万个游戏帧（4.5 小时的实时游戏）；y 轴是每场比赛获得的平均分数；阴影区域显示来自 5 次独立运行的置信区间。

我们还提供这些代理训练的深度网络、原始统计日志以及 Tensorflow 事件文件。这些都可以从我们的网站上下载。

• 开源项目地址：https://github.com/google/dopamine

• 可视化网站：https://google.github.io/dopamine/baselines/plots.html

• 相关下载链接：https://github.com/google/dopamine/tree/master/docs#downloads