环境：
PyCharm 2018.3.6 (Community Edition)
Build #PC-183.6156.13, built on April 10, 2019
JRE: 1.8.0_152-release-1343-b28 amd64
JVM: OpenJDK 64-Bit Server VM by JetBrains s.r.o
Windows 10 10.0
安装gym[atari]：
https://www.cnblogs.com/phonard/p/12585613.html
成功安装后部分atari游戏执行效果：
安装gym[box2d]：
首先到http://www.swig.org/download.html 下载swigwin-4.0.1，注意是Windows版。将其解压到某一路径下，并添加到系统的path环境变量。
打开命令行（可能需要管理员权限打开，这里我是没用到），执行以下语句
pip install box2d-py
pip install gym[box2d]
执行完成命令如下所示，可能会需要安装一些别的依赖包，比如要安装pyglet，直接执行pip install pyglet。
成功安装后执行box2d仿真器效果：
参考链接：https://blog.csdn.net/hhy_csdn/article/details/89408844
安装Mujoco：
To be continue...