【导语】：在深度强化学习第四篇中，讲了Policy Gradient的理论。通过最终推导得到的公式，本文用PyTorch简单实现以下，并且尽可能搞清楚torch.distribution的使用方法。代码参考了LeeDeepRl-Notes中的实现。 1. 复习 \[\theta ...

一.前言 　　之前我们讨论的所有问题都是先学习action value,再根据action value 来选择action(无论是根据greedy policy选择使得action value 最大的action,还是根据ε-greedy policy以1-ε的概率选择使得action ...

1 算法的优缺点 　1.1　优点 　　在DQN算法中，神经网络输出的是动作的q值，这对于一个agent拥有少数的离散的动作还是可以的。但是如果某个agent的动作是连续的，这无疑对DQN算法是一个 ...

PPO DPPO介绍 PPO实现 代码DPPO ...

DDPG　DDPG介绍2 ddpg输出的不是行为的概率, 而是具体的行为, 用于连续动作 (continuous action) 的预测 公式推导　推导 代码实现的gym的pendulum游 ...

目录 　　强化学习中的关键概念 　　游戏案例 　　策略网络 　　策略网络的训练 　　源码实现 　　效果演示 　　参考资料 本文不再维护，请移步最新博客： https://zhuanlan.zhihu.com/p/408239932 强化学习中的关键 ...

在之前的强化学习文章里，我们讲到了经典的MDP模型来描述强化学习，其解法包括value iteration和policy iteration，这类经典解法基于已知的转移概率矩阵P，而在实际应用中，我们很难具体知道转移概率P。伴随着这类问题的产生，Q-Learning通过迭代来更新Q表拟合实际 ...