可以看到 随着学习率的增大，效果越来越好，当学习率为 . 时，已经明显过拟合了 这个是单步的，书上是单回合的，所以不同，后续有空会更新代码 随机行走有个特殊性：两个终点，有一个终点奖励为 ，也就是说在前几个回合中，单步更新的TD如果一开始向左走，需要好多步才能到达右边终点，而MC由于是整个回合，要么左，要么右，先到右边终点的概率要大得多，所以，前几步MC收敛明显比TD快 但是从总体来看，TD收敛 ...
2019-02-18 17:26 0 564 推荐指数：
本系列强化学习内容来源自对David Silver课程的学习 课程链接http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching.html 在上一文介绍了RL基础概念和MDP后，本文介绍了在model-free情况下（即不知道回报Rs和状态转移 ...
参考：https://orzyt.cn/posts/gridworld/ Reinforcement Learning: An Introduction》在第三章中给出了一个简单的例子:Gri ...
一.概述 强化学习是根据奖励信号以改进策略的机器学习方法。策略和奖励是强化学习的核心元素。强化学习试图找到最大化总奖励的策略。强化学习不是监督学习，因为强化学习的学习过程中没有参考答案；强化学习也不是非监督学习，因为强化学习需要利用奖励信号来学习。 强化学习任务常用“智能体/环境”接口 ...
，这时动态规划法根本没法使用。这时候我们如何求解强化学习问题呢？本文要讨论的蒙特卡罗(Monte-Calo, MC) ...
1. 前言 我们前面介绍了第一个Model Free的模型蒙特卡洛算法。蒙特卡罗法在估计价值时使用了完整序列的长期回报。而且蒙特卡洛法有较大的方差，模型不是很稳定。本节我们介绍时序差分法，时序差分法不需要完整的序列，并且利用Bellman公式和动态规划进行迭代。 2. 时序差分和蒙特卡洛比较 ...
这半年有几次机缘巧合的机会来给其他人科普强化学习的基本概念，我总体上是分成两部分来讲的：第一部分是强化学习背景和常用概念介绍；第二部分是 DQN、DDPG、PPO、SAC 四个算法的比较。这里分享一下第二部分的 slides。 此外我 ...
在强化学习（四）用蒙特卡罗法（MC）求解中，我们讲到了使用蒙特卡罗法来求解强化学习问题的方法，虽然蒙特卡罗法很灵活，不需要环境的状态转化概率模型，但是它需要所有的采样序列都是经历完整的状态序列。如果我们没有完整的状态序列，那么就无法使用蒙特卡罗法求解了。本文我们就来讨论可以不使用完整状态 ...
...
