在上篇文章强化学习——蒙特卡洛 (MC) 采样法的预测与控制中我们讨论了 Model Free 情况下的策略评估问题，主要介绍了蒙特卡洛（MC）采样法的预测与控制问题，这次我们介绍另外一种方法——时序差分法（TD） 一、时序差分采样法（TD） 对于MC采样法，如果我们没有完整的状态序列 ...

1. 前言 我们前面介绍了第一个Model Free的模型蒙特卡洛算法。蒙特卡罗法在估计价值时使用了完整序列的长期回报。而且蒙特卡洛法有较大的方差，模型不是很稳定。本节我们介绍时序差分法，时序差分法不需要完整的序列，并且利用Bellman公式和动态规划进行迭代。 2. 时序差分和蒙特卡洛比较 ...

强化学习读书笔记 - 06~07 - 时序差分学习(Temporal-Difference Learning) 学习笔记： Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto c 2014 ...

　　　　在强化学习（六）时序差分在线控制算法SARSA中我们讨论了时序差分的在线控制算法SARSA，而另一类时序差分的离线控制算法还没有讨论，因此本文我们关注于时序差分离线控制算法，主要是经典的Q-Learning算法。 　　　　Q-Learning这一篇对应Sutton书的第六章部分和UCL ...

　　　　在强化学习（五）用时序差分法（TD）求解中，我们讨论了用时序差分来求解强化学习预测问题的方法，但是对控制算法的求解过程没有深入，本文我们就对时序差分的在线控制算法SARSA做详细的讨论。 　　　　SARSA这一篇对应Sutton书的第六章部分和UCL强化学习课程的第五讲部分。 1. ...

可以看到 随着学习率的增大，效果越来越好，当学习率为0.5时，已经明显过拟合了 这个是单步的，书上是单回合的，所以不同，后续有空会更新代码 随机行走有个特殊性：两个终点，有一个终点奖励为0，也就是说在前几个回合中，单步更新的TD如果一开始向左走，需要 ...

　　　　在强化学习（三）用动态规划（DP）求解中，我们讨论了用动态规划来求解强化学习预测问题和控制问题的方法。但是由于动态规划法需要在每一次回溯更新某一个状态的价值时，回溯到该状态的所有可能的后续状态。导致对于复杂问题计算量很大。同时很多时候，我们连环境的状态转化模型$P$都无法知道 ...