強化學習入門第四講 時間差分方法
上一節我們已經講了無模型強化學習最基本的方法蒙特卡羅方法。本節，我們講另外一個無模型的方法時間差分的方法。
圖4.1 強化學習算法分類
時間差分(TD)方法是強化學習理論中最核心的內容，是強化學習領域最重要的成果，沒有之一。與動態規划的方法和蒙特卡羅的方法比，時間差分的方法主要不同點在值函數估計上面。
圖4.2 動態規划方法計算值函數
（4.1）
![\[ V\left(S_t\right)\gets E_{\pi}\left[R_{t+1}+\gamma V\left(S_{t+1}\right)\right]=\sum_a{\pi\left(a|S_t\right)\sum_{s',r}{p\left(s',r|S_t,a\right)\left[r+\gamma V\left(s'\right)\right]}} \]](/image/aHR0cDovL3d3dy56aGlodS5jb20vZXF1YXRpb24_dGV4PSU1QyU1QitWJTVDbGVmdCUyOFNfdCU1Q3JpZ2h0JTI5JTVDZ2V0cytFXyU3QiU1Q3BpJTdEJTVDbGVmdCU1QlJfJTdCdCUyQjElN0QlMkIlNUNnYW1tYStWJTVDbGVmdCUyOFNfJTdCdCUyQjElN0QlNUNyaWdodCUyOSU1Q3JpZ2h0JTVEJTNEJTVDc3VtX2ElN0IlNUNwaSU1Q2xlZnQlMjhhJTdDU190JTVDcmlnaHQlMjklNUNzdW1fJTdCcyUyNyUyQ3IlN0QlN0JwJTVDbGVmdCUyOHMlMjclMkNyJTdDU190JTJDYSU1Q3JpZ2h0JTI5JTVDbGVmdCU1QnIlMkIlNUNnYW1tYStWJTVDbGVmdCUyOHMlMjclNUNyaWdodCUyOSU1Q3JpZ2h0JTVEJTdEJTdEKyU1QyU1RA==.png)
（4.1）方程(4.1)給出了值函數估計的計算公式，從公式中可以看到，DP方法計算值函數時用到了當前狀態s的所有后繼狀態s’處的值函數。值函數的計算用到了bootstapping的方法。所謂bootstrpping本意是指自舉，此處是指當前值函數的計算用到了后繼狀態的值函數。即用后繼狀態的值函數估計當前值函數。特別注意，此處后繼的狀態是由模型公式
![\[ p\left(s',r|S_t,a\right) \]](/image/aHR0cDovL3d3dy56aGlodS5jb20vZXF1YXRpb24_dGV4PSU1QyU1QitwJTVDbGVmdCUyOHMlMjclMkNyJTdDU190JTJDYSU1Q3JpZ2h0JTI5KyU1QyU1RA==.png)
計算得到的。由模型公式和動作集，可以計算狀態s所有的后繼狀態s’。當沒有模型時，后繼狀態無法全部得到，只能通過試驗和采樣的方法每次試驗得到一個后繼狀態s’。
無模型時，我們可以采用蒙特卡羅的方法利用經驗平均來估計當前狀態的值函數。其計算值函數示意圖如圖4.3所示。
圖4.3 蒙特卡羅方法計算值函數
蒙特卡羅方法利用經驗平均估計狀態的值函數，所謂的經驗是指一次試驗，而一次試驗要等到終止狀態出現才結束，如圖4.3所示。公式(4.2)中的是狀態后直到終止狀態所有回報的返回值。
是狀態
后直到終止狀態所有回報的返回值。(4.2)
![\[ V\left(S_t\right)\gets V\left(S_t\right)+\alpha\left(G_t-V\left(S_t\right)\right) \]](/image/aHR0cDovL3d3dy56aGlodS5jb20vZXF1YXRpb24_dGV4PSU1QyU1QitWJTVDbGVmdCUyOFNfdCU1Q3JpZ2h0JTI5JTVDZ2V0cytWJTVDbGVmdCUyOFNfdCU1Q3JpZ2h0JTI5JTJCJTVDYWxwaGElNUNsZWZ0JTI4R190LVYlNUNsZWZ0JTI4U190JTVDcmlnaHQlMjklNUNyaWdodCUyOSslNUMlNUQ=.png)
(4.2)相比於動態規划的方法，蒙特卡羅的方法需要等到每次試驗結束，所以學習速度慢，學習效率不高。從兩者的比較我們很自然地會想，能不能借鑒動態規划中boot’strapping的方法，在不等到試驗結束時就估計當前的值函數呢？
答案是肯定的，這就是時間差分方法的精髓。時間差分方法結合了蒙特卡羅的采樣方法（即做試驗）和動態規划方法的bootstrapping(利用后繼狀態的值函數估計當前值函數)，其示意圖如圖4.4所示。
圖4.4 時間差分方法計算值函數
TD方法更新值函數的公式為(4.3)：
(4.3)
![\[ V\left(S_t\right)\gets V\left(S_t\right)+\alpha\left(R_{t+1}+\gamma V\left(S_{t+1}\right)-V\left(S_t\right)\right) \]](/image/aHR0cDovL3d3dy56aGlodS5jb20vZXF1YXRpb24_dGV4PSU1QyU1QitWJTVDbGVmdCUyOFNfdCU1Q3JpZ2h0JTI5JTVDZ2V0cytWJTVDbGVmdCUyOFNfdCU1Q3JpZ2h0JTI5JTJCJTVDYWxwaGElNUNsZWZ0JTI4Ul8lN0J0JTJCMSU3RCUyQiU1Q2dhbW1hK1YlNUNsZWZ0JTI4U18lN0J0JTJCMSU3RCU1Q3JpZ2h0JTI5LVYlNUNsZWZ0JTI4U190JTVDcmlnaHQlMjklNUNyaWdodCUyOSslNUMlNUQ=.png)
(4.3)其中稱為TD目標，與（4.2）中的相對應，兩者不同之處是TD目標利用了bootstrapping方法估計當前值函數。 稱為TD偏差。
![\[ R_{t+1}+\gamma V\left(S_{t+1}\right) \]](/image/aHR0cDovL3d3dy56aGlodS5jb20vZXF1YXRpb24_dGV4PSU1QyU1QitSXyU3QnQlMkIxJTdEJTJCJTVDZ2FtbWErViU1Q2xlZnQlMjhTXyU3QnQlMkIxJTdEJTVDcmlnaHQlMjkrJTVDJTVE.png)
稱為TD目標，與（4.2）中的![\[ \delta_t=R_{t+1}+\gamma V\left(S_{t+1}\right)-V\left(S_t\right) \]](/image/aHR0cDovL3d3dy56aGlodS5jb20vZXF1YXRpb24_dGV4PSU1QyU1QislNUNkZWx0YV90JTNEUl8lN0J0JTJCMSU3RCUyQiU1Q2dhbW1hK1YlNUNsZWZ0JTI4U18lN0J0JTJCMSU3RCU1Q3JpZ2h0JTI5LVYlNUNsZWZ0JTI4U190JTVDcmlnaHQlMjkrJTVDJTVE.png)
稱為TD偏差。下面我們從原始公式給出動態規划(DP)，蒙特卡羅方法(MC)，和時間差分方法(TD)的不同之處。
圖4.5 DP,MC和TD方法的異同
圖4.5給出了三種方法估計值函數時的異同點。從圖中可以看到，蒙特卡羅的方法使用的是值函數最原始的定義，該方法利用所有回報的累積和估計值函數。DP方法和TD方法則利用一步預測方法計算當前狀態值函數。其共同點是利用了bootstrapping方法，不同的是，DP方法利用模型計算后繼狀態，而TD方法利用試驗得到后繼狀態。
從統計學的角度來看，蒙特卡羅方法（MC方法）和時間差分方法（TD方法）都是利用樣本去估計值函數的方法，哪種估計方法更好呢？既然是統計方法，我們就可以從期望和方差兩個指標對兩種方法進行對比。
首先蒙特卡羅方法：
蒙特卡羅方法中的返回值 ，其期望便是值函數的定義，因此蒙特卡羅方法是無偏估計。但是，蒙特卡羅方法每次得到的 值要等到最終狀態出現，在這個過程中要經歷很多隨機的狀態和動作，因此每次得到的隨機性很大，所以盡管期望等於真值，但方差無窮大。
![\[ G_t=R_{t+1}+\gamma R_{t+2}+\cdots +\gamma^{T-1}R_T \]](/image/aHR0cDovL3d3dy56aGlodS5jb20vZXF1YXRpb24_dGV4PSU1QyU1QitHX3QlM0RSXyU3QnQlMkIxJTdEJTJCJTVDZ2FtbWErUl8lN0J0JTJCMiU3RCUyQiU1Q2Nkb3RzKyUyQiU1Q2dhbW1hJTVFJTdCVC0xJTdEUl9UKyU1QyU1RA==.png)
，其期望便是值函數的定義，因此蒙特卡羅方法是無偏估計。但是，蒙特卡羅方法每次得到的其次，時間差分方法：
時間差分方法的TD目標為，若 采用真實值，則TD估計也是無偏估計，然而在試驗中 用的也是估計值，因此時間差分估計方法屬於有偏估計。然而，跟蒙特卡羅方法相比，時間差分方法只用到了一步隨機狀態和動作，因此TD目標的隨機性比蒙特卡羅方法中的 要小，因此其方差也比蒙特卡羅方法的方差小。
，若
采用真實值，則TD估計也是無偏估計，然而在試驗中
圖4.6 on-policy Sarsa強化學習算法
如圖4.6為同策略Sarsa強化學習算法，主要注意的是方框中代碼表示同策略中的行動策略和評估的策略都是 貪婪策略。與蒙特卡羅方法不同的是，值函數更新不同。
貪婪策略。與蒙特卡羅方法不同的是，值函數更新不同。
圖4.7 off-policy Qlearning
如圖4.7為異策略的Qlearning方法。與Sarsa方法的不同之處在於，Qlearning方法是異策略。即行動策略采用 貪婪策略，而目標策略采用貪婪策略。
從圖4.4我們看到，在更新當前值函數時，用到了下一個狀態的值函數。那么我們可以以此推理，能不能利用后繼第二個狀態的值函數來更新當前狀態的值函數呢？
答案是肯定的，那么如何利用公式計算呢？
我們用 表示TD目標，則利用第二步值函數來估計當前值函數可表示為： 以此類推，利用第n步的值函數更新當前值函數可表示為：
表示TD目標，則利用第二步值函數來估計當前值函數可表示為：
以此類推，利用第n步的值函數更新當前值函數可表示為：
圖4.8 n步預測估計值函數
如圖4.8所示為利用n步值函數估計當前值函數的示意圖。我們再審視一下剛剛的結論：可以利用n步值函數來估計當前值函數，也就是說當前值函數有n種估計方法。
哪種估計值更接近真實值呢？
我們不知道，但是我們是不是可以對這n個估計值利用加權的方法進行融合一下呢？這就是的方法。
的方法。我們在前乘以加權因子，為什么要乘這個加權呢？這是因為：
前乘以加權因子
，為什么要乘這個加權呢？這是因為：(4.4)
![G_{t}^{\lambda}=\left(1-\lambda\right)G_{t}^{\left(1\right)}+\left(1-\lambda\right)\lambda G_{t}^{\left(2\right)}+\cdots +\left(1-\lambda\right)\lambda^{n-1}G_{t}^{\left(n\right)} \\ \approx\left[\left(1-\lambda\right)+\left(1-\lambda\right)\lambda +\cdots +\left(1-\lambda\right)\lambda^{n-1}\right]V\left(S_t\right) \\ =V\left(S_t\right)](/image/aHR0cDovL3d3dy56aGlodS5jb20vZXF1YXRpb24_dGV4PStHXyU3QnQlN0QlNUUlN0IlNUNsYW1iZGElN0QlM0QlNUNsZWZ0JTI4MS0lNUNsYW1iZGElNUNyaWdodCUyOUdfJTdCdCU3RCU1RSU3QiU1Q2xlZnQlMjgxJTVDcmlnaHQlMjklN0QlMkIlNUNsZWZ0JTI4MS0lNUNsYW1iZGElNUNyaWdodCUyOSU1Q2xhbWJkYStHXyU3QnQlN0QlNUUlN0IlNUNsZWZ0JTI4MiU1Q3JpZ2h0JTI5JTdEJTJCJTVDY2RvdHMrJTJCJTVDbGVmdCUyODEtJTVDbGFtYmRhJTVDcmlnaHQlMjklNUNsYW1iZGElNUUlN0JuLTElN0RHXyU3QnQlN0QlNUUlN0IlNUNsZWZ0JTI4biU1Q3JpZ2h0JTI5JTdEKyU1QyU1QyslNUNhcHByb3glNUNsZWZ0JTVCJTVDbGVmdCUyODEtJTVDbGFtYmRhJTVDcmlnaHQlMjklMkIlNUNsZWZ0JTI4MS0lNUNsYW1iZGElNUNyaWdodCUyOSU1Q2xhbWJkYSslMkIlNUNjZG90cyslMkIlNUNsZWZ0JTI4MS0lNUNsYW1iZGElNUNyaWdodCUyOSU1Q2xhbWJkYSU1RSU3Qm4tMSU3RCU1Q3JpZ2h0JTVEViU1Q2xlZnQlMjhTX3QlNUNyaWdodCUyOSslNUMlNUMrJTNEViU1Q2xlZnQlMjhTX3QlNUNyaWdodCUyOQ==.png)
(4.4)利用來更新當前狀態的值函數的方法稱為的方法。對於 的理解一般可以從兩個視角進行解讀。
來更新當前狀態的值函數的方法稱為第一個視角是前向視角，該視角也是的定義。
圖4.9 的前向視角
如圖4.9所示為方法的前向視角解釋。假設一個人坐在狀態流上拿着望遠鏡看向前方，前方是那些將來的狀態。當估計當前狀態的值函數時，的定義中可以看到，它需要用來將來時刻的值函數。也就是說，前向觀點通過觀看將來狀態的值函數來估計當前的值函數。
(4.4)
![\[ V\left(S_t\right)\gets V\left(S_t\right)+\alpha\left(G_{t}^{\left(\lambda\right)}-V\left(S_t\right)\right) \]](/image/aHR0cDovL3d3dy56aGlodS5jb20vZXF1YXRpb24_dGV4PSU1QyU1QitWJTVDbGVmdCUyOFNfdCU1Q3JpZ2h0JTI5JTVDZ2V0cytWJTVDbGVmdCUyOFNfdCU1Q3JpZ2h0JTI5JTJCJTVDYWxwaGElNUNsZWZ0JTI4R18lN0J0JTdEJTVFJTdCJTVDbGVmdCUyOCU1Q2xhbWJkYSU1Q3JpZ2h0JTI5JTdELVYlNUNsZWZ0JTI4U190JTVDcmlnaHQlMjklNUNyaWdodCUyOSslNUMlNUQ=.png)
(4.4)其中 ，而
![\[ G_{t}^{\lambda}=\left(1-\lambda\right)\sum_{n=1}^{\infty}{\lambda^{n-1}}G_{t}^{\left(n\right)} \]](/image/aHR0cDovL3d3dy56aGlodS5jb20vZXF1YXRpb24_dGV4PSU1QyU1QitHXyU3QnQlN0QlNUUlN0IlNUNsYW1iZGElN0QlM0QlNUNsZWZ0JTI4MS0lNUNsYW1iZGElNUNyaWdodCUyOSU1Q3N1bV8lN0JuJTNEMSU3RCU1RSU3QiU1Q2luZnR5JTdEJTdCJTVDbGFtYmRhJTVFJTdCbi0xJTdEJTdER18lN0J0JTdEJTVFJTdCJTVDbGVmdCUyOG4lNUNyaWdodCUyOSU3RCslNUMlNUQ=.png)
，而![\[ G_{t}^{\left(n\right)}=R_{t+1}+\gamma R_{t+2}+\cdots +\gamma^{n-1}R_{t+n}+\gamma^nV\left(S_{t+n}\right) \]](/image/aHR0cDovL3d3dy56aGlodS5jb20vZXF1YXRpb24_dGV4PSU1QyU1QitHXyU3QnQlN0QlNUUlN0IlNUNsZWZ0JTI4biU1Q3JpZ2h0JTI5JTdEJTNEUl8lN0J0JTJCMSU3RCUyQiU1Q2dhbW1hK1JfJTdCdCUyQjIlN0QlMkIlNUNjZG90cyslMkIlNUNnYW1tYSU1RSU3Qm4tMSU3RFJfJTdCdCUyQm4lN0QlMkIlNUNnYW1tYSU1RW5WJTVDbGVmdCUyOFNfJTdCdCUyQm4lN0QlNUNyaWdodCUyOSslNUMlNUQ=.png)
利用的前向觀點估計值函數時， 的計算用到了將來時刻的值函數，因此需要等到整個試驗結束之后。這跟蒙塔卡羅方法相似。那么有沒有一種更新方法不需要等到試驗結束就可以更新當前狀態的值函數呢？
有，這種增量式的更新方法需要利用的后向觀點。
圖4.10 的后向觀點
如圖4.10為后向觀點示意圖，人騎坐在狀態流上，手里拿着話筒，面朝已經經歷過的狀態流，獲得當前回報並利用下一個狀態的值函數得到TD偏差后，此人會向已經經歷過的狀態喊話，告訴這些已經經歷過的狀態處的值函數需要利用當前時刻的TD偏差進行更新。此時過往的每個狀態值函數更新的大小應該跟距離當前狀態的步數有關。假設當前狀態為，TD偏差為 ,那么處的值函數更新應該乘以一個衰減因子，狀態 處的值函數更新應該乘以 ，以此類推。
，TD偏差為
,那么
處的值函數更新應該乘以一個衰減因子
，狀態
處的值函數更新應該乘以
，以此類推。更新過程為：
（1）
首先計算當前狀態的TD偏差：
（2）
更新適合度軌跡：
![\[ E_t\left(s\right)=\left\{\begin{array}{l} \gamma\lambda E_{t-1},\ if\ s\ne s_t\\ \gamma\lambda E_{t-1}+1,\ if\ s=s_t\\ \end{array}\right. \]](/image/aHR0cDovL3d3dy56aGlodS5jb20vZXF1YXRpb24_dGV4PSU1QyU1QitFX3QlNUNsZWZ0JTI4cyU1Q3JpZ2h0JTI5JTNEJTVDbGVmdCU1QyU3QiU1Q2JlZ2luJTdCYXJyYXklN0QlN0JsJTdEKyU1Q2dhbW1hJTVDbGFtYmRhK0VfJTdCdC0xJTdEJTJDJTVDK2lmJTVDK3MlNUNuZStzX3QlNUMlNUMrJTVDZ2FtbWElNUNsYW1iZGErRV8lN0J0LTElN0QlMkIxJTJDJTVDK2lmJTVDK3MlM0RzX3QlNUMlNUMrJTVDZW5kJTdCYXJyYXklN0QlNUNyaWdodC4rJTVDJTVE.png)
（3）
對於狀態空間中的每個狀態s, 更新值函數：
其中稱為適合度軌跡。
稱為適合度軌跡。注意：現在我們比較一下的前向觀點和后向觀點的異同：
（1）
前向觀點需要等到一次試驗之后再更新當前狀態的值函數；而后向觀點不需要等到值函數結束后再更新值函數，而是每一步都在更新值函數，是增量式方法。
（2）
前向觀點在一次試驗結束后更新值函數時，更新完當前狀態的值函數后，此狀態的值函數就不再改變。而后向觀點，在每一步計算完當前的TD誤差后，其他狀態的值函數需要利用當前狀態的TD誤差進行更新。
（3）
在一次試驗結束后，前向觀點和后向觀點每個狀態的值函數的更新總量是相等的，都是。
為了說明前向觀點和后向觀點的等價性，我們從公式上對其進行嚴格地證明。
首先，當 時，只有當前狀態值更新，此時等價於之前說的TD方法。所以TD方法又稱為TD(0)方法.
時，只有當前狀態值更新，此時等價於之前說的TD方法。所以TD方法又稱為TD(0)方法.其次，當時，狀態s值函數總的更新與蒙特卡羅方法相同：
時，狀態s值函數總的更新與蒙特卡羅方法相同：![\[ \begin{array}{l} \delta_t+\gamma\delta_{t+1}+\gamma^2\delta_{t+2}+\cdots +\gamma^{T-1-t}\delta_{T-1}\\ =R_{t+1}+\gamma V\left(S_{t+1}\right)-V\left(S_t\right)\\ +\gamma R_{t+2}+\gamma^2V\left(S_{t+2}\right)-\gamma V\left(S_{t+1}\right)\\ +\gamma^2R_{t+3}+\gamma^3V\left(S_{t+3}\right)-\gamma^2V\left(S_{t+2}\right)\\ \vdots\\ +\gamma^{T-1-t}R_T+\gamma^{T-t}V\left(S_T\right)-\gamma^{T-1-t}V\left(S_{T-1}\right)\\ \end{array} \]](/image/aHR0cDovL3d3dy56aGlodS5jb20vZXF1YXRpb24_dGV4PSU1QyU1QislNUNiZWdpbiU3QmFycmF5JTdEJTdCbCU3RCslNUNkZWx0YV90JTJCJTVDZ2FtbWElNUNkZWx0YV8lN0J0JTJCMSU3RCUyQiU1Q2dhbW1hJTVFMiU1Q2RlbHRhXyU3QnQlMkIyJTdEJTJCJTVDY2RvdHMrJTJCJTVDZ2FtbWElNUUlN0JULTEtdCU3RCU1Q2RlbHRhXyU3QlQtMSU3RCU1QyU1QyslM0RSXyU3QnQlMkIxJTdEJTJCJTVDZ2FtbWErViU1Q2xlZnQlMjhTXyU3QnQlMkIxJTdEJTVDcmlnaHQlMjktViU1Q2xlZnQlMjhTX3QlNUNyaWdodCUyOSU1QyU1QyslMkIlNUNnYW1tYStSXyU3QnQlMkIyJTdEJTJCJTVDZ2FtbWElNUUyViU1Q2xlZnQlMjhTXyU3QnQlMkIyJTdEJTVDcmlnaHQlMjktJTVDZ2FtbWErViU1Q2xlZnQlMjhTXyU3QnQlMkIxJTdEJTVDcmlnaHQlMjklNUMlNUMrJTJCJTVDZ2FtbWElNUUyUl8lN0J0JTJCMyU3RCUyQiU1Q2dhbW1hJTVFM1YlNUNsZWZ0JTI4U18lN0J0JTJCMyU3RCU1Q3JpZ2h0JTI5LSU1Q2dhbW1hJTVFMlYlNUNsZWZ0JTI4U18lN0J0JTJCMiU3RCU1Q3JpZ2h0JTI5JTVDJTVDKyU1Q3Zkb3RzJTVDJTVDKyUyQiU1Q2dhbW1hJTVFJTdCVC0xLXQlN0RSX1QlMkIlNUNnYW1tYSU1RSU3QlQtdCU3RFYlNUNsZWZ0JTI4U19UJTVDcmlnaHQlMjktJTVDZ2FtbWElNUUlN0JULTEtdCU3RFYlNUNsZWZ0JTI4U18lN0JULTElN0QlNUNyaWdodCUyOSU1QyU1QyslNUNlbmQlN0JhcnJheSU3RCslNUMlNUQ=.png)
對於一般的，前向觀點等於后向觀點：
，前向觀點等於后向觀點：![\[\begin{array}{l} G_t^\lambda - V\left( {{S_t}} \right) = \\ - V\left( {{S_t}} \right) + \left( {1 - \lambda } \right){\lambda ^0}\left( {{R_{t + 1}} + \gamma V\left( {{S_{t + 1}}} \right)} \right)\\ + \left( {1 - \lambda } \right){\lambda ^1}\left( {{R_{t + 1}} + \gamma {R_{t + 2}} + {\gamma ^2}V\left( {{S_{t + 2}}} \right)} \right)\\ + \left( {1 - \lambda } \right){\lambda ^2}\left( {{R_{t + 1}} + \gamma {R_{t + 2}} + {\gamma ^2}{R_{t + 3}} + {\gamma ^3}V\left( {{S_{t + 2}}} \right)} \right) + \cdots \end{array}\]](/image/aHR0cDovL3d3dy56aGlodS5jb20vZXF1YXRpb24_dGV4PSU1QyU1QiU1Q2JlZ2luJTdCYXJyYXklN0QlN0JsJTdEK0dfdCU1RSU1Q2xhbWJkYSstK1YlNUNsZWZ0JTI4KyU3QiU3QlNfdCU3RCU3RCslNUNyaWdodCUyOSslM0QrJTVDJTVDKy0rViU1Q2xlZnQlMjgrJTdCJTdCU190JTdEJTdEKyU1Q3JpZ2h0JTI5KyUyQislNUNsZWZ0JTI4KyU3QjErLSslNUNsYW1iZGErJTdEKyU1Q3JpZ2h0JTI5JTdCJTVDbGFtYmRhKyU1RTAlN0QlNUNsZWZ0JTI4KyU3QiU3QlJfJTdCdCslMkIrMSU3RCU3RCslMkIrJTVDZ2FtbWErViU1Q2xlZnQlMjgrJTdCJTdCU18lN0J0KyUyQisxJTdEJTdEJTdEKyU1Q3JpZ2h0JTI5JTdEKyU1Q3JpZ2h0JTI5JTVDJTVDKyUyQislNUNsZWZ0JTI4KyU3QjErLSslNUNsYW1iZGErJTdEKyU1Q3JpZ2h0JTI5JTdCJTVDbGFtYmRhKyU1RTElN0QlNUNsZWZ0JTI4KyU3QiU3QlJfJTdCdCslMkIrMSU3RCU3RCslMkIrJTVDZ2FtbWErJTdCUl8lN0J0KyUyQisyJTdEJTdEKyUyQislN0IlNUNnYW1tYSslNUUyJTdEViU1Q2xlZnQlMjgrJTdCJTdCU18lN0J0KyUyQisyJTdEJTdEJTdEKyU1Q3JpZ2h0JTI5JTdEKyU1Q3JpZ2h0JTI5JTVDJTVDKyUyQislNUNsZWZ0JTI4KyU3QjErLSslNUNsYW1iZGErJTdEKyU1Q3JpZ2h0JTI5JTdCJTVDbGFtYmRhKyU1RTIlN0QlNUNsZWZ0JTI4KyU3QiU3QlJfJTdCdCslMkIrMSU3RCU3RCslMkIrJTVDZ2FtbWErJTdCUl8lN0J0KyUyQisyJTdEJTdEKyUyQislN0IlNUNnYW1tYSslNUUyJTdEJTdCUl8lN0J0KyUyQiszJTdEJTdEKyUyQislN0IlNUNnYW1tYSslNUUzJTdEViU1Q2xlZnQlMjgrJTdCJTdCU18lN0J0KyUyQisyJTdEJTdEJTdEKyU1Q3JpZ2h0JTI5JTdEKyU1Q3JpZ2h0JTI5KyUyQislNUNjZG90cyslNUNlbmQlN0JhcnJheSU3RCU1QyU1RA==.png)
![\[\begin{array}{l} {\rm{ = }} - V\left( {{S_t}} \right) + {\left( {\gamma \lambda } \right)^0}\left( {{R_{t + 1}} + \gamma V\left( {{S_{t + 1}}} \right) - \gamma \lambda V\left( {{S_{t + 1}}} \right)} \right)\\ + {\left( {\gamma \lambda } \right)^1}\left( {{R_{t + 2}} + \gamma V\left( {{S_{t + 2}}} \right) - \gamma \lambda V\left( {{S_{t + 2}}} \right)} \right)\\ + {\left( {\gamma \lambda } \right)^2}\left( {{R_{t + 3}} + \gamma V\left( {{S_{t + 3}}} \right) - \gamma \lambda V\left( {{S_{t + 3}}} \right)} \right) + \cdots \end{array}\]](/image/aHR0cDovL3d3dy56aGlodS5jb20vZXF1YXRpb24_dGV4PSU1QyU1QiU1Q2JlZ2luJTdCYXJyYXklN0QlN0JsJTdEKyU3QiU1Q3JtJTdCKyUzRCslN0QlN0QrLStWJTVDbGVmdCUyOCslN0IlN0JTX3QlN0QlN0QrJTVDcmlnaHQlMjkrJTJCKyU3QiU1Q2xlZnQlMjgrJTdCJTVDZ2FtbWErJTVDbGFtYmRhKyU3RCslNUNyaWdodCUyOSU1RTAlN0QlNUNsZWZ0JTI4KyU3QiU3QlJfJTdCdCslMkIrMSU3RCU3RCslMkIrJTVDZ2FtbWErViU1Q2xlZnQlMjgrJTdCJTdCU18lN0J0KyUyQisxJTdEJTdEJTdEKyU1Q3JpZ2h0JTI5Ky0rJTVDZ2FtbWErJTVDbGFtYmRhK1YlNUNsZWZ0JTI4KyU3QiU3QlNfJTdCdCslMkIrMSU3RCU3RCU3RCslNUNyaWdodCUyOSU3RCslNUNyaWdodCUyOSU1QyU1QyslMkIrJTdCJTVDbGVmdCUyOCslN0IlNUNnYW1tYSslNUNsYW1iZGErJTdEKyU1Q3JpZ2h0JTI5JTVFMSU3RCU1Q2xlZnQlMjgrJTdCJTdCUl8lN0J0KyUyQisyJTdEJTdEKyUyQislNUNnYW1tYStWJTVDbGVmdCUyOCslN0IlN0JTXyU3QnQrJTJCKzIlN0QlN0QlN0QrJTVDcmlnaHQlMjkrLSslNUNnYW1tYSslNUNsYW1iZGErViU1Q2xlZnQlMjgrJTdCJTdCU18lN0J0KyUyQisyJTdEJTdEJTdEKyU1Q3JpZ2h0JTI5JTdEKyU1Q3JpZ2h0JTI5JTVDJTVDKyUyQislN0IlNUNsZWZ0JTI4KyU3QiU1Q2dhbW1hKyU1Q2xhbWJkYSslN0QrJTVDcmlnaHQlMjklNUUyJTdEJTVDbGVmdCUyOCslN0IlN0JSXyU3QnQrJTJCKzMlN0QlN0QrJTJCKyU1Q2dhbW1hK1YlNUNsZWZ0JTI4KyU3QiU3QlNfJTdCdCslMkIrMyU3RCU3RCU3RCslNUNyaWdodCUyOSstKyU1Q2dhbW1hKyU1Q2xhbWJkYStWJTVDbGVmdCUyOCslN0IlN0JTXyU3QnQrJTJCKzMlN0QlN0QlN0QrJTVDcmlnaHQlMjklN0QrJTVDcmlnaHQlMjkrJTJCKyU1Q2Nkb3RzKyU1Q2VuZCU3QmFycmF5JTdEJTVDJTVE.png)
![\[\begin{array}{l} {\rm{ = }}{\left( {\gamma \lambda } \right)^0}\left( {{R_{t + 1}} + \gamma V\left( {{S_{t + 1}}} \right) - V\left( {{S_t}} \right)} \right)\\ {\rm{ + }}{\left( {\gamma \lambda } \right)^1}\left( {{R_{t + 2}} + \gamma V\left( {{S_{t + 2}}} \right) - V\left( {{S_{t + 1}}} \right)} \right)\\ {\rm{ + }}{\left( {\gamma \lambda } \right)^2}\left( {{R_{t + 3}} + \gamma V\left( {{S_{t + 3}}} \right) - V\left( {{S_{t + 2}}} \right)} \right) + \cdots \end{array}\]](/image/aHR0cDovL3d3dy56aGlodS5jb20vZXF1YXRpb24_dGV4PSU1QyU1QiU1Q2JlZ2luJTdCYXJyYXklN0QlN0JsJTdEKyU3QiU1Q3JtJTdCKyUzRCslN0QlN0QlN0IlNUNsZWZ0JTI4KyU3QiU1Q2dhbW1hKyU1Q2xhbWJkYSslN0QrJTVDcmlnaHQlMjklNUUwJTdEJTVDbGVmdCUyOCslN0IlN0JSXyU3QnQrJTJCKzElN0QlN0QrJTJCKyU1Q2dhbW1hK1YlNUNsZWZ0JTI4KyU3QiU3QlNfJTdCdCslMkIrMSU3RCU3RCU3RCslNUNyaWdodCUyOSstK1YlNUNsZWZ0JTI4KyU3QiU3QlNfdCU3RCU3RCslNUNyaWdodCUyOSU3RCslNUNyaWdodCUyOSU1QyU1QyslN0IlNUNybSU3QislMkIrJTdEJTdEJTdCJTVDbGVmdCUyOCslN0IlNUNnYW1tYSslNUNsYW1iZGErJTdEKyU1Q3JpZ2h0JTI5JTVFMSU3RCU1Q2xlZnQlMjgrJTdCJTdCUl8lN0J0KyUyQisyJTdEJTdEKyUyQislNUNnYW1tYStWJTVDbGVmdCUyOCslN0IlN0JTXyU3QnQrJTJCKzIlN0QlN0QlN0QrJTVDcmlnaHQlMjkrLStWJTVDbGVmdCUyOCslN0IlN0JTXyU3QnQrJTJCKzElN0QlN0QlN0QrJTVDcmlnaHQlMjklN0QrJTVDcmlnaHQlMjklNUMlNUMrJTdCJTVDcm0lN0IrJTJCKyU3RCU3RCU3QiU1Q2xlZnQlMjgrJTdCJTVDZ2FtbWErJTVDbGFtYmRhKyU3RCslNUNyaWdodCUyOSU1RTIlN0QlNUNsZWZ0JTI4KyU3QiU3QlJfJTdCdCslMkIrMyU3RCU3RCslMkIrJTVDZ2FtbWErViU1Q2xlZnQlMjgrJTdCJTdCU18lN0J0KyUyQiszJTdEJTdEJTdEKyU1Q3JpZ2h0JTI5Ky0rViU1Q2xlZnQlMjgrJTdCJTdCU18lN0J0KyUyQisyJTdEJTdEJTdEKyU1Q3JpZ2h0JTI5JTdEKyU1Q3JpZ2h0JTI5KyUyQislNUNjZG90cyslNUNlbmQlN0JhcnJheSU3RCU1QyU1RA==.png)
![\[{\rm{ = }}{\delta _t} + \gamma \lambda {\delta _{t + 1}} + {\left( {\gamma \lambda } \right)^2}{\delta _{t + 2}} + \cdots \]](/image/aHR0cDovL3d3dy56aGlodS5jb20vZXF1YXRpb24_dGV4PSU1QyU1QiU3QiU1Q3JtJTdCKyUzRCslN0QlN0QlN0IlNUNkZWx0YStfdCU3RCslMkIrJTVDZ2FtbWErJTVDbGFtYmRhKyU3QiU1Q2RlbHRhK18lN0J0KyUyQisxJTdEJTdEKyUyQislN0IlNUNsZWZ0JTI4KyU3QiU1Q2dhbW1hKyU1Q2xhbWJkYSslN0QrJTVDcmlnaHQlMjklNUUyJTdEJTdCJTVDZGVsdGErXyU3QnQrJTJCKzIlN0QlN0QrJTJCKyU1Q2Nkb3RzKyU1QyU1RA==.png)
注意，所謂等價是指更新總量相等。
最后，我們給出算法的偽代碼：
算法的偽代碼：
圖4.11 Sarsa算法的偽代碼