Q-learning和Sarsa的區別
Q-learning是off-policy，而Sarsa是on-policy學習。 Q-learning在更新Q table時，它只會需要Q值最大，但是不一定會選擇使這個Q值最大的動作，因為選擇哪個動作是由其他的策略決定的，但是Sarsa在更新Q table時，不一定是Q最大的那個，而且接下 ...
原文：總結:比較SARSA、SARSA(lambda)、Q-learning、on policy and off policy
前幾天面試的時候被問到RL一些基礎算法的區別，回來抽空做了一些整理方便加深理解。 On policy與off policy 為了解決強化學習中探索與利用的平衡問題，可以采用兩個策略訓練模型，一個策略為行為策略，用於保持探索性，提供多樣化的數據，不斷優化另一個策略 目標策略 。 on policy的目標策略與行為策略是一個策略，在優化時，兩個策略同時被優化。而off policy的目標策略與行為策略 ...
2019-05-13 13:35 0 455 推薦指數：
相關推薦
強化學習（三）—— 時序差分法（SARSA和Q-Learning）
1、時序差分法基本概念 雖然蒙特卡洛方法可以在不知道狀態轉移概率矩陣的前提下，靈活地求解強化學習問題，但是蒙特卡洛方法需要所有的采樣序列都是完整的狀態序列。如果我們沒有完整的狀態序列就無法用蒙特 ...
強化學習 - Q-learning Sarsa 和 DQN 的理解
本文用於基本入門理解。 強化學習的基本理論 ： R, S, A 這些就不說了。 先設想兩個場景： 一。 1個 5x5 的 格子圖， 里面有一個目標點， 2個死亡點二。 一個迷宮， 一個出發點， 3處 分叉點， 5個死角， 1條活路Q-learning 的概念 其實就是一個算法 ...
強化學習 5 —— SARSA 和 Q-Learning算法代碼實現
上篇文章 強化學習——時序差分 (TD) --- SARSA and Q-Learning 我們介紹了時序差分TD算法解決強化學習的評估和控制問題，TD對比MC有很多優勢，比如TD有更低方差，可以學習不完整的序列。所以我們可以在策略控制循環中使用TD來代替MC。優於TD算法的諸多優點，因此現在主流 ...
【強化學習RL】model-free的prediction和control — MC, TD(λ), SARSA, Q-learning等
矩陣Pss'），如何進行prediction，即預測當前policy的state-value funct ...
強化學習中的無模型 基於值函數的 Q-Learning 和 Sarsa 學習
強化學習基礎： 注： 在強化學習中 獎勵函數和狀態轉移函數都是未知的，之所以有已知模型的強化學習解法是指使用采樣估計的方式估計出獎勵函數和狀態轉移函數，然后將強化學 ...
增強學習（五）----- 時間差分學習(Q learning, Sarsa learning)
接下來我們回顧一下動態規划算法(DP)和蒙特卡羅方法(MC)的特點，對於動態規划算法有如下特性： 需要環境模型，即狀態轉移概率\(P_{sa}\) 狀態值函數的估計是自舉的(bootstr ...
強化學習-SARSA(lambda)路徑規划
1. 問題：612個點 [(x,y,z), 標號1，標號2] 約束：整體 水平 垂直 2. State: {w_ij} ...