上篇文章 強化學習——時序差分 (TD) --- SARSA and Q-Learning 我們介紹了時序差分TD算法解決強化學習的評估和控制問題，TD對比MC有很多優勢，比如TD有更低方差，可以學習不完整的序列。所以我們可以在策略控制循環中使用TD來代替MC。優於TD算法的諸多優點，因此現在主流的強化學習求解方法都是基於TD的。這篇文章會使用就用代碼實現 SARSA 和 Q-Learning 這兩種算法。
一、算法介紹
關於SARSA 和 Q-Learning算法的詳細介紹，本篇博客不做過多介紹，若不熟悉可點擊文章開頭鏈接查看。
Sarsa 和 QLearning 時序差分TD解決強化學習控制問題的兩種算法，兩者非常相似，從更新公式就能看出來：
- SARSA：
- Q-Learning
可以看出來，兩者的區別就在計算 TD-Target 的時候，下一個動作 a' 是如何選取的
對於 Sarsa 來說：
- 1）在狀態 s' 時，就知道了要采取那個動作 a'，並且真的采取了這個動作
- 2）當前動作 a 和下一個動作 a' 都是 根據 \(\epsilon\) -貪婪策略選取的，因此稱為on-policy學習
對於 Q-Learning：
- 1）在狀態s'時，只是計算了 在 s' 時要采取哪個 a' 可以得到更大的 Q 值，並沒有真的采取這個動作 a'。
- 2）動作 a 的選取是根據當前 Q 網絡以及 \(\epsilon\)-貪婪策略，即每一步都會根據當前的狀況選擇一個動作A，目標Q值的計算是根據 Q 值最大的動作 a' 計算得來，因此為 off-policy 學習。
二、代碼
1、SARSA
定義 SARSA agent 類，
class Sarsa:
def __init__(self, state_dim, action_dim, lr=0.01, gamma=0.9, e_greed=0.1):
self.action_dim = action_dim
self.lr = lr
self.gamma = gamma
self.epsilon = e_greed
self.Q = np.zeros((state_dim, action_dim))
def sample(self, state):
"""
使用 epsilon 貪婪策略獲取動作
return: action
"""
if np.random.uniform() < self.epsilon:
action = np.random.choice(self.action_dim)
else: action = self.predict(state)
return action
def predict(self, state):
""" 根據輸入觀察值，預測輸出的動作值 """
all_actions = self.Q[state, :]
max_action = np.max(all_actions)
# 防止最大的 Q 值有多個，找出所有最大的 Q，然后再隨機選擇
# where函數返回一個 array， 每個元素為下標
max_action_list = np.where(all_actions == max_action)[0]
action = np.random.choice(max_action_list)
return action
def learn(self, state, action, reward, next_state, next_action, done):
"""
更新 Q-table 方法
next_action 就是下一步選的動作，所以直接用 self.Q[next_state, next_action]
然后計算 td-target，然后更新 Q-table
"""
if done: target_q = reward
else:
target_q = reward + self.gamma * self.Q[next_state, next_action]
self.Q[state, action] += self.lr * (target_q - self.Q[state, action])
上面代碼重點是 learn() 方法中的 Q-table 的更新，結合公式還是比較容易理解的。下面是每一個 episode 的流程：對於一個 episode 先調用 reset() 方法獲得初始化狀態state，然后選擇當前的動作 action ，使用當前的動作讓環境執行一步，獲取到下一個狀態 next_state 以及獎勵 reward ，然后利用這些數據進行更新Q表格，注意 更新之后要把下一個狀態和動作賦值給當前的狀態和動作，然后循環。
def run_episode(self, render=False):
state = self.env.reset()
action = self.model.sample(state)
while True:
next_state, reward, done, _ = self.env.step(action)
next_action = self.model.sample(next_state)
# 訓練 Q-learning算法
self.model.learn(state, action, reward, next_state, next_action, done)
state = next_state
action = next_action
if render: self.env.render()
if done: break
完整代碼見強化學習——SARSA 算法 ，勞煩大人點個 star 可好？
2、Q-Learning
由上可知，Q-Learning 和 SARSA 算法很相似，代碼幾乎相同，下面就展示下與 SARSA 算法不同的部分
class QLearning:
# ...
# 其他方法見 SARSA 部分
def learn(self, state, action, reward, next_state, done):
"""
Q-Learning 更新 Q-table 方法
這里沒有明確選擇下一個動作 next_action, 而是選擇 next_state 下有最大價值的動作
所以用 np.max(self.Q[next_state, :]) 來計算 td-target
然后更新 Q-table
"""
if done:
target_q = reward
else:
target_q = reward + self.gamma * np.max(self.Q[next_state, :])
self.Q[state, action] += self.lr * (target_q - self.Q[state, action])
對於 Q-Learning 的算法流程部分 ，和 SARSA 也有些細微區別：在Q-Learning 中的 learn() 方法不需要傳入 next_action 參數，因為在計算td-target 時只是查看了一下下一個狀態的所有動作價值，並選擇一個最優動作讓環境去執行。還請仔細區分兩者的不同：
def run_episode(self, render=False):
state = self.env.reset()
while True:
action = self.model.sample(state)
next_state, reward, done, _ = self.env.step(action)
# 訓練 Q-learning算法
self.model.learn(state, action, reward, next_state, done)
state = next_state
if render: self.env.render()
if done: break
完整代碼見強化學習——Q-Learning 算法，勞煩大人點個 star 可好？