blog翻譯。原blog：https://keon.github.io/deep-q-learning/
強化學習
強化學習是一種允許你創造能從環境中交互學習的AI agent 的機器學習算法。就跟我們學習騎自行車一樣，這種類型的AI通過試錯來學習。如上圖所示，大腦代表AI agent並在環境中活動。當每次行動過后，agent接收到環境反饋。反饋包括回報（reward）和環境的下個狀態（state）。回報由模型設計者定義。如果類比人類學習自行車，我們會將車從起始點到當前位置的距離定義為回報。
深度強化學習
2013年，在DeepMind 發表的著名論文Playing Atari with Deep Reinforcement Learning中，他們介紹了一種新算法，深度Q網絡（DQN）。文章展示了AI agent如何在沒有任何先驗信息的情況下通過觀察屏幕學習玩游戲。結果令人印象深刻。這篇文章開啟了被我們成為“深度強化學習”的新時代。這種學習算法是混合了深度學習與強化學習的新算法。
在Q學習算法中，有一種函數被稱為Q函數，它用來估計基於一個狀態的回報。同樣地，在DQN中，我們使用一個神經網絡估計基於狀態的回報函數。我們將在之后細致地討論這一部分工作。
Cartpole游戲
通常訓練一個agent玩Atari游戲通常會好一會兒（從幾個小時到一天）。所以我們將訓練agent玩一個簡單的游戲，CartPole，並使用在上面論文中的一些思想。
CartPole是OpenAI gym中最簡單的一個環境。正如你在文章一開始看到的那個gif一樣，CartPole的目的就是桿子平衡在移動的小車上。除了像素信息，還有四種信息可以用作狀態，像是，桿子的角度和車在滑軌的位置。agent可以通過施加左（0）或右（1）的動作，使小車移動。
Gym使游戲環境的交互非常方便：
next_state, reward, done, info = env.step(action)
如我們上面所說，action要么是0要么是1。當我們將這些數字串入環境中將會得出結果。“env”是游戲環境類。“done”為標記游戲結束與否的布爾量。當前狀態“state”，“action”，“next_state”與“reward”是我們用於訓練agent的數據。
使用PaddlePaddle實現簡單神經網絡
這篇文章不是關於深度學習或神經網絡的。所以我們將神經網絡試做黑箱算法。這個算法的功能是從成對的輸入與輸出數據學習某種模式並且可以基於不可見的輸入數據預測輸出。但是我們應該理解在DQN算法中的那部分神經網絡算法。
注意到我們使用的神經網絡類似於上圖所示的網絡。我們使用一個包含四種輸入信息的輸入層和三個隱藏層。但是我們在輸出層有兩個節點因為在這個游戲中有兩個按鈕（0與1)。
下面的代碼會生成一個擁有兩個全連接層的神經網絡模型。
import parl
from parl import layers
import paddle.fluid as fluid
import copy
import numpy as np
import os
import gym
from parl.utils import logger
class Model(parl.Model):
def __init__(self, act_dim):
hid1_size = 128
hid2_size = 128
# 3層全連接網絡
self.fc1 = layers.fc(size=hid1_size, act='relu')
self.fc2 = layers.fc(size=hid2_size, act='relu')
self.fc3 = layers.fc(size=act_dim, act=None)
def value(self, obs):
# 定義網絡
# 輸入state，輸出所有action對應的Q，[Q(s,a1), Q(s,a2), Q(s,a3)...]
h1 = self.fc1(obs)
h2 = self.fc2(h1)
Q = self.fc3(h2)
return Q
實現深度Q算法（DQN）
DQN算法最重要的特征是記憶（remember）與回顧（replay）方法。它們都有很簡明的概念。
記憶（remember）
對於DQN來說一個挑戰就是運用在算法中的神經網絡區域通過覆蓋掉先前學習的經驗來遺忘它們。所以我們需要記錄下先前的經驗與觀察值以便再用這些先前數據訓練模型。我們將調用代表經驗的數組數據“memory”和“remember()”函數來添加狀態，回報，和下次狀態到“memory”中。
在本例中，“memory”列表中有以下形式的數據：
memory = [(state, action, reward, next_State)...]
具體的實現在下方給出：
import random
import collections
import numpy as np
class ReplayMemory(object):
def __init__(self, max_size):
self.buffer = collections.deque(maxlen=max_size)
# 增加一條經驗到經驗池中
def append(self, exp):
self.buffer.append(exp)
# 從經驗池中選取N條經驗出來
def sample(self, batch_size):
mini_batch = random.sample(self.buffer, batch_size)
obs_batch, action_batch, reward_batch, next_obs_batch, done_batch = [], [], [], [], []
for experience in mini_batch:
s, a, r, s_p, done = experience
obs_batch.append(s)
action_batch.append(a)
reward_batch.append(r)
next_obs_batch.append(s_p)
done_batch.append(done)
return np.array(obs_batch).astype('float32'), \
np.array(action_batch).astype('float32'), np.array(reward_batch).astype('float32'),\
np.array(next_obs_batch).astype('float32'), np.array(done_batch).astype('float32')
def __len__(self):
return len(self.buffer)
回放（replay）
“回放“的意思就是從存儲在“memory”中的數據（經驗）中訓練神經網絡。我們在每次訓練網絡時會抽出一些數據，這些數據被稱作batches，在下列的訓練函數中，rpm.sample(BATCH_SIZE)方法就是從buffer中隨機抽出一部分數據然后訓練agent中的網絡。
# 訓練一個episode
def run_episode(env, agent, rpm):
total_reward = 0
obs = env.reset()
step = 0
while True:
step += 1
action = agent.sample(obs) # 采樣動作，所有動作都有概率被嘗試到
next_obs, reward, done, _ = env.step(action)
rpm.append((obs, action, reward, next_obs, done))
# train model
if (len(rpm) > MEMORY_WARMUP_SIZE) and (step % LEARN_FREQ == 0):
(batch_obs, batch_action, batch_reward, batch_next_obs,
batch_done) = rpm.sample(BATCH_SIZE)
train_loss = agent.learn(batch_obs, batch_action, batch_reward,
batch_next_obs,
batch_done) # s,a,r,s',done
total_reward += reward
obs = next_obs
if done:
break
return total_reward
# 評估 agent, 跑 5 個episode，總reward求平均
def evaluate(env, agent, render=False):
eval_reward = []
for i in range(5):
obs = env.reset()
episode_reward = 0
while True:
action = agent.predict(obs) # 預測動作，只選最優動作
obs, reward, done, _ = env.step(action)
episode_reward += reward
if render:
env.render()
if done:
break
eval_reward.append(episode_reward)
return np.mean(eval_reward)
為了使agent在長期運行中表現的更好，我們不僅僅需要考慮即時回報（immediate rewards），還要考慮未來回報（future rewards）。為了實現這一目標，我們定義“discount rate”（折扣因子） 即“gamma”。這樣，agent將學習已有的狀態然后想方設法最大化未來回報。
class DQN(parl.Algorithm):
def __init__(self, model, act_dim=None, gamma=None, lr=None):
""" DQN algorithm
Args:
model (parl.Model): 定義Q函數的前向網絡結構
act_dim (int): action空間的維度，即有幾個action
gamma (float): reward的衰減因子
lr (float): learning rate 學習率.
"""
self.model = model
self.target_model = copy.deepcopy(model)
assert isinstance(act_dim, int)
assert isinstance(gamma, float)
assert isinstance(lr, float)
self.act_dim = act_dim
self.gamma = gamma
self.lr = lr
def predict(self, obs):
""" 使用self.model的value網絡來獲取 [Q(s,a1),Q(s,a2),...]
"""
return self.model.value(obs)
def learn(self, obs, action, reward, next_obs, terminal):
""" 使用DQN算法更新self.model的value網絡
"""
# 從target_model中獲取 max Q' 的值，用於計算target_Q
next_pred_value = self.target_model.value(next_obs)
best_v = layers.reduce_max(next_pred_value, dim=1)
best_v.stop_gradient = True # 阻止梯度傳遞
terminal = layers.cast(terminal, dtype='float32')
target = reward + (1.0 - terminal) * self.gamma * best_v
pred_value = self.model.value(obs) # 獲取Q預測值
# 將action轉onehot向量，比如：3 => [0,0,0,1,0]
action_onehot = layers.one_hot(action, self.act_dim)
action_onehot = layers.cast(action_onehot, dtype='float32')
# 下面一行是逐元素相乘，拿到action對應的 Q(s,a)
# 比如：pred_value = [[2.3, 5.7, 1.2, 3.9, 1.4]], action_onehot = [[0,0,0,1,0]]
# ==> pred_action_value = [[3.9]]
pred_action_value = layers.reduce_sum(
layers.elementwise_mul(action_onehot, pred_value), dim=1)
# 計算 Q(s,a) 與 target_Q的均方差，得到loss
cost = layers.square_error_cost(pred_action_value, target)
cost = layers.reduce_mean(cost)
optimizer = fluid.optimizer.Adam(learning_rate=self.lr) # 使用Adam優化器
optimizer.minimize(cost)
return cost
def sync_target(self):
""" 把 self.model 的模型參數值同步到 self.target_model
"""
self.model.sync_weights_to(self.target_model)
agent如何選擇行為？
我們的agent在最初的一部分時間會隨機選擇行為，這被“exploration rate”或“epsilon”參數表征。這是因為在最初對agent最好的策略就是在他們掌握模式前嘗試一切。當agent沒有隨機選擇行為，它會基於當前狀態預測回報值並且選擇能夠將回報最大化的行為。“np.argmax()”函數可以取出“act_values[0]”中的最大值。
class Agent(parl.Agent):
def __init__(self,
algorithm,
obs_dim,
act_dim,
e_greed=0.1,
e_greed_decrement=0):
assert isinstance(obs_dim, int)
assert isinstance(act_dim, int)
self.obs_dim = obs_dim
self.act_dim = act_dim
super(Agent, self).__init__(algorithm)
self.global_step = 0
self.update_target_steps = 200 # 每隔200個training steps再把model的參數復制到target_model中
self.e_greed = e_greed # 有一定概率隨機選取動作，探索
self.e_greed_decrement = e_greed_decrement # 隨着訓練逐步收斂，探索的程度慢慢降低
def build_program(self):
self.pred_program = fluid.Program()
self.learn_program = fluid.Program()
with fluid.program_guard(self.pred_program): # 搭建計算圖用於 預測動作，定義輸入輸出變量
obs = layers.data(
name='obs', shape=[self.obs_dim], dtype='float32')
self.value = self.alg.predict(obs)
with fluid.program_guard(self.learn_program): # 搭建計算圖用於 更新Q網絡，定義輸入輸出變量
obs = layers.data(
name='obs', shape=[self.obs_dim], dtype='float32')
action = layers.data(name='act', shape=[1], dtype='int32')
reward = layers.data(name='reward', shape=[], dtype='float32')
next_obs = layers.data(
name='next_obs', shape=[self.obs_dim], dtype='float32')
terminal = layers.data(name='terminal', shape=[], dtype='bool')
self.cost = self.alg.learn(obs, action, reward, next_obs, terminal)
def sample(self, obs):
sample = np.random.rand() # 產生0~1之間的小數
if sample < self.e_greed:
act = np.random.randint(self.act_dim) # 探索：每個動作都有概率被選擇
else:
act = self.predict(obs) # 選擇最優動作
self.e_greed = max(
0.01, self.e_greed - self.e_greed_decrement) # 隨着訓練逐步收斂，探索的程度慢慢降低
return act
def predict(self, obs): # 選擇最優動作
obs = np.expand_dims(obs, axis=0)
pred_Q = self.fluid_executor.run(
self.pred_program,
feed={'obs': obs.astype('float32')},
fetch_list=[self.value])[0]
pred_Q = np.squeeze(pred_Q, axis=0)
act = np.argmax(pred_Q) # 選擇Q最大的下標，即對應的動作
return act
def learn(self, obs, act, reward, next_obs, terminal):
# 每隔200個training steps同步一次model和target_model的參數
if self.global_step % self.update_target_steps == 0:
self.alg.sync_target()
self.global_step += 1
act = np.expand_dims(act, -1)
feed = {
'obs': obs.astype('float32'),
'act': act.astype('int32'),
'reward': reward,
'next_obs': next_obs.astype('float32'),
'terminal': terminal
}
cost = self.fluid_executor.run(
self.learn_program, feed=feed, fetch_list=[self.cost])[0] # 訓練一次網絡
return cost
超參數
有一些超參數是強化學習agent所必需的，你會在下面一次又一次的看到這些參數。
episodes 我們想讓agent玩游戲的次數
gamma discount rate（折扣因子），以便計算未來的折扣回報。
epsilon exploration rate，這個比率表征一個agent隨機選擇行為的程度
epsilon_decay 上述參數的衰減率。我們希望隨着agent更擅長游戲的同時減少它探索的次數。
learning_rata 這個參數決定了神經網絡在每次迭代時的學習率（學習程度）。
LEARN_FREQ = 5 # 訓練頻率，不需要每一個step都learn，攢一些新增經驗后再learn，提高效率
MEMORY_SIZE = 20000 # replay memory的大小，越大越占用內存
MEMORY_WARMUP_SIZE = 200 # replay_memory 里需要預存一些經驗數據，再開啟訓練
BATCH_SIZE = 32 # 每次給agent learn的數據數量，從replay memory隨機里sample一批數據出來
LEARNING_RATE = 0.001 # 學習率
GAMMA = 0.99 # reward 的衰減因子，一般取 0.9 到 0.999 不等
EPISODES = 2000
讓我們來訓練它吧！
env = gym.make('CartPole-v0') # CartPole-v0: 預期最后一次評估總分 > 180（最大值是200）
action_dim = env.action_space.n # CartPole-v0: 2
obs_shape = env.observation_space.shape # CartPole-v0: (4,)
rpm = ReplayMemory(MEMORY_SIZE) # DQN的經驗回放池
# 根據parl框架構建agent
model = Model(act_dim=action_dim)
algorithm = DQN(model, act_dim=action_dim, gamma=GAMMA, lr=LEARNING_RATE)
agent = Agent(
algorithm,
obs_dim=obs_shape[0],
act_dim=action_dim,
e_greed=0.1, # 有一定概率隨機選取動作，探索
e_greed_decrement=1e-6) # 隨着訓練逐步收斂，探索的程度慢慢降低
# 加載模型
# save_path = './dqn_model.ckpt'
# agent.restore(save_path)
# 先往經驗池里存一些數據，避免最開始訓練的時候樣本豐富度不夠
while len(rpm) < MEMORY_WARMUP_SIZE:
run_episode(env, agent, rpm)
# 開始訓練
episode = 0
while episode < EPISODES: # 訓練max_episode個回合，test部分不計算入episode數量
# train part
for i in range(0, 50):
total_reward = run_episode(env, agent, rpm)
episode += 1
# test part
eval_reward = evaluate(env, agent, render=False) # render=True 查看顯示效果
logger.info('episode:{} e_greed:{} test_reward:{}'.format(
episode, agent.e_greed, eval_reward))
[32m[06-25 23:06:44 MainThread @machine_info.py:88][0m Cannot find available GPU devices, using CPU now.
[32m[06-25 23:06:44 MainThread @machine_info.py:88][0m Cannot find available GPU devices, using CPU now.
[32m[06-25 23:06:45 MainThread @machine_info.py:88][0m Cannot find available GPU devices, using CPU now.
[32m[06-25 23:06:48 MainThread @<ipython-input-15-b87386821719>:36][0m episode:50 e_greed:0.098997999999999 test_reward:10.4
[32m[06-25 23:06:50 MainThread @<ipython-input-15-b87386821719>:36][0m episode:100 e_greed:0.0984899999999985 test_reward:9.0
[32m[06-25 23:06:52 MainThread @<ipython-input-15-b87386821719>:36][0m episode:150 e_greed:0.097989999999998 test_reward:10.0
[32m[06-25 23:06:53 MainThread @<ipython-input-15-b87386821719>:36][0m episode:200 e_greed:0.09748699999999749 test_reward:9.6
[32m[06-25 23:06:55 MainThread @<ipython-input-15-b87386821719>:36][0m episode:250 e_greed:0.09698199999999699 test_reward:9.2
[32m[06-25 23:06:57 MainThread @<ipython-input-15-b87386821719>:36][0m episode:300 e_greed:0.09648699999999649 test_reward:9.6
[32m[06-25 23:06:59 MainThread @<ipython-input-15-b87386821719>:36][0m episode:350 e_greed:0.09598399999999599 test_reward:9.8
[32m[06-25 23:07:01 MainThread @<ipython-input-15-b87386821719>:36][0m episode:400 e_greed:0.09542399999999543 test_reward:10.4
[32m[06-25 23:07:03 MainThread @<ipython-input-15-b87386821719>:36][0m episode:450 e_greed:0.0947999999999948 test_reward:9.0
[32m[06-25 23:07:07 MainThread @<ipython-input-15-b87386821719>:36][0m episode:500 e_greed:0.09396599999999397 test_reward:12.2
[32m[06-25 23:07:24 MainThread @<ipython-input-15-b87386821719>:36][0m episode:550 e_greed:0.0901009999999901 test_reward:176.4
[32m[06-25 23:08:07 MainThread @<ipython-input-15-b87386821719>:36][0m episode:600 e_greed:0.08040699999998041 test_reward:194.0
[32m[06-25 23:08:47 MainThread @<ipython-input-15-b87386821719>:36][0m episode:650 e_greed:0.07106699999997107 test_reward:193.4
[32m[06-25 23:09:24 MainThread @<ipython-input-15-b87386821719>:36][0m episode:700 e_greed:0.062443999999962446 test_reward:145.0
[32m[06-25 23:10:03 MainThread @<ipython-input-15-b87386821719>:36][0m episode:750 e_greed:0.05348999999995349 test_reward:200.0
[32m[06-25 23:10:37 MainThread @<ipython-input-15-b87386821719>:36][0m episode:800 e_greed:0.045924999999945926 test_reward:178.4
[32m[06-25 23:11:10 MainThread @<ipython-input-15-b87386821719>:36][0m episode:850 e_greed:0.03836299999993836 test_reward:121.8
[32m[06-25 23:11:47 MainThread @<ipython-input-15-b87386821719>:36][0m episode:900 e_greed:0.030014999999930014 test_reward:125.8
[32m[06-25 23:12:20 MainThread @<ipython-input-15-b87386821719>:36][0m episode:950 e_greed:0.022796999999922796 test_reward:146.4
[32m[06-25 23:12:51 MainThread @<ipython-input-15-b87386821719>:36][0m episode:1000 e_greed:0.015602999999915641 test_reward:144.4
[32m[06-25 23:13:26 MainThread @<ipython-input-15-b87386821719>:36][0m episode:1050 e_greed:0.01 test_reward:122.2
[32m[06-25 23:13:49 MainThread @<ipython-input-15-b87386821719>:36][0m episode:1100 e_greed:0.01 test_reward:118.4
[32m[06-25 23:14:19 MainThread @<ipython-input-15-b87386821719>:36][0m episode:1150 e_greed:0.01 test_reward:200.0
[32m[06-25 23:14:49 MainThread @<ipython-input-15-b87386821719>:36][0m episode:1200 e_greed:0.01 test_reward:111.8
[32m[06-25 23:15:18 MainThread @<ipython-input-15-b87386821719>:36][0m episode:1250 e_greed:0.01 test_reward:179.8
[32m[06-25 23:15:49 MainThread @<ipython-input-15-b87386821719>:36][0m episode:1300 e_greed:0.01 test_reward:122.2
[32m[06-25 23:16:20 MainThread @<ipython-input-15-b87386821719>:36][0m episode:1350 e_greed:0.01 test_reward:149.2
[32m[06-25 23:16:49 MainThread @<ipython-input-15-b87386821719>:36][0m episode:1400 e_greed:0.01 test_reward:135.8
[32m[06-25 23:17:21 MainThread @<ipython-input-15-b87386821719>:36][0m episode:1450 e_greed:0.01 test_reward:200.0
[32m[06-25 23:17:59 MainThread @<ipython-input-15-b87386821719>:36][0m episode:1500 e_greed:0.01 test_reward:162.8
[32m[06-25 23:18:31 MainThread @<ipython-input-15-b87386821719>:36][0m episode:1550 e_greed:0.01 test_reward:107.6
[32m[06-25 23:19:14 MainThread @<ipython-input-15-b87386821719>:36][0m episode:1600 e_greed:0.01 test_reward:200.0
[32m[06-25 23:19:58 MainThread @<ipython-input-15-b87386821719>:36][0m episode:1650 e_greed:0.01 test_reward:200.0
[32m[06-25 23:20:37 MainThread @<ipython-input-15-b87386821719>:36][0m episode:1700 e_greed:0.01 test_reward:200.0
[32m[06-25 23:21:22 MainThread @<ipython-input-15-b87386821719>:36][0m episode:1750 e_greed:0.01 test_reward:200.0
[32m[06-25 23:22:06 MainThread @<ipython-input-15-b87386821719>:36][0m episode:1800 e_greed:0.01 test_reward:200.0
[32m[06-25 23:22:51 MainThread @<ipython-input-15-b87386821719>:36][0m episode:1850 e_greed:0.01 test_reward:200.0
[32m[06-25 23:23:36 MainThread @<ipython-input-15-b87386821719>:36][0m episode:1900 e_greed:0.01 test_reward:200.0
[32m[06-25 23:24:06 MainThread @<ipython-input-15-b87386821719>:36][0m episode:1950 e_greed:0.01 test_reward:200.0
[32m[06-25 23:24:50 MainThread @<ipython-input-15-b87386821719>:36][0m episode:2000 e_greed:0.01 test_reward:200.0
經過幾百個episodes的訓練后，它開始學習如何最大化分數。當500episode之后，它的test_reward達到了最大。在1500episode后，一個大師級CartPole玩家終於誕生啦。
