強化學習簡介及馬爾科夫決策過程

本文轉載自查看原文 2019-11-12 22:05 409 機器學習/ 概率論

1. 什么是強化學習

強化學習（reinforcement learning, RL）是近年來大家提的非常多的一個概念，那么，什么叫強化學習？

強化學習是機器學習的一個分支，和監督學習，非監督學習並列。

參考文獻[1]中給出了定義：

Reinforcement learning is learning what to do ----how to map situations to actions ---- so as to maximize a numerical reward signal.

即強化學習是通過學習將環境狀態轉化為動作的策略，從而獲得一個最大的回報。

舉個栗子[2]，在flappy bird游戲中，我們想設計一個獲得高分的策略，但是卻不清楚他的動力學模型等等。這是我們可以通過強化學習，讓智能體自己進行游戲，如果撞到柱子，則給負回報，否則給0回報。（也可以給不撞柱子持續給1點回報，撞柱子不給回報）。通過不斷的反饋，我們可以獲得一只飛行技術高超的小鳥。

通過上面例子，我們可以看到強化學習的幾個特性[3]：

沒有label，只有獎勵（reward）
獎勵信號不一定是實時的，很有可能延后的。
當前的行為影響后續接收到的數據
時間（序列）是一個重要因素

2. 強化學習的建模

上面的大腦代表我們的智能體，智能體通過選擇合適的動作(Action)$A_t$，地球代表我們要研究的環境，它擁有自己的狀態模型，智能體選擇了合適的動作$A_t$，環境的狀態$S_t$發生改變，變為$S_{t+1}$，同時獲得我們采取動作$A_t$的延遲獎勵$R_t$,然后選擇下一個合適的動作，環境狀態繼續改變……這就是強化學習的思路。

在這個強化學習的思路中，整理出如下要素[4]：

（1）環境的狀態$S$，$t$時刻環境的狀態$S_t$是它的環境狀態集中的某一個狀態；

（2）智能體的動作$A$，$t$時刻智能體采取的動作$A_t$是它的動作集中的某一個動作；

（3）環境的獎勵$R$，$t$時刻智能體在狀態$S_t$采取的動作$A_t$對應的獎勵$R_{t+1}$會在$t+1$時刻得到；

除此之外，還有更多復雜的模型要素：

（4）智能體的策略$\pi$,它代表了智能體采取動作的依據，即智能體會依據策略$\pi$選擇動作。最常見的策略表達方式是一個條件概率分布$\pi(a|s)$，即在狀態$s$時采取動作$a$的概率。即$\pi(a|s)=P(A_t=a|S_t=s)$，概率越大，動作越可能被選擇；

（5）智能體在策略$\pi$和狀態$s$時，采取行動后的價值$v_\pi(s)$。價值一般是一個期望函數。雖然當前動作會對應一個延遲獎勵$R_{t+1}$,但是光看這個延遲獎勵是不行的，因為當前的延遲獎勵高，不代表到$t+1,t+2,\dots$時刻的后續獎勵也高，比如下象棋，我們可以某個動作可以吃掉對方的車，這個延時獎勵是很高，但是接着后面我們輸棋了。此時吃車的動作獎勵值高但是價值並不高。因此我們的價值要綜合考慮當前的延時獎勵和后續的延時獎勵。 $v_\pi(s)$一般表達為：

\[ v_\pi(s)=E(R_{t+1}+\gamma R_{t+2}+\gamma^2R_{t+3}+\dots|S_t=s) \]

（6）其中$\gamma$作為獎勵衰減因子，在$[0,1]$之間，如果為0，則是貪婪法，即價值只有當前延遲獎勵決定。如果為1，則所有的后續狀態獎勵和當前獎勵一視同仁。大多數時間選擇一個0到1之間的數字

(7) 環境的狀態轉化模型，可以理解為一個狀態概率機，它可以表示為一個概率模型，即在狀態$s$下采取動作$a$，轉到下一個狀態$s^{'}$的概率，表示為$P_{ss{'}}^$

(8)探索率$\epsilon $主要用在強化學習訓練迭代過程中，由於我們一般會選擇使當前輪迭代價值最大的動作，但是這會導致一些較好的但我們沒有執行過的動作被錯過。因此我們在訓練選擇最優動作時，會有一定的概率$\epsilon $不選擇使當前輪迭代價值最大的動作，而選擇其他的動作。

3.馬爾科夫決策過程(Markov Decision Process ,MDP)

環境的狀態轉化模型，表示為一個概率模型$P_{ss{'}}^{$，它可以表示為一個概率模型，即在狀態$s$下采取動作$a$，轉到下一個狀態$s}{'}$的概率。在真實的環境轉化中，轉化到下一個狀態$s{'}$的概率既和上一個狀態$s$有關，還和上一個狀態，以及上上個狀態有關。這樣我們的環境轉化模型非常非常非常復雜，復雜到難以建模。

因此，我們需要對強化學習的環境轉化模型進行簡化。簡化的方法就是假設狀態轉化的馬爾科夫性：轉化到下一個狀態$s{'}$的概率僅和當前狀態$s$有關，與之前狀態無關，用公式表示就是：

\[ P_{ss'}^{a}=E(S_{t+1}=s'|S_t=s,A_t=a) \]

同時對於第四個要素策略$\pi$，我們也進行了馬爾科夫假設，即在狀態$s$下采取動作$a$的概率僅和當前狀態$s$有關，和其他要素無關：

\[ \pi(a|s)=P(A_t=a|S_t=s) \]

價值函數$v_\pi(s)$的馬爾科夫假設:

\[ v_\pi(s)=E(G_t|S_t=s)=E_\pi(R_{t+1}+\gamma R_{t+2}+\gamma^2R_{t+3}+\dots|S_t=s) \]

$G_t$表示收獲（return），是一個MDP中從某一個狀態$S_t$開始采樣直到終止狀態時所有獎勵的有衰減的之和。

推導價值函數的遞推關系，很容易得到以下公式：

\[ v_\pi(s)=E_\pi(R_{t+1}+\gamma v_\pi(S_{t+1})|S_t=s) \]

上式一般稱之為貝爾曼方程，它表示，一個狀態的價值由該狀態以及后續狀態價值按一定的衰減比例聯合組成。

4. 動作價值函數及貝爾曼方程

對於馬爾科夫決策過程，我們發現它的價值函數$v_\pi(s)$沒有考慮動作，僅僅代表了當前狀態采取某種策略到最終步驟的價值，現在考慮采取的動作帶來的影響：

\[ q_\pi{(s,a)}=E(G_t|S_t=s,A_t=a)=E_\pi(R_{t+1}+\gamma R_{t+2}+\gamma^2R_{t+3}+\dots|S_t=s,A_t=a) \]

動作價值函數$q_\pi(s,a)$的貝爾曼方程：

\[ q_\pi(s,a)=E_\pi(R_{t+1}+\gamma q_\pi(S_{t+1},A_{t+1})|S_t=s,A_t=a) \]

按照定義，很容易得到動作價值函數$q_\pi(s,a)$和狀態價值函數$v_\pi(s)$的關系：

\[ v_\pi(s)=\sum_{a\in A}\pi(a|s)q_\pi(s,a) \]

也就是說，狀態價值函數是所有動作價值函數基於策略$\pi$的期望。

同時，利用貝爾曼方程，我們利用狀態價值函數$v_\pi(s)$表示動作價值函數$q_\pi(s,a)$，即：

\[ q_\pi(s,a)=E_\pi(R_{t+1}+\gamma q_\pi(S_{t+1},A_{t+1})|S_t=s,A_t=a) \]

\[ =E_\pi(R_{t+1}|S_t=s,A_t=a)+\gamma E_\pi(q_\pi(S_{t+1},A_{t+1})|S_t=s,A_t=a) \]

\[ =R_s^a+\gamma \sum_{s'}P_{ss'}^{a}\sum_{a'}\pi(a'|s')q_\pi(s',a') \]

\[ =R_s^a+\gamma \sum_{s'}P_{ss'}^av_\pi(s') \]

公式5和公式12總結起來，我們可以得到下面兩式：

\[ v_\pi(s)=\sum_{a \in A}\pi(a|s)(R_s^a+\gamma \sum_{s'}P_{ss'}^av_\pi(s')) \]

\[ q_\pi(s,a)=R_s^a+\gamma \sum_{s'}P_{ss'}^av_\pi(s') \]

5. 最優價值函數

解決強化學習問題意味着要尋找一個最優的策略讓個體在與環境交互過程中獲得始終比其它策略都要多的收獲，這個最優策略我們可以用 $\pi^*$表示。一旦找到這個最優策略 $\pi^*$，那么我們就解決了這個強化學習問題。一般來說，比較難去找到一個最優策略，但是可以通過比較若干不同策略的優劣來確定一個較好的策略，也就是局部最優解。

如何比較策略優劣？一般通過對應的價值函數進行比較：

\[ v_{*}(s)=\max _{\pi} v_{\pi}(s)=\max_\pi \sum_a\pi(a | s) q_{\pi}(s, a)=\max _{a} q_{*}(s, a) \]

或者最優化動作價值函數：

\[ q_{*}(s, a)=\max _{\pi} q_{\pi}(s, a) \]

\[ =R_s^a+\gamma \max_\pi v_\pi(s') \]

狀態價值函數$v$描述了一個狀態的長期最優化價值，即在這個狀態下考慮到所有可能發生的后續動作，並且都挑選最優動作執行的情況下，這個狀態的價值。

動作價值函數$q$描述了處於一個狀態，並且執行了某個動作后，所帶來的長期最有價值。即在這個狀態下執行某一特定動作后，考慮再之后所有可能處於的狀態下總是選取最優動作來執行所帶來的長期價值。

對於最優的策略，基於動作價值函數我們可以定義為：

\[ \pi_{*}(a | s)=\left\{\begin{array}{ll}{1} & {\text { if } a=\arg \max _{a \in A} q_{*}(s, a)} \\ {0} & {\text { else }}\end{array}\right. \]

只要我們找到了最大的狀態價值函數或者動作價值函數，那么對應的策略$\pi^*$就是我們強化學習問題的解。