集成學習之Adaboost算法原理小結

本文轉載自查看原文 2017-03-08 16:16 2620

1. 回顧boosting算法的基本原理

　　　　在集成學習原理小結中，我們已經講到了boosting算法系列的基本思想，如下圖：

　　　　從圖中可以看出，Boosting算法的工作機制是首先從訓練集用初始權重訓練出一個弱學習器1，根據弱學習的學習誤差率表現來更新訓練樣本的權重，使得之前弱學習器1學習誤差率高的訓練樣本點的權重變高，使得這些誤差率高的點在后面的弱學習器2中得到更多的重視。然后基於調整權重后的訓練集來訓練弱學習器2.，如此重復進行，直到弱學習器數達到事先指定的數目T，最終將這T個弱學習器通過集合策略進行整合，得到最終的強學習器。　　

　　　　不過有幾個具體的問題Boosting算法沒有詳細說明。

　　　　1）如何計算學習誤差率e?

　　　　2) 如何得到弱學習器權重系數

　　　　3）如何更新樣本權重D?

　　　　4) 使用何種結合策略？

　　　　只要是boosting大家族的算法，都要解決這4個問題。那么Adaboost是怎么解決的呢？

2. Adaboost算法的基本思路

　　　　我們這里講解Adaboost是如何解決上一節這4個問題的。

　　　　假設我們的訓練集樣本是

T = {(x, y 1), (x 2, y 2), . . . (x m, y m)}

　　　　訓練集的在第k個弱學習器的輸出權重為

D (k) = (w k 1, w k 2, . . . w k m);

　　　　首先我們看看Adaboost的分類問題。

　　　　分類問題的誤差率很好理解和計算。由於多元分類是二元分類的推廣，這里假設我們是二元分類問題，輸出為{-1，1}，則第k個弱分類器

e k = P (G k (x i) \neq y i) = \sum i = 1 m w k i I (G k (x i) \neq

　　　　接着我們看弱學習器權重系數,對於二元分類問題，第k個弱分類器

α k = 1 2 l o g 1 - e k e k

　　　　為什么這樣計算弱學習器權重系數？從上式可以看出，如果分類誤差率

　　　　第三個問題，更新更新樣本權重D。假設第k個弱分類器的樣本集權重系數為

w k + 1, i = w k i Z K e x p ( - α k y i G k ( x i ) )

　　　　這里

Z k = \sum i = 1 m w k i e x p (- α k y i G k (x i))

　　　　從

　　　　最后一個問題是集合策略。Adaboost分類采用的是加權平均法，最終的強分類器為

f (x) = s i g n (\sum k = 1 K α k G k (x))

　　　　接着我們看看Adaboost的回歸問題。由於Adaboost的回歸問題有很多變種，這里我們以Adaboost R2算法為准。

　　　　我們先看看回歸問題的誤差率的問題，對於第k個弱學習器，計算他在訓練集上的最大誤差

E k = m a x | y i - G k (x i) |

　　　　然后計算每個樣本的相對誤差

e k i = | y i - G k ( x i ) | E k

　　　　這里是誤差損失為線性時的情況，如果我們用平方誤差，則

　　　　最終得到第k個弱學習器的誤差率

e k = \sum i = 1 m w k i e k i

　　　　我們再來看看如何得到弱學習器權重系數

α k = e k 1 - e k

　　　　對於更新更新樣本權重D，第k+1個弱學習器的樣本集權重系數為

w k + 1, i = w k i Z k α 1 - e k i k

　　　　這里

Z k = \sum i = 1 m w k i α 1 - e k i k

　　　　最后是結合策略，和分類問題一樣，采用的也是加權平均法，最終的強回歸器為

f (x) = \sum k = 1 K (l n 1 α k ) G k ( x )

3. AdaBoost分類問題的損失函數優化

　　　　剛才上一節我們講到了分類Adaboost的弱學習器權重系數公式和樣本權重更新公式。但是沒有解釋選擇這個公式的原因，讓人覺得是魔法公式一樣。其實它可以從Adaboost的損失函數推導出來。

　　　　從另一個角度講，　Adaboost是模型為加法模型，學習算法為前向分步學習算法，損失函數為指數函數的分類問題。

　　　　模型為加法模型好理解，我們的最終的強分類器是若干個弱分類器加權平均而得到的。

　　　　前向分步學習算法也好理解，我們的算法是通過一輪輪的弱學習器學習，利用前一個弱學習器的結果來更新后一個弱學習器的訓練集權重。也就是說，第k-1輪的強學習器為

f k - 1 (x) = \sum i = 1 k - 1 α i G i (x)

　　　　而第k輪的強學習器為

f k (x) = \sum i = 1 k α i G i (x)

　　　　上兩式一比較可以得到

f k (x) = f k - 1 (x) + α k G k (x)

　　　　可見強學習器的確是通過前向分步學習算法一步步而得到的。

　　　　Adaboost損失函數為指數函數，即定義損失函數為

a r g

　　　　利用前向分步學習算法的關系可以得到損失函數為

(α k, G k (x)) = a r g

　　　　令

　　　　將這個式子帶入損失函數,損失函數轉化為

(α k, G k (x)) = a r g

　　　　首先，我們求

G k (x) = a r g

　　　　將

α k = 1 2 l o g 1 - e k e k

　　　　其中，

e k = \sum i = 1 m w ' k i I ( y i \neq G ( x i ) ) \sum i

　　　　最后看樣本權重的更新。利用

w' k + 1, i = w' k i e x p [- y i α k G k (x)]

　　　　這樣就得到了我們第二節的樣本權重更新公式。

4. AdaBoost二元分類問題算法流程

　　　　這里我們對AdaBoost二元分類問題算法流程做一個總結。

　　　　輸入為樣本集

　　　　輸出為最終的強分類器

　　　　1) 初始化樣本集權重為

D (1) = (w 11, w 12, . . . w 1 m);

　　　　2) 對於k=1,2，...K:

　　　　　　a) 使用具有權重

　　　　　　b)計算

e k = P (G k (x i) \neq y i) = \sum i = 1 m w k i I (G k (x i) \neq

　　　　　　c) 計算弱分類器的系數

α k = 1 2 l o g 1 - e k e k

　　　　　　d) 更新樣本集的權重分布

w k + 1, i = w k i Z K e x p ( - α k y i G k ( x i ) )

　　　　　　　　這里

Z k = \sum i = 1 m w k i e x p (- α k y i G k (x i))

　　　　3) 構建最終分類器為：

f (x) = s i g n (\sum k = 1 K α k G k (x))

　　　　對於Adaboost多元分類算法，其實原理和二元分類類似，最主要區別在弱分類器的系數上。比如Adaboost SAMME算法，它的弱分類器的系數

α k = 1 2 l o g 1 - e k e k + l o g ( R - 1 )

　　　　其中R為類別數。從上式可以看出，如果是二元分類，R=2，則上式和我們的二元分類算法中的弱分類器的系數一致。

5. Adaboost回歸問題的算法流程

　　　　這里我們對AdaBoost回歸問題算法流程做一個總結。AdaBoost回歸算法變種很多，下面的算法為Adaboost R2回歸算法過程。

　　　　輸入為樣本集

　　　　輸出為最終的強學習器

　　　　1) 初始化樣本集權重為

D (1) = (w 11, w 12, . . . w 1 m);

　　　　2) 對於k=1,2，...K:

　　　　　　a) 使用具有權重

　　　　　　b) 計算訓練集上的最大誤差

E k = m a x | y i - G k (x i) |

　　　　　　c) 計算每個樣本的相對誤差:

　　　　　　　　如果是線性誤差，則

　　　　　　　　如果是平方誤差，則

　　　　　　　　如果是指數誤差，則

　　　　　　d) 計算回歸誤差率

e k = \sum i = 1 m w k i e k i

　　　　　　c) 計算弱學習器的系數

α k = e k 1 - e k

　　　　　　d) 更新樣本集的權重分布為

w k + 1, i = w k i Z k α 1 - e k i k

　　　　　　　　這里

Z k = \sum i = 1 m w k i α 1 - e k i k

　　　　3) 構建最終強學習器為：

f (x) = \sum k = 1 K (l n 1 α k ) G k ( x )

6. Adaboost算法的正則化

　　　　為了防止Adaboost過擬合，我們通常也會加入正則化項，這個正則化項我們通常稱為步長(learning rate)。定義為

f k (x) = f k - 1 (x) + α k G k (x)

　　　　如果我們加上了正則化項，則有

f k (x) = f k - 1 (x) + ν α k G k (x)

7. Adaboost小結

　　　　到這里Adaboost就寫完了，前面有一個沒有提到，就是弱學習器的類型。理論上任何學習器都可以用於Adaboost.但一般來說，使用最廣泛的Adaboost弱學習器是決策樹和神經網絡。對於決策樹，Adaboost分類用了CART分類樹，而Adaboost回歸用了CART回歸樹。

　　　　這里對Adaboost算法的優缺點做一個總結。

　　　　Adaboost的主要優點有：

　　　　1）Adaboost作為分類器時，分類精度很高

　　　　2）在Adaboost的框架下，可以使用各種回歸分類模型來構建弱學習器，非常靈活。

　　　　3）作為簡單的二元分類器時，構造簡單，結果可理解。

　　　　4）不容易發生過擬合

　　　　Adaboost的主要缺點有：

　　　　1）對異常樣本敏感，異常樣本在迭代中可能會獲得較高的權重，影響最終的強學習器的預測准確性。

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 集成學習之Adaboost算法原理小結 AdaBoost 算法原理及推導 [轉]Adaboost 算法的原理與推導集成學習實戰——Boosting（GBDT，Adaboost，XGBoost）談談模型融合之一 —— 集成學習與 AdaBoost XGBoost算法原理小結隨機森林算法原理小結機器學習算法原理解析 - 集成提升學習算法簡述：AdaBoost, GBDT和XGBoost AdaBoost原理詳解