AdaBoost 和 Real Adaboost 總結

本文轉載自查看原文 2016-09-15 17:08 4228

AdaBoost 和 Real Adaboost 總結

AdaBoost

Real AdaBoost

AdaBoost

AdaBoost, Adaptive Boosting(自適應增強), 是一種集成學習算法(ensemble learning)，由Yoav Freund 和 Robert Schapire 於1995年提出。其思想是通過多個簡單的弱分類器集成一個具有較高准確率的強分類器。

經典AdaBoost算法過程

輸入：訓練數據,其中分別對應着樣本特征和樣本標簽
輸出：最終的強分類器
初始化：樣本權重分布
循環:t=1,...,T
....-針對權重樣本訓練弱分類器
....-計算弱分類器的錯誤率,是示性函數
....-計算弱分類器的權重
....-使用當前的弱分類器更新樣本的分布 ,其中是歸一化常數
最終的前分類器為:

AdaBoost過程示意圖

AdaBoost.png

更新迭代原理

從直觀上理解，首先，當錯誤率$\epsilon$越大時，分類器的權重$\alpha$越小，這符合一般解釋及分類器性能越高置信度也就越大，在最終的表決中所占比重也就越大。其次，在新樣本分布的更新過程中，分類正確的樣本在下次分類器學習中作用越小，而分錯的樣本在下次分類器學習中的作用越大，這樣可以是新的分類器設計更集中在之前錯分的樣本分類上，使整體的分類性能提高。
從理論上推導:
AdaBoost采用的是指數誤差函數,其中D是樣本的分布，表示樣本的標簽，表示在分布D上計算期望。

i. 首先是權重的更新，希望分類器產生的總體指數誤差最小，則

其中表示某個分布上的概率分布函數。於是得到

即分類器權重的更新公式

ii. 接下來將推導分布的更新:
已獲得前個分類器，我們希望獲得第t個分類器能糾正之前錯誤分類，使指數誤差函數最小。

泰勒展開:

這是因為

令表示一個新的分布，則上式可以寫作：

類似的

於是得到分布的更新公式。

AdaBoost的誤差上界

在更新分布時有歸一化常數

指數誤差函數:

AdaBoost分析

雖然在AdaBoost中對弱分類器沒有限制，可以是基於多維特征的決策樹，SVM等，但通常每個弱分類器都是基於所有特征中某一維構建的，並且輸出結果只有+1，-1兩種(二分類問題)，所以在訓練時每一輪迭代相當於挑選最好的特征。

Real AdaBoost

Real AdaBoost 過程:

給定訓練集:
訓練集樣本的初始分布:
循環t=1,2,...,T: (T是弱分類器的個數)
.... - 將每一維特征的取值空間划分為若干個不相交的
.... - 計算在每個子空間上上正負樣本的權重

.... - 計算每一個弱分類器的輸出，,其中是一個很小的正常量用於平滑。
.... - 計算歸一化因子
.... - 選擇Z最小的的弱分類器作為該輪迭代選出的弱分類器
.... - 更新樣本分布
最終的強分類器為：, b是閾值。

Real AdaBoost 的理解
相對於AdaBoost而言，Real AdaBoost中弱分類器不再僅輸出{+1，-1}，而是輸出[-1,1]間的實數，所以稱為Real AdaBoost，我們可以認為輸出的值其實就是AdaBoost里的權重加權后的結果，即,所以Real AdaBoost也符合AdaBoost的框架