前向分步算法

在Adaboost算法中，最終的目的是構建弱分類器的線性組合：

從而得到最終分類器。

我們看看加法模型：

 

這是一個復雜的優化問題。

前向分布算法求解這一優化問題的思想：

因為學習的是加法模型，那如果能夠從前向后，每一步只學習一個基函數及其系數，然后逐步逼近優化目標式（8.14）就可以簡化優化的復雜度。具體每一步只需優化如下損失函數：