前向分布算法

前向分布算法

前面我介紹了提升樹和AdaBoost算法，它們都是統計學習方法中提升方法中的一類，這兩個算法都涉及到了前向分布算法。
前向分布算法的思路是從前向后，每一步學習一個基函數及其系數，最終逐步逼近優化目標函數式。
介紹它，還需要介紹一下加法模型：


如果給定了損失函數L,那我們的優化目標即為：

這個數學表達式，看過我之前博客的應該都很清楚，它表達的什么對於這個優化問題，按照前向分布算法的思路，我們不是直接求解總表達式的最小解時的函數，而是分解這個優化問題

即，每一輪訓練時，我們只要求訓練的基函數達到最優。