1.提升樹
以決策樹為基函數的提升方法稱為提升樹。決策樹可以分為分類樹和回歸樹。提升樹模型可以表示為決策樹的加法模型。
針對不同的問題的提升術算法的主要區別就是損失函數的不同，對於回歸問題我們選用平方損失函數，對於分類問題，我們使用指數損失函數。特別的，對於二分類問題，我們提升樹就是把AdaBoost的基分類器選為二分類樹即可。
對於回歸問題的提升樹，我們每一步都是在擬合殘差，為什么是在擬合殘差？，看公式
其中，r代表的就是殘差。我們並不是說我們在擬合殘差，而是說我們對於回歸問題，選用平方損失函數，然后推導求解fm時，可以認為它是在擬合殘差。
對應的回歸問題的提升算法如下：
（1）初始化f0
（2）對m = 1,2,3...,M
(2.1) 計算每一個數據的殘差：
（2.2）擬合殘差學習一顆回歸樹，得到
（2.3）
（3）得到回歸問題的提升樹
以上就是提升樹的內容，主要理解為什么說提升樹是擬合殘差的，數學推導
2.梯度提升樹
梯度提升的思想主要借鑒了梯度下降法。
