Gradient Boosting算法簡介


最近項目中涉及基於Gradient Boosting Regression 算法擬合時間序列曲線的內容,利用python機器學習包 scikit-learn 中的GradientBoostingRegressor完成

因此就學習了下Gradient Boosting算法,在這里分享下我的理解

Boosting 算法簡介

Boosting算法,我理解的就是兩個思想:

1)“三個臭皮匠頂個諸葛亮”,一堆弱分類器的組合就可以成為一個強分類器;

2)“知錯能改,善莫大焉”,不斷地在錯誤中學習,迭代來降低犯錯概率

當然,要理解好Boosting的思想,首先還是從弱學習算法和強學習算法來引入:

1)強學習算法:存在一個多項式時間的學習算法以識別一組概念,且識別的正確率很高;

2)弱學習算法:識別一組概念的正確率僅比隨機猜測略好;

Kearns & Valiant證明了弱學習算法與強學習算法的等價問題,如果兩者等價,只需找到一個比隨機猜測略好的學習算法,就可以將其提升為強學習算法。

那么是怎么實現“知錯就改”的呢?

Boosting算法,通過一系列的迭代來優化分類結果,每迭代一次引入一個弱分類器,來克服現在已經存在的弱分類器組合的shortcomings

  在Adaboost算法中,這個shortcomings的表征就是權值高的樣本點

  而在Gradient Boosting算法中,這個shortcomings的表征就是梯度

無論是Adaboost還是Gradient Boosting,都是通過這個shortcomings來告訴學習器怎么去提升模型,也就是“Boosting”這個名字的由來吧

Adaboost算法

Adaboost是由Freund 和 Schapire在1997年提出的,在整個訓練集上維護一個分布權值向量W,用賦予權重的訓練集通過弱分類算法產生分類假設(基學習器)y(x),然后計算錯誤率,用得到的錯誤率去更新分布權值向量w,對錯誤分類的樣本分配更大的權值,正確分類的樣本賦予更小的權值。每次更新后用相同的弱分類算法產生新的分類假設,這些分類假設的序列構成多分類器。對這些多分類器用加權的方法進行聯合,最后得到決策結果。

其結構如下圖所示:

 

前一個學習器改變權重w,然后再經過下一個學習器,最終所有的學習器共同組成最后的學習器。

如果一個樣本在前一個學習器中被誤分,那么它所對應的權重會被加重,相應地,被正確分類的樣本的權重會降低。

這里主要涉及到兩個權重的計算問題:

1)樣本的權值

  1> 沒有先驗知識的情況下,初始的分布應為等概分布,樣本數目為n,權值為1/n

  2> 每一次的迭代更新權值,提高分錯樣本的權重

2)弱學習器的權值

  1> 最后的強學習器是通過多個基學習器通過權值組合得到的。

  2> 通過權值體現不同基學習器的影響,正確率高的基學習器權重高。實際上是分類誤差的一個函數

 

Gradient Boosting

和Adaboost不同,Gradient Boosting 在迭代的時候選擇梯度下降的方向來保證最后的結果最好。

損失函數用來描述模型的“靠譜”程度,假設模型沒有過擬合,損失函數越大,模型的錯誤率越高

如果我們的模型能夠讓損失函數持續的下降,則說明我們的模型在不停的改進,而最好的方式就是讓損失函數在其梯度方向上下降。

下面這個流程圖是Gradient Boosting的經典圖了,數學推導並不復雜,只要理解了Boosting的思想,不難看懂


這里是直接對模型的函數進行更新,利用了參數可加性推廣到函數空間。

訓練F0-Fm一共m個基學習器,沿着梯度下降的方向不斷更新ρm和am

GradientBoostingRegressor實現

python中的scikit-learn包提供了很方便的GradientBoostingRegressor和GBDT的函數接口,可以很方便的調用函數就可以完成模型的訓練和預測

GradientBoostingRegressor函數的參數如下:

 

class sklearn.ensemble.GradientBoostingRegressor(loss='ls', learning_rate=0.1, n_estimators=100, subsample=1.0, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_depth=3, init=None, random_state=None, max_features=None, alpha=0.9, verbose=0, max_leaf_nodes=None, warm_start=False, presort='auto')[source]¶

 

loss: 選擇損失函數,默認值為ls(least squres)

learning_rate: 學習率,模型是0.1

n_estimators: 弱學習器的數目,默認值100

max_depth: 每一個學習器的最大深度,限制回歸樹的節點數目,默認為3

min_samples_split: 可以划分為內部節點的最小樣本數,默認為2

min_samples_leaf: 葉節點所需的最小樣本數,默認為1

……

可以參考   http://scikit-learn.org/stable/modules/generated/sklearn.ensemble.GradientBoostingRegressor.html

官方文檔里帶了一個很好的例子,以500個弱學習器,最小平方誤差的梯度提升模型,做波士頓房價預測,代碼和結果如下:

 1 import numpy as np
 2 import matplotlib.pyplot as plt
 3 
 4 from sklearn import ensemble
 5 from sklearn import datasets
 6 from sklearn.utils import shuffle
 7 from sklearn.metrics import mean_squared_error
 8 
 9 ###############################################################################
10 # Load data
11 boston = datasets.load_boston()
12 X, y = shuffle(boston.data, boston.target, random_state=13)
13 X = X.astype(np.float32)
14 offset = int(X.shape[0] * 0.9)
15 X_train, y_train = X[:offset], y[:offset]
16 X_test, y_test = X[offset:], y[offset:]
17 
18 ###############################################################################
19 # Fit regression model
20 params = {'n_estimators': 500, 'max_depth': 4, 'min_samples_split': 1,
21           'learning_rate': 0.01, 'loss': 'ls'}
22 clf = ensemble.GradientBoostingRegressor(**params)
23 
24 clf.fit(X_train, y_train)
25 mse = mean_squared_error(y_test, clf.predict(X_test))
26 print("MSE: %.4f" % mse)
27 
28 ###############################################################################
29 # Plot training deviance
30 
31 # compute test set deviance
32 test_score = np.zeros((params['n_estimators'],), dtype=np.float64)
33 
34 for i, y_pred in enumerate(clf.staged_predict(X_test)):
35     test_score[i] = clf.loss_(y_test, y_pred)
36 
37 plt.figure(figsize=(12, 6))
38 plt.subplot(1, 2, 1)
39 plt.title('Deviance')
40 plt.plot(np.arange(params['n_estimators']) + 1, clf.train_score_, 'b-',
41          label='Training Set Deviance')
42 plt.plot(np.arange(params['n_estimators']) + 1, test_score, 'r-',
43          label='Test Set Deviance')
44 plt.legend(loc='upper right')
45 plt.xlabel('Boosting Iterations')
46 plt.ylabel('Deviance')
47 
48 ###############################################################################
49 # Plot feature importance
50 feature_importance = clf.feature_importances_
51 # make importances relative to max importance
52 feature_importance = 100.0 * (feature_importance / feature_importance.max())
53 sorted_idx = np.argsort(feature_importance)
54 pos = np.arange(sorted_idx.shape[0]) + .5
55 plt.subplot(1, 2, 2)
56 plt.barh(pos, feature_importance[sorted_idx], align='center')
57 plt.yticks(pos, boston.feature_names[sorted_idx])
58 plt.xlabel('Relative Importance')
59 plt.title('Variable Importance')
60 plt.show()

 

可以發現,如果要用Gradient Boosting 算法的話,在sklearn包里調用還是非常方便的,幾行代碼即可完成,大部分的工作應該是在特征提取上。

感覺目前做數據挖掘的工作,特征設計是最重要的,據說現在kaggle競賽基本是GBDT的天下,優劣其實還是特征上,感覺做項目也是,不斷的在研究數據中培養對數據的敏感度。

數據挖掘剛剛起步,希望是個好的開頭,待續……


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM