Sklearn-RandomForest

在scikit-learn中，RandomForest的分類類是RandomForestClassifier，回歸類是RandomForestRegressor，需要調參的參數包括兩部分，第一部分是Bagging框架的參數，第二部分是CART決策樹的參數。

sklearn官網地址（RandomForestClassifier）：http://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html#sklearn.ensemble.RandomForestClassifier

classsklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion='gini', max_depth=None,min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0,max_features='auto', max_leaf_nodes=None, min_impurity_split=1e-07,bootstrap=True, oob_score=False, n_jobs=1, random_state=None, verbose=0,warm_start=False, class_weight=None)

1. 參數解讀

1. Bagging框架的參數

和GBDT對比，GBDT的框架參數比較多，重要的有最大迭代器個數，步長和子采樣比例，調參起來比較費力。但是RF則比較簡單，這是因為bagging框架里的各個弱學習器之間是沒有依賴關系的，這減小的調參的難度。換句話說，達到同樣的調參效果，RF調參時間要比GBDT少一些。下面我來看看RF重要的Bagging框架的參數，由於RandomForestClassifier和RandomForestRegressor參數絕大部分相同，這里會將它們一起講，不同點會指出。

• n_estimators: 也就是弱學習器的最大迭代次數，或者說最大的弱學習器的個數，默認是10。一般來說n_estimators太小，容易欠擬合，n_estimators太大，又容易過擬合，一般選擇一個適中的數值。對Random Forest來說，增加“子模型數”（n_estimators）可以明顯降低整體模型的方差，且不會對子模型的偏差和方差有任何影響。模型的准確度會隨着“子模型數”的增加而提高，由於減少的是整體模型方差公式的第二項，故准確度的提高有一個上限。在實際應用中，可以以10為單位，考察取值范圍在1至201的調參情況。
  • 對比，Random Forest的子模型都擁有較低的偏差，整體模型的訓練過程旨在降低方差，故其需要較少的子模型（n_estimators默認值為10）且子模型不為弱模型（max_depth的默認值為None）；Gradient Tree Boosting的子模型都擁有較低的方差，整體模型的訓練過程旨在降低偏差，故其需要較多的子模型（n_estimators默認值為100）且子模型為弱模型（max_depth的默認值為3）。
• bootstrap：默認True，是否有放回的采樣。
• oob_score ：默認識False，即是否采用袋外樣本來評估模型的好壞。有放回采樣中大約36.8%的沒有被采樣到的數據，我們常常稱之為袋外數據(Out Of Bag, 簡稱OOB)，這些數據沒有參與訓練集模型的擬合，因此可以用來檢測模型的泛化能力。個人推薦設置為True，因為袋外分數反應了一個模型擬合后的泛化能力。對單個模型的參數訓練，我們知道可以用cross validation（cv）來進行，但是特別消耗時間，而且對於隨機森林這種情況也沒有大的必要，所以就用這個數據對決策樹模型進行驗證，算是一個簡單的交叉驗證，性能消耗小，但是效果不錯。
• criterion： 即CART樹做划分時對特征的評價標准，分類模型和回歸模型的損失函數是不一樣的。分類RF對應的CART分類樹默認是基尼系數gini,另一個可選擇的標准是信息增益entropy，是用來選擇節點的最優特征和切分點的兩個准則。回歸RF對應的CART回歸樹默認是均方差mse，另一個可以選擇的標准是絕對值差mae。一般來說選擇默認的標准就已經很好的。

從上面可以看出， RF重要的框架參數比較少，主要需要關注的是 n_estimators，即RF最大的決策樹個數。

2. RF決策樹的參數

RF的決策樹參數，它要調參的參數基本和GBDT相同，如下:

• max_features: RF划分時考慮的最大特征數。可以使用很多種類型的值，默認是"None",意味着划分時考慮所有的特征數；如果是"log2"意味着划分時最多考慮log2N個特征；如果是"sqrt"或者"auto"意味着划分時最多考慮N−−√N個特征。如果是整數，代表考慮的特征絕對數。如果是浮點數，代表考慮特征百分比，即考慮（百分比xN）取整后的特征數，其中N為樣本總特征數。一般來說，如果樣本特征數不多，比如小於50，我們用默認的"None"就可以了，如果特征數非常多，我們可以靈活使用剛才描述的其他取值來控制划分時考慮的最大特征數，以控制決策樹的生成時間。
• max_depth: 決策樹最大深度。默認為"None"，決策樹在建立子樹的時候不會限制子樹的深度這樣建樹時，會使每一個葉節點只有一個類別，或是達到min_samples_split。一般來說，數據少或者特征少的時候可以不管這個值。如果模型樣本量多，特征也多的情況下，推薦限制這個最大深度，具體的取值取決於數據的分布。常用的可以取值10-100之間。
• min_samples_split: 內部節點再划分所需最小樣本數，默認2。這個值限制了子樹繼續划分的條件，如果某節點的樣本數少於min_samples_split，則不會繼續再嘗試選擇最優特征來進行划分。 默認是2.如果樣本量不大，不需要管這個值。如果樣本量數量級非常大，則推薦增大這個值。
• min_samples_leaf:葉子節點最少樣本數。 這個值限制了葉子節點最少的樣本數，如果某葉子節點數目小於樣本數，則會和兄弟節點一起被剪枝。 默認是1,可以輸入最少的樣本數的整數，或者最少樣本數占樣本總數的百分比。如果樣本量不大，不需要管這個值。如果樣本量數量級非常大，則推薦增大這個值。
• min_weight_fraction_leaf：葉子節點最小的樣本權重和。這個值限制了葉子節點所有樣本權重和的最小值，如果小於這個值，則會和兄弟節點一起被剪枝。 默認是0，就是不考慮權重問題。一般來說，如果我們有較多樣本有缺失值，或者分類樹樣本的分布類別偏差很大，就會引入樣本權重，這時我們就要注意這個值了。
• max_leaf_nodes: 最大葉子節點數。通過限制最大葉子節點數，可以防止過擬合，默認是"None”，即不限制最大的葉子節點數。如果加了限制，算法會建立在最大葉子節點數內最優的決策樹。如果特征不多，可以不考慮這個值，但是如果特征分成多的話，可以加以限制，具體的值可以通過交叉驗證得到。
• min_impurity_split: 節點划分最小不純度。這個值限制了決策樹的增長，如果某節點的不純度(基於基尼系數，均方差)小於這個閾值，則該節點不再生成子節點，即為葉子節點 。一般不推薦改動默認值1e-7。

上面決策樹參數中最重要的包括最大特征數max_features， 最大深度max_depth， 內部節點再划分所需最小樣本數min_samples_split和葉子節點最少樣本數min_samples_leaf。

• splitter: 隨機選擇屬性"random"還是選擇不純度最大"best"的屬性，建議用默認 best。
• presort:是否對數據進行預分類，以加快擬合中最佳分裂點的發現。默認False，適用於大數據集。小數據集使用True,可以加快訓練。是否預排序,預排序可以加速查找最佳分裂點，對於稀疏數據不管用，Bool，auto：非稀疏數據則預排序，若稀疏數據則不預排序
•  

2. 進行預測的幾種常用方法

• predict_proba(x)：給出帶有概率值的結果。每個點在所有label（類別）的概率和為1. 
• predict(x)：直接給出預測結果。內部還是調用的predict_proba()，根據概率的結果看哪個類型的預測值最高就是哪個類型。 
• predict_log_proba(x)：和predict_proba基本上一樣，只是把結果給做了log()處理。

 

3. RandomForest調參實例

#導入需要的庫  
import pandas as pd  
import numpy as np  
from sklearn.ensemble import RandomForestClassifier  
from sklearn.grid_search import GridSearchCV  
from sklearn import cross_validation, metrics  
import matplotlib.pylab as plt  
%matplotlib inline  
   
#導入數據，順便看看數據的類別分布  
train= pd.read_csv('C:\\Users\\86349\\Desktop\\train_modified\\train_modified.csv')  
target='Disbursed' # Disbursed的值就是二元分類的輸出  
IDcol= 'ID'  
train['Disbursed'].value_counts()  
   
#可以看到類別輸出如下，也就是類別0的占大多數：  
0    19680  
1      320  
Name:Disbursed, dtype: int64  
   
#接着選擇好樣本特征和類別輸出，樣本特征為除去ID和輸出類別的列  
x_columns = [x for x in train.columns if x not in [target,IDcol]]  
X = train[x_columns]  
y = train['Disbursed']  
   
#不管任何參數，都用默認的，擬合下數據看看  
rf0 = RandomForestClassifier(oob_score=True, random_state=10)  
rf0.fit(X,y)  
print rf0.oob_score_  
y_predprob = rf0.predict_proba(X)[:,1]  
print "AUC Score (Train): %f" % metrics.roc_auc_score(y,y_predprob)  
#輸出如下：0.98005  AUC Score (Train): 0.999833  
#可見袋外分數已經很高（理解為袋外數據作為驗證集時的准確率，也就是模型的泛化能力），而且AUC分數也很高（AUC是指從一堆樣本中隨機抽一個，抽到正樣本的概率比抽到負樣本的概率 大的可能性）。相對於GBDT的默認參數輸出，RF的默認參數擬合效果對本例要好一些。  
   
#首先對n_estimators進行網格搜索  
param_test1= {'n_estimators':range(10,71,10)}  
gsearch1= GridSearchCV(estimator = RandomForestClassifier(min_samples_split=100,  
                                 min_samples_leaf=20,max_depth=8,max_features='sqrt' ,random_state=10),  
                       param_grid =param_test1, scoring='roc_auc',cv=5)  
gsearch1.fit(X,y)  
gsearch1.grid_scores_,gsearch1.best_params_, gsearch1.best_score_  
#輸出結果如下：  
([mean:0.80681, std: 0.02236, params: {'n_estimators': 10},  
  mean: 0.81600, std: 0.03275, params:{'n_estimators': 20},  
  mean: 0.81818, std: 0.03136, params:{'n_estimators': 30},  
  mean: 0.81838, std: 0.03118, params:{'n_estimators': 40},  
  mean: 0.82034, std: 0.03001, params:{'n_estimators': 50},  
  mean: 0.82113, std: 0.02966, params:{'n_estimators': 60},  
  mean: 0.81992, std: 0.02836, params:{'n_estimators': 70}],  
{'n_estimators':60},  
0.8211334476626017)  
   
#這樣我們得到了最佳的弱學習器迭代次數，接着我們對決策樹最大深度max_depth和內部節點再划分所需最小樣本數min_samples_split進行網格搜索。  
param_test2= {'max_depth':range(3,14,2), 'min_samples_split':range(50,201,20)}  
gsearch2= GridSearchCV(estimator = RandomForestClassifier(n_estimators= 60,  
                                 min_samples_leaf=20,max_features='sqrt' ,oob_score=True,random_state=10),  
   param_grid = param_test2,scoring='roc_auc',iid=False, cv=5)  
gsearch2.fit(X,y)  
gsearch2.grid_scores_,gsearch2.best_params_, gsearch2.best_score_  
#輸出如下：  
([mean:0.79379, std: 0.02347, params: {'min_samples_split': 50, 'max_depth': 3},  
  mean: 0.79339, std: 0.02410, params:{'min_samples_split': 70, 'max_depth': 3},  
  mean: 0.79350, std: 0.02462, params:{'min_samples_split': 90, 'max_depth': 3},  
  mean: 0.79367, std: 0.02493, params:{'min_samples_split': 110, 'max_depth': 3},  
  mean: 0.79387, std: 0.02521, params:{'min_samples_split': 130, 'max_depth': 3},  
  mean: 0.79373, std: 0.02524, params:{'min_samples_split': 150, 'max_depth': 3},  
  mean: 0.79378, std: 0.02532, params:{'min_samples_split': 170, 'max_depth': 3},  
  mean: 0.79349, std: 0.02542, params:{'min_samples_split': 190, 'max_depth': 3},  
  mean: 0.80960, std: 0.02602, params:{'min_samples_split': 50, 'max_depth': 5},  
  mean: 0.80920, std: 0.02629, params:{'min_samples_split': 70, 'max_depth': 5},  
  mean: 0.80888, std: 0.02522, params:{'min_samples_split': 90, 'max_depth': 5},  
  mean: 0.80923, std: 0.02777, params:{'min_samples_split': 110, 'max_depth': 5},  
  mean: 0.80823, std: 0.02634, params:{'min_samples_split': 130, 'max_depth': 5},  
  mean: 0.80801, std: 0.02637, params:{'min_samples_split': 150, 'max_depth': 5},  
  mean: 0.80792, std: 0.02685, params:{'min_samples_split': 170, 'max_depth': 5},  
  mean: 0.80771, std: 0.02587, params:{'min_samples_split': 190, 'max_depth': 5},  
  mean: 0.81688, std: 0.02996, params:{'min_samples_split': 50, 'max_depth': 7},  
  mean: 0.81872, std: 0.02584, params:{'min_samples_split': 70, 'max_depth': 7},  
  mean: 0.81501, std: 0.02857, params:{'min_samples_split': 90, 'max_depth': 7},  
  mean: 0.81476, std: 0.02552, params:{'min_samples_split': 110, 'max_depth': 7},  
  mean: 0.81557, std: 0.02791, params:{'min_samples_split': 130, 'max_depth': 7},  
  mean: 0.81459, std: 0.02905, params:{'min_samples_split': 150, 'max_depth': 7},  
  mean: 0.81601, std: 0.02808, params:{'min_samples_split': 170, 'max_depth': 7},  
  mean: 0.81704, std: 0.02757, params:{'min_samples_split': 190, 'max_depth': 7},  
  mean: 0.82090, std: 0.02665, params:{'min_samples_split': 50, 'max_depth': 9},  
  mean: 0.81908, std: 0.02527, params:{'min_samples_split': 70, 'max_depth': 9},  
  mean: 0.82036, std: 0.02422, params:{'min_samples_split': 90, 'max_depth': 9},  
  mean: 0.81889, std: 0.02927, params:{'min_samples_split': 110, 'max_depth': 9},  
  mean: 0.81991, std: 0.02868, params:{'min_samples_split': 130, 'max_depth': 9},  
  mean: 0.81788, std: 0.02436, params:{'min_samples_split': 150, 'max_depth': 9},  
  mean: 0.81898, std: 0.02588, params:{'min_samples_split': 170, 'max_depth': 9},  
  mean: 0.81746, std: 0.02716, params:{'min_samples_split': 190, 'max_depth': 9},  
  mean: 0.82395, std: 0.02454, params:{'min_samples_split': 50, 'max_depth': 11},  
  mean: 0.82380, std: 0.02258, params:{'min_samples_split': 70, 'max_depth': 11},  
  mean: 0.81953, std: 0.02552, params:{'min_samples_split': 90, 'max_depth': 11},  
  mean: 0.82254, std: 0.02366, params:{'min_samples_split': 110, 'max_depth': 11},  
  mean: 0.81950, std: 0.02768, params:{'min_samples_split': 130, 'max_depth': 11},  
  mean: 0.81887, std: 0.02636, params:{'min_samples_split': 150, 'max_depth': 11},  
  mean: 0.81910, std: 0.02734, params:{'min_samples_split': 170, 'max_depth': 11},  
  mean: 0.81564, std: 0.02622, params:{'min_samples_split': 190, 'max_depth': 11},  
  mean: 0.82291, std: 0.02092, params:{'min_samples_split': 50, 'max_depth': 13},  
  mean: 0.82177, std: 0.02513, params:{'min_samples_split': 70, 'max_depth': 13},  
  mean: 0.82415, std: 0.02480, params:{'min_samples_split': 90, 'max_depth': 13},  
  mean: 0.82420, std: 0.02417, params:{'min_samples_split': 110, 'max_depth': 13},  
  mean: 0.82209, std: 0.02481, params:{'min_samples_split': 130, 'max_depth': 13},  
  mean: 0.81852, std: 0.02227, params:{'min_samples_split': 150, 'max_depth': 13},  
  mean: 0.81955, std: 0.02885, params:{'min_samples_split': 170, 'max_depth': 13},  
  mean: 0.82092, std: 0.02600, params:{'min_samples_split': 190, 'max_depth': 13}],  
{'max_depth':13, 'min_samples_split': 110},  
0.8242016800050813)  
   
#已經取了三個最優參數，看看現在模型的袋外分數：  
rf1= RandomForestClassifier(n_estimators= 60, max_depth=13, min_samples_split=110,  
                                 min_samples_leaf=20,max_features='sqrt' ,oob_score=True,random_state=10)  
rf1.fit(X,y)  
printrf1.oob_score_  
#輸出結果為：0.984  
#可見此時我們的袋外分數有一定的提高。也就是時候模型的泛化能力增強了。對於內部節點再划分所需最小樣本數min_samples_split，我們暫時不能一起定下來，因為這個還和決策樹其他的參數存在關聯。下面我們再對內部節點再划分所需最小樣本數min_samples_split和葉子節點最少樣本數min_samples_leaf一起調參。  
   
#再對內部節點再划分所需最小樣本數min_samples_split和葉子節點最少樣本數min_samples_leaf一起調參  
param_test3= {'min_samples_split':range(80,150,20), 'min_samples_leaf':range(10,60,10)}  
gsearch3= GridSearchCV(estimator = RandomForestClassifier(n_estimators= 60,max_depth=13,  
                                 max_features='sqrt' ,oob_score=True, random_state=10),  
   param_grid = param_test3,scoring='roc_auc',iid=False, cv=5)  
gsearch3.fit(X,y)  
gsearch3.grid_scores_,gsearch2.best_params_, gsearch2.best_score_  
#輸出如下：  
([mean:0.82093, std: 0.02287, params: {'min_samples_split': 80, 'min_samples_leaf':10},  
  mean: 0.81913, std: 0.02141, params:{'min_samples_split': 100, 'min_samples_leaf': 10},  
  mean: 0.82048, std: 0.02328, params:{'min_samples_split': 120, 'min_samples_leaf': 10},  
  mean: 0.81798, std: 0.02099, params:{'min_samples_split': 140, 'min_samples_leaf': 10},  
  mean: 0.82094, std: 0.02535, params:{'min_samples_split': 80, 'min_samples_leaf': 20},  
  mean: 0.82097, std: 0.02327, params:{'min_samples_split': 100, 'min_samples_leaf': 20},  
  mean: 0.82487, std: 0.02110, params:{'min_samples_split': 120, 'min_samples_leaf': 20},  
  mean: 0.82169, std: 0.02406, params:{'min_samples_split': 140, 'min_samples_leaf': 20},  
  mean: 0.82352, std: 0.02271, params:{'min_samples_split': 80, 'min_samples_leaf': 30},  
  mean: 0.82164, std: 0.02381, params:{'min_samples_split': 100, 'min_samples_leaf': 30},  
  mean: 0.82070, std: 0.02528, params:{'min_samples_split': 120, 'min_samples_leaf': 30},  
  mean: 0.82141, std: 0.02508, params:{'min_samples_split': 140, 'min_samples_leaf': 30},  
  mean: 0.82278, std: 0.02294, params:{'min_samples_split': 80, 'min_samples_leaf': 40},  
  mean: 0.82141, std: 0.02547, params:{'min_samples_split': 100, 'min_samples_leaf': 40},  
  mean: 0.82043, std: 0.02724, params:{'min_samples_split': 120, 'min_samples_leaf': 40},  
  mean: 0.82162, std: 0.02348, params:{'min_samples_split': 140, 'min_samples_leaf': 40},  
  mean: 0.82225, std: 0.02431, params:{'min_samples_split': 80, 'min_samples_leaf': 50},  
  mean: 0.82225, std: 0.02431, params:{'min_samples_split': 100, 'min_samples_leaf': 50},  
  mean: 0.81890, std: 0.02458, params:{'min_samples_split': 120, 'min_samples_leaf': 50},  
  mean: 0.81917, std: 0.02528, params:{'min_samples_split': 140, 'min_samples_leaf': 50}],  
{'min_samples_leaf':20, 'min_samples_split': 120},  
0.8248650279471544)  
   
#最后我們再對最大特征數max_features做調參:  
param_test4= {'max_features':range(3,11,2)}  
gsearch4= GridSearchCV(estimator = RandomForestClassifier(n_estimators= 60,max_depth=13, min_samples_split=120,  
                                 min_samples_leaf=20 ,oob_score=True, random_state=10),  
   param_grid = param_test4,scoring='roc_auc',iid=False, cv=5)  
gsearch4.fit(X,y)  
gsearch4.grid_scores_,gsearch4.best_params_, gsearch4.best_score_  
#輸出如下：  
([mean:0.81981, std: 0.02586, params: {'max_features': 3},  
  mean: 0.81639, std: 0.02533, params:{'max_features': 5},  
  mean: 0.82487, std: 0.02110, params:{'max_features': 7},  
  mean: 0.81704, std: 0.02209, params:{'max_features': 9}],  
{'max_features':7},  
0.8248650279471544)  
   
#用我們搜索到的最佳參數，我們再看看最終的模型擬合：  
rf2= RandomForestClassifier(n_estimators= 60, max_depth=13, min_samples_split=120,  
                                 min_samples_leaf=20,max_features=7 ,oob_score=True, random_state=10)  
rf2.fit(X,y)  
printrf2.oob_score_  
#此時的輸出為：0.984  
#可見此時模型的袋外分數基本沒有提高，主要原因是0.984已經是一個很高的袋外分數了，如果想進一步需要提高模型的泛化能力，我們需要更多的數據。