【AdaBoostClassifier】
Adaboost-參數:
base_estimator:基分類器,默認是決策樹,在該分類器基礎上進行boosting,理論上可以是任意一個分類器,但是如果是其他分類器時需要指明樣本權重。
n_estimators:基分類器提升(循環)次數,默認是50次,這個值過大,模型容易過擬合;值過小,模型容易欠擬合。
learning_rate:學習率,表示梯度收斂速度,默認為1,如果過大,容易錯過最優值,如果過小,則收斂速度會很慢;該值需要和n_estimators進行一個權衡,當分類器迭代次數較少時,學習率可以小一些,當迭代次數較多時,學習率可以適當放大。
algorithm:boosting算法,也就是模型提升准則,有兩種方式SAMME, 和SAMME.R兩種,默認是SAMME.R,兩者的區別主要是弱學習器權重的度量,前者是對樣本集預測錯誤的概率進行划分的,后者是對樣本集的預測錯誤的比例,即錯分率進行划分的,默認是用的SAMME.R。
random_state:隨機種子設置。
關於Adaboost模型本身的參數並不多,但是我們在實際中除了調整Adaboost模型參數外,還可以調整基分類器的參數,關於基分類的調參,和單模型的調參是完全一樣的,比如默認的基分類器是決策樹,那么這個分類器的調參和我們之前的Sklearn參數詳解——決策樹是完全一致。
Adaboost-對象
estimators_:以列表的形式返回所有的分類器。
classes_:類別標簽
estimator_weights_:每個分類器權重
estimator_errors_:每個分類器的錯分率,與分類器權重相對應。
feature_importances_:特征重要性,這個參數使用前提是基分類器也支持這個屬性。
Adaboost-方法
decision_function(X):返回決策函數值(比如svm中的決策距離)
fit(X,Y):在數據集(X,Y)上訓練模型。
get_parms():獲取模型參數
predict(X):預測數據集X的結果。
predict_log_proba(X):預測數據集X的對數概率。
predict_proba(X):預測數據集X的概率值。
score(X,Y):輸出數據集(X,Y)在模型上的准確率。
staged_decision_function(X):返回每個基分類器的決策函數值
staged_predict(X):返回每個基分類器的預測數據集X的結果。
staged_predict_proba(X):返回每個基分類器的預測數據集X的概率結果。
staged_score(X, Y):返回每個基分類器的預測准確率。