lgb參數及調參

1 參數含義

max_depth: 設置樹的最大深度,默認為-1,即不限制最大深度,它用於限制過擬合

num_leave: 單顆樹的葉子數目,默認為31

eval_metric: 評價指標,可以用lgb自帶的,也可以自定義評價函數,

# 如下,評價函數為l1,程序會自動將預測值和標簽傳入eval_metric中,並返回score
gbm = lgb.LGBMRegressor(num_leaves=31,
                        learning_rate=0.05,
                        n_estimators=20)
gbm.fit(X_train, y_train,
        eval_set=[(X_test, y_test)],
        eval_metric='l1',
        early_stopping_rounds=5)
# 如下為自定義的評價指標
def rmsle(y_true, y_pred):
    return 'RMSLE', np.sqrt(np.mean(np.power(np.log1p(y_pred) - np.log1p(y_true), 2))), False
gbm.fit(X_train, y_train,
        eval_set=[(X_test, y_test)],
        eval_metric=rmsle,
        early_stopping_rounds=5)
# 如下可以同時用兩個評價指標,輸出的時候也是輸出兩個分數
def rae(y_true, y_pred):
    return 'RAE', np.sum(np.abs(y_pred - y_true)) / np.sum(np.abs(np.mean(y_true) - y_true)), False
gbm.fit(X_train, y_train,
        eval_set=[(X_test, y_test)],
        eval_metric=lambda y_true, y_pred: [rmsle(y_true, y_pred), rae(y_true, y_pred)],
        early_stopping_rounds=5)

imbalanced: 設置is_unbalance參數為True時會把負樣本的權重設為：正樣本數/負樣本數。這個參數只能用於二分類。