sklearn.linear_model.LogisticRegression邏輯回歸參數詳解

其實我們很少使用到sklearn里面的邏輯回歸，因為它不能很好地處理樣本均衡，我們一般使用statsmodels.api.Logit

 

邏輯回歸參數

class sklearn.linear_model.LogisticRegression(penalty='l2', *, dual=False, tol=0.0001, C=1.0, fit_intercept=True, 
intercept_scaling=1, class_weight=None, random_state=None, solver='lbfgs', max_iter=100, multi_class='auto', verbose=0, warm_start=False, n_jobs=None, l1_ratio=None)

可選參數：

• penalty:正則化方式，可選擇‘l1’, ‘l2’, ‘elasticnet’, ‘none’，默認'l2'

• dual:是否選擇對偶，當n_samples> n_features時，首選dual = False

• tol：算法停止的誤差條件，默認是0.0001

• C：正則強度的倒數；必須為正浮點數，較小的值指定更強的正則化，默認為1.0

• fit_intercept：是否應將常量（也稱為偏差或截距）添加到決策函數。默認是True。

• intercept_scaling：不常用

• class_weight：對類別進行加權，可以使用字典形式加權，輸入‘balanced’代表權重為類別頻率，默認是"None"。

• random_state:選擇隨機種子，打亂樣本時候指定。

• solver：指定優化器類型，可選‘newton-cg’, ‘lbfgs’, ‘liblinear’, ‘sag’, ‘saga’

  具體的優化方法參考：機器學習中的優化算法！

• max_iter：算法收斂的最大迭代次數，默認100。

• multi_class：不常用。

• verbose：對於liblinear和lbfgs，求解器將verbose設置為任何正數以表示詳細程度。

• warm_start：不常用。

• n_jobs：使用內核數。

• l1_ratio：彈性網絡參數，其中0 <= l1_ratio <=1。僅當penalty=“ elasticnet”時使用。

 

返回標簽：

• classes_：返回的類別標簽
• coef_：系數
• intercept_：截距項
• n_iter_：所有類的迭代次數

 

正則化選擇參數：penalty

LogisticRegression和LogisticRegressionCV（使用了交叉驗證來選擇正則化系數C）默認就帶了正則化項。penalty參數可選擇的值為"l1"和"l2".分別對應L1的正則化和L2的正則化，默認是L2的正則化。
在調參時如果我們主要的目的只是為了解決過擬合，一般penalty選擇L2正則化就夠了。但是如果選擇L2正則化發現還是過擬合，即預測效果差的時候，就可以考慮L1正則化。另外，如果模型的特征非常多，我們希望一些不重要的特征系數歸零，從而讓模型系數稀疏化的話，也可以使用L1正則化。
penalty參數的選擇會影響我們損失函數優化算法的選擇。即參數solver的選擇，如果是L2正則化，那么4種可選的算法{‘newton-cg’, ‘lbfgs’, ‘liblinear’, ‘sag’}都可以選擇。但是如果penalty是L1正則化的話，就只能選擇‘liblinear’了。這是因為L1正則化的損失函數不是連續可導的，而{‘newton-cg’, ‘lbfgs’,‘sag’}這三種優化算法時都需要損失函數的一階或者二階連續導數。而‘liblinear’並沒有這個依賴。

 

 

 

優化算法選擇參數：solver

solver參數決定了我們對邏輯回歸損失函數的優化方法，有4種算法可以選擇，分別是：

1. liblinear：使用了開源的liblinear庫實現，內部使用了坐標軸下降法來迭代優化損失函數。
2. lbfgs：擬牛頓法的一種，利用損失函數二階導數矩陣即海森矩陣來迭代優化損失函數。
3. newton-cg：也是牛頓法家族的一種，利用損失函數二階導數矩陣即海森矩陣來迭代優化損失函數。
4. sag：即隨機平均梯度下降，是梯度下降法的變種，和普通梯度下降法的區別是每次迭代僅僅用一部分的樣本來計算梯度，適合於樣本數據多的時候，SAG是一種線性收斂算法，這個速度遠比SGD快。關於SAG的理解，參考博文線性收斂的隨機優化算法之 SAG、SVRG（隨機梯度下降）

從上面的描述可以看出，newton-cg, lbfgs和sag這三種優化算法時都需要損失函數的一階或者二階連續導數，因此不能用於沒有連續導數的L1正則化，只能用於L2正則化。而liblinear通吃L1正則化和L2正則化。
同時，sag每次僅僅使用了部分樣本進行梯度迭代，所以當樣本量少的時候不要選擇它，而如果樣本量非常大，比如大於10萬，sag是第一選擇。但是sag不能用於L1正則化，所以當你有大量的樣本，又需要L1正則化的話就要自己做取舍了。要么通過對樣本采樣來降低樣本量，要么回到L2正則化。

在sklearn的官方文檔中，對於solver的使用說明如下：

Case	Solver
Small dataset or L1 penalty	“liblinear”
Multinomial loss or large dataset	“lbfgs”, “sag” or “newton-cg”
Very Large dataset	“sag”

從上面的描述，大家可能覺得，既然newton-cg, lbfgs和sag這么多限制，如果不是大樣本，我們選擇liblinear不就行了嘛！錯，因為liblinear也有自己的弱點！我們知道，邏輯回歸有二元邏輯回歸和多元邏輯回歸。對於多元邏輯回歸常見的有one-vs-rest(OvR)和many-vs-many(MvM)兩種。而MvM一般比OvR分類相對准確一些。郁悶的是liblinear只支持OvR，不支持MvM，這樣如果我們需要相對精確的多元邏輯回歸時，就不能選擇liblinear了。也意味着如果我們需要相對精確的多元邏輯回歸不能使用L1正則化了。
總結而言，liblinear支持L1和L2，只支持OvR做多分類，“lbfgs”, “sag” “newton-cg”只支持L2，支持OvR和MvM做多分類

 

分類方式選擇參數：multi_class

multi_class參數決定了我們分類方式的選擇，有 ovr和multinomial兩個值可以選擇，默認是 ovr。
ovr即前面提到的one-vs-rest(OvR)，而multinomial即前面提到的many-vs-many(MvM)。如果是二元邏輯回歸，ovr和multinomial並沒有任何區別，區別主要在多元邏輯回歸上。
OvR的思想很簡單，無論你是多少元邏輯回歸，我們都可以看做二元邏輯回歸。具體做法是，對於第K類的分類決策，我們把所有第K類的樣本作為正例，除了第K類樣本以外的所有樣本都作為負例，然后在上面做二元邏輯回歸，得到第K類的分類模型。其他類的分類模型獲得以此類推。
而MvM則相對復雜，這里舉MvM的特例one-vs-one(OvO)作講解。如果模型有T類，我們每次在所有的T類樣本里面選擇兩類樣本出來，不妨記為T1類和T2類，把所有的輸出為T1和T2的樣本放在一起，把T1作為正例，T2作為負例，進行二元邏輯回歸，得到模型參數。我們一共需要T(T-1)/2次分類。
從上面的描述可以看出OvR相對簡單，但分類效果相對略差（這里指大多數樣本分布情況，某些樣本分布下OvR可能更好）。而MvM分類相對精確，但是分類速度沒有OvR快。
如果選擇了ovr，則4種損失函數的優化方法liblinear，newton-cg, lbfgs和sag都可以選擇。但是如果選擇了multinomial,則只能選擇newton-cg, lbfgs和sag了。

 

類型權重參數： class_weight

class_weight參數用於標示分類模型中各種類型的權重，可以不輸入，即不考慮權重，或者說所有類型的權重一樣。如果選擇輸入的話，可以選擇balanced讓類庫自己計算類型權重，或者我們自己輸入各個類型的權重，比如對於0,1的二元模型，我們可以定義class_weight={0:0.9, 1:0.1}，這樣類型0的權重為90%，而類型1的權重為10%。

　　　　如果class_weight選擇balanced，那么類庫會根據訓練樣本量來計算權重。某種類型樣本量越多，則權重越低，樣本量越少，則權重越高。

sklearn的官方文檔中，當class_weight為balanced時，類權重計算方法如下：

n_samples / (n_classes * np.bincount(y))，n_samples為樣本數，n_classes為類別數量，np.bincount(y)會輸出每個類的樣本數，例如y=[1,0,0,1,1],則np.bincount(y)=[2,3]

　　　　那么class_weight有什么作用呢？在分類模型中，我們經常會遇到兩類問題：

　　　　第一種是誤分類的代價很高。比如對合法用戶和非法用戶進行分類，將非法用戶分類為合法用戶的代價很高，我們寧願將合法用戶分類為非法用戶，這時可以人工再甄別，但是卻不願將非法用戶分類為合法用戶。這時，我們可以適當提高非法用戶的權重。

　　　　第二種是樣本是高度失衡的，比如我們有合法用戶和非法用戶的二元樣本數據10000條，里面合法用戶有9995條，非法用戶只有5條，如果我們不考慮權重，則我們可以將所有的測試集都預測為合法用戶，這樣預測准確率理論上有99.95%，但是卻沒有任何意義。這時，我們可以選擇balanced，讓類庫自動提高非法用戶樣本的權重。

　　　　提高了某種分類的權重，相比不考慮權重，會有更多的樣本分類划分到高權重的類別，從而可以解決上面兩類問題。

　　　　當然，對於第二種樣本失衡的情況，我們還可以考慮用下一節講到的樣本權重參數： sample_weight，而不使用class_weight。sample_weight在下一節講。

 

樣本權重參數： sample_weight

上一節我們提到了樣本不失衡的問題，由於樣本不平衡，導致樣本不是總體樣本的無偏估計，從而可能導致我們的模型預測能力下降。遇到這種情況，我們可以通過調節樣本權重來嘗試解決這個問題。調節樣本權重的方法有兩種，第一種是在class_weight使用balanced。第二種是在調用fit函數時，通過sample_weight來自己調節每個樣本權重。

　　　　在scikit-learn做邏輯回歸時，如果上面兩種方法都用到了，那么樣本的真正權重是class_weight*sample_weight.

　　　　以上就是scikit-learn中邏輯回歸類庫調參的一個小結，還有些參數比如正則化參數C（交叉驗證就是 Cs），迭代次數max_iter等，由於和其它的算法類庫並沒有特別不同，這里不多累述了。

 

代碼展示

# -*- coding: utf-8 -*-
"""
Created on Tue Aug 11 10:12:48 2020

@author: Admin
"""

# 引入數據
from sklearn import datasets
import numpy as np

iris = datasets.load_iris()
X = iris.data[:,[2,3]]
y = iris.target
print("Class labels:",np.unique(y))  #打印分類類別的種類


# 切分訓練數據和測試數據
from sklearn.model_selection import train_test_split
## 30%測試數據，70%訓練數據，stratify=y表示訓練數據和測試數據具有相同的類別比例
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.3,random_state=1,stratify=y)


from sklearn.preprocessing import StandardScaler

sc = StandardScaler()
## 估算訓練數據中的mu和sigma
sc.fit(X_train)
## 使用訓練數據中的mu和sigma對數據進行標准化
X_train_std = sc.transform(X_train)
X_test_std = sc.transform(X_test)

## 畫出決策邊界圖(只有在2個特征才能畫出來)
import matplotlib.pyplot as plt
%matplotlib inline
from matplotlib.colors import ListedColormap

def plot_decision_region(X,y,classifier,resolution=0.02):
    markers = ('s','x','o','^','v')
    colors = ('red','blue','lightgreen','gray','cyan')
    cmap = ListedColormap(colors[:len(np.unique(y))])

    # plot the decision surface
    x1_min,x1_max = X[:,0].min()-1,X[:,0].max()+1
    x2_min,x2_max = X[:,1].min()-1,X[:,1].max()+1
    xx1,xx2 = np.meshgrid(np.arange(x1_min,x1_max,resolution),
                         np.arange(x2_min,x2_max,resolution))
    Z = classifier.predict(np.array([xx1.ravel(),xx2.ravel()]).T)
    Z = Z.reshape(xx1.shape)
    plt.contourf(xx1,xx2,Z,alpha=0.3,cmap=cmap)
    plt.xlim(xx1.min(),xx1.max())
    plt.ylim(xx2.min(),xx2.max())

    # plot class samples
    for idx,cl in enumerate(np.unique(y)):
        plt.scatter(x=X[y==cl,0],
                   y = X[y==cl,1],
                   alpha=0.8,
                   c=colors[idx],
                   marker = markers[idx],
                   label=cl,
                   edgecolors='black')


#邏輯回歸   由於標簽有三類，特征有2個，因此截距和系數也有三對     
from sklearn.linear_model import LogisticRegression

lr = LogisticRegression(C=100.0,random_state=1)
lr.fit(X_train_std,y_train)
print("Class:",lr.classes_)
print("Coef:",lr.coef_)
print("intercept",lr.intercept_)
print("n_iter",lr.n_iter_)

'''
Class: [0 1 2]
Coef: [[-5.61268224 -4.30718677]
 [ 2.40969576 -2.07325711]
 [ 9.51524418  5.39484899]]
intercept [-5.8391281  -0.75730853 -9.21167569]
n_iter [9]

'''
plot_decision_region(X_train_std,y_train,classifier=lr,resolution=0.02)
plt.xlabel('petal length [standardized]')
plt.ylabel('petal width [standardized]')
plt.legend(loc='upper left')
plt.show()


# 預測
## 預測前三樣本在各個類別的概率
print("前三樣本在各個類別的預測概率為：\n",lr.predict_proba(X_test_std[:3,:]))
print("\n============================")
## 獲得前三個樣本的分類標簽
print("\n前三樣本在各個類別的預測類別為：\n",lr.predict(X_test_std[:3,:]))
print("\n============================")

'''
前三樣本在各個類別的預測概率為：
 [[3.17983737e-08 1.44886616e-01 8.55113353e-01]
 [8.33962295e-01 1.66037705e-01 4.55557009e-12]
 [8.48762934e-01 1.51237066e-01 4.63166788e-13]]

============================

前三樣本在各個類別的預測類別為：
 [2 0 0]

============================

'''

 https://blog.csdn.net/sun_shengyun/article/details/53811483