class sklearn.linear_model.LogisticRegression(penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None, solver=’liblinear’, max_iter=100, multi_class=’ovr’, verbose=0, warm_start=False, n_jobs=1)
參數：
=> penalty : str, ‘l1’ or ‘l2’
LogisticRegression和LogisticRegressionCV默認就帶了正則化項。penalty參數可選擇的值為"l1"和"l2"，分別對應L1的正則化和L2的正則化，默認是L2的正則化。
在調參時如果我們主要的目的只是為了解決過擬合，一般penalty選擇L2正則化就夠了。但是如果選擇L2正則化發現還是過擬合，即預測效果差的時候，就可以考慮L1正則化。
另外，如果模型的特征非常多，我們希望一些不重要的特征系數歸零，從而讓模型系數稀疏化的話，也可以使用L1正則化。
penalty參數的選擇會影響我們損失函數優化算法的選擇。即參數solver的選擇，如果是L2正則化，那么4種可選的算法{‘newton-cg’, ‘lbfgs’, ‘liblinear’, ‘sag’}都可以選擇。
但是如果penalty是L1正則化的話，就只能選擇‘liblinear’了。這是因為L1正則化的損失函數不是連續可導的，而{‘newton-cg’, ‘lbfgs’,‘sag’}這三種優化算法時都需要損失函數的一階或者二階連續導數。而‘liblinear’並沒有這個依賴。
=> dual : bool
對偶或者原始方法。Dual只適用於正則化相為l2 liblinear的情況，通常樣本數大於特征數的情況下，默認為False
=> tol : float, optional
迭代終止判據的誤差范圍。
=> C : float, default: 1.0
C為正則化系數λ的倒數，通常默認為1。設置越小則對應越強的正則化。
=> fit_intercept : bool, default: True
是否存在截距，默認存在
=> intercept_scaling : float, default 1.
僅在正則化項為"liblinear"，且fit_intercept設置為True時有用。
=> class_weight : dict or ‘balanced’, default: None
class_weight參數用於標示分類模型中各種類型的權重，可以不輸入，即不考慮權重，或者說所有類型的權重一樣。如果選擇輸入的話，可以選擇balanced讓類庫自己計算類型權重，
或者我們自己輸入各個類型的權重，比如對於0,1的二元模型，我們可以定義class_weight={0:0.9, 1:0.1}，這樣類型0的權重為90%，而類型1的權重為10%。
如果class_weight選擇balanced，那么類庫會根據訓練樣本量來計算權重。某種類型樣本量越多，則權重越低；樣本量越少，則權重越高。
當class_weight為balanced時，類權重計算方法如下：n_samples / (n_classes * np.bincount(y))
n_samples為樣本數，n_classes為類別數量，np.bincount(y)會輸出每個類的樣本數，例如y=[1,0,0,1,1],則np.bincount(y)=[2,3] 0,1分別出現2次和三次
那么class_weight有什么作用呢？
在分類模型中，我們經常會遇到兩類問題：
第一種是誤分類的代價很高。比如對合法用戶和非法用戶進行分類，將非法用戶分類為合法用戶的代價很高，我們寧願將合法用戶分類為非法用戶，這時可以人工再甄別，但是卻不願將非法用戶分類為合法用戶。這時，我們可以適當提高非法用戶的權重。
第二種是樣本是高度失衡的，比如我們有合法用戶和非法用戶的二元樣本數據10000條，里面合法用戶有9995條，非法用戶只有5條，如果我們不考慮權重，則我們可以將所有的測試集都預測為合法用戶，這樣預測准確率理論上有99.95%，但是卻沒有任何意義。
這時，我們可以選擇balanced，讓類庫自動提高非法用戶樣本的權重。
=> random_state : int, RandomState instance or None, optional, default: None
隨機數種子，默認為無，僅在正則化優化算法為sag,liblinear時有用。
=> solver : {‘newton-cg’, ‘lbfgs’, ‘liblinear’, ‘sag’, ‘saga’}
solver參數決定了我們對邏輯回歸損失函數的優化方法，有4種算法可以選擇，分別是：
a) liblinear：使用了開源的liblinear庫實現，內部使用了坐標軸下降法來迭代優化損失函數。
b) lbfgs：擬牛頓法的一種，利用損失函數二階導數矩陣即海森矩陣來迭代優化損失函數。
c) newton-cg：也是牛頓法家族的一種，利用損失函數二階導數矩陣即海森矩陣來迭代優化損失函數。
d) sag：即隨機平均梯度下降，是梯度下降法的變種，和普通梯度下降法的區別是每次迭代僅僅用一部分的樣本來計算梯度，適合於樣本數據多的時候，SAG是一種線性收斂算法，這個速度遠比SGD快。
從上面的描述可以看出，newton-cg, lbfgs和sag這三種優化算法時都需要損失函數的一階或者二階連續導數，因此不能用於沒有連續導數的L1正則化，只能用於L2正則化。而liblinear則既可以用L1正則化也可以用L2正則化。
同時，sag每次僅僅使用了部分樣本進行梯度迭代，所以當樣本量少的時候不要選擇它，而如果樣本量非常大，比如大於10萬，sag是第一選擇。但是sag不能用於L1正則化，所以當你有大量的樣本，又需要L1正則化的話就要自己做取舍了
=> max_iter : int, optional
僅在正則化優化算法為newton-cg, sag and lbfgs 才有用，算法收斂的最大迭代次數。
=> multi_class : str, {‘ovr’, ‘multinomial’}, default: ‘ovr’
OvR的思想很簡單，無論你是多少元邏輯回歸，我們都可以看做二元邏輯回歸。具體做法是，對於第K類的分類決策，我們把所有第K類的樣本作為正例，除了第K類樣本以外的所有樣本都作為負例，然后在上面做二元邏輯回歸，得到第K類的分類模型。
其他類的分類模型獲得以此類推。
而MvM則相對復雜，這里舉MvM的特例one-vs-one(OvO)作講解。如果模型有T類，我們每次在所有的T類樣本里面選擇兩類樣本出來，不妨記為T1類和T2類，把所有的輸出為T1和T2的樣本放在一起，把T1作為正例，T2作為負例，進行二元邏輯回歸，
得到模型參數。我們一共需要T(T-1)/2次分類。
可以看出OvR相對簡單，但分類效果相對略差（這里指大多數樣本分布情況，某些樣本分布下OvR可能更好）。而MvM分類相對精確，但是分類速度沒有OvR快。如果選擇了ovr，則4種損失函數的優化方法liblinear，newton-cg,lbfgs和sag都可以選擇。
但是如果選擇了multinomial,則只能選擇newton-cg, lbfgs和sag了。
=> verbose : int, default: 0
=> warm_start : bool, default: False
=> n_jobs : int, default: 1
如果multi_class ='ovr'“，並行數等於CPU內核數量。當“solver”設置為“liblinear”時，無論是否指定“multi_class”，該參數將被忽略。如果給定值-1，則使用所有內核。