一、模型開發
sklearn為所有模型提供了非常相似的接口，這樣使得我們可以更加快速的熟悉所有模型的用法。在這之前我們先來看看模型的常用屬性和功能
# 擬合模型 model.fit(X_train, y_train) # 模型預測 model.predict(X_test) # 獲得這個模型的參數 model.get_params() # 為模型進行打分 model.score(data_X, data_y) # 線性回歸：R square； 分類問題： acc
1. 線性回歸
from sklearn.linear_model import LinearRegression # 定義線性回歸模型 model = LinearRegression(fit_intercept=True, normalize=False, copy_X=True, n_jobs=1) """ 參數 --- fit_intercept：是否計算截距。False-模型沒有截距 normalize： 當fit_intercept設置為False時，該參數將被忽略。 如果為真，則回歸前的回歸系數X將通過減去平均值並除以l2-范數而歸一化。 n_jobs：指定線程數 """
2. 邏輯回歸
from sklearn.linear_model import LogisticRegression # 定義邏輯回歸模型 model = LogisticRegression(penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None, solver=’liblinear’, max_iter=100, multi_class=’ovr’, verbose=0, warm_start=False, n_jobs=1) """參數 --- penalty：使用指定正則化項（默認：l2） dual: n_samples > n_features取False（默認） C：正則化強度的反，值越小正則化強度越大 n_jobs: 指定線程數 random_state：隨機數生成器 fit_intercept: 是否需要常量 """
3. 朴素貝葉斯算法NB
from sklearn import naive_bayes model = naive_bayes.GaussianNB() # 高斯貝葉斯 model = naive_bayes.MultinomialNB(alpha=1.0, fit_prior=True, class_prior=None) model = naive_bayes.BernoulliNB(alpha=1.0, binarize=0.0, fit_prior=True, class_prior=None) """ 文本分類問題常用MultinomialNB 參數 --- alpha：平滑參數 fit_prior：是否要學習類的先驗概率；false-使用統一的先驗概率 class_prior: 是否指定類的先驗概率；若指定則不能根據參數調整 binarize: 二值化的閾值，若為None，則假設輸入由二進制向量組成 """
4. 決策樹DT
from sklearn import tree model = tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, class_weight=None, presort=False) """參數 --- criterion ：特征選擇准則gini/entropy max_depth：樹的最大深度，None-盡量下分 min_samples_split：分裂內部節點，所需要的最小樣本樹 min_samples_leaf：葉子節點所需要的最小樣本數 max_features: 尋找最優分割點時的最大特征數 max_leaf_nodes：優先增長到最大葉子節點數 min_impurity_decrease：如果這種分離導致雜質的減少大於或等於這個值，則節點將被拆分。 """
5.支持向量機SVM
from sklearn.svm import SVC model = SVC(C=1.0, kernel=’rbf’, gamma=’auto’) """參數 --- C：誤差項的懲罰參數C gamma: 核相關系數。浮點數，If gamma is ‘auto’ then 1/n_features will be used instead. """
6.k近鄰算法KNN
from sklearn import neighbors #定義kNN分類模型 model = neighbors.KNeighborsClassifier(n_neighbors=5, n_jobs=1) # 分類 model = neighbors.KNeighborsRegressor(n_neighbors=5, n_jobs=1) # 回歸 """參數 --- n_neighbors： 使用鄰居的數目 n_jobs：並行任務數 """
7. 多層感知機（神經網絡）
from sklearn.neural_network import MLPClassifier # 定義多層感知機分類算法 model = MLPClassifier(activation='relu', solver='adam', alpha=0.0001) """參數 --- hidden_layer_sizes: 元祖 activation：激活函數 solver ：優化算法{‘lbfgs’, ‘sgd’, ‘adam’} alpha：L2懲罰(正則化項)參數。 """
二、模型評估
1. 交叉驗證
from sklearn.model_selection import cross_val_score cross_val_score(model, X, y=None, scoring=None, cv=None, n_jobs=1) """參數 --- model：擬合數據的模型 cv ： k-fold scoring: 打分參數-‘accuracy’、‘f1’、‘precision’、‘recall’ 、‘roc_auc’、'neg_log_loss'等等 """
2. 檢驗曲線
from sklearn.model_selection import validation_curve train_score, test_score = validation_curve(model, X, y, param_name, param_range, cv=None, scoring=None, n_jobs=1) """參數 --- model:用於fit和predict的對象 X, y: 訓練集的特征和標簽 param_name：將被改變的參數的名字 param_range： 參數的改變范圍 cv：k-fold 返回值 --- train_score: 訓練集得分（array） test_score: 驗證集得分（array） """
三、模型保存
1. 保存為pickle文件
import pickle # 保存模型 with open('model.pickle', 'wb') as f: pickle.dump(model, f) # 讀取模型 with open('model.pickle', 'rb') as f: model = pickle.load(f) model.predict(X_test)
2.sklearn自帶方法joblib
#from sklearn.externals import joblib import joblib #保存模型 joblib.dump(model, 'model.pickle') #載入模型 model = joblib.load('model.pickle')