【sklearn】網格搜索 from sklearn.model_selection import GridSearchCV

      GridSearchCV用於系統地遍歷模型的多種參數組合，通過交叉驗證確定最佳參數。

1.GridSearchCV參數   

# 不常用的參數

• pre_dispatch

• 沒看懂

• refit    
• 默認為True
• 在參數搜索參數后，用最佳參數的結果fit一遍全部數據集
• iid                 
• 默認為True
• 各個樣本fold概率分布一致，誤差估計為所有樣本之和

# 常用的參數

• cv
• 默認為3
• 指定fold個數，即默認三折交叉驗證
• verbose
• 默認為0
• 值為0時，不輸出訓練過程；值為1時，偶爾輸出訓練過程；值>1時，對每個子模型都輸出訓練過程
• n_jobs
• cpu個數
• 值為-1時，使用全部CPU；值為1時，使用1個CPU；值為2時，使用2個CPU
• estimator       
• 分類器
• param_grid    
• 參數范圍，值為列表/字典
• scoring
准確度評價標准，socring參數選擇鏈接

2.常用屬性  

• best_score_
• 最佳模型下的分數
• best_params_
• 最佳模型參數
• grid_scores_
• 模型不同參數下交叉驗證的平均分
• cv_results_   具體用法
• 模型不同參數下交叉驗證的結果
• best_estimator_
• 最佳分類器

注：grid_scores_在sklearn0.20版本中將被刪除。使用cv_results_替代

3.常用函數

• score(x_test,y_test)
• 最佳模型在測試集下的分數

4.例子

# -*- coding: utf-8 -*-
"""
# 數據：20類新聞文本
# 模型：svc
# 調參：gridsearch
"""
### 加載模塊
import numpy as np
import pandas as pd

### 載入數據
from sklearn.datasets import fetch_20newsgroups                          # 20類新聞數據
news = fetch_20newsgroups(subset='all')                                  # 生成20類新聞數據

### 數據分割
from sklearn.cross_validation import train_test_split
X_train, X_test, y_train, y_test = train_test_split(news.data[:300],
                                                    news.target[:300],
                                                    test_size=0.25,      # 測試集占比25%
                                                    random_state=33)     # 隨機數
### pipe-line
from sklearn.feature_extraction.text import TfidfVectorizer              # 特征提取
from sklearn.svm import SVC                                              # 載入模型
from sklearn.pipeline import Pipeline                                    # pipe_line模式
clf = Pipeline([('vect', TfidfVectorizer(stop_words='english', analyzer='word')),
                ('svc', SVC())])

### 網格搜索
from sklearn.model_selection import GridSearchCV
parameters = {'svc__gamma': np.logspace(-1, 1)}                           # 參數范圍（字典類型）

gs = GridSearchCV(clf,          # 模型
                  parameters,   # 參數字典
                  n_jobs=1,     # 使用1個cpu
                  verbose=0,    # 不打印中間過程
                  cv=5)         # 5折交叉驗證

gs.fit(X_train, y_train)        # 在訓練集上進行網格搜索

### 最佳參數在測試集上模型分數
print("best:%f using %s" % (gs.best_score_,gs.best_params_))

### 測試集下的分數
print("test datasets score" % gs.score(X_test, y_test))

### 模型不同參數下的分數
# 方式一(0.20版本將刪除)
print(gs.grid_scores_)

# 方式二(0.20推薦的方式)
means = gs.cv_results_['mean_test_score']
params =  gs.cv_results_['params']

for mean, param in zip(means,params):
    print("%f with: %r" % (mean,param))