嵌套交叉驗證

嵌套交叉驗證(nested cross validation)選擇算法（外循環通過k折等進行參數優化，內循環使用交叉驗證），對特定數據集進行模型選擇。Varma和Simon在論文Bias in Error Estimation When Using Cross-validation for Model Selection中指出使用嵌套交叉驗證得到的測試集誤差幾乎就是真實誤差。

嵌套交叉驗證外部有一個k折交叉驗證將數據分為訓練集和測試集，內部交叉驗證用於選擇模型算法，其中就是外部使用cross_val_score，內部使用 GridSearchCV調參

下圖演示了一個5折外層交叉沿則和2折內部交叉驗證組成的嵌套交叉驗證，也被稱為5*2交叉驗證：

 

 

from sklearn.tree import DecisionTreeClassifier
from sklearn import datasets    #自帶數據集
from sklearn.model_selection import train_test_split,cross_val_score    #划分數據 交叉驗證
import matplotlib.pyplot as plt
iris = datasets.load_iris()        #加載sklearn自帶的數據集
x = iris.data             #這是數據
y = iris.target         #這是每個數據所對應的標簽
gs = GridSearchCV(estimator=DecisionTreeClassifier(random_state=0),
                  param_grid=[{'max_depth': [1, 2, 3, 4, 5, 6, 7, None]}],
                  scoring='accuracy',
                  cv=2)
scores = cross_val_score(gs, x, y, scoring='accuracy', cv=5)
print('CV accuracy: %.3f +/- %.3f' % (np.mean(scores), np.std(scores)))

CV accuracy: 0.967 +/- 0.030