在了解了KNN的基本原理之后，我們需要學習如何在sklearn中調用KNN算法以及如何用GridSearchCV進行調參
首先導入必要的庫以及我們所使用的數據集：iris
1 from sklearn.neighbors import KNeighborsClassifier 2 from sklearn import datasets 3 from sklearn.model_selection import GridSearchCV 4 from sklearn.model_selection import train_test_split 5 iris = datasets.load_iris() 6 data = iris.data 7 label = iris.target
由於KNN對極端數據比較敏感，所以一般會對數據進行歸一化，此處數據集比較友好就沒有歸一化了
將整個的數據集分成訓練集和測試集，並創建一個KNN分類器對象
1 X_train,X_test,y_train,y_test = train_test_split(data,label,test_size=0.3,random_state=2) 2 knn_clf = KNeighborsClassifier()
由於sklearn中的KNN方法有很多超參數，所以需要調參，這里只介紹常用的超參數：
weights：有兩種參數：'uniform'和'distance'，前者表示最原始的不帶距離權重的KNN，后者指帶有距離權重的KNN，比如說，A到B的距離為1，A到C的距離為2，A到D的距離為4，而且B屬於M類，C和D屬於N類，此時KNN算法的K如果等於3，則最終會將A判斷為N類，但實際上A距離B最近，應該屬於M類，故應該使用距離的倒數來表示距離，此時AB距離為1，AC距離為1/2，AD距離為1/4，AC+AD=3/4<1，故A點屬於M類，此外，這種算法還能解決K個最近距離就有K類的問題。
n_neighbors：鄰居個數，不再贅述
p：p=1表示曼哈頓距離，p=2表示歐式距離，p可以大於2，注意p參數只有在weights='distance'時才有
接下來介紹GridSearchCV的用法，先上代碼：
1 param_grid = [ 2 { 3 'weights':['uniform'], 4 'n_neighbors':[i for i in range(1,11)] 5 }, 6 { 7 'weights':['distance'], 8 'n_neighbors':[i for i in range(1,11)], 9 'p':[i for i in range(1,6)] 10 } 11 ] 12 grid_search = GridSearchCV(knn_clf,param_grid,n_jobs=-1,verbose=2)
GridSearchCV常用超參數：
estimator：創建的對象，如上的knn_clf
param_grid：是一個列表，列表里是算法對象的超參數的取值，用字典存儲
n_jobs：使用電腦的CPU個數，-1代表全部使用
verbose：每次CV時輸出的格式
接下來就用grid_search對象訓練數據
1 %%time 2 grid_search.fit(X_train,y_train)
訓練結果如下
grid_search.best_estimator_
這是取出參數最好的一組對應的分類器
grid_search.best_score_
這是取出最好的超參數組合對應的准確率
grid_search.best_params_
這是取出最好的一組超參數
knn_clf = grid_search.best_estimator_ y_pre = knn_clf.predict(X_test) knn_clf.score(X_test,y_pre)
用最好的一組超參數的分類器對象去預測測試集，並計算准確率。
如有錯誤歡迎大家指出，謝謝