Python機器學習基礎教程-第2章-監督學習之K近鄰

前言

本系列教程基本就是摘抄《Python機器學習基礎教程》中的例子內容。

為了便於跟蹤和學習，本系列教程在Github上提供了jupyter notebook 版本：

Github倉庫：https://github.com/Holy-Shine/Introduciton-2-ML-with-Python-notebook

系列教程總目錄
Python機器學習基礎教程

引子

先導入必要的包

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import mglearn

%matplotlib inline 

k-NN 算法可以說是最簡單的機器學習算法。構建模型只需要保存訓練數據集即可。想要對新數據點做出預測，算法會在訓練數據集中找到最近的數據點，也就是它的“最近鄰”。

1. k近鄰分類

k-NN 算法最簡單的版本只考慮一個最近鄰，也就是與我們想要預測的數據點最近的訓練數據點。預測結果就是這個訓練數據點的已知輸出。下面代碼的運行結果(圖2-4) 給出了這種分類方法在 forge數據集上的應用：

mglearn.plots.plot_knn_classification(n_neighbors=1)

圖2-4 單一最近鄰模型對 forge 數據集的預測結果

這里我們添加了 3 個新數據點（用五角星表示）。對於每個新數據點，我們標記了訓練集中與它最近的點。單一最近鄰算法的預測結果就是那個點的標簽（對應五角星的顏色）。

除了僅考慮最近鄰，我還可以考慮任意個（k 個）鄰居。這也是 k 近鄰算法名字的來歷。在考慮多於一個鄰居的情況時，我們用“投票法”（voting）來指定標簽。也就是說，對於每個測試點，我們數一數多少個鄰居屬於類別 0，多少個鄰居屬於類別 1。然后將出現次數更多的類別（也就是 k 個近鄰中占多數的類別）作為預測結果。下面的例子（圖 2-5）用到了 3 個近鄰：

mglearn.plots.plot_knn_classification(n_neighbors=3)

圖2-5: 3 近鄰模型對 forge 數據集的預測結果

和上面一樣，預測結果可以從五角星的顏色看出。你可以發現，左上角新數據點的預測結果與只用一個鄰居時的預測結果不同。

雖然這張圖對應的是一個二分類問題，但方法同樣適用於多分類的數據集。對於多分類問題，我們數一數每個類別分別有多少個鄰居，然后將最常見的類別作為預測結果。

現在看一下如何通過 scikit-learn 來應用 k 近鄰算法。首先，正如第 1 章所述，將數據分為訓練集和測試集，以便評估泛化性能:

from sklearn.model_selection import train_test_split
X, y = mglearn.datasets.make_forge()

X_train, X_test, y_train, y_test  =train_test_split(X, y, random_state=0)

然后，導入類並將其實例化。這時可以設定參數，比如鄰居的個數。這里我們將其設為 3：

from sklearn.neighbors import KNeighborsClassifier
clf = KNeighborsClassifier(n_neighbors=3)

現在，利用訓練集對這個分類器進行擬合。對於 KNeighborsClassifier 來說就是保存數據集，以便在預測時計算與鄰居之間的距離：

clf.fit(X_train, y_train)

[out]：

KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
metric_params=None, n_jobs=None, n_neighbors=3, p=2,
weights='uniform')

調用 predict 方法來對測試數據進行預測。對於測試集中的每個數據點，都要計算它在訓練集的最近鄰，然后找出其中出現次數最多的類別：

print("Test set predictions: {}".format(clf.predict(X_test)))

[out]：

Test set predictions: [1 0 1 0 1 0 0]

為了評估模型的泛化能力好壞，我們可以對測試數據和測試標簽調用 score 方法：

print("Test set accuracy: {:.2f}".format(clf.score(X_test, y_test)))

[out]：

Test set accuracy: 0.86

2. 分析 KNeighborsClassifier

對於二維數據集，我們還可以在 xy 平面上畫出所有可能的測試點的預測結果。我們根據平面中每個點所屬的類別對平面進行着色。這樣可以查看決策邊界（decision boundary），即算法對類別 0 和類別 1 的分界線。

下列代碼分別將 1 個、3 個和 9 個鄰居三種情況的決策邊界可視化，見圖 2-6：

fig, axes = plt.subplots(1,3, figsize=(10,3))

for n_neighbors, ax in zip([1,3,9], axes):
    # fit 方法返回對象本身，所以我們可以將實例化和擬合放在一行代碼中
    clf = KNeighborsClassifier(n_neighbors=n_neighbors).fit(X,y)
    mglearn.plots.plot_2d_separator(clf, X, fill=True, eps=0.5, ax=ax, alpha=.4)
    mglearn.discrete_scatter(X[:,0], X[:,1], y, ax=ax)
    ax.set_title("{} neighbor(s)".format(n_neighbors))
    ax.set_xlabel("feature 0")
    ax.set_ylabel("feature 1")
axes[0].legend(loc=3)

圖 2-6：不同 n_neighbors 值的 k 近鄰模型的決策邊界

從左圖可以看出，使用單一鄰居繪制的決策邊界緊跟着訓練數據。隨着鄰居個數越來越多，決策邊界也越來越平滑。更平滑的邊界對應更簡單的模型。換句話說，使用更少的鄰居對應更高的模型復雜度，而使用更多的鄰居對應更低的模型復雜度。假如考慮極端情況，即鄰居個數等於訓練集中所有數據點的個數，那么每個測試點的鄰居都完全相同（即所有訓練點），所有預測結果也完全相同（即訓練集中出現次數最多的類別）。

我們來研究一下能否證實之前討論過的模型復雜度和泛化能力之間的關系。我們將在現實世界的乳腺癌數據集上進行研究。先將數據集分成訓練集和測試集，然后用不同的鄰居個數對訓練集和測試集的性能進行評估。輸出結果見圖 2-7：

from sklearn.datasets import load_breast_cancer

cancer = load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split(cancer.data, cancer.target, stratify=cancer.target, random_state=66)

training_accuracy=[]
test_accuracy=[]

# neighbors取值從1到10
neighbors_settings=range(1,11)

for n_neighbors in neighbors_settings:
    # 構建模型
    clf = KNeighborsClassifier(n_neighbors=n_neighbors)
    clf.fit(X_train, y_train)
    # 記錄訓練集精度
    training_accuracy.append(clf.score(X_train, y_train))
    # 記錄泛化精度
    test_accuracy.append(clf.score(X_test, y_test))

plt.plot(neighbors_settings, training_accuracy, label="training accuracy")
plt.plot(neighbors_settings, test_accuracy, label="test accuracy")
plt.ylabel("Accuracy")
plt.xlabel("n_neighbors")
plt.legend()

圖 2-7：以 n_neighbors 為自變量，對比訓練集精度和測試集精度

圖像的 x 軸是 n_neighbors ，y 軸是訓練集精度和測試集精度。雖然現實世界的圖像很少有非常平滑的，但我們仍可以看出過擬合與欠擬合的一些特征。僅考慮單一近鄰時，訓練集上的預測結果十分完美。但隨着鄰居個數的增多，模型變得更簡單，訓練集精度也隨之下降。單一鄰居時的測試集精度比使用更多鄰居時要低，這表示單一近鄰的模型過於復雜。與之相反，當考慮 10 個鄰居時，模型又過於簡單，性能甚至變得更差。最佳性能在中間的某處，鄰居個數大約為 6。不過最好記住這張圖的坐標軸刻度。最差的性能約為 88% 的精度，這個結果仍然可以接受。

3. K近鄰回歸

k 近鄰算法還可以用於回歸（即把鄰居的平均值賦給目標）。我們還是先從單一近鄰開始，這次使用 wave 數據集。我們添加了 3 個測試數據點，在 x 軸上用綠色五角星表示。利用單一鄰居的預測結果就是最近鄰的目標值。在圖 2-8 中用藍色五角星表示：

mglearn.plots.plot_knn_regression(n_neighbors=1)

圖 2-8：單一近鄰回歸對 wave 數據集的預測結果

同樣，也可以用多個近鄰進行回歸。在使用多個近鄰時，預測結果為這些鄰居的平均值

mglearn.plots.plot_knn_regression(n_neighbors=3)

圖 2-9：3 個近鄰回歸對 wave 數據集的預測結果

用於回歸的 k 近鄰算法在 scikit-learn 的 KNeighborsRegressor 類中實現。其用法與KNeighborsClassifier 類似：

from sklearn.neighbors import KNeighborsRegressor

X, y=mglearn.datasets.make_wave(n_samples=40)

# 划分訓練測試集
X_train, X_test, y_train, y_test=train_test_split(X,y, random_state=0)

# 實例化模型，鄰居設定為3
reg=KNeighborsRegressor(n_neighbors=3)
# 擬合模型
reg.fit(X_train, y_train)

[out]：

KNeighborsRegressor(algorithm='auto', leaf_size=30, metric='minkowski',
metric_params=None, n_jobs=None, n_neighbors=3, p=2,
weights='uniform')

現在可以對測試集進行預測：

print("Test set predictions:\n{}".format(reg.predict(X_test)))

[out]：

print("Test set predictions:\n{}".format(reg.predict(X_test)))
Test set predictions:
[-0.05396539 0.35686046 1.13671923 -1.89415682 -1.13881398 -1.63113382
0.35686046 0.91241374 -0.44680446 -1.13881398]

我們還可以用 score 方法來評估模型，對於回歸問題，這一方法返回的是 \(R^2\) 分數。\(R^2\) 分數也叫作決定系數，是回歸模型預測的優度度量，位於 0 到 1 之間。\(R^2\) 等於 1 對應完美預測，\(R^2\) 等於 0 對應常數模型，即總是預測訓練集響應（ y_train ）的平均值：

print("Test set R^2: {:.2f}".format(reg.score(X_test, y_test)))

[out]：

Test set R^2: 0.83

這里的分數是 0.83，表示模型的擬合相對較好。

4. 分析 KNeighborsRegressor

對於我們的一維數據集，可以查看所有特征取值對應的預測結果（圖 2-10）。為了便於繪
圖，我們創建一個由許多點組成的測試數據集

fig, axes = plt.subplots(1,3, figsize=(15,4))
#創建1000個數據點，在-3和3之間均勻分布
line=np.linspace(-3,3,1000).reshape(-1,1)
for n_neighbors,ax in zip([1,3,9], axes):
    # 利用1，3，9個鄰居分別進行預測
    reg=KNeighborsRegressor(n_neighbors=n_neighbors)
    reg.fit(X_train, y_train)
    ax.plot(line, reg.predict(line))
    ax.plot(X_train, y_train, '^', c=mglearn.cm2(0), markersize=8)
    ax.plot(X_test, y_test, 'v', c=mglearn.cm2(1), markersize=8)
    ax.set_title(
        "{} neighbor(s)\n train score: {:.2f} test score: {:.2f}".format(
            n_neighbors, 
            reg.score(X_train, y_train),
            reg.score(X_test, y_test)))
    ax.set_xlabel("Feature")
    ax.set_ylabel("Target")
axes[0].legend(["Model predictions", "Training data/target",
                "Test data/target"], loc="best")

圖 2-10：不同 n_neighbors 值的 k 近鄰回歸的預測結果對比

從圖中可以看出，僅使用單一鄰居，訓練集中的每個點都對預測結果有顯著影響，預測結果的圖像經過所有數據點。這導致預測結果非常不穩定。考慮更多的鄰居之后，預測結果變得更加平滑，但對訓練數據的擬合也不好。

5. 優點、缺點和參數

一般來說， KNeighbors 分類器有 2 個重要參數：鄰居個數與數據點之間距離的度量方法。在實踐中，使用較小的鄰居個數（比如 3 個或 5 個）往往可以得到比較好的結果，但你應該調節這個參數。選擇合適的距離度量方法超出了本書的范圍。默認使用歐式距離，它在許多情況下的效果都很好。

k-NN 的優點之一就是模型很容易理解，通常不需要過多調節就可以得到不錯的性能。在考慮使用更高級的技術之前，嘗試此算法是一種很好的基准方法。構建最近鄰模型的速度通常很快，但如果訓練集很大（特征數很多或者樣本數很大），預測速度可能會比較慢。使用 k-NN 算法時，對數據進行預處理是很重要的（見第 3 章）。這一算法對於有很多特征（幾百或更多）的數據集往往效果不好，對於大多數特征的大多數取值都為 0 的數據集（所謂的稀疏數據集）來說，這一算法的效果尤其不好。

雖然 k 近鄰算法很容易理解，但由於預測速度慢且不能處理具有很多特征的數據集，所以在實踐中往往不會用到。