1. KNN算法
鄰近算法，或者說K最近鄰(kNN，k-NearestNeighbor)分類算法是數據挖掘分類技術中最簡單的方法之一。所謂K最近鄰，就是k個最近的鄰居的意思，說的是每個樣本都可以用它最接近的k個鄰居來代表。
K最近鄰(k-Nearest Neighbor，KNN)分類算法的核心思想是如果一個樣本在特征空間中的k個最相似(即特征空間中最鄰近)的樣本中的大多數屬於某一個類別，則該樣本也屬於這個類別。KNN算法可用於多分類，KNN算法不僅可以用於分類，還可以用於回歸。通過找出一個樣本的k個最近鄰居，將這些鄰居的屬性的平均值賦給該樣本，作為預測值。
KNeighborsClassifier在scikit-learn 在sklearn.neighbors包之中。
KNeighborsClassifier使用很簡單，三步：1）創建KNeighborsClassifier對象，2）調用fit函數，3）調用predict函數進行預測
from sklearn.neighbors import KNeighborsClassifier
X = [[0], [1], [2], [3], [4], [5], [6], [7], [8]]#data
y = [0, 0, 0, 1, 1, 1, 2, 2, 2]#target
neigh = KNeighborsClassifier(n_neighbors=3)#一，創建KNeighborsClassifier對象
neigh.fit(X, y)#二，調用fit函數,訓練數據，建立模型
print(neigh.predict([[1.1]]))#三，調用predict函數進行預測
print(neigh.predict([[1.6]]))
print(neigh.predict([[5.2]]))
print(neigh.predict([[11]]))
print(neigh.predict([[2.6]]))