Python語言實現機器學習的K-近鄰算法
寫在前面
額、、、最近開始學習機器學習嘛，網上找到一本關於機器學習的書籍，名字叫做《機器學習實戰》。很巧的是，這本書里的算法是用Python語言實現的，剛好之前我學過一些Python基礎知識，所以這本書對於我來說，無疑是雪中送炭啊。接下來，我還是給大家講講實際的東西吧。
什么是K-近鄰算法？
簡單的說，K-近鄰算法就是采用測量不同特征值之間的距離方法來進行分類。它的工作原理是：存在一個樣本數據集合，也稱作訓練樣本集，並且樣本集中每個數據都存在標簽，即我們知道樣本集中每一數據與所屬分類的對應關系，輸入沒有標簽的新數據之后，將新數據的每個特征與樣本集中數據對應的特征進行比較，然后算法提取出樣本集中特征最相似數據的分類標簽。一般來說，我們只選擇樣本數據集中前k個最相似的數據，這就是K-近鄰算法名稱的由來。
提問：親，你造K-近鄰算法是屬於監督學習還是無監督學習呢？
使用Python導入數據
從K-近鄰算法的工作原理中我們可以看出，要想實施這個算法來進行數據分類，我們手頭上得需要樣本數據，沒有樣本數據怎么建立分類函數呢。所以，我們第一步就是導入樣本數據集合。
建立名為kNN.py的模塊，寫入代碼：
1 from numpy import * 2 import operator 3 4 def createDataSet(): 5 group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) 6 labels = ['A','A','B','B'] 7 return group, labels
代碼中，我們需要導入Python的兩個模塊：科學計算包NumPy和運算符模塊。NumPy函數庫是Python開發環境的一個獨立模塊，大多數Python版本里沒有默認安裝NumPy函數庫，因此這里我們需要單獨安裝這個模塊。
下載戳這里：NumPy
有很多的版本，這里我選擇的是numpy-1.7.0-win32-superpack-python2.7.exe。
實現K-近鄰算法
K-近鄰算法的具體思想如下：
（1）計算已知類別數據集中的點與當前點之間的距離
（2）按照距離遞增次序排序
（3）選取與當前點距離最小的k個點
（4）確定前k個點所在類別的出現頻率
（5）返回前k個點中出現頻率最高的類別作為當前點的預測分類
Python語言實現K-近鄰算法的代碼如下：
1 # coding : utf-8 2 3 from numpy import * 4 import operator 5 import kNN 6 7 group, labels = kNN.createDataSet() 8 9 def classify(inX, dataSet, labels, k): 10 dataSetSize = dataSet.shape[0] 11 diffMat = tile(inX, (dataSetSize,1)) - dataSet 12 sqDiffMat = diffMat**2 13 sqDistances = sqDiffMat.sum(axis=1) 14 distances = sqDistances**0.5 15 sortedDistances = distances.argsort() 16 classCount = {} 17 for i in range(k): 18 numOflabel = labels[sortedDistances[i]] 19 classCount[numOflabel] = classCount.get(numOflabel,0) + 1 20 sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1),reverse=True) 21 return sortedClassCount[0][0] 22 23 my = classify([0,0], group, labels, 3) 24 print my
運算結果如下：
輸出結果是B：說明我們新的數據（[0,0]）是屬於B類。
代碼詳解
相信有很多朋友們對上面這個代碼有很多不理解的地方，接下來，我重點講解幾個此函數的關鍵點，以方便讀者們和我自己回顧一下這個算法代碼。
classify函數的參數：
- inX：用於分類的輸入向量
- dataSet：訓練樣本集合
- labels：標簽向量
- k：K-近鄰算法中的k
shape：是array的屬性，描述一個多維數組的維度
tile（inX, (dataSetSize,1)）：把inX二維數組化，dataSetSize表示生成數組后的行數，1表示列的倍數。整個這一行代碼表示前一個二維數組矩陣的每一個元素減去后一個數組對應的元素值，這樣就實現了矩陣之間的減法，簡單方便得不讓你佩服不行！
axis=1：參數等於1的時候，表示矩陣中行之間的數的求和，等於0的時候表示列之間數的求和。
argsort()：對一個數組進行非降序排序
classCount.get(numOflabel,0) + 1：這一行代碼不得不說的確很精美啊。get()：該方法是訪問字典項的方法，即訪問下標鍵為numOflabel的項，如果沒有這一項，那么初始值為0。然后把這一項的值加1。所以Python中實現這樣的操作就只需要一行代碼，實在是很簡潔高效。
后話
K-近鄰算法（KNN）原理以及代碼實現差不多就這樣了，接下來的任務就是更加熟悉它，爭取達到裸敲的地步。
加油！！！