kNN算法
算法優缺點：
- 優點：精度高、對異常值不敏感、無輸入數據假定
- 缺點：時間復雜度和空間復雜度都很高
- 適用數據范圍:數值型和標稱型
算法的思路：
KNN算法（全稱K最近鄰算法），算法的思想很簡單，簡單的說就是物以類聚，也就是說我們從一堆已知的訓練集中找出k個與目標最靠近的，然后看他們中最多的分類是哪個，就以這個為依據分類。
函數解析：
庫函數
tile()如
tile(A,n)就是將A重復n次
a = np.array([0, 1, 2])
np.tile(a, 2)
array([0, 1, 2, 0, 1, 2])
np.tile(a, (2, 2))
array([[0, 1, 2, 0, 1, 2],[0, 1, 2, 0, 1, 2]])
np.tile(a, (2, 1, 2))
array([[[0, 1, 2, 0, 1, 2]],[[0, 1, 2, 0, 1, 2]]])
b = np.array([[1, 2], [3, 4]])
np.tile(b, 2)
array([[1, 2, 1, 2],[3, 4, 3, 4]])
np.tile(b, (2, 1))
array([[1, 2],[3, 4],[1, 2],[3, 4]])`自己實現的函數
createDataSet()生成測試數組kNNclassify(inputX, dataSet, labels, k)分類函數
- inputX 輸入的參數
- dataSet 訓練集
- labels 訓練集的標號
- k 最近鄰的數目
-
1 #coding=utf-8 2 from numpy import * 3 import operator 4 5 def createDataSet(): 6 group = array([[1.0, 0.9], [1.0, 1.0], [0.1, 0.2], [0.0, 0.1]]) 7 labels = ['A','A','B','B'] 8 return group,labels 9 #inputX表示輸入向量（也就是我們要判斷它屬於哪一類的） 10 #dataSet表示訓練樣本 11 #label表示訓練樣本的標簽 12 #k是最近鄰的參數，選最近k個 13 def kNNclassify(inputX, dataSet, labels, k): 14 dataSetSize = dataSet.shape[0]#計算有幾個訓練數據 15 #開始計算歐幾里得距離 16 diffMat = tile(inputX, (dataSetSize,1)) - dataSet 17 18 sqDiffMat = diffMat ** 2 19 sqDistances = sqDiffMat.sum(axis=1)#矩陣每一行向量相加 20 distances = sqDistances ** 0.5 21 #歐幾里得距離計算完畢 22 sortedDistance = distances.argsort() 23 classCount = {} 24 for i in xrange(k): 25 voteLabel = labels[sortedDistance[i]] 26 classCount[voteLabel] = classCount.get(voteLabel,0) + 1 27 res = max(classCount) 28 return res 29 30 def main(): 31 group,labels = createDataSet() 32 t = kNNclassify([0,0],group,labels,3) 33 print t 34 35 if __name__=='__main__': 36 main() 37
-
kNN應用實例
手寫識別系統的實現
數據集：
兩個數據集：training和test。分類的標號在文件名中。像素32*32的。數據大概這個樣子：
方法：
kNN的使用，不過這個距離算起來比較復雜（1024個特征），主要是要處理如何讀取數據這個問題的，比較方面直接調用就可以了。
速度：
速度還是比較慢的，這里數據集是：training 2000+，test 900+（i5的CPU）
k=3的時候要32s+
-
1 #coding=utf-8 2 from numpy import * 3 import operator 4 import os 5 import time 6 7 def createDataSet(): 8 group = array([[1.0, 0.9], [1.0, 1.0], [0.1, 0.2], [0.0, 0.1]]) 9 labels = ['A','A','B','B'] 10 return group,labels 11 #inputX表示輸入向量（也就是我們要判斷它屬於哪一類的） 12 #dataSet表示訓練樣本 13 #label表示訓練樣本的標簽 14 #k是最近鄰的參數，選最近k個 15 def kNNclassify(inputX, dataSet, labels, k): 16 dataSetSize = dataSet.shape[0]#計算有幾個訓練數據 17 #開始計算歐幾里得距離 18 diffMat = tile(inputX, (dataSetSize,1)) - dataSet 19 #diffMat = inputX.repeat(dataSetSize, aixs=1) - dataSet 20 sqDiffMat = diffMat ** 2 21 sqDistances = sqDiffMat.sum(axis=1)#矩陣每一行向量相加 22 distances = sqDistances ** 0.5 23 #歐幾里得距離計算完畢 24 sortedDistance = distances.argsort() 25 classCount = {} 26 for i in xrange(k): 27 voteLabel = labels[sortedDistance[i]] 28 classCount[voteLabel] = classCount.get(voteLabel,0) + 1 29 res = max(classCount) 30 return res 31 32 def img2vec(filename): 33 returnVec = zeros((1,1024)) 34 fr = open(filename) 35 for i in range(32): 36 lineStr = fr.readline() 37 for j in range(32): 38 returnVec[0,32*i+j] = int(lineStr[j]) 39 return returnVec 40 41 def handwritingClassTest(trainingFloder,testFloder,K): 42 hwLabels = [] 43 trainingFileList = os.listdir(trainingFloder) 44 m = len(trainingFileList) 45 trainingMat = zeros((m,1024)) 46 for i in range(m): 47 fileName = trainingFileList[i] 48 fileStr = fileName.split('.')[0] 49 classNumStr = int(fileStr.split('_')[0]) 50 hwLabels.append(classNumStr) 51 trainingMat[i,:] = img2vec(trainingFloder+'/'+fileName) 52 testFileList = os.listdir(testFloder) 53 errorCount = 0.0 54 mTest = len(testFileList) 55 for i in range(mTest): 56 fileName = testFileList[i] 57 fileStr = fileName.split('.')[0] 58 classNumStr = int(fileStr.split('_')[0]) 59 vectorUnderTest = img2vec(testFloder+'/'+fileName) 60 classifierResult = kNNclassify(vectorUnderTest, trainingMat, hwLabels, K) 61 #print classifierResult,' ',classNumStr 62 if classifierResult != classNumStr: 63 errorCount +=1 64 print 'tatal error ',errorCount 65 print 'error rate',errorCount/mTest 66 67 def main(): 68 t1 = time.clock() 69 handwritingClassTest('trainingDigits','testDigits',3) 70 t2 = time.clock() 71 print 'execute ',t2-t1 72 if __name__=='__main__': 73 main() 74