k-近鄰算法（kNN）完整代碼

from numpy import *#科學計算包
from numpy import tile
from numpy import zeros
import operator     #運算符模塊
import importlib
import sys
importlib.reload(sys)

def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group,labels

def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    #距離計算
    diffMat = tile(inX, (dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2      #平方
    sqDistances = sqDiffMat.sum(axis=1)     #根號下平方相加
    distances = sqDistances**0.5    #根號
    sortedDistIndicies = distances.argsort()    #排序
    classCount={}
    #選擇距離最小的k個點
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
        #排序，將classCount字典分解為元祖列表，導入itemgeeter方法，按照第二個元素的次序對元祖進行排序
        #此處排序為逆序，即從大到小排序，最后返回發生頻率最高的元素標簽。
        sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
        return sortedClassCount[0][0]
    # 為預測數據所在分類：kNN.classify0([0,0], group, labels, 3)

# mat()函數可以將數組(array)轉化為矩陣（matrix）
# randMat = mat(random.rand(4,4))
# 求逆矩陣：randMat.I
# 存儲逆矩陣：invRandMat = randMat.I
# 矩陣乘法：randMat*invRandMat
# 求誤差值：myEye = randMat*invRandMat
        #myEye - eye(4)
        #eye(4)創建4*4的單位矩陣
# 使用createDataSet()函數，創建數據集和標簽
# 創建變量group和labels：group,labels = kNN.createDataSet()
# labels包含的元素個數 = group矩陣的行數
# 輸入變量名字檢驗是否正確：group和labels
#
#
# 准備數據：從文本文件中解析數據
# 在kNN.py中創建名為file2matrix的函數，處理輸入格式問題
# 該函數的輸入為文件名字符串，輸出為訓練樣本矩陣和類標簽向量
# 將文本記錄到轉換Numpy的解析程序
def file2matrix(filename):
    fr = open(filename)
    arrayOLines = fr.readlines()
    numberOfLines = len(arrayOLines)    #得到文件行數
    returnMat = zeros((numberOfLines,3))    #創建返回的Numpy矩陣
    classLabelVector = []
    index = 0
    for line in arrayOLines:    #解析文件數據列表
        line = line.strip()     #使用line.strip（）截取掉所有的回車字符
        listFromLine = line.split('\t')     #使用tab字符\t將上一步得到的整行數據分割成一個元素列表
        returnMat[index,:] = listFromLine[0:3]      #選取前三個元素，存儲到特征矩陣中
        classLabelVector.append(int(listFromLine[-1]))      #-1表示列表中的最后一列元素，存儲到向量classLabelVector中
        index += 1
        return returnMat,classLabelVector

#准備數據：歸一化數值
def autoNorm(dataSet):      #autoNorm()函數可以自動將數字特征值轉換為0到1的區間
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)    #ddataSet.max(0)中的參數0使得函數可以從列中選取最小值
    ranges = maxVals - minVals
    normDataSet = zeros(shape(dataSet))
    m = dataSet.shape[0]
    #newValue = (oldValue-min)/(max-min)，該公式可以將任意取值范圍的特征值轉換為0到1區間內的值
    #tile()函數將變量內容復制成輸入矩陣同樣大小的矩陣（具體特征值相除）
    #在numpy庫中，矩陣除法需要使用函數linalg.solve(matA,matB)
    normDataSet = dataSet - tile(minVals, (m,1))
    normDataSet = normDataSet/tile(ranges, (m,1))
    return normDataSet, ranges, minVals

#測試算法：作為完整程序驗證分類器
def datingClassTest():
    hoRatio = 0.10  #設置測試集比重，前10%作為測試集，后90%作為訓練集
    datingDataMat,datingLabels = file2matrix('datingTestSet.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]    #得到樣本數量m
    numTestVecs = int(m*hoRatio)    #得到測試集最后一個樣本的位置
    errorCount = 0.0    #初始化定義錯誤個數為0
    for i in range(numTestVecs):
        #測試集中元素逐一放進分類器測試，k = 3
        classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)
        #輸出分類結果與實際label
        print("the classifier came back with: %d, the real answer is: %d"% (classifierResult, datingLabels[i]))
        #若預測結果與實際label不同，則errorCount+1
        if (classifierResult !=datingLabels[i]): errorCount += 1.0
        #輸出錯誤率 = 錯誤的個數 / 總樣本個數
        print("the total error rate is: %f" % (errorCount/float(numTestVecs)))


#約會網站預測數據
def classifyPersion():
    resultList = ['not at all','in small doses','in large doses']
    #input()函數允許用戶輸入文本行命令並返回用戶所輸入的命令
    percentTats = float(input("percentage of time spent playing video games?"))
    ffMiles = float(input("frequent year?"))
    iceCream = float(input("liters years?"))
    datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    inArr = array([ffMiles,percentTats, iceCream])
    classifierResult = classify0((inArr-minVals)/ranges,normMat,datingLabels,3)
    print("you like person:",resultList[classifierResult - 1])


#准備數據：將圖像轉換為測試向量
#img2vector函數，將圖像轉換為向量：該函數創建1*2014的numpy數組，
#然后打開給定的文件，循環讀出文件的前32行，並將每行的頭32個字符值存儲在numpy數組中，最后返回數組
def img2vector(filename):
    returnVect = zeros((1,1024))
    fr = open(filename)
    for i in range(32):
        lineStr = fr.readline()
        for j in range(32):
            returnVect[0,32*i+j] = int(lineStr[j])
            return returnVect

#測試算法：識別手寫數字
def handwritingClassTest():
    hwLabels = []
    trainingFileList = os.listdir('trainingDigits')
    m = len(trainingFileList)
    trainingMat = zeros((m,1024))
    #文件名下划線_左邊的數字是標簽
    for i in range(m):
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split(".")[0]
        classNumStr = int(fileStr.split('_')[0])
        hwLabels.append(classNumStr)
        trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)
    testFileList = os.listdir('trainingDigits')
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]  # take off .txt
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vector('digits/testDigits/%s' % fileNameStr)
        classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
        print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr))
        if (classifierResult != classNumStr): errorCount += 1.0
    print("the total number of errors is: %d" % errorCount)
    print("the total error rate is: %f" % (errorCount / float(mTest)))