機器學習實戰——k-近鄰算法

　本章內容

================================

（一）什么是k-近鄰分類算法

（二）怎樣從文件中解析和導入數據

（三）使用Matplotlib創建擴散圖

（四）對數據進行歸一化

=================================

 

（一） 什么是k-近鄰分類算法

 

簡單地說，k-近鄰算法采用測量不同特征值之間的距離方法進行分類，k-近鄰是一種有監督的分類算法。

k-近鄰的工作原理：存在一個樣本數據集，也稱之為訓練樣本集，並且樣本集中的每個數據都存在標簽，即每個樣本所屬的類別。輸入沒有標簽的新數據，將新數據的每個特征與樣本數據集中的每一個數據的特征進行比較，然后提取與新數據最相似的k個樣本數據集，根據這k個樣本數據集的類別標簽，這k個樣本數據中出現最多的類別即為新數據的類別標簽。

 

舉例：根據表中提供的信息，求最后一部電影的電影類型？下圖是每部電影的打斗鏡頭數、接吻鏡頭數以及電影評估類型

本文結合k-近鄰分類算法的一般步驟，利用python代碼實現。

k-近鄰分類算法的一般步驟：

（1）導入數據

from numpy import *
import operator

def createDataSet():
    '''
    Use two arrays represent the information of chart.
    '''
    group = array([[3,104],[2,100],[1,81],[101,10],[99,5],[98,2]])
    label = ['love','love','love','action','action','action']
    return group, label

（2）分類器的實現

def classify(x, dataSet, label, k):
    '''
    The kNN classifier.
    '''

    '''
    Compute the distance
    '''
    # shape return [m,n]
    # m is the row number of the array
    # n is the column number of the array
    dataSetSize = dataSet.shape[0]
    # tile can expand a vector to an array
    # (dataSetSize, 1) expand row and column
    # x = [1,3]
    # print(tile(x,(3,1)))
    # result [[1,3],[1,3],[1,3]]
    diffMat = tile(x, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat ** 2
    # sqDistance is a 1 x m array
    sqDistance = sqDiffMat.sum(axis=1)
    distances = sqDistance ** 0.5

    '''
    Choose the k samples, according to the distances
    '''
    sortedDistIndicies = distances.argsort()
    classCount = {}
    for i in range(k):
        voteIlabel = label[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1

    '''
    Sort and find the max class
    '''
    sortedClassCount = sorted(classCount.iteritems(),
                              key = operator.itemgetter(1),
                              reverse = True)
    return sortedClassCount[0][0]

（3）測試新數據

group , labels = createDataSet()
x = [18, 90]
print(classify(x,group,labels,3))

（4）實驗結果

 love 

 

 

===========================================

 

（二）怎樣從文件中解析和導入數據

一般原始的數據存放在文本文件中，每個樣本占據一行，N個樣本就有N行.每個樣本數據有n個特征，最后一列為樣本的類別。

怎樣將數據從文件中讀取到數組中呢？

def file2matrix(filename, n):
    f = open(filename)
    arrayOLines = f.readlines()
    numberOfLines = len(arrayOLines)
    returnMat = zeros((numberOfLines,n))
    classLabelVector = []
    index = 0
    for line in arrayOLines:
        line = line.strip()
        listFormLine = line.split('\t')
        returnMat[index,:] = listFormLine[0:n]
        classLabelVector.append(int(listFormLine[-1]))
        index += 1
    return  returnMat, classLabelVector

 

　

==========================================

 

（三）使用Matplotlib創建散點圖分析數據

Matplotlib可以將數據的兩種類型的特征表示在一張2D的圖中。

import matplotlib.pyplot as plt
from numpy import *
datmax = array([[2,3],[4,5]])
plt.scatter(datmax[:,0],datmax[:,1])
plt.xlabel('Feature0')
plt.ylabel('Feature1')
plt.show()

結果如下：

 

 

============================================

 

（四）歸一化數值

 

如下圖所示，我們很容易發現，使用歐式距離衡量數據之間的相似度，特數字差值最大的特征對計算結果影響最大，就如下圖，每年獲得的飛行常客里程數這個特征對計算結果的影響遠大於其他兩個特征的影響。若訓練過程中，我們認為每一特征是等權重的。

在處理這種不同取值范圍的特征值時，我們通常采用的方法是將數值歸一化，將取值范圍處理為[0,1]或[-1,1]。

本文以最大最小進行歸一化：

from numpy import *

def autoNorm(dataSet):
    '''
    Use Max-min method to normalize the feature value
    '''

    # find the min value of each feature 
    # minVals is a 1 X m (m is the number of feature)
    minVals = dataSet.min(0)
    # find the max value of each feature 
    # maxVals is a 1 X m (m is the number of feature)
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    normDataSet = zeros(shape(dataSet))
    # the number of samples
    m = dataSet.shape[0]
    normDataSet = dataSet - tile(minVals,(m,1))
    normDataSet = normDataSet / tile(ranges,(m,1))
20     return normDataSet, minVals, ranges

 

測試數據：

10%作為測試集

90%作為訓練集

def datingClassTest():
    '''
    Test 
    '''
    # hold out 10%
    hoRatio = 0.10  
    # load dataSet file
    datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')       #load data setfrom file
    normMat, ranges, minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    numTestVecs = int(m*hoRatio)
    errorCount = 0.0
    for i in range(numTestVecs):
        classifierResult = classify(normMat[i], normMat[numTestVecs:m], datingLabels[numTestVecs:m], 3)
        if (classifierResult != datingLabels[i]):
            errorCount += 1.0
    print ("the total error rate is: %f" % (errorCount/float(numTestVecs)))
    print errorCount,numTestVecs

 

===========================================

 

（五）總結

優點：精度高、對異常值不敏感、無數據輸入假定。

缺點：計算復雜度高、空間復雜度高。

使用數據范圍：數值型和標稱型。