我們之前接觸的所有機器學習算法都有一個共同特點，那就是分類器會接受2個向量：一個是訓練樣本的特征向量X，一個是樣本實際所屬的類型向量Y。由於訓練數據必須指定其真實分類結果，因此這種機器學習統稱為有監督學習。
然而有時候，我們只有訓練樣本的特征，而對其類型一無所知。這種情況，我們只能讓算法嘗試在訓練數據中尋找其內部的結構，試圖將其類別挖掘出來。這種方式叫做無監督學習。由於這種方式通常是將樣本中相似的樣本聚集在一起，所以又叫聚類算法。
下面我們介紹一個最常用的聚類算法：K均值聚類算法（K-Means）。
1、K均值聚類
K-Means算法思想簡單，效果卻很好，是最有名的聚類算法。聚類算法的步驟如下：
1：初始化K個樣本作為初始聚類中心；
2：計算每個樣本點到K個中心的距離，選擇最近的中心作為其分類，直到所有樣本點分類完畢；
3：分別計算K個類中所有樣本的質心，作為新的中心點，完成一輪迭代。
通常的迭代結束條件為新的質心與之前的質心偏移值小於一個給定閾值。
下面給一個簡單的例子來加深理解。如下圖有4個樣本點，坐標分別為A(-1,-1),B(1,-1),C(-1,1),D(1,1)。現在要將他們聚成2類，指定A、B作為初始聚類中心（聚類中心A0, B0），指定閾值0.1。K-Means迭代過程如下：
step 1.1：計算各樣本距離聚類中心的距離：
樣本A：d(A,A0) = 0; d(A,B0) = 2;因此樣本A屬於A0所在類；
樣本B：d(B,A0) = 2; d(B,B0) = 0;因此樣本B屬於B0所在類；
樣本C：d(C,A0) = 2; d(C,B0) = 2.8;;因此樣本C屬於A0所在類；
樣本C：d(D,A0) = 2.8; d(D,B0) = 2;;因此樣本C屬於B0所在類；
step 1.2：全部樣本分類完畢，現在計算A0類（包含樣本AC）和B0類（包含樣本BD）的新的聚類中心：
A1 = (-1, 0); B1 = (1,0);
step 1.3：計算聚類中心的偏移值是否滿足終止條件：
|A1-A0| = |(-1,0)-(-1,-1) | = |(0,1)| = 1 >0.1，因此繼續迭代。
此時的狀態如下圖所示：
step 2.1：計算各樣本距離聚類中心的距離：
樣本A：d(A,A1) = 1; d(A,B1) = 2.2;因此樣本A屬於A1所在類；
樣本B：d(B,A1) = 2.2; d(B,B1) = 1;因此樣本B屬於B1所在類；
樣本C：d(C,A1) = 1; d(C,B1) = 2.2;;因此樣本C屬於A1所在類；
樣本D：d(D,A1) = 2.2; d(D,B1) = 1;;因此樣本C屬於B1所在類；
step 2.2：全部樣本分類完畢，現在計算A1類（包含樣本AC）和B1類（包含樣本BD）的新的聚類中心：
A2 = (-1, 0); B2 = (1,0);
step 2.3：計算聚類中心的偏移值是否滿足終止條件：
|A2-A1| = |B2-B1| = 0 <0.1，因此迭代終止。
2、測試數據
下面這個測試數據有點類似SNS中的好友關系，假設是10個來自2個不同的圈子的同學的SNS聊天記錄。顯然，同一個圈子內的同學會有更密切的關系和互動。
數據如下所示，每一行代表一個好友關系。如第一行表示同學0與同學1的親密程度為9（越高表示聯系越密切）。
顯然，這個數據中並沒有告知我們這10個同學分別屬於哪個圈子。因此我們的目標是使用K-Means聚類算法，將他們聚成2類。
[plain] view plaincopy
- 0 1 9
- 0 2 5
- 0 3 6
- 0 4 3
- 1 2 8
- ......
這個例子設計的很簡單。我們使用上一篇文章中提到的關系矩陣，將其可視化出來，會看到如下結果：
這是個上三角矩陣，因為這個數據中認為好友關系是對稱的。上圖其實很快能發現，0,1,2,3,4用戶緊密聯系在一起，而5,6,7,8,9組成了另外一個圈子。
下面我們看看K-Means算法能否找出這個答案。
3、代碼與分析
K-Means算法的Python代碼如下：
[python] view plaincopy
- # -*- coding: utf-8 -*-
- from matplotlib import pyplot
- import scipy as sp
- import numpy as np
- from sklearn import svm
- import matplotlib.pyplot as plt
- from sklearn.cluster import KMeans
- from scipy import sparse
- #數據讀入
- data = np.loadtxt('2.txt')
- x_p = data[:, :2] # 取前2列
- y_p = data[:, 2] # 取前2列
- x = (sparse.csc_matrix((data[:,2], x_p.T)).astype(float))[:, :].todense()
- nUser = x.shape[0]
- #可視化矩陣
- pyplot.imshow(x, interpolation='nearest')
- pyplot.xlabel('用戶')
- pyplot.ylabel('用戶')
- pyplot.xticks(range(nUser))
- pyplot.yticks(range(nUser))
- pyplot.show()
- #使用默認的K-Means算法
- num_clusters = 2
- clf = KMeans(n_clusters=num_clusters, n_init=1, verbose=1)
- clf.fit(x)
- print(clf.labels_)
- #指定用戶0與用戶5作為初始化聚類中心
- init = np.vstack([ x[0], x[5] ])
- clf = KMeans(n_clusters=2, init=init)
- clf.fit(x)
- print(clf.labels_)
輸出結果如下：
Initialization complete
Iteration 0, inertia 581.000
Iteration 1, inertia 417.643
Converged at iteration 1
[0 0 1 1 1 1 1 1 1]
[0 0 0 0 1 1 1 1 1]
可以看到，使用默認的K-Means算法將使用隨機的初始值，因此每次執行的結果都不一樣。
上面的輸出中將0,1用戶聚類到一起，效果並不理想。然而，如果我們可以確定用戶0與用戶5是有很大區別的，就可以指定用戶0和用戶5作為K-Means聚類算法的初始值。可以看到和我們的預期完全一致，這樣效果就非常好了。