kmeans理解

    最近看到Andrew Ng的一篇論文，文中用到了Kmeans和DL結合的思想，突然發現自己對ML最基本的聚類算法都不清楚，於是着重的看了下Kmeans，並在網上找了程序跑了下。

kmeans是unsupervised learning最基本的一個聚類算法，我們可以用它來學習無標簽的特征，其基本思想如下：

    首先給出原始數據{x1,x2,...,xn}，這些數據沒有被標記的。

    初始化k個隨機數據u1,u2,...,uk，每一個ui都是一個聚類中心，k就是分為k類，這些xn和uk都是向量。

    根據下面兩個公式迭代就能求出最終所有的聚類中心u。

    formula 1：

                                                                              

    其中xi是第i個data，uj是第j（1~k）的聚類中心，這個公式的意思就是求出每一個data到k個聚類中心的距離，並求出最小距離，那么數據xi就可以歸到這一類。

    formula 2：

                                                                              

    這個公式的目的是求出新的聚類中心，由於之前已經求出來每一個data到每一類的聚類中心uj，那么可以在每一類總求出其新的聚類中心（用這一類每一個data到中心的距離之和除以總的data），分別對k類同樣的處理，這樣我們就得到了k個新的聚類中心。

    反復迭代公式一和公式二，知道聚類中心不怎么改變為止。

    我們利用3維數據進行kmeans，代碼如下：

    run_means.m

%%用來kmeans聚類的一個小代碼

clear all;
close all;
clc;

%第一類數據
mu1=[0 0 0];  %均值
S1=[0.3 0 0;0 0.35 0;0 0 0.3];  %協方差
data1=mvnrnd(mu1,S1,100);   %產生高斯分布數據

%%第二類數據
mu2=[1.25 1.25 1.25];
S2=[0.3 0 0;0 0.35 0;0 0 0.3];
data2=mvnrnd(mu2,S2,100);

%第三個類數據
mu3=[-1.25 1.25 -1.25];
S3=[0.3 0 0;0 0.35 0;0 0 0.3];
data3=mvnrnd(mu3,S3,100);

%顯示數據
plot3(data1(:,1),data1(:,2),data1(:,3),'+');
hold on;
plot3(data2(:,1),data2(:,2),data2(:,3),'r+');
plot3(data3(:,1),data3(:,2),data3(:,3),'g+');
grid on;

%三類數據合成一個不帶標號的數據類
data=[data1;data2;data3];   %這里的data是不帶標號的

%k-means聚類
[u re]=KMeans(data,3);  %最后產生帶標號的數據，標號在所有數據的最后，意思就是數據再加一維度
[m n]=size(re);

%最后顯示聚類后的數據
figure;
hold on;
for i=1:m
    if re(i,4)==1
         plot3(re(i,1),re(i,2),re(i,3),'ro');
    elseif re(i,4)==2
         plot3(re(i,1),re(i,2),re(i,3),'go');
    else
         plot3(re(i,1),re(i,2),re(i,3),'bo');
    end
end
grid on;

 

    KMeans.m

%N是數據一共分多少類
%data是輸入的不帶分類標號的數據
%u是每一類的中心
%re是返回的帶分類標號的數據
function [u re]=KMeans(data,N)
    [m n]=size(data);   %m是數據個數，n是數據維數
    ma=zeros(n);        %每一維最大的數
    mi=zeros(n);        %每一維最小的數
    u=zeros(N,n);       %隨機初始化，最終迭代到每一類的中心位置
    for i=1:n
       ma(i)=max(data(:,i));    %每一維最大的數
       mi(i)=min(data(:,i));    %每一維最小的數
       for j=1:N
            u(j,i)=ma(i)+(mi(i)-ma(i))*rand();  %隨機初始化，不過還是在每一維[min max]中初始化好些
       end
    end

    while 1
        pre_u=u;            %上一次求得的中心位置
        for i=1:N
            tmp{i}=[];      % 公式一中的x(i)-uj,為公式一實現做准備
            for j=1:m
                tmp{i}=[tmp{i};data(j,:)-u(i,:)];
            end
        end

        quan=zeros(m,N);
        for i=1:m        %公式一的實現
            c=[];        %c 是到每類的距離
            for j=1:N
                c=[c norm(tmp{j}(i,:))];
            end
            [junk index]=min(c);
            quan(i,index)=norm(tmp{index}(i,:));
        end

        for i=1:N            %公式二的實現
           for j=1:n
                u(i,j)=sum(quan(:,i).*data(:,j))/sum(quan(:,i));
           end
        end

        if norm(pre_u-u)<0.1  %不斷迭代直到位置不再變化
            break;
        end
    end

    re=[];
    for i=1:m
        tmp=[];
        for j=1:N
            tmp=[tmp norm(data(i,:)-u(j,:))];
        end
        [junk index]=min(tmp);
        re=[re;data(i,:) index];
    end

end

    原始數據如下所示，分為三類：

                                                              

    當k取2時，聚成2類：

                                                              

    當k取3時，聚成3類：