碼上快樂

相關內容    簡體    繁體

簡單易學的機器學習算法——基於密度的聚類算法DBSCAN

本文轉載自   查看原文   2018-05-10 15:41   4398 

一、基於密度的聚類算法的概述

    最近在Science上的一篇基於密度的聚類算法《Clustering by fast search and find of density peaks》引起了大家的關注(在我的博文“ 論文中的機器學習算法——基於密度峰值的聚類算法”中也進行了中文的描述)。於是我就想了解下基於密度的聚類算法，熟悉下基於密度的聚類算法與基於距離的聚類算法，如K-Means算法之間的區別。
    基於密度的聚類算法主要的目標是尋找被低密度區域分離的高密度區域。與基於距離的聚類算法不同的是，基於距離的聚類算法的聚類結果是球狀的簇，而基於密度的聚類算法可以發現任意形狀的聚類，這對於帶有噪音點的數據起着重要的作用。

二、DBSCAN算法的原理

1、基本概念

    DBSCAN(Density-Based Spatial Clustering of Application with Noise)是一種典型的基於密度的聚類算法，在DBSCAN算法中將數據點分為一下三類：
  • 核心點。在半徑Eps內含有超過MinPts數目的點
  • 邊界點。在半徑Eps內點的數量小於MinPts，但是落在核心點的鄰域內
  • 噪音點。既不是核心點也不是邊界點的點
在這里有兩個量，一個是半徑Eps，另一個是指定的數目MinPts。
    一些其他的概念
  1. Eps鄰域。簡單來講就是與點的距離小於等於Eps的所有的點的集合，可以表示為。
  2. 直接密度可達。如果在核心對象的Eps鄰域內，則稱對象從對象出發是直接密度可達的。
  3. 密度可達。對於對象鏈：，是從關於Eps和MinPts直接密度可達的，則對象是從對象關於Eps和MinPts密度可達的。

2、算法流程

(流程)

三、實驗仿真

    在實驗中使用了兩個測試數據集，數據集的原始圖像如下：
(數據集1)
(數據集2)
數據集1相對比較簡單。顯然我們可以發現數據集1共有兩個類，數據集2有四個類，下面我們通過DBSCAN算法實現數據點的聚類：
 
MATLAB代碼
主程序
 
 
[plain]  view plain  copy
 
  1. %% DBSCAN  
  2. clear all;  
  3. clc;  
  4.   
  5. %% 導入數據集  
  6. % data = load('testData.txt');  
  7. data = load('testData_2.txt');  
  8.   
  9. % 定義參數Eps和MinPts  
  10. MinPts = 5;  
  11. Eps = epsilon(data, MinPts);  
  12.   
  13. [m,n] = size(data);%得到數據的大小  
  14.   
  15. x = [(1:m)' data];  
  16. [m,n] = size(x);%重新計算數據集的大小  
  17. types = zeros(1,m);%用於區分核心點1，邊界點0和噪音點-1  
  18. dealed = zeros(m,1);%用於判斷該點是否處理過,0表示未處理過  
  19. dis = calDistance(x(:,2:n));  
  20. number = 1;%用於標記類  
  21.   
  22. %% 對每一個點進行處理  
  23. for i = 1:m  
  24.     %找到未處理的點  
  25.     if dealed(i) == 0  
  26.         xTemp = x(i,:);  
  27.         D = dis(i,:);%取得第i個點到其他所有點的距離  
  28.         ind = find(D<=Eps);%找到半徑Eps內的所有點  
  29.           
  30.         %% 區分點的類型  
  31.           
  32.         %邊界點  
  33.         if length(ind) > 1 && length(ind) < MinPts+1  
  34.             types(i) = 0;  
  35.             class(i) = 0;  
  36.         end  
  37.         %噪音點  
  38.         if length(ind) == 1  
  39.             types(i) = -1;  
  40.             class(i) = -1;  
  41.             dealed(i) = 1;  
  42.         end  
  43.         %核心點(此處是關鍵步驟)  
  44.         if length(ind) >= MinPts+1  
  45.             types(xTemp(1,1)) = 1;  
  46.             class(ind) = number;  
  47.               
  48.             % 判斷核心點是否密度可達  
  49.             while ~isempty(ind)  
  50.                 yTemp = x(ind(1),:);  
  51.                 dealed(ind(1)) = 1;  
  52.                 ind(1) = [];  
  53.                 D = dis(yTemp(1,1),:);%找到與ind(1)之間的距離  
  54.                 ind_1 = find(D<=Eps);  
  55.                   
  56.                 if length(ind_1)>1%處理非噪音點  
  57.                     class(ind_1) = number;  
  58.                     if length(ind_1) >= MinPts+1  
  59.                         types(yTemp(1,1)) = 1;  
  60.                     else  
  61.                         types(yTemp(1,1)) = 0;  
  62.                     end  
  63.                       
  64.                     for j=1:length(ind_1)  
  65.                        if dealed(ind_1(j)) == 0  
  66.                           dealed(ind_1(j)) = 1;  
  67.                           ind=[ind ind_1(j)];     
  68.                           class(ind_1(j))=number;  
  69.                        end                      
  70.                    end  
  71.                 end  
  72.             end  
  73.             number = number + 1;  
  74.         end  
  75.     end  
  76. end  
  77.   
  78. % 最后處理所有未分類的點為噪音點  
  79. ind_2 = find(class==0);  
  80. class(ind_2) = -1;  
  81. types(ind_2) = -1;  
  82.   
  83. %% 畫出最終的聚類圖  
  84. hold on  
  85. for i = 1:m  
  86.     if class(i) == -1  
  87.         plot(data(i,1),data(i,2),'.r');  
  88.     elseif class(i) == 1  
  89.         if types(i) == 1  
  90.             plot(data(i,1),data(i,2),'+b');  
  91.         else  
  92.             plot(data(i,1),data(i,2),'.b');  
  93.         end  
  94.     elseif class(i) == 2  
  95.         if types(i) == 1  
  96.             plot(data(i,1),data(i,2),'+g');  
  97.         else  
  98.             plot(data(i,1),data(i,2),'.g');  
  99.         end  
  100.     elseif class(i) == 3  
  101.         if types(i) == 1  
  102.             plot(data(i,1),data(i,2),'+c');  
  103.         else  
  104.             plot(data(i,1),data(i,2),'.c');  
  105.         end  
  106.     else  
  107.         if types(i) == 1  
  108.             plot(data(i,1),data(i,2),'+k');  
  109.         else  
  110.             plot(data(i,1),data(i,2),'.k');  
  111.         end  
  112.     end  
  113. end  
  114. hold off  
 
距離計算函數
[plain]  view plain  copy
 
  1. %% 計算矩陣中點與點之間的距離  
  2. function [ dis ] = calDistance( x )  
  3.     [m,n] = size(x);  
  4.     dis = zeros(m,m);  
  5.       
  6.     for i = 1:m  
  7.         for j = i:m  
  8.             %計算點i和點j之間的歐式距離  
  9.             tmp =0;  
  10.             for k = 1:n  
  11.                 tmp = tmp+(x(i,k)-x(j,k)).^2;  
  12.             end  
  13.             dis(i,j) = sqrt(tmp);  
  14.             dis(j,i) = dis(i,j);  
  15.         end  
  16.     end  
  17. end  

epsilon函數
[plain]  view plain  copy
 
  1. function [Eps]=epsilon(x,k)  
  2.   
  3. % Function: [Eps]=epsilon(x,k)  
  4. %  
  5. % Aim:   
  6. % Analytical way of estimating neighborhood radius for DBSCAN  
  7. %  
  8. % Input:   
  9. % x - data matrix (m,n); m-objects, n-variables  
  10. % k - number of objects in a neighborhood of an object  
  11. % (minimal number of objects considered as a cluster)  
  12.   
  13.   
  14.   
  15. [m,n]=size(x);  
  16.   
  17. Eps=((prod(max(x)-min(x))*k*gamma(.5*n+1))/(m*sqrt(pi.^n))).^(1/n);  


 
最終的結果
 
(數據集1的聚類結果)
(數據集2的聚類結果)
在上面的結果中，紅色的點代表的是噪音點，點代表的是邊界點，十字代表的是核心點。不同的顏色代表着不同的類。
 

參考文獻

[1] M. Ester, H. Kriegel, J. Sander, X. Xu, A density-based algorithm for discovering clusters in large spatial databases with noise,  www.dbs.informatik.uni-muenchen.de/cgi-bin/papers?query=--CO
[2] M. Daszykowski, B. Walczak, D. L. Massart, Looking for Natural Patterns in Data. Part 1: Density Based Approach


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 【機器學習】DBSCAN 密度聚類算法原理與實現 【機器學習】DBSCAN Algorithms基於密度的聚類算法 5.機器學習——DBSCAN聚類算法 機器學習之DBSCAN聚類算法 機器學習——dbscan密度聚類 DBSCAN密度聚類算法 DBSCAN密度聚類算法 基於密度的聚類之Dbscan算法 DBSCAN密度聚類算法 密度聚類 - DBSCAN算法
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM