寫這個系列是因為最近公司在搞技術分享，學習Spark，我的任務是講PySpark的應用，因為我主要用Python，結合Spark，就講PySpark了。然而我在學習的過程中發現，PySpark很雞肋（至少現在我覺得我不會拿PySpark做開發）。為什么呢？原因 ...

數據上的表現怎么樣呢？在實際生產中，我們經常需要即使處理收到的數據，比如實時機器學習模型的應用，自動異常的 ...

密度聚類（Density-based Clustering）假設聚類結構能夠通過樣本分布的緊密程度來確定。DBSCAN是常用的密度聚類算法，它通過一組鄰域參數（ϵ">ϵϵ，MinPts">MinPtsMinPts）來描述樣本分布的緊密程度。給定數據集D">DD={x& ...

層次聚類（hierarchical clustering）可在不同層次上對數據集進行划分，形成樹狀的聚類結構。AggregativeClustering是一種常用的層次聚類算法。   其原理是：最初將每個對象看成一個簇，然后將這些簇根據某種規則被一步步合並，就這樣不斷合並直到達到預設的簇類個數 ...

背景與原理： 聚類問題與分類問題有一定的區別，分類問題是對每個訓練數據，我給定了類別的標簽，現在想要訓練一個模型使得對於測試數據能輸出正確的類別標簽，更多見於監督學習；而聚類問題則是我們給出了一組數據，我們並沒有預先的標簽，而是由機器考察這些數據之間的相似性，將相似的數據聚為一類，是無監督學習 ...

公式實在不好敲呀，我拍了我筆記上的公式部分。原諒自己小學生的字體（太丑了）。 聚類屬於無監督學習方法，典型的無監督學習方法還有密度估計和異常檢測。 聚類任務：將數據集中的樣本划分為若干個不相交的子集，每個子集為一個類。 性能指標（有效性指標）：類內相似度高，類間相似度低。 性能度量 ...

K-means是一種常用的聚類算法，進階版展示如下，代碼傳送門： 效果圖： 備注：本文代碼系非原創的，因需要做聚類，幾乎將博客里的關於這部分的代碼都嘗試了一遍，這份代碼是沒有報錯的，感恩大神。 ...

簡介 前面介紹的線性回歸，SVM等模型都是基於數據有標簽的監督學習方法，本文介紹的聚類方法是屬於無標簽的無監督學習方法。其他常見的無監督學習還有密度估計，異常檢測等。 聚類就是對大量未知標注的數據集，按照數據的內在相似性將數據集划分為多個類別（在聚類算法中稱為簇），使類別內的數據相似度高，二類 ...