写这个系列是因为最近公司在搞技术分享，学习Spark，我的任务是讲PySpark的应用，因为我主要用Python，结合Spark，就讲PySpark了。然而我在学习的过程中发现，PySpark很鸡肋（至少现在我觉得我不会拿PySpark做开发）。为什么呢？原因 ...

数据上的表现怎么样呢？在实际生产中，我们经常需要即使处理收到的数据，比如实时机器学习模型的应用，自动异常的 ...

密度聚类（Density-based Clustering）假设聚类结构能够通过样本分布的紧密程度来确定。DBSCAN是常用的密度聚类算法，它通过一组邻域参数（ϵ">ϵϵ，MinPts">MinPtsMinPts）来描述样本分布的紧密程度。给定数据集D">DD={x& ...

层次聚类（hierarchical clustering）可在不同层次上对数据集进行划分，形成树状的聚类结构。AggregativeClustering是一种常用的层次聚类算法。   其原理是：最初将每个对象看成一个簇，然后将这些簇根据某种规则被一步步合并，就这样不断合并直到达到预设的簇类个数 ...

背景与原理： 聚类问题与分类问题有一定的区别，分类问题是对每个训练数据，我给定了类别的标签，现在想要训练一个模型使得对于测试数据能输出正确的类别标签，更多见于监督学习；而聚类问题则是我们给出了一组数据，我们并没有预先的标签，而是由机器考察这些数据之间的相似性，将相似的数据聚为一类，是无监督学习 ...

公式实在不好敲呀，我拍了我笔记上的公式部分。原谅自己小学生的字体（太丑了）。 聚类属于无监督学习方法，典型的无监督学习方法还有密度估计和异常检测。 聚类任务：将数据集中的样本划分为若干个不相交的子集，每个子集为一个类。 性能指标（有效性指标）：类内相似度高，类间相似度低。 性能度量 ...

K-means是一种常用的聚类算法，进阶版展示如下，代码传送门： 效果图： 备注：本文代码系非原创的，因需要做聚类，几乎将博客里的关于这部分的代码都尝试了一遍，这份代码是没有报错的，感恩大神。 ...

简介 前面介绍的线性回归，SVM等模型都是基于数据有标签的监督学习方法，本文介绍的聚类方法是属于无标签的无监督学习方法。其他常见的无监督学习还有密度估计，异常检测等。 聚类就是对大量未知标注的数据集，按照数据的内在相似性将数据集划分为多个类别（在聚类算法中称为簇），使类别内的数据相似度高，二类 ...