一、简介 　　KNN（k-nearst neighbors，KNN）作为机器学习算法中的一种非常基本的算法，也正是因为其原理简单，被广泛应用于电影/音乐推荐等方面，即有些时候我们很难去建立确切的模型来描述几种类别的具体表征特点，就可以利用天然的临近关系来进行分类； 二、原理 　　KNN ...

一、简介 　　作为集成学习中非常著名的方法，随机森林被誉为“代表集成学习技术水平的方法”，由于其简单、容易实现、计算开销小，使得它在现实任务中得到广泛使用，因为其来源于决策树和bagging，决策树我在前面的一篇博客中已经详细介绍，下面就来简单介绍一下集成学习与Bagging； 二、集成 ...

一、简介 　　逻辑回归（Logistic Regression），与它的名字恰恰相反，它是一个分类器而非回归方法，在一些文献里它也被称为logit回归、最大熵分类器（MaxEnt）、对数线性分类器等；我们都知道可以用回归模型来进行回归任务，但如果要利用回归模型来进行分类该怎么办呢？本文介绍的逻辑 ...

损失来选择最优的类别标记结果。 　 二、贝叶斯决策论的基本原理 　　我们以多分类任务为例： 　　 ...

一、简介 　　机器学习分为很多个领域，其中的连接主义指的就是以神经元（neuron）为基本结构的各式各样的神经网络，规范的定义是：由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界的刺激作出的交互反应。而我们在机器学习中广泛提及的神经网络学习就是机器学习 ...

DBSCAN算法是一种很典型的密度聚类法，它与K-means等只能对凸样本集进行聚类的算法不同，它也可以处理非凸集。 关于DBSCAN算法的原理，笔者觉得下面这篇写的甚是清楚练达，推荐大家阅读： https://www.cnblogs.com/pinard/p/6208966.html ...

前几篇我们较为详细地介绍了K-means聚类法的实现方法和具体实战，这种方法虽然快速高效，是大规模数据聚类分析中首选的方法，但是它也有一些短板，比如在数据集中有脏数据时，由于其对每一个类的准则函数为平方误差，当样本数据中出现了不合理的极端值，会导致最终聚类结果产生一定的误差，而本篇将要介绍 ...

的，这时使用的构造二次判别函数进行判别类别的方法叫做二次判别法，下面分别在R和Python中实现二次判 ...