决策树算法在机器学习中算是很经典的一个算法系列了。它既可以作为分类算法，也可以作为回归算法，同时也特别适合集成学习比如随机森林。本文就对决策树算法原理做一个总结，上篇对ID3， C4.5的算法 ...

　　　　在所有的机器学习分类算法中，朴素贝叶斯和其他绝大多数的分类算法都不同。对于大多数的分类算法，比如决策树,KNN,逻辑回归，支持向量机等，他们都是判别方法，也就是直接学习出特征输出Y和特征X之间 ...

　　　　逻辑回归是一个分类算法，它可以处理二元分类以及多元分类。虽然它名字里面有“回归”两个字，却不是一个回归算法。那为什么有“回归”这个误导性的词呢？个人认为，虽然逻辑回归是分类模型，但是它的原理里 ...

支持向量机原理(一) 线性支持向量机 　　　　支持向量机原理(二) 线性支持向量机的软间隔最大化模型 　　　　支持向量机原理(三)线性不可分支持向量机与核函数 　　　　支持 ...

支持向量机原理(一) 线性支持向量机 　　　　支持向量机原理(二) 线性支持向量机的软间隔最大化模型 　　　　支持向量机原理(三)线性不可分支持向量机与核函数 　　　　支持 ...

　　　最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化 ...

　　　　之前通过一个系列对支持向量机(以下简称SVM)算法的原理做了一个总结，本文从实践的角度对scikit-learn SVM算法库的使用做一个小结。scikit-learn SVM算法库封装了li ...

　　　　在支持向量机(以下简称SVM)的核函数中，高斯核(以下简称RBF)是最常用的，从理论上讲， RBF一定不比线性核函数差，但是在实际应用中，却面临着几个重要的超参数的调优问题。如果调的不好，可能 ...

支持向量机原理(一) 线性支持向量机 　　　　支持向量机原理(二) 线性支持向量机的软间隔最大化模型 　　　　支持向量机原理(三)线性不可分支持向量机与核函数 　　　　支持 ...

　　　　在K近邻法(KNN)原理小结这篇文章，我们讨论了KNN的原理和优缺点，这里我们就从实践出发，对scikit-learn 中KNN相关的类库使用做一个小结。主要关注于类库调参时的一个经验总结。 ...