前言 过去几个月，一直在学习机器学习模型，输入只是学习的一部分，输出可以帮助自己更熟练地掌握概念和知识。把一个复杂的事物简单的讲述出来，才能表示真正弄懂了这个知识。所以我将在博客中尽量简单地把这些模型讲述出来，以加深自己的掌握，也为他人提供一点点参考。感谢大神刘建平Pinard的博客，如有任何疑惑可参考该神博客，此作仅为狗尾续貂之作。 每个模型介绍都将用基本思想，输入，输出，损失函数，优化方法，伪 ...
2020-11-11 17:43 0 554 推荐指数：
【转载自：http://www.cnblogs.com/LeftNotEasy/archive/2011/03/07/random-forest-and-gbdt.html】 前言 决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易 ...
前言： 决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易将得到的决策树做成图片展示出来）等。但是同时，单决策树又有一些不好的地方，比如说容易over-fitting，虽然有一些方法，如剪枝可以减少这种情况，但是还是不够的。 美国金融银行业 ...
引言 神经网络模型，特别是深度神经网络模型，自AlexNet在Imagenet Challenge 2012上的一鸣惊人，无疑是Machine Learning Research上最靓的仔，各种进展和突破层出不穷，科学家工程师人人都爱它。 机器学习研究发展至今，除了神经网络模型这种 ...
目录 一、熵相关内容 1.1 熵的几个相关定义 1.1.1 自信息和熵（单个变量） 1.1.2 联合熵、条件熵和左右熵（多变 ...
摘要： 1.算法概述 2.算法推导 3.算法特性及优缺点 4.注意事项 5.实现和具体例子 内容： 1.算法概述 1.1 决策树（DT）是一种基本的分类和回归方法。在分类问题中它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件 ...
一、引言 分类决策树是一种基于特征对实例进行划分的树形结构。如下图： 图中包括有内部节点和叶子节点，叶子节点表示的是分类结果，而内部节点表示基于特征对实例的划分。如根节点，是根据特征x1是否大于a1进行划分，划分成两个内部节点，但是此时的两个内部节点各自所包含的实例中依然有不同类 ...
决策树有着非常广泛的应用，可以用于分类和回归问题。以下针对分类问题对决策树进行分析。 分类情况下，可以处理离散（if-then）的特征空间，也可以是连续（阈值化的if-than）的特征空间。 决策树由结点和边构成，其中结点分内结点（属性，特征）和外结点（类别）。边上代表着判别的规则 ...
