特征选择（节点划分） 一般而言，随着划分过程不断进行，我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即结点的“纯度”(purity)越来越高。 符号声明 假设当前样本集合\(D\)中第\(k\)类样本所占的比例为\(p_k\:(k=1,2,...,|\mathcal ...

html { font-family: sans-serif; -ms-text-size-adjust: 100%; -webkit-text-size-adjust: 100% } b ...

决策树 (Decision Tree) 是一种有监督学习方法，通过特征和标签构造一棵决策树，学习特征之间的规则，以解决分类和回归问题。 使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。 决策树 ...

注：学习的网易云课堂的Python数据分析(机器学习)经典案例，每个案例会教你数据预处理、画图和模型优化。比有些简单调个包跑一下的课程负责任的多。 ...

特征离散化处理 问题抽象假设训练样本集合D中有n个样本，考察对连续属性a的最佳分段点/划分点。若属性a在这n个样本中有m个不同的取值(m<=n)，对这m个值两两之间取中点，可获得m-1个中点作为候选划分点。 选择过程接下来的选择最佳划分点过程和离散属性的虚选择过程类似，以基尼系数 ...

sklearn模块提供了决策树的解决方案，不用自己去造轮子了（不会造，感觉略复杂）： 下面是笔记： Sklearn.tree参数介绍及使用建议 参数介绍及使用建议官网： http://scikit-learn.org/stable/modules/generated ...

前言 这是百度的周末AI课程的第三讲。主要讲的是如何进行特征选择，分成两部分的内容，第一部分是特征选择的理论，第二部分是代码。 理论部分：一个典型的机器学习任务是通过样本的特征来预测样本所对应的值。特征过多会导致模型过于复杂，从而导致过拟合；而特征过少则会导致模型过于简单，从而导致欠拟合 ...

毫无疑问，解决一个问题最重要的是恰当选取特征、甚至创造特征的能力，这叫做特征选取和特征工程。对于特征选取工作，我个人认为分为两个方面： 1）利用python中已有的算法进行特征选取。 2）人为分析各个变量特征与目标值之间的关系，包括利用图表等比较直观的手段方法，剔除无意义或者说不重要 ...