五、剪枝处理 　　过拟合：在决策树学习过程中，为了尽可能正确分类训练样本，结点划分过程将不断重复，有时会造成决策树分支过多，这时就可能会因训练样本学得太好，以致于把训练集自身的一些特点当作所有数据 ...

四、划分选择　　 1、属性划分选择 　　构造决策树的关键是如何选择最优划分属性。一般而言，随着划分过程不断进行，我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即结点的“纯度”越来越高。 ...

二、对偶问题 1、优化问题的类型 （1）无约束优化问题： 　　　　　　　　　　　 　　求解方法：求取函数f(x)的导数，然后令其为零，可以求得候选最优值，再在这些候选值中验证；如果是凸函数 ...

三、线性回归 5、线性回归训练流程 　　线性回归模型训练流程如下： 6、线性回归的正规方程解 　　对线性回归模型，假设训练集中 m个训练样本， ...

一、经验误差与拟合 　　1、模型的评估 　　　　机器学习的目的是使学到的模型不仅对已知数据而且对未知数据都能有很好的预测能力。不同的学习方法会训练出不同的模型，不同的模型可能会对未知数据作出不同的 ...

三、贝叶斯网 1、贝叶斯网定义 　　贝叶斯网也称信念网，借助有向无环图（DAG）来刻画属性之间的依赖关系，使用条件概率表（CPT）来描述属性的联合概率分布。 　　　　　　　　　　　　 ...

七、多变量决策树 1、从“树”到“规则” 　　一棵决策树对应于一个“规则集”，每个从根结点到叶结点的分支路径对应于一条规则。 举例： 　　　　　　 　　好处： 　　　　（1）改善可理解性 ...

二、朴素贝叶斯分类器 1、相关三概率 　　给定 N 个类别，设随机样本向量x={x1,x2,…,xd} ，相关的三个概率： 　　（1）先验概率P(c) ：根据以前的知识和经验得出的c类样本出现的 ...

三、评估方法 　　1、留出法（hold-out） 　　直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T，即D = S ∪ T，S ∩ T = ø 。在 S 上训练 ...

五、机器学习发展史 1、机器学习发展阶段　　 　　（1）基础奠定的热烈时期: 20世纪50年代初到60年代中叶 　　（2）停滞不前的冷静时期: 20世纪60年代中叶到70年代末 　　（3）重拾 ...