信息增益是树模型,比如ID3算法用来寻早最优特征分割点的计算标准了解信息增益之前, 需要了解熵 熵 信息增益与熵(entropy)有关，在概率论中，熵是随机变量不确定性的度量，熵越大，随机变量的不 ...

1.1 逻辑回归原理详解 1.1.1 LR原理讲解+公式推导 从公式推导中详细讲解逻辑回归算法的原理。 线性回归模型： 逻辑回归是用来估计一个实例属于某个特定类别的概 ...

先引入一个经典的表,辅助我们, 这个表叫做混淆矩阵 准确率(Accuracy) 准确率反映了模型模型做出正确预测的比例 计算公式 \[Accuracy=\frac{TP+TN}{TP+T ...

树模型缺失值处理总结 除了ID3算法之外，其他的树模型基本上都能够处理缺失值。虽然如此，但如scikit-learn之类的库，其在支持gbdt的时候，并没有支持缺失值的处理 C4.5 第一步 ...

1.1 scikit-learn参数介绍 1.1.1 导入 from sklearn.linear_model import LogisticRegression 1.1.2 版本 ...

在处理多维特征问题的时候，需要保证特征具有相近的尺度，这有助于梯度下降算法更快的收敛。 以预测房屋价格为例，假设有两个特征，房屋的尺寸和房屋的数量，尺寸的值为 0- 2000 平方英尺，而房间数量的值 ...

预剪枝 就是在决策树生成过程中，在每次划分时，考虑是否能够带来决策树性能的提升。如果可以提升决策树的性能则会进行划分。如果不能则会停止生长。 一般的方法有如下几种： 当树的深度达到一定的规模 ...