来源： Poll的笔记 cnblogs.com/maybe2030/p/4585705.html 1 什么是随机森林？ 作为新兴起的、高度灵活的一种机器学习算法，随机森林（Random F ...

A. max_features： 随机森林允许单个决策树使用特征的最大数量。 Python为最大特征数提供了多个可选项。 下面是其中的几个： Auto/None ：简单地选取所有特征，每颗树都可以 ...

回归树：使用平方误差最小准则 训练集为：D={(x1,y1), (x2,y2), …, (xn,yn)}。 输出Y为连续变量，将输入划分为M个区域，分别为R1,R2,…,RM,每个区域的输出值分别 ...

来源：http://www.cnblogs.com/pinard/p/6053344.html 作者：刘建平Pinard 对于C4.5算法，我们也提到了它的不足，比如模型是用较为复杂的熵来度 ...

一、xgboost模型函数形式 　　xgboost也是GBDT的一种，只不过GBDT在函数空间进行搜索最优F的时候，采用的是梯度下降法也就是一阶泰勒展开；而xgboost采用的是二阶泰勒展开也就是牛 ...

尊重原创 来源： https://blog.csdn.net/a790209714/article/details/78086867 XGBoost的四大改进: ...

效率和内存上的提升 1) 在训练决策树计算切分点的增益时，xgboost采用预排序，即需要对每个样本的切分位置都要计算一遍，所以时间复杂度是O(#data)。 而LightGBM则是将样 ...

一、提升树 提升方法实际采用加法模型(即基函数的线性组合)与前向分布算法。以决策树为基函数的提升方法称为提升树，boosting tree。对分类问题的决策树是二叉分类树，对回归问题的决策树是二叉 ...

问题： 用xgboost/gbdt在在调参的时候把树的最大深度调成6就有很高的精度了。但是用DecisionTree/RandomForest的时候需要把树的深度调到15或更高。用 ...