Boost是集成学习方法中的代表思想之一，核心的思想是不断的迭代。boost通常采用改变训练数据的概率分布，针对不同的训练数据分布调用弱学习算法学习一组弱分类器。在多次迭代的过程中，当前次迭代所用的训练数据的概率分布会依据上一次迭代的结果而调整。也就是说训练数据的各样本是有权重的，这个权重本身也会随着迭代而调整。Adaboost 后面补一篇介绍这个的文章吧 在迭代的过程中通过不断调整数据分布的权 ...
2019-07-17 15:43 0 696 推荐指数：
本篇论文讨论了策略梯度方法的函数逼近问题。首先明确策略梯度的目标函数：最大化策略$\pi$下的累计回报$\rho(\pi)$ \[\rho ( \pi ) = E \left\{ \sum _ { t = 1 } ^ { \infty } \gamma ^ { t - 1 } r _ { t ...
（2020.4.9）再次阅读的时候，大致梳理了一下行文的思路。 Xgb原始论文先介绍了其损失函数，（2020.4.21跟进）损失函数用来指导每颗树的生成，也就是决定了在给定数据情况下，叶子节点的最优分裂方式。 其次是如果更新CART树的结构（也就是特征的划分方式），论文提出 ...
SeqGAN: Sequence generative adversarial nets with policy gradient AAAI-2017 Paper: https://arxiv.org/abs/1609.05473 Offical Tensorflow Code ...
https://zhuanlan.zhihu.com/p/36011508 前置知识：神经网络，梯度下降法 机器学习中常用的GBDT、XGBoost和LightGBM算法（或工具）都是基于梯度提升机（Gradient Boosting Machine，GBM）的算法思想，本文简要介绍 ...
随着大数据时代的到来，GBDT正面临着新的挑战，特别是在精度和效率之间的权衡方面。传统的GBDT实现需要对每个特征扫描所有数据实例，以估计所有可能的分割点的信息增益。因此，它们的计算复杂度将与特征数和 ...
最近组会汇报，由于前一阵听了中科院的教授讲解过这篇论文，于是想到以这篇论文为题做了学习汇报。论文《policy-gradient-methods-for-reinforcement-learning-with-function-approximation 》虽然发表的时间很早，但是确实很有影响性 ...
原文地址：Complete Guide to Parameter Tuning in Gradient Boosting (GBM) in Python by Aarshay Jain 原文翻译与校对：@酒酒Angie(drmr_anki@qq.com) && 寒小阳 ...
Boosting方法： Boosting这其实思想相当的简单，大概是，对一份数据，建立M个模型（比如分类），一般这种模型比较简单，称为弱分类器(weak learner)每次分类都将上一次分错的数据权重提高一点再进行分类，这样最终得到的分类器在测试数据与训练数据上都可以得到比较好的成绩 ...
