转自：watersink 1， Bootstrapping，hard negative mining最原始的一种方法，主要使用在传统的机器学习方法中。比如，训练cascade类型分类模型的时候，可以将每一级分类错误的样本继续添加进下一层进行训练。 比如，SVM分类中去掉那些离分界线较远的样本 ...

样本不平衡往往会导致以下问题： 对比例小的样本造成过拟合，也就是说预测偏向样本数较多的分类。这样就会大大降低模型的范化能力。往往accuracy（准确率）很高，但auc很低。 针对样本的不平衡问题，有以下几种常见的解决思路： 搜集更多的数据 改变评判指标 对数据进行采样 ...

0 前言 Focal Loss是为了处理样本不平衡问题而提出的，经时间验证，在多种任务上，效果还是不错的。在理解Focal Loss前，需要先深刻理一下交叉熵损失，和带权重的交叉熵损失。然后我们从样本权重的角度出发，理解Focal Loss是如何分配样本权重的。Focal是动词Focus的形容词 ...

　　这几年来，机器学习和数据挖掘非常火热，它们逐渐为世界带来实际价值。与此同时，越来越多的机器学习算法从学术界走向工业界，而在这个过程中会有很多困难。数据不平衡问题虽然不是最难的，但绝对是最重要的问题之一。 一、数据不平衡 　　在学术研究与教学中，很多算法都有一个基本假设，那就是数据分布 ...

样本不平衡问题如何解决 1. 什么是样本不平衡问题？ 所谓的类别不平衡问题指的是数据集中各个类别的样本数量极不均衡。以二分类问题为例，假设正类的样本数量远大于负类的样本数量，通常情况下把样本类别比例超过4:1（也有说3:1）的数据就可以称为不平衡数据。 样本不平衡实际上是一种非常常见的现象 ...

首先，看下Smote算法之前，我们先看下当正负样本不均衡的时候，我们通常用的方法： 抽样 常规的包含过抽样、欠抽样、组合抽样 过抽样：将样本较少的一类sample补齐 欠抽样：将样本较多的一类sample压缩 组合抽样：约定一个量级N，同时进行过抽样和欠抽样，使得正负样本量和等于 ...

数据不平衡 1.什么是数据不平衡 一般都是假设数据分布是均匀的，每种样本的个数差不多，但是现实情况下我们取到的数据并不是这样的，如果直接将分布不均的数据直接应用于算法，大多情况下都无法取得理想的结果。 这里着重考虑二分类，因为解决了二分类种的数据不平衡问题后，推而广之酒能得到多分类情况下 ...

Focal Loss for Dense Object Detection 是ICCV2017的Best student paper,文章思路很简单但非常具有开拓性意义，效果也非常令人称赞。 GHM ...