这几年来，机器学习和数据挖掘非常火热，它们逐渐为世界带来实际价值。与此同时，越来越多的机器学习算法从学术界走向工业界，而在这个过程中会有很多困难。数据不平衡问题虽然不是最难的，但绝对是最重要的问题之一。 一、数据不平衡 　　在学术研究与教学中，很多算法都有一个基本假设，那就是数据分布 ...

一、业务背景 日常工作、比赛的分类问题中常遇到类别型的因变量存在严重的偏倚，即类别之间的比例严重失调。 样本量差距过大会导致建模效果偏差。 例如逻辑回归不适合处理类别不平衡问题，会倾向于将样本判定为大多数类别，虽然能达到很高的准确率，但是很低的召回率。 出现样本不均衡场景主要有 ...

转自：watersink 1， Bootstrapping，hard negative mining最原始的一种方法，主要使用在传统的机器学习方法中。比如，训练cascade类型分类模型的时候，可以将每一级分类错误的样本继续添加进下一层进行训练。 比如，SVM分类中去掉那些离分界线较远的样本 ...

样本不平衡问题如何解决 1. 什么是样本不平衡问题？ 所谓的类别不平衡问题指的是数据集中各个类别的样本数量极不均衡。以二分类问题为例，假设正类的样本数量远大于负类的样本数量，通常情况下把样本类别比例超过4:1（也有说3:1）的数据就可以称为不平衡数据。 样本不平衡实际上是一种非常常见的现象 ...

类别不平衡问题指分类任务中不同类别的训练样本数目差别很大的情况。一般来说，不平衡样本会导致训练模型侧重样本数目较多的类别，而“轻视”样本数目较少类别，这样模型在测试数据上的泛化能力就会受到影响。一个例子，训练集中有99个正例样本，1个负例样本。在不考虑样本不平衡的很多情况下，学习算法会使分类器放弃 ...

分类问题的一个underlying assumption是各个类别的数据都有自己的分布，当某类数据少到难以观察结构的时候，我们可以考虑抛弃该类数据，转而学习更为明显的多数类模式，而后将不符合多数类模式的样本判断为异常/少数类，某些时候会有更好的效果。此时该问题退化为异常检测（anomaly ...

首先，看下Smote算法之前，我们先看下当正负样本不均衡的时候，我们通常用的方法： 抽样 常规的包含过抽样、欠抽样、组合抽样 过抽样：将样本较少的一类sample补齐 欠抽样：将样本较多的一类sample压缩 组合抽样：约定一个量级N，同时进行过抽样和欠抽样，使得正负样本量和等于 ...

什么是样本不平衡 对于二分类问题，如果两个类别的样本数目差距很大，那么训练模型的时候会出现很严重的问题。举个简单的例子，猫狗图片分类，其中猫有990张，狗有10张，这时候模型只需要把所有输入样本都预测成猫就可以获得99%的识别率，但这样的分类器没有任何价值，它无法预测出狗。 类别不平衡 ...