说明：目前 只记录了 过采样 和 欠采样 的代码部分 1 样本分布不均衡描述： 主要出现在与分类相关的建模问题上，不均衡指的是不同类别的样本量差异非常大。 样本量差距过大会影响到建模结果 2 出现的场景： 异常检测：如恶意刷单、黄牛，这些数据样本所占的比例通常是整体样本中 ...

　　这几年来，机器学习和数据挖掘非常火热，它们逐渐为世界带来实际价值。与此同时，越来越多的机器学习算法从学术界走向工业界，而在这个过程中会有很多困难。数据不平衡问题虽然不是最难的，但绝对是最重要的问题之一。 一、数据不平衡 　　在学术研究与教学中，很多算法都有一个基本假设，那就是数据分布 ...

一、业务背景 日常工作、比赛的分类问题中常遇到类别型的因变量存在严重的偏倚，即类别之间的比例严重失调。 样本量差距过大会导致建模效果偏差。 例如逻辑回归不适合处理类别不平衡问题，会倾向于将样本判定为大多数类别，虽然能达到很高的准确率，但是很低的召回率。 出现样本不均衡场景主要有 ...

样本不平衡问题如何解决 1. 什么是样本不平衡问题？ 所谓的类别不平衡问题指的是数据集中各个类别的样本数量极不均衡。以二分类问题为例，假设正类的样本数量远大于负类的样本数量，通常情况下把样本类别比例超过4:1（也有说3:1）的数据就可以称为不平衡数据。 样本不平衡实际上是一种非常常见的现象 ...

分类问题的一个underlying assumption是各个类别的数据都有自己的分布，当某类数据少到难以观察结构的时候，我们可以考虑抛弃该类数据，转而学习更为明显的多数类模式，而后将不符合多数类模式的样本判断为异常/少数类，某些时候会有更好的效果。此时该问题退化为异常检测（anomaly ...

...

方法一：Hard Negative Mining 参考：https://www.cnblogs.com/zf-blog/p/8043347.html 方法二：Focal Loss 参考：http ...

为了建模，处理不平衡数据，想使用SMOTEENN方法进行数据平衡处理，为此需要下载对应的包imblearn 最开始直接从anaconda中进行： conda install imblearn 报错说源中没有对应的包 ...