說明：目前 只記錄了 過采樣 和 欠采樣 的代碼部分 1 樣本分布不均衡描述： 主要出現在與分類相關的建模問題上，不均衡指的是不同類別的樣本量差異非常大。 樣本量差距過大會影響到建模結果 2 出現的場景： 異常檢測：如惡意刷單、黃牛，這些數據樣本所占的比例通常是整體樣本中 ...

　　這幾年來，機器學習和數據挖掘非常火熱，它們逐漸為世界帶來實際價值。與此同時，越來越多的機器學習算法從學術界走向工業界，而在這個過程中會有很多困難。數據不平衡問題雖然不是最難的，但絕對是最重要的問題之一。 一、數據不平衡 　　在學術研究與教學中，很多算法都有一個基本假設，那就是數據分布 ...

一、業務背景 日常工作、比賽的分類問題中常遇到類別型的因變量存在嚴重的偏倚，即類別之間的比例嚴重失調。 樣本量差距過大會導致建模效果偏差。 例如邏輯回歸不適合處理類別不平衡問題，會傾向於將樣本判定為大多數類別，雖然能達到很高的准確率，但是很低的召回率。 出現樣本不均衡場景主要有 ...

樣本不平衡問題如何解決 1. 什么是樣本不平衡問題？ 所謂的類別不平衡問題指的是數據集中各個類別的樣本數量極不均衡。以二分類問題為例，假設正類的樣本數量遠大於負類的樣本數量，通常情況下把樣本類別比例超過4:1（也有說3:1）的數據就可以稱為不平衡數據。 樣本不平衡實際上是一種非常常見的現象 ...

分類問題的一個underlying assumption是各個類別的數據都有自己的分布，當某類數據少到難以觀察結構的時候，我們可以考慮拋棄該類數據，轉而學習更為明顯的多數類模式，而后將不符合多數類模式的樣本判斷為異常/少數類，某些時候會有更好的效果。此時該問題退化為異常檢測（anomaly ...

...

方法一：Hard Negative Mining 參考：https://www.cnblogs.com/zf-blog/p/8043347.html 方法二：Focal Loss 參考：http ...

為了建模，處理不平衡數據，想使用SMOTEENN方法進行數據平衡處理，為此需要下載對應的包imblearn 最開始直接從anaconda中進行： conda install imblearn 報錯說源中沒有對應的包 ...