轉自：watersink 1， Bootstrapping，hard negative mining最原始的一種方法，主要使用在傳統的機器學習方法中。比如，訓練cascade類型分類模型的時候，可以將每一級分類錯誤的樣本繼續添加進下一層進行訓練。 比如，SVM分類中去掉那些離分界線較遠的樣本 ...

樣本不平衡往往會導致以下問題： 對比例小的樣本造成過擬合，也就是說預測偏向樣本數較多的分類。這樣就會大大降低模型的范化能力。往往accuracy（准確率）很高，但auc很低。 針對樣本的不平衡問題，有以下幾種常見的解決思路： 搜集更多的數據 改變評判指標 對數據進行采樣 ...

0 前言 Focal Loss是為了處理樣本不平衡問題而提出的，經時間驗證，在多種任務上，效果還是不錯的。在理解Focal Loss前，需要先深刻理一下交叉熵損失，和帶權重的交叉熵損失。然后我們從樣本權重的角度出發，理解Focal Loss是如何分配樣本權重的。Focal是動詞Focus的形容詞 ...

　　這幾年來，機器學習和數據挖掘非常火熱，它們逐漸為世界帶來實際價值。與此同時，越來越多的機器學習算法從學術界走向工業界，而在這個過程中會有很多困難。數據不平衡問題雖然不是最難的，但絕對是最重要的問題之一。 一、數據不平衡 　　在學術研究與教學中，很多算法都有一個基本假設，那就是數據分布 ...

樣本不平衡問題如何解決 1. 什么是樣本不平衡問題？ 所謂的類別不平衡問題指的是數據集中各個類別的樣本數量極不均衡。以二分類問題為例，假設正類的樣本數量遠大於負類的樣本數量，通常情況下把樣本類別比例超過4:1（也有說3:1）的數據就可以稱為不平衡數據。 樣本不平衡實際上是一種非常常見的現象 ...

首先，看下Smote算法之前，我們先看下當正負樣本不均衡的時候，我們通常用的方法： 抽樣 常規的包含過抽樣、欠抽樣、組合抽樣 過抽樣：將樣本較少的一類sample補齊 欠抽樣：將樣本較多的一類sample壓縮 組合抽樣：約定一個量級N，同時進行過抽樣和欠抽樣，使得正負樣本量和等於 ...

數據不平衡 1.什么是數據不平衡 一般都是假設數據分布是均勻的，每種樣本的個數差不多，但是現實情況下我們取到的數據並不是這樣的，如果直接將分布不均的數據直接應用於算法，大多情況下都無法取得理想的結果。 這里着重考慮二分類，因為解決了二分類種的數據不平衡問題后，推而廣之酒能得到多分類情況下 ...

Focal Loss for Dense Object Detection 是ICCV2017的Best student paper,文章思路很簡單但非常具有開拓性意義，效果也非常令人稱贊。 GHM ...