label smooth

圖像分類的一個trick，推導可參考這位博主https://leimao.github.io/blog/Label-Smoothing/

知乎上的討論https://www.zhihu.com/question/65339831，有位博主用代碼給出了一個直觀的體驗:  label smooth是如何改變標簽的。

 

label smooth相當於一個正則化的作用，用來防止過擬合，提高泛化性能；但如果網絡本身就是欠擬合的，用這個可能意義就不大。

tf中可以直接使用https://stackoverflow.com/questions/55894459/how-to-use-tf-losses-sigmoid-cross-entropy-with-label-smoothing-in-keras

 

另有篇paper從可視化角度 When Does Label Smoothing Help，google brain的， Geoffrey Hinton大佬也在名單上呀

簡單說就是，label smooth將類別分組，每組之間會有一個margin（類別之內更緊密，類別之間距離更大，也就是分得更開）。