四種Normalization方式介紹
下圖是四種Normalization方式的一個匯總(我個人感覺這個圖看起來方便一些).
- 圖中每一個正方體塊表示一個數據(比如說這里一個正方體就是一個圖像)
- 每一個正方體中的C, H, W分別表示channel(通道個數), height(圖像的高), weight(圖像的寬)
- 下圖介紹了4中Norm的方式, 如Layer Norm中NHWC->N111表示是將后面的三個進行標准化, 不與batch有關.
- 我們可以看到, 后面的LayerNorm, InstanceNorm和GroupNorm這三種方式都是和Batch是沒有關系的.
本文內容轉載自 https://mathpretty.com/11223.html，原文簡潔明了，推薦大家閱讀原文。此處僅作備份使用。如有侵權請聯系刪除。