LayerNorm, InstanceNorm和GroupNorm的区别

四种Normalization方式介绍

下图是四种Normalization方式的一个汇总(我个人感觉这个图看起来方便一些).

• 图中每一个正方体块表示一个数据(比如说这里一个正方体就是一个图像)
• 每一个正方体中的C, H, W分别表示channel(通道个数), height(图像的高), weight(图像的宽)
• 下图介绍了4中Norm的方式, 如Layer Norm中NHWC->N111表示是将后面的三个进行标准化, 不与batch有关.
• 我们可以看到, 后面的LayerNorm, InstanceNorm和GroupNorm这三种方式都是和Batch是没有关系的.

 

本文内容转载自 https://mathpretty.com/11223.html，原文简洁明了，推荐大家阅读原文。此处仅作备份使用。如有侵权请联系删除。