ResNet的核心內容之一,即“Deeper Bottleneck Architectures”(簡稱DBA),一言概之,bottleneck是一種特殊的殘差結構。
Resnet論文里的原圖如上(即Bottleneck V1 ),左圖是普通的殘差結構,右圖是瓶頸結構。具體而言,block的輸入和輸出channel_num是一樣的(上右圖中是256,左圖為64),
而在block結構中的channel_num(上右圖中是64)是小於輸入/輸出channel_num(256),很形象。也就是先降維再升維
作用
換成bottleneck design以后,網絡的參數減少了很多,深度也加深了,訓練也就相對容易一些。
轉載自:https://blog.csdn.net/wydbyxr/article/details/83988891