Selective Kernel Network

senet: https://arxiv.org/abs/1709.01507
sknet: http://arxiv.org/abs/1903.06586

TL, DR

Selective Kernel Networks 啟發自皮質神經元根據不同的刺激可動態調節其自身的receptive field, 從而在CNN每一個 stage, 增加不同尺寸 filter 分支。 總體網絡結構和 SENet 相似(幾乎一致), 相對於大網絡, 對小網絡的性能提升比較明顯.

SENet

abstract

卷積神經網絡建立在一系列卷積操作之上, 通過層疊卷積操作, 可以逐漸增大感受野.
卷積操作可以復用空間和通道信息, 但卻限制在一個局部感受野上.
為了促進網絡的特征表示能力, 一些工作通過加強空間編碼從而提升了網絡性能, 如 Inception. SENet 關注點在通道關系上, 提出的 SE-Block, 通過整合通道全局感受野信息, embedding 通道之間的重要性關系, 關注有用特征, 抑制無用特征.

SE-Block 使用 Global Average Pooling 處理該層 feature map得到一個 channel descriptor, 該 descriptor 包含每個通道特征強度(feature response)信息, 從而使得 CNN 的 底部的 layer可以利用到全局感受野的信息.

network arch





sigmoid 函數

\[\begin{align*} \sigma(x) &= \frac{1}{1+e^{-x}} \\ \end{align*} \]

邏輯斯諦回歸函數

\[\begin{align*} P(Y=1|x) &= \frac{e^{w \cdot x}}{1+e^{w \cdot x}}\\ &= \frac{1}{1+e^{-w \cdot x}}\\ &=\sigma (w \cdot x)\\ P(Y=0|x) &= \frac{1}{1+e^{w \cdot x}} \\ &=1 - \sigma (w \cdot x)\\ \end{align*} \]

Excitation操作為了利用 Squeeze 操作中的聚合的信息, 從而獲取不同 channel 之間的依賴性. gating 函數必須滿足兩個條件

1. 首先，它必須是靈活的（特別是，它必須能夠學習通道之間的非線性關系），
2. 其次，它必須學習非互斥關系.

為了滿足這些標准，Excitation 選擇使用 sigmoid 函數執行 gating mechanism.

SE-Inception Block



添加 SE Block 的網絡的計算量大約提高1%, 參數量提高2%

experiment result



SKNet



與 SENet 相比, 就是每個 stage 增加了不同的尺寸大小的 filter的分支, 在做 gating 的時候, sigmoid 函數使用下面函數代替, 用於對不同尺寸的 filter 給予權重, 從而達到可適應調節感受野的作用.



experiment result

在大網絡結果



在小網絡上結果



總體而言, 在小網絡上提點比較明顯