Dynamic Filter Networks
2019-06-10 11:29:19
Paper：http://papers.nips.cc/paper/6578-dynamic-filter-networks.pdf
Code (Lasagne)：https://github.com/dbbert/dfn
1. Background and Motivation:
標准卷積神經網絡中，都是采用訓練之后學習到的 filters，而本文則提出了一種新的學習框架，稱為：Dynamic Filter Network，該網絡中的 filter 是根據輸入動態生成的。 這種框架更加靈活，強大，並沒有提增加模型的參數個數。廣泛的 filtering operation 都可以采用這種框架，包括：local spatial transformations, selective blurring 或者 adaptive feature extraction. 此外，也可以用於循環網絡框架中（如 Recurrent architecture）。
該模型包含兩個部分：
1). filter-generating network, 可以基於給定的輸入，動態的生成 sample-specific filter network。該參數並非是固定的，像正則化模型參數；
2). dynamic filtering layer, 然后將這些 filters 應用到輸入上。
這兩個模塊都是可微分的。作者還基於此提出了一種 dynamic local filtering layer，不但是 sample-specific，而且是 position-specific 的。這些 filters 從不同 position 以及 不同 samples 都是可變化的，允許我們在在輸入上進行更多操作。該框架可以學習 spatial 和 photometric changes，因為像素不是簡單的進行放置的，filters 可能在所有的近鄰上進行操作。
2. Dynamic Filter Networks :
如上圖所示，本文所提出的網絡的結構，主要包含兩個模塊：一個是 filter 產生模塊，另一個是 dynamic filter layer。這兩個模塊都是可微分的，模塊的輸入可以是相同的，也可以是不同的，具體跟所涉及的任務相關。為了清晰起見，作者這里解釋了 model parameters 和 dynamically generated parameters 的區別：model parameters 表示預先進行初始化的 layer parameters，僅僅在 training 階段進行更新；而 dynamic generated parameters 是 sample-specific 的，並且可以快速的進行產生，而不需要進行初始化。本文所涉及的 filter-generating network 輸出的是 dynamically generated parameters，但是該網絡本身的參數是屬於 model parameters。
2.1 Filter-Generating Network:
濾波產生網絡的輸入是 $I_A$, 其輸出 filter $F_{\theta}$，該濾波器可以用於輸入 $I_B$ 上來產生一個輸出 G，濾波器的大小決定了感受野的大小，其選擇依賴於具體應用。感受野的大小還可以通過堆疊多層動態濾波模塊來實現增加。
2.2 Dynamic Filtering Layer :
該模塊將輸入的圖像或者特征 $I_B$ 作為輸入，然后輸出濾波之后的結果 G。
Dynamic convolutional layers: 就前文講的，此處的卷積操作用的卷積核是動態生成的，而不是預訓練產生的。其公式化表達如下：
這些 filter 是 sample-specific 的，並且是基於 filter-generating network 的輸入的。動態卷積層如下圖所示：
Dynamic local filtering layer :
作為上述 dynamic convolution layer 的一種拓展，dynamic local filtering layer 提供了一種更有意思的結果。在該 layer 中，filter operation 不再是 translation invariant。不同的濾波器用於輸入 $I_B$ 的不同位置，這一點與傳統的局部連接 layer 類似：對於輸入 $I_B$ 的每一個位置 (i, j)，一個特定的 local filter $F_{\theta}^{(i, j)}$ 是被用於 $I_B(i, j)$ 位置中心區域的：
用於這種 layer 的 filters 不再是 sample-specific，而是 position-specific。注意到，上述講的 dynamic convolution 是 local dynamic filtering 的特例，其中 local filters 是在整個圖像區域共享的。如下圖所示，
當輸入 $I_A$ 和 $I_B$ 都是圖像的時候，一個很自然的方法是用卷積網絡來實現 filter-generating network。也就是說，所產生的 position-specific filters 是依賴於 $I_A$ 區域中的 local image regions 的。
==