傳統的卷積網絡, filter在訓練后一般是恆定不變的, 相反, 這篇中引入了動態filter網絡的概念, 根據輸入條件動態的產生filer, 使得filter具有了自適應的能力,
包括兩個部分:濾波器產生網絡和 動態濾波層 這兩個部分的輸入可以相等或者不相等
其中需要指出的包括兩個部分:
1. 模型參數(model parameters): 模型參數表示只在訓練過程中被更新,在預先被初始化的層參數, 對於所有的樣本都是相同的,
2. 動態產生參數(dynamically generated parameters) :是由樣本所決定的, 是動態生成的,不需要初始化. filter-generating 網絡輸出動態產生參數
, 同時該網絡還是有一部分的模型參數.
Filter-Generating Network
filter-generating 網絡的輸入是$I_{A} \in \mathbb{R}^{h \times w \times c_{A}}$, 輸出參數$\Theta \in \mathbb{R}^{s \times s \times c_{B} \times n \times d}$ 其中 s是filter的大小, $C_{B]$是輸入B的通道數. n 是filter的個數, 動態卷積d = 1,動態局部濾波d = h*w.
這個濾波器被應用於輸入$I_{B} \in \mathbb{R}^{h\times w \times c_{B}}$ 產生輸出 $G= F_{\theta}(I_{B})$, 其中
$G \in \mathbb{R}^{h\times w \times n}$
} $, 過濾器大小s決定接受域,根據應用選擇合適的s, 感知域的大小能夠通過堆疊多個動態filter 模塊進行增加:
$G(i,j) = F_{\theta}(I_{B}(i,j))$
如圖所示為動態卷積的過程,