1-6 三維卷積


三維卷積(Convolutions over volumes)

假如說你不僅想檢測灰度圖像的特征,也想檢測 RGB 彩色圖像的特征。彩色圖像如果是 6×6×3,這里的 3指的是三個顏色通道,你可以把它想象成三個 6×6圖像的堆疊。為了檢測圖像的邊緣或者其他的特征,不是把它跟原來的 3×3 的過濾器做卷積,而是跟一個三維的過濾器,它的維度是 3×3×3,這樣這個過濾器也有三層,對應紅綠、藍三個通道。

給這些起個名字(原圖像),這里的第一個 6 代表圖像高度,第二個 6 代表寬度,這個3 代表通道的數目。同樣你的過濾器也有高,寬和通道數,並且圖像的通道數必須和過濾器的通道數匹配,所以這兩個數(紫色方框標記的兩個數)必須相等。

這個卷積操作會是一個 4×4 的圖像,注意是 4×4×1,最后一個數不是 3 了。

這個是 6×6×3 的圖像,這個是3×3×3 的過濾器,最后一個數字通道數必須和過濾器中的通道數相匹配。為了簡化這個 3×3×3過濾器的圖像,我們不把它畫成 3 個矩陣的堆疊,而畫成這樣,一個三維的立方體。

為了計算這個卷積操作的輸出,你要做的就是把這個 3×3×3 的過濾器先放到最左上角的位置,這個 3×3×3 的過濾器有 27 個數, 27 個參數就是 3 的立方。依次取這 27 個數,然后乘以相應的紅綠藍通道中的數字。先取紅色通道的前 9 個數字,然后是綠色通道,然后再是藍色通道,乘以左邊黃色立方體覆蓋的對應的 27 個數,然后把這些數都加起來,就得到了輸出的第一個數字。

如果要計算下一個輸出,你把這個立方體滑動一個單位,再與這 27 個數相乘,把它們都加起來,就得到了下一個輸出,以此類推。

那么,這個能干什么呢?舉個例子,這個過濾器是 3×3×3 的,如果你想檢測圖像紅色通道的邊緣,那么你可以將第一個過濾器設為:

而綠色通道全為 0:

藍色也全為 0。如果你把這三個堆疊在一起形成一個 3×3×3 的過濾器,那么這就是一個檢測垂直邊界的過濾器,但只對紅色通道有用。或者如果你不關心垂直邊界在哪個顏色通道里,那么你可以用一個這樣的過濾器:

所有三個通道都是這樣。所以通過設置第二個過濾器參數,你就有了一個邊界檢測器, 3×3×3 的邊界檢測器,用來檢測任意顏色通道里的邊界。參數的選擇不同,你就可以得到不同的特征檢測器,所有的都是 3×3×3 的過濾器。

按照計算機視覺的慣例,當你的輸入有特定的高寬和通道數時, 你的過濾器可以有不同的高,不同的寬,但是必須一樣的通道數。理論上,我們的過濾器只關注紅色通道,或者只關注綠色或者藍色通道也是可行的。

再注意一下這個卷積立方體,一個 6×6×6 的輸入圖像卷積上一個 3×3×3 的過濾器,得到一個 4×4 的二維輸出。

如果你想同時用多個過濾器怎么辦?

這個 6×6×3 的圖像和這個 3×3×3 的過濾器卷積,得到 4×4 的輸出。(第一個)這可能是一個垂直邊界檢測器或者是學習檢測其他的特征。第二個過濾器可以用橘色來表示,它可以是一個水平邊緣檢測器。

所以和第一個過濾器卷積,可以得到第一個 4×4 的輸出,然后卷積第二個過濾器,得到一個不同的 4×4 的輸出。我們做完卷積,然后把這兩個 4×4 的輸出,取第一個把它放到前面,然后取第二個過濾器輸出,所以把這兩個輸出堆疊在一起,這樣你就都得到了一個 4×4×2 的輸出立方體。它用 6×6×3 的圖像,然后卷積上這兩個不同的 3×3 的過濾器,得到兩個 4×4 的輸出,它們堆疊在一起,形成一個 4×4×2 的立方體,這里的 2 的來源於我們用了兩個不同的過濾器。

如果你有一個$n*n*{n_c}$(通道數)的輸入圖像,在這個例子中就是 6×6×3,這里的${n_c}$就是通道數目,然后卷積上一個$f*f*{n_c}$,這個例子中是 3×3×3,然后你就得到了$(n - f + 1) \times (n - f + 1) \times {n_{{c^'}}}$:

這里${n_{{c^'}}}$其實就是下一層的通道數,它就是你用的過濾器的個數,在我們的例子中,那就是 4×4×2。這個假設時用的步幅為 1,並且沒有 padding。如果你用了不同的步幅或者 padding,那么這個n − f + 1數值會變化。

這個對立方體卷積的概念真的很有用,你現在可以用它的一小部分直接在三個通道的RGB 圖像上進行操作。更重要的是,你可以檢測兩個特征,比如垂直和水平邊緣或者 10 個或者 128 個或者幾百個不同的特征,並且輸出的通道數會等於你要檢測的特征數。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM