SSD算法思想和結構詳解

本文轉載自查看原文 2019-08-12 21:37 11183 典型論文/ SSD/ 深度學習

前言

目標檢測近年來已經取得了很重要的進程，主流算法主要分成兩個類型：

（1）Two-stage方法：如R-CNN系列算法，其主要思路就是通過Selective Search或者CNN網絡產生一系列的稀疏矩陣的候選框，然后對這些候選框進行分類和回歸，two-stage的方法優勢在於准確率度高；

（2）One-stage方法：如YOLO、SSD，其主要思路就是均勻地在圖片上不同位置進行密集抽樣，抽樣時可以采用不同尺度和長寬比，然后利用CNN提取特征后直接進行分類和回歸，整個過程只需要一步，所以優勢在於速度快，但是均勻密集采樣的一個重要缺點就是訓練比較困難，這主要是因為正樣本和負樣本極度不均衡，導致模型准確度比較低。

本文講解的是SSD算法，其英文全名是Single Shot MultiBox Detector，名字取得不錯，Single shot指明了SSD算法屬於one-stage方法，MultiBox指明了SSD是多框預測。對於Faster R-CNN，先通過CNN得到候選框，然后進行分類和回歸，而YOLO和SSD可以一步完成檢測，相比YOLO，SSD采用CNN來直接進行檢測，而不是像YOLO那樣采用全連接層后做檢測。相對比於YOLO而言，還有其他兩個特點地改變：

第一，SSD提取了不同尺度的特征圖來做檢測，大尺度特征圖可以用來檢測小物體，而小特征圖用來檢測大物體；

第二，SSD采用了不同尺度和長寬比的先驗框，在faster r-cnn中稱為Anchors。YOLO算法缺點是難以檢測小物體，而且定位不准，但是對於這幾點，SSD在一定程度上克服這些缺點。

設計思想

目前復習下SSD模型，主要是為了幫助后面更多的網絡模型的算法理解。SSD僅在輸入圖像上運行一個卷積網絡並計算特征映射。作者在這個特征映射上運行一個3×3大小的卷積核來預測邊界框和分類概率。SSD也使用類似於Faster-RCNN的各種寬高比的anchor boxes ，並學習偏移而不是學習box。為了處理這個尺度，SSD在多個卷積層之后預測邊界框。由於每個卷積層以不同的比例操作，因此能夠檢測各種比例的目標。

SSD的核心：

使用應用於要素圖的小卷積濾波器來預測固定的默認邊界框的類別得分和框偏移。
從不同尺度的特征圖中快速檢測不同尺度的准確度，並通過縱橫比明確區分預測。
即使在低分辨率輸入圖像上，這些設計特征也可實現簡單的端到端訓練和高精度，從而進一步提高速度與精度之間的權衡。
實驗包括對PASCAL VOC，COCO和ILSVRC評估的不同輸入尺寸的模型進行定時和精度分析，並與一系列最新的最新方法進行比較。

核心設計理念

SSD和Yolo一樣都是采用一個CNN網絡來進行檢測，但是SSD卻采用了多尺度的特征圖，其基本架構圖如下：

采用多尺度特征圖用於檢測

所謂多尺度采用大小不同的特征圖，CNN網絡一般前面的特征圖比較大，后面逐漸采用stride=2的卷積或者pooling層來降低特征圖大小。一個比較大的特征圖和比較小的特征圖都用來做檢測，這樣做的好處就是比較大的特征圖用來檢測相對比較小的的目標，而小的特征圖負責用來檢測大的物體，如圖所示：（8x8的特征圖可以划分更多的單元，但是其每個單元的先驗框尺度比較小。）

采用卷積做檢測

YOLO最后采用的是全連接層，SSD直接采用卷積對不同的特征圖進行提取檢測結果，對於形狀為mxnxp的特征圖，只需要采用3x3xp這樣小的卷積核得到檢測值。

設置先驗框

在YOLO中，每個單元預測多個邊界框，但是都是相對於這個單元本身而言，但是真實目標的形狀時多變的，YOLO需要在訓練過程中自適應目標的形狀。而SSD借鑒了Faster R-CNN中anchors box的原理，每個單元設置尺度或者長寬比不同的先驗框，預測的邊界框都是以先驗框為基准，在一定程度上減少了訓練難度。一般情況下，每個單元會設置多個先驗框，其尺度和長寬比存在差異。每個單元使用了4個不同的先驗框。

對於每個單元的每個先驗框，其都輸出一套獨立的檢測值，對應一個邊界框，主要分為兩個部分。第一部分是各個類別的置信度或者評分，值得注意的是SSD將背景也當做了一個特殊的類別，如果檢測目標共有個類別，SSD其實需要預測 c+1 個置信度值，其中第一個置信度指的是不含目標或者屬於背景的評分。后面當我們說個類別置信度時，請記住里面包含背景那個特殊的類別，即真實的檢測類別只有 c-1 個。在預測過程中，置信度最高的那個類別就是邊界框所屬的類別，特別地，當第一個置信度值最高時，表示邊界框中並不包含目標。第二部分就是邊界框的location，包含4個值 (cx, cy, w, h) ，分別表示邊界框的中心坐標以及寬高。但是真實預測值其實只是邊界框相對於先驗框的轉換值(paper里面說是offset）。先驗框位置用 $d=(d^{cx}, d^{cy}, d^w, d^h)$ 表示，其對應邊界框用 $b=(b^{cx}, b^{cy}, b^w, b^h)$ 表示，那么邊界框的預測值其實是相對於的轉換值：

$l^{cx} = (b^{cx} - d^{cx})/d^w, \space l^{cy} = (b^{cy} - d^{cy})/d^h$

$l^{w} = \log(b^{w}/d^w), \space l^{h} = \log(b^{h}/d^h)$

習慣上，我們稱上面這個過程為邊界框的編碼（encode），預測時，你需要反向這個過程，即進行解碼（decode），從預測值中得到邊界框的真實位置：

$b^{cx}=d^w l^{cx} + d^{cx}, \space b^{cy}=d^y l^{cy} + d^{cy}$

$b^{w}=d^w \exp(l^{w}), \space b^{h}=d^h \exp(l^{h})$

然而，在SSD的Caffe源碼實現中還有trick，那就是設置variance超參數來調整檢測值，通過bool參數variance_encoded_in_target來控制兩種模式，當其為True時，表示variance被包含在預測值中，就是上面那種情況。但是如果是False（大部分采用這種方式，訓練可能更容易），就需要手動設置超參數variance，用來對的4個值進行放縮，此時邊界框需要這樣解碼：

$b^{cx}=d^w (variance[0]l^{cx}) + d^{cx}, \space b^{cy}=d^y (variance[1]l^{cy}) + d^{cy}$

$b^{w}=d^w \exp(variance[2]l^{w}), \space b^{h}=d^h \exp(variance[3]l^{h})$

綜上所述，對於一個大小 $m\times n$ 的特征圖，共有個單元，每個單元設置的先驗框數目記為，那么每個單元共需要 (c+4)k 個預測值，所有的單元共需要 (c+4)kmn 個預測值，由於SSD采用卷積做檢測，所以就需要 (c+4)k 個卷積核完成這個特征圖的檢測過程。

網絡結構

SSD采用VGG16作為基礎模型，然后在VGG16的基礎上新增了卷積層來獲得更多的特征圖以用於檢測。SSD的網絡結構如圖5所示。上面是SSD模型，下面是Yolo模型，可以明顯看到SSD利用了多尺度的特征圖做檢測。模型的輸入圖片大小是 300x300。

采用VGG16做基礎模型，首先VGG16是在ILSVRC CLS-LOC數據集預訓練。然后借鑒了DeepLab-LargeFOV，分別將VGG16的全連接層fc6和fc7轉換成 $3\times3$ 卷積層 conv6和 $1\times1$ 卷積層conv7，同時將池化層pool5由原來的stride=2的 $2\times 2$ 變成stride=1的 $3\times 3$ （猜想是不想reduce特征圖大小），為了配合這種變化，采用了一種Atrous Algorithm，其實就是conv6采用擴展卷積或帶孔卷積（Dilation Conv），其在不增加參數與模型復雜度的條件下指數級擴大卷積的視野，其使用擴張率(dilation rate)參數，來表示擴張的大小，如下圖6所示，(a)是普通的 $3\times3$ 卷積，其視野就是 $3\times3$ ，(b)是擴張率為2，此時視野變成 $7\times7$ ，(c)擴張率為4時，視野擴大為 $15\times15$ ，但是視野的特征更稀疏了。Conv6采用 $3\times3$ 大小但dilation rate=6的擴展卷積。

然后移除dropout層和fc8層，並新增一系列卷積層，在檢測數據集上做finetuing。

其中VGG16中的Conv4_3層將作為用於檢測的第一個特征圖。conv4_3層特征圖大小是 $38\times38$ ，但是該層比較靠前，其norm較大，所以在其后面增加了一個L2 Normalization層，以保證和后面的檢測層差異不是很大，這個和Batch Normalization層不太一樣，其僅僅是對每個像素點在channle維度做歸一化，而Batch Normalization層是在[batch_size, width, height]三個維度上做歸一化。歸一化后一般設置一個可訓練的放縮變量gamma。

從后面新增的卷積層中提取Conv7，Conv8_2，Conv9_2，Conv10_2，Conv11_2作為檢測所用的特征圖，加上Conv4_3層，共提取了6個特征圖，其大小分別是 (38, 38), (19, 19), (10, 10), (5, 5), (3, 3), (1, 1) ，但是不同特征圖設置的先驗框數目不同（同一個特征圖上每個單元設置的先驗框是相同的，這里的數目指的是一個單元的先驗框數目）。先驗框的設置，包括尺度（或者說大小）和長寬比兩個方面。對於先驗框的尺度，其遵守一個線性遞增規則：隨着特征圖大小降低，先驗框尺度線性增加：

$s_k = s_{min} + \frac{s_{max} - s_{min}}{m-1}(k-1), k\in[1,m]$

其中指的特征圖個數，但卻是，因為第一層（Conv4_3層）是單獨設置的， s_k 表示先驗框大小相對於圖片的比例，而 $s_{min}$ 和 $s_{max}$ 表示比例的最小值與最大值，paper里面取0.2和0.9。對於第一個特征圖，其先驗框的尺度比例一般設置為 $s_{min}/2=0.1$ ，那么尺度為 $300\times 0.1=30$ 。對於后面的特征圖，先驗框尺度按照上面公式線性增加，但是先將尺度比例先擴大100倍，此時增長步長為 $\lfloor \frac{\lfloor s_{max}\times 100\rfloor - \lfloor s_{min}\times 100\rfloor}{m-1}\rfloor=17$ ，這樣各個特征圖的 s_k 為 20, 37, 54, 71, 88 ，將這些比例除以100，然后再乘以圖片大小，可以得到各個特征圖的尺度為 60,111, 162,213,264 ，這種計算方式是參考SSD的Caffe源碼。綜上，可以得到各個特征圖的先驗框尺度 30,60,111, 162,213,264 。對於長寬比，一般選取 $a_r\in {1,2,3,\frac{1}{2},\frac{1}{3}}$ ，對於特定的長寬比，按如下公式計算先驗框的寬度與高度（后面的 s_k 均指的是先驗框實際尺度，而不是尺度比例）：

$w^a_{k}=s_k\sqrt{a_r},\space h^a_{k}=s_k/\sqrt{a_r}$

默認情況下，每個特征圖會有一個 a_r=1 且尺度為 s_k 的先驗框，除此之外，還會設置一個尺度為 $s'{k}=\sqrt{s_k s{k+1}}$ 且 a_r=1 的先驗框，這樣每個特征圖都設置了兩個長寬比為1但大小不同的正方形先驗框。注意最后一個特征圖需要參考一個虛擬 $s_{m+1}=300\times105/100=315$ 來計算 $s'_{m}$ 。因此，每個特征圖一共有個先驗框 ${1,2,3,\frac{1}{2},\frac{1}{3},1'}$ ，但是在實現時，Conv4_3，Conv10_2和Conv11_2層僅使用4個先驗框，它們不使用長寬比為 $3,\frac{1}{3}$ 的先驗框。每個單元的先驗框的中心點分布在各個單元的中心，即 ![(\frac{i+0.5}{|f_k|},\frac{j+0.5}{|f_k|}),i,j\in0, |f_k|)，其中 |f_k| 為特征圖的大小。

得到了特征圖之后，需要對特征圖進行卷積得到檢測結果，圖7給出了一個 $5\times5$ 大小的特征圖的檢測過程。其中Priorbox是得到先驗框，前面已經介紹了生成規則。檢測值包含兩個部分：類別置信度和邊界框位置，各采用一次 $3\times3$ 卷積來進行完成。令 n_k 為該特征圖所采用的先驗框數目，那么類別置信度需要的卷積核數量為 $n_k\times c$ ，而邊界框位置需要的卷積核數量為 $n_k\times 4$ 。由於每個先驗框都會預測一個邊界框，所以SSD300一共可以預測 $38\times38\times4+19\times19\times6+10\times10\times6+5\times5\times6+3\times3\times4+1\times1\times4=8732$ 個邊界框，這是一個相當龐大的數字，所以說SSD本質上是密集采樣。

訓練過程

先驗框匹配

在訓練過程中，首先要確定訓練圖片中的ground truth（真實目標）與哪個先驗框來進行匹配，與之匹配的先驗框所對應的邊界框將負責預測它。在Yolo中，ground truth的中心落在哪個單元格，該單元格中與其IOU最大的邊界框負責預測它。但是在SSD中卻完全不一樣，SSD的先驗框與ground truth的匹配原則主要有兩點。首先，對於圖片中每個ground truth，找到與其IOU最大的先驗框，該先驗框與其匹配，這樣，可以保證每個ground truth一定與某個先驗框匹配。通常稱與ground truth匹配的先驗框為正樣本（其實應該是先驗框對應的預測box，不過由於是一一對應的就這樣稱呼了），反之，若一個先驗框沒有與任何ground truth進行匹配，那么該先驗框只能與背景匹配，就是負樣本。一個圖片中ground truth是非常少的，而先驗框卻很多，如果僅按第一個原則匹配，很多先驗框會是負樣本，正負樣本極其不平衡，所以需要第二個原則。第二個原則是：對於剩余的未匹配先驗框，若某個ground truth的 $\text{IOU}$ 大於某個閾值（一般是0.5），那么該先驗框也與這個ground truth進行匹配。這意味着某個ground truth可能與多個先驗框匹配，這是可以的。但是反過來卻不可以，因為一個先驗框只能匹配一個ground truth，如果多個ground truth與某個先驗框 $\text{IOU}$ 大於閾值，那么先驗框只與IOU最大的那個先驗框進行匹配。第二個原則一定在第一個原則之后進行，仔細考慮一下這種情況，如果某個ground truth所對應最大 $\text{IOU}$ 小於閾值，並且所匹配的先驗框卻與另外一個ground truth的 $\text{IOU}$ 大於閾值，那么該先驗框應該匹配誰，答案應該是前者，首先要確保某個ground truth一定有一個先驗框與之匹配。但是，這種情況我覺得基本上是不存在的。由於先驗框很多，某個ground truth的最大 $\text{IOU}$ 肯定大於閾值，所以可能只實施第二個原則既可以了，這里的TensorFlow版本就是只實施了第二個原則，但是這里的Pytorch兩個原則都實施了。圖8為一個匹配示意圖，其中綠色的GT是ground truth，紅色為先驗框，FP表示負樣本，TP表示正樣本。

損失函數

訓練樣本確定了，然后就是損失函數了。損失函數定義為位置誤差（locatization loss， loc）與置信度誤差（confidence loss, conf）的加權和：

$L(x, c, l, g) = \frac{1}{N}(L_{conf}(x,c) + \alpha L_{loc}(x,l,g))$

其中是先驗框的正樣本數量。這里 $x^p_{ij}\in { 1,0 }$ 為一個指示參數，當 $x^p_{ij}= 1$ 時表示第個先驗框與第個ground truth匹配，並且ground truth的類別為。為類別置信度預測值。為先驗框的所對應邊界框的位置預測值，而是ground truth的位置參數。對於位置誤差，其采用Smooth L1 loss，定義如下：

由於 $x^p_{ij}$ 的存在，所以位置誤差僅針對正樣本進行計算。值得注意的是，要先對ground truth的進行編碼得到 $\hat{g}$ ，因為預測值也是編碼值，若設置variance_encoded_in_target=True，編碼時要加上variance：

$\hat{g}^{cx}_j = (g^{cx}_j - d^{cx}_i)/d^w_i/variance[0], \hat{g}^{cy}_j = (g^{cy}_j - d^{cy}_i)/d^h_i/variance[1]$

$\hat{g}^{w}_j = \log(g^{w}_j/d^w_i)/variance[2], \space \hat{g}^{h}_j = \log(g^{h}_j/d^h_i)/variance[3]$

對於置信度誤差，其采用softmax loss:

權重系數 $\alpha$ 通過交叉驗證設置為1。

數據擴增

采用數據擴增（Data Augmentation）可以提升SSD的性能，主要采用的技術有水平翻轉（horizontal flip），隨機裁剪加顏色扭曲（random crop & color distortion），隨機采集塊域（Randomly sample a patch）（獲取小目標訓練樣本），如下圖所示：

預測過程

預測過程比較簡單，對於每個預測框，首先根據類別置信度確定其類別（置信度最大者）與置信度值，並過濾掉屬於背景的預測框。然后根據置信度閾值（如0.5）過濾掉閾值較低的預測框。對於留下的預測框進行解碼，根據先驗框得到其真實的位置參數（解碼后一般還需要做clip，防止預測框位置超出圖片）。解碼之后，一般需要根據置信度進行降序排列，然后僅保留top-k（如400）個預測框。最后就是進行NMS算法，過濾掉那些重疊度較大的預測框。最后剩余的預測框就是檢測結果了。

性能評估

SSD在VOC2007，VOC2012及COCO數據集上的性能，如表1所示。相比之下，SSD512的性能會更好一些。

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 數據結構與算法 -- 哈夫曼樹思想與創建詳解1 SSD算法詳解及其 keras實現目標檢測：SSD算法詳解 SSD固態硬盤內部結構詳解 SSD固態硬盤內部結構詳解 SSD算法結構 SSD算法理論目標檢測宗師級全解 SSD詳解編程思想與算法leetcode_二分算法詳解編程思想與算法leetcode_分治算法詳解 SSD（single shot multibox detector）算法及Caffe代碼詳解[轉]