yolo原理及代碼學習

本文轉載自查看原文 2019-05-15 17:52 510

原理

非常詳細！！！

https://www.cnblogs.com/zyly/p/9534063.html#_label6

這篇博客文章講解特別詳細，之前不懂得一些點在這里都找到了答案。

https://blog.csdn.net/c20081052/article/details/80236015

https://zhuanlan.zhihu.com/p/25045711

YOLO的核心思想

YOLO的核心思想就是利用整張圖作為網絡的輸入，直接在輸出層回歸bounding box的位置和bounding box所屬的類別。
faster RCNN中也直接用整張圖作為輸入，但是faster-RCNN整體還是采用了RCNN那種 proposal+classifier的思想，只不過是將提取proposal的步驟放在CNN中實現了。

大致流程

Resize成448*448，圖片分割得到7*7網格(cell)
CNN提取特征和預測：卷積不忿負責提特征。全鏈接部分負責預測：a) 7*7*2=98個bounding box(bbox) 的坐標 $x_{center},y_{center},w,h$ 和是否有物體的conﬁdence 。 b) 7*7=49個cell所屬20個物體的概率。
過濾bbox（通過nms）

YOLO的實現方法

將一幅圖像分成SxS個網格(grid cell)，如果某個object的中心落在這個網格中，則這個網格就負責預測這個object。
這里寫圖片描述

1. 每個網格要預測B個bounding box，每個bounding box除了要回歸自身的位置之外，還要附帶預測一個confidence值。

2. 這個confidence代表了所預測的box中含有object的置信度和這個box預測的有多准兩重信息，其值是這樣計算的：

其中如果有object落在一個grid cell里，第一項取1，否則取0。第二項是預測的bounding box和實際的groundtruth之間的IoU值。

3. 每個bounding box要預測(x, y, w, h)和confidence共5個值，每個網格還要預測一個類別信息，記為C類。則SxS個網格，每個網格要預測B個bounding box還要預測C個categories。輸出就是S x S x (5*B+C)的一個tensor。

注意：class信息是針對每個網格的，confidence信息是針對每個bounding box的。

4. 舉例說明: 在PASCAL VOC中，圖像輸入為448x448，取S=7，B=2，一共有20個類別(C=20)。則輸出就是7x7x30的一個tensor。

網絡結構

網絡結構借鑒了 GoogLeNet 。24個卷積層，2個全鏈接層。（用1×1 reduction layers 緊跟 3×3 convolutional layers 取代Goolenet的 inception modules ）

1. 在test的時候，每個網格預測的class信息和bounding box預測的confidence信息相乘，就得到每個bounding box的class-specific confidence score: 這里寫圖片描述等式左邊第一項就是每個網格預測的類別信息，第二三項就是每個bounding box預測的confidence。這個乘積即encode了預測的box屬於某一類的概率，也有該box准確度的信息。

2. 得到每個box的class-specific confidence score以后，設置閾值，濾掉得分低的boxes，對保留的boxes進行NMS處理，就得到最終的檢測結果。

損失函數

最后整個的損失函數如下所示：

這個損失函數中：
- 只有當某個網格中有object的時候才對classification error進行懲罰。
- 只有當某個box predictor對某個ground truth box負責的時候，才會對box的coordinate error進行懲罰，而對哪個ground truth box負責就看其預測值和ground truth box的IoU是不是在那個cell的所有box中最大。
其他細節，例如使用激活函數使用leak RELU，模型用ImageNet預訓練等等。

損失函數設計：

損失函數的設計目標就是讓坐標（x,y,w,h），confidence，classification 這個三個方面達到很好的平衡。簡單的全部采用了sum-squared error loss來做這件事會有以下不足： a) 8維的localization error和20維的classification error同等重要顯然是不合理的； b) 如果一個網格中沒有object（一幅圖中這種網格很多），那么就會將這些網格中的box的confidence push到0，相比於較少的有object的網格，這種做法是overpowering的，這會導致網絡不穩定甚至發散。解決方案如下：

更重視8維的坐標預測，給這些損失前面賦予更大的loss weight, 記為 $\lambda_{coord}$ ,在pascal VOC訓練中取5。
對沒有object的bbox的confidence loss，賦予小的loss weight，記為 $\lambda_{noobj}$ ，在pascal VOC訓練中取0.5。
有object的bbox的confidence loss 和類別的loss 的loss weight正常取1。
對不同大小的bbox預測中，相比於大bbox預測偏一點，小box預測偏一點更不能忍受。而sum-square error loss中對同樣的偏移loss是一樣。為了緩和這個問題，作者用了一個比較取巧的辦法，就是將box的width和height取平方根代替原本的height和width。small bbox的橫軸值較小，發生偏移時，反應到y軸上的loss比big box要大。

一個網格預測多個bounding box，在訓練時我們希望每個object（ground true box）只有一個bounding box專門負責（一個object 一個bbox）。具體做法是與ground true box（object）的IOU最大的bounding box 負責該ground true box(object)的預測。這種做法稱作bounding box predictor的specialization(專職化)。每個預測器會對特定（sizes,aspect ratio or classed of object）的ground true box預測的越來越好。（個人理解：IOU最大者偏移會更少一些，可以更快速的學習到正確位置）

訓練

預訓練分類網絡：在 ImageNet 1000-class competition dataset上預訓練一個分類網絡，這個網絡是Figure3中的前20個卷機網絡+average-pooling layer+ fully connected layer （此時網絡輸入是224*224）。

訓練檢測網絡：轉換模型去執行檢測任務，《Object detection networks on convolutional feature maps》提到說在預訓練網絡中增加卷積和全鏈接層可以改善性能。在他們例子基礎上添加4個卷積層和2個全鏈接層，隨機初始化權重。檢測要求細粒度的視覺信息，所以把網絡輸入也又224*224變成448*448。

一幅圖片分成7x7個網格(grid cell)，某個物體的中心落在這個網格中此網格就負責預測這個物體。
最后一層輸出為（7*7）*30的維度。每個 1*1*30的維度對應原圖7*7個cell中的一個，1*1*30中含有類別預測和bbox坐標預測。總得來講就是讓網格負責類別信息，bounding box主要負責坐標信息(部分負責類別信息：confidence也算類別信息)。具體如下：
- 每個網格（1*1*30維度對應原圖中的cell）要預測2個bounding box （圖中黃色實線框）的坐標（ $x_{center},y_{center}$ ,w,h），其中：中心坐標的 $x_{center},y_{center}$ 相對於對應的網格歸一化到0-1之間，w,h用圖像的width和height歸一化到0-1之間。每個bounding box除了要回歸自身的位置之外，還要附帶預測一個confidence值。這個confidence代表了所預測的box中含有object的置信度和這個box預測的有多准兩重信息：confidence = $Pr(Object) \ast IOU^{truth}_{pred}$ 。其中如果有ground truth box(人工標記的物體)落在一個grid cell里，第一項取1，否則取0。第二項是預測的bounding box和實際的ground truth box之間的IOU值。即：每個bounding box要預測 $x_{center},y_{center},w,h,confidence$ ,共5個值，2個bounding box共10個值，對應 1*1*30維度特征中的前10個。
- 每個網格還要預測類別信息，論文中有20類。7x7的網格，每個網格要預測2個 bounding box 和 20個類別概率，輸出就是 7x7x(5x2 + 20) 。 (通用公式： SxS個網格，每個網格要預測B個bounding box還要預測C個categories，輸出就是S x S x (5*B+C)的一個tensor。注意：class信息是針對每個網格的，confidence信息是針對每個bounding box的）

測試

Test的時候，每個網格預測的class信息( )和bounding box預測的confidence信息( $Pr(Object) \ast IOU^{truth}_{pred}$ ) 相乘，就得到每個bounding box的class-specific confidence score。

- 等式左邊第一項就是每個網格預測的類別信息，第二三項就是每個bounding box預測的confidence。這個乘積即encode了預測的box屬於某一類的概率，也有該box准確度的信息。
- 對每一個網格的每一個bbox執行同樣操作： 7x7x2 = 98 bbox （每個bbox既有對應的class信息又有坐標信息）

得到每個bbox的class-specific confidence score以后，設置閾值，濾掉得分低的boxes，對保留的boxes進行NMS處理，就得到最終的檢測結果。

YOLO的缺點

YOLO對相互靠的很近的物體，還有很小的群體檢測效果不好，這是因為一個網格中只預測了兩個框，並且只屬於一類。
對測試圖像中，同一類物體出現的新的不常見的長寬比和其他情況是。泛化能力偏弱。
由於損失函數的問題，定位誤差是影響檢測效果的主要原因。尤其是大小物體的處理上，還有待加強。

實現

https://zhuanlan.zhihu.com/p/25053311

https://www.cnblogs.com/xiongzihua/p/9315183.html

https://mp.weixin.qq.com/s/SzHhBf9_5lb0bTtY-qAEJQ

划分網格怎么實現呢？

https://mp.weixin.qq.com/s/SzHhBf9_5lb0bTtY-qAEJQ

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 YOLO(5) YOLO2 代碼講解 [目標檢測]YOLO原理 YOLO V3 原理 YOLO算法的原理與實現 YOLO 學習之路深度剖析YOLO系列的原理 YOLO_v3 代碼閱讀 yolo源碼解析(1):代碼邏輯 YOLO V2 代碼分析 yolo v5 學習記錄