前言
學習深度學習和計算機視覺，特別是目標檢測方向的學習者，一定聽說過Faster Rcnn；在目標檢測領域，Faster Rcnn表現出了極強的生命力，被大量的學習者學習，研究和工程應用。網上有很多版本的Faster RCNN的源碼，但是很多版本代碼太過於龐大，對新入門的學習者學習起來很不友好，在網上苦苦尋找了一番后終於找到了一個適合源碼學習的Faster Rcnn的pytorch版本代碼。
根據該版本的作者講該代碼除去注釋只有兩千行左右，並且經過小編的一番學習之后，發現該版本的代碼真的是非常的精簡干練，讀起來“朗朗上口”，並且深刻的感覺到作者代碼功底之深厚。在此先附上源碼的地址(https://github.com/chenyuntc/simple-faster-rcnn-pytorch) ,並對源碼作者（陳雲）表示由衷的感謝和深深地敬意。
本文章主要的目的是對該版本代碼的主要框架進行梳理，希望能夠對一些想學習源碼的讀者有一定的幫助。
本文作者：白俊傑
代碼的主要文件
-data文件中主要是文件的與dataset相關的文件
-misc中有下載caffe版本預訓練模型的文件，可以不看
-model文件中主要是與構建Faster Rcnn網絡模型有關的文件
-utils中主要是一些輔助可視化和驗證的文件
-train.py是整個程序的運行文件，下面有一部分會做介紹
-trainer.py文件主要是用於訓練，模型的損失函數的計算都在這個文件中
train
先來看一下train.py里的主要內容：
def train(train(**kwargs)): #訓練網絡的主要內容（位於train.py文件中）
opt._parse(kwargs)
dataset = Dataset(opt) #讀取用於訓練的圖片及進行相關的預處理（在下文的dataset部分做詳細介紹）
dataloader = data_.DataLoader(dataset, \
batch_size=1, \
shuffle=True, \
# pin_memory=True,
num_workers=opt.num_workers)
testset = TestDataset(opt) #讀取用於測試的圖片及進行相關的預處理
test_dataloader = data_.DataLoader(testset,
batch_size=1,
num_workers=opt.test_num_workers,
shuffle=False, \
pin_memory=True
)
faster_rcnn = FasterRCNNVGG16() #網絡結構，包含主要Extractor,RPN和RoIHead三部分結構。
trainer = FasterRCNNTrainer(faster_rcnn).cuda() #主要包含模型的訓練過程的
for epoch in range(opt.epoch):#開始迭代訓練
trainer.reset_meters()
for ii, (img, bbox_, label_, scale) in tqdm(enumerate(dataloader)):
scale = at.scalar(scale)
img, bbox, label = img.cuda().float(), bbox_.cuda(), label_.cuda()
trainer.train_step(img, bbox, label, scale) #執行訓練
從train.py中的主要函數可以看出，主要的步驟涉及訓練數據和測試數據的預處理，網絡模型的構建（Faster RCNN），然后就是迭代訓練，這也是通用的神經網絡搭建和訓練的過程。在Faster Rcnn網絡模型中主要包含Extractor、RPN和RoIhead三部分。網絡中Extractor主要是利用CNN進行特征提取，網絡采用的VGG16；RPN是候選區網絡，為RoIHead模塊提供可能存在目標的候選區域（rois）；RoIHead主要負責rois的分類和微調。整體的框架圖如下圖所示：
圖片來源於陳雲的知乎
Dataset
在本版本的代碼中讀取的數據格式為VOC，Dataset和TestDataset類分別負責訓練數據和測試數據的讀取及預處理。在預處理部分主要的操作就是resize圖像的大小、像素值的處理以及圖像的隨機翻轉。主要的內容如下：
class Dataset: #訓練數據預處理（位於data/dataset.py文件中）
def __init__(self, opt):
self.opt = opt
self.db = VOCBboxDataset(opt.voc_data_dir) #讀取VOC格式的數據，包括圖像和label（.xml）
self.tsf = Transform(opt.min_size, opt.max_size) #resize圖像的大小，在代碼中默認長邊小於等於1000，\
#短邊小於等於600，兩個邊至少有一個等於其值，然后對圖像像素值減去均值,使得像素均值為零，並對圖像進行隨機翻轉（具體細節代碼見**）
def __getitem__(self, idx):
ori_img, bbox, label, difficult = self.db.get_example(idx)
img, bbox, label, scale = self.tsf((ori_img, bbox, label))
return img.copy(), bbox.copy(), label.copy(), scale
def __len__(self):
return len(self.db)
class TestDataset:
pass #與class Dataset相似，沒有圖像翻轉過程（具體內容見data/dataset.py文件中TestDataset）
FasterRCNNVGG16
下面主要介紹Extractor、RPN和RoIHead三部分結構
Extractor
extractor, classifier = decom_vgg16() #該行代碼位於model/faster_rcnn_vgg16.py中的FasterRCNNVGG16類中
Extractor部分主要使用的VGG16的網絡結構，同時使用預訓練好的模型提取圖片的特征。論文中主要使用的是Caffe的預訓練模型，根據代碼的作者講該版本的預訓練模型效果比較好。
為了節約顯存，作者將前四層卷積層的學習率設置為0，Conv5_3的輸入作為圖片的特征輸入到RPN網絡中。根據網絡結構，Conv5_3部分的感受野為16，也就是相較於輸入的圖片大小，feature map的尺寸為(C,H/16,W/16).該部分網絡結構圖如下所示：
具體的decom_vgg16()代碼如下：
def decom_vgg16(): #該段落代碼位於model/faster_rcnn_vgg16.py中
# the 30th layer of features is relu of conv5_3
if opt.caffe_pretrain: #使用caffe版本的預訓練模型
model = vgg16(pretrained=False) #使用pytorch中自帶的vgg16模型
if not opt.load_path:
model.load_state_dict(t.load(opt.caffe_pretrain_path)) #加載caffe版本的預訓練模型，需要自己下載。
else:
model = vgg16(not opt.load_path)
features = list(model.features)[:30] #提取特征的網絡
classifier = model.classifier #classifier在RoIhead部分使用
classifier = list(classifier)
del classifier[6]
if not opt.use_drop: #是否使用dropout
del classifier[5]
del classifier[2]
classifier = nn.Sequential(*classifier) #分類器網絡
# 凍結前四層卷積層
for layer in features[:10]:
for p in layer.parameters():
p.requires_grad = False
return nn.Sequential(*features), classifier
RPN
Faster RCNN中最突出的貢獻就是提出了Region Proposal Network(RPN),將候選區域提取的時間開銷幾乎降為0。該模塊的主要作用提供可能存在目標的候選區域rois。模塊結構圖如下所示：
圖片來源於陳雲的知乎
class RegionProposalNetwork(nn.Module): #代碼中實現RPN的類（代碼位於model/region_proposal_network.py中）
def __init__():#省略，具體看先關文件
# ......
def forward(self, x, img_size, scale=1.):
#x: Extractor模塊處理后的特征圖，形狀為(N, C, H, W)
#img_size : 輸入圖像的大小
#scale : 網絡下采樣的尺寸大小
n, _, hh, ww = x.shape
anchor = _enumerate_shifted_anchor( #枚舉所有anchor
np.array(self.anchor_base),
self.feat_stride, hh, ww)
n_anchor = anchor.shape[0] // (hh * ww) #一個anchor產生的錨點框
h = F.relu(self.conv1(x)) #激活函數
rpn_locs = self.loc(h) #卷積產生每個錨點框的位置
rpn_locs = rpn_locs.permute(0, 2, 3, 1).contiguous().view(n, -1, 4)
rpn_scores = self.score(h) #卷積產生每個錨點框的評分
rpn_scores = rpn_scores.permute(0, 2, 3, 1).contiguous()
rpn_softmax_scores = F.softmax(rpn_scores.view(n, hh, ww, n_anchor, 2), dim=4) #softmax操作
rpn_fg_scores = rpn_softmax_scores[:, :, :, :, 1].contiguous()
rpn_fg_scores = rpn_fg_scores.view(n, -1)
rpn_scores = rpn_scores.view(n, -1, 2)
rois = list()
roi_indices = list()
for i in range(n):
roi = self.proposal_layer( #根據每個錨點的評分選出對應的候選區域
rpn_locs[i].cpu().data.numpy(),
rpn_fg_scores[i].cpu().data.numpy(),
anchor, img_size,
scale=scale)
batch_index = i * np.ones((len(roi),), dtype=np.int32)
rois.append(roi)
roi_indices.append(batch_index)
rois = np.concatenate(rois, axis=0)
roi_indices = np.concatenate(roi_indices, axis=0)
return rpn_locs, rpn_scores, rois, roi_indices, anchor
RoIHead
RoIhead主要任務是對RPN網絡選出的候選框進行分類和回歸，在RoIhead中作者提出了RolPooling方法將不同尺度的候選區域全部pooling到一個尺度上。模塊結構圖如下所示：
圖片來源於陳雲的知乎
class VGG16RoIHead(nn.Module): #代碼位於model/faster_rcnn_vgg16.py中
def __init__(self, n_class, roi_size, spatial_scale,
classifier):
# n_class includes the background
super(VGG16RoIHead, self).__init__()
self.classifier = classifier #vgg16的兩層全連接，可見文中的Extractor部分VGG16的結構圖
self.cls_loc = nn.Linear(4096, n_class * 4) #輸出目標區域位置
self.score = nn.Linear(4096, n_class) #輸出預測類別
normal_init(self.cls_loc, 0, 0.001) #正則化
normal_init(self.score, 0, 0.01)
self.n_class = n_class #類別
self.roi_size = roi_size #roi大小
self.spatial_scale = spatial_scale #空間尺度
self.roi = RoIPooling2D(self.roi_size, self.roi_size, self.spatial_scale)
def forward(self, x, rois, roi_indices):
#......省略
pool = self.roi(x, indices_and_rois) #RoI池化部分
pool = pool.view(pool.size(0), -1) #降維
fc7 = self.classifier(pool) #VGG16的兩層全連接
roi_cls_locs = self.cls_loc(fc7) #預測出位置
roi_scores = self.score(fc7) #分類
return roi_cls_locs, roi_scores
運行代碼
整體來說該版本的代碼環境相當簡單，配置起來相當容易，沒有什么坑，認真閱讀作者的readme就好。在utils文件中有一個config.py文件，在里邊可以修改文件讀取的路徑，學習率等參數，自己運行時根據自己的情況進行修改即可。小編運行自己的數據（非VOC2007）結果如下圖：
總結
本篇文章主要的目的是推薦一個適合源碼學習的Faster rcnn版本給大家，並對代碼框架做了初步的介紹，希望對大家的源碼學習有一定的幫助，由於整個算法實現的代碼較為復雜，且細節比較多，很難通過一篇文章進行詳細的說明，如果大家對本版本的代碼感興趣，可以自己閱讀源碼學習。在學習源碼的時候我個人是有很多感想的，作為一個小白，通過源碼的學習真的學習到了很多，之前論文閱讀過幾遍，別的版本的代碼也拿來訓練過數據，但是讀了這個的源碼，又如發現了新大陸，很多算法的細節和精髓才算有了深刻的理解，真的是紙上得來終覺淺，絕知此事要coding。除了算法本身，在一些代碼的實現上也有很多的學習，真的感受到代碼作者的功力深厚，再次對作者表示深深地敬意.最后留個問題，在閱讀源碼的時候，發現作者使用了visdom進行可視化，如運行的截圖，小編還知道pytorch中一個可視化工具tensorboardX，但都不是很熟悉，還請知情人士在下方留言，詳細的講解一下兩種可視化工具的優劣。由於小編是一個剛入門（入坑）的學習者，文章中的不當之處還請大家諒解和提出，很希望能與大家一起討論學習。
最后再次放上源碼鏈接：https://github.com/chenyuntc/simple-faster-rcnn-pytorch
參考：
https://zhuanlan.zhihu.com/p/32404424
https://www.cnblogs.com/kerwins-AC/p/9734381.html
推薦閱讀
實戰 | 相機標定
實戰 | 圖像矯正技術
實戰 | Unity下ARKit與OpenCV的結晶
實戰 | 基於SegNet和U-Net的遙感圖像語義分割
實戰 | 文字定位與切割
我用MATLAB擼了一個2D LiDAR SLAM
原來CNN是這樣提取圖像特征的。。。
最佳機器/深度學習課程 Top 5 ，吳恩達占了倆
機器學習必學十大算法
語義分割如何「拉關系」?
YOLO簡史
這可能是「多模態機器學習」最通俗易懂的介紹
算力限制場景下的目標檢測實戰淺談
開源 | 用深度學習讓你的照片變得美麗
面試時讓你手推公式不在害怕 | 線性回歸
面試時讓你手推公式不在害怕 | 梯度下降
深度學習在計算機視覺各項任務中的應用
干貨 | 深入理解深度學習中的激活函數