Anchor-Free綜述
一. CornerNet
1.1 概述
這是第一篇將anchor-free的mAP值刷入COCO榜單的論文，主要貢獻是將keypoints的估計方式引入目標檢測之中。
主要創新點：
- 使用
Heatmap表示目標的坐標left-top、right-bottom - 增加
Offset使得定位更加精確 - 使用
Embeddings使得兩個關鍵點匹配 - 使用
left、right、top、bottom pooling層增加目標邊緣的定位准確度
1.2 模塊介紹
1.2.1 Heatmap
使用兩個Heatmaps表示一個目標的左上角和右下角點，例如：\(Left\_top=B \times C \times W \times H\) ，其中 \(C\) 表示目標類別，同理右下角點完全相同。對於每一個像素，這是一個分類問題，使用focal-loss去除類別不均衡問題。對於focal-loss而言，類別非0即1，然后Heatmap是使用Gaussian-map生成的，周圍的點都是 \(value \in [0-1]\)。下圖展示了，label周圍的點實際也是較好的定位點，不應該直接歸結為背景，而且給予一定的權重，基於此得重新設計loss函數
其中 \(y_{cij}=1\) 的時候和focal-loss相同，\(y_{cij}<1\) 的時候使用 \(1-y_{cij}\) 作為減少懲罰，如下公式（1）所示
1.2.2 Offset
當前的網絡都會進行Downsample or Upsample的操作，使用heatmap最明顯的兩個缺點：1）計算量比較大，2)精度不准確。對於前者，這里不討論，可以參考人體關鍵點期望分布進行解決。后者是這里解決的方案，直接學習一個offset參數去解決
這里比較簡單，不再贅述直接使用SmoothL1-Loss計算即可
1.2.3 Grouping Corners
此處方法參考論文：Associative Embedding
已經學習到多組兩個角點的位置，如何將其對應？和Offset處理方式類似，直接使用一個參數（一組參數）去編碼當前關鍵點的組ID信息
比如：Left-top點的heatmap維度為 \(B\times C \times W \times H\)，Embedding的維度為 \(B\times W \times H \times N\) ，其中\(C\)為種類信息，\(N\)為維度信息，這樣就為每個目標設定了一個長度為\(N\)的vector信息。當然可以使用\(N\times M \times K...\) 等多維度信息去表示。
#https://github.com/zzzxxxttt/pytorch_simple_CornerNet/blob/767bf0af3229d9ffc1679aebdbf5eb05671bbc75/utils/losses.py#L34
def _ae_loss(embd0s, embd1s, mask):
num = mask.sum(dim=1, keepdim=True).float() # [B, 1]
pull, push = 0, 0
for embd0, embd1 in zip(embd0s, embd1s):
embd0 = embd0.squeeze() # [B, num_obj]
embd1 = embd1.squeeze() # [B, num_obj]
embd_mean = (embd0 + embd1) / 2
embd0 = torch.pow(embd0 - embd_mean, 2) / (num + 1e-4)
embd0 = embd0[mask].sum()
embd1 = torch.pow(embd1 - embd_mean, 2) / (num + 1e-4)
embd1 = embd1[mask].sum()
pull += embd0 + embd1
push_mask = (mask[:, None, :] + mask[:, :, None]) == 2 # [B, num_obj, num_obj]
dist = F.relu(1 - (embd_mean[:, None, :] - embd_mean[:, :, None]).abs(), inplace=True)
dist = dist - 1 / (num[:, :, None] + 1e-4) # substract diagonal elements
dist = dist / ((num - 1) * num + 1e-4)[:, :, None] # total num element is n*n-n
push += dist[push_mask].sum()
return pull / len(embd0s), push / len(embd0s)
1.2.4 Corner Pooling
由於兩個角點光靠局部位置很難確定，對比mask和bbox的區別。這里使用創新的pooling層去解決這個問題。其實按照現在流行的做法，使用Non-local、SE模塊去處理可能會更好。做法非常簡單，但需要自己寫cuda層實現。
1.3 總結
此論文是開創性的，位置毋庸置疑。
缺點也是一目了然-->>
二. CenterNet
2.1 概述
基於CornerNet的改進版本，主要貢獻是速度快精度准，當時是用在移動端利器
主要創新點：
- 使用中心點代替角點，直接回歸長寬
- 使用Offset（
CornerNet已經存在） - 使得增加屬性非常容易，比如
depth、direction......
2.2 Center-Regression
對於CornerNet來說，回歸兩個角點+回歸Offset+回歸分組信息+NMS，顯得特別繁瑣，而且計算很慢！這里對其進行如下改進：
- 使用中心點和 \(W、H\) 代替兩個角點
- 依然回歸
Offset對位置精度彌補 - 去除分組對齊
- 去除NMS
由於其核心是使用目標的中心點進行的操作，所以添加其它屬性非常方便，如上圖中的方向、關鍵點、深度......
三. FCOS
3.1. 概述
主要做的貢獻如下（可能之前有人已提出）：
- FPN分階段回歸
- Center-ness Loss
3.2. 模塊介紹
3.2.1 論文思路簡介
論文整體比較簡單，直接從頭讀到尾沒有什么障礙，好像Anchor-free的文章都比較簡單。下面直接以模塊介紹。
文章中 \(l^*、b^*、r^*、t^*\) 表示label，\(l、b、r、t\) 表示predict
3.3.2 回歸形式
文章直接回歸 \(l、r、b、t、c\) 其中 \(c\) 表示種類，前面四個在上圖中有表示。
回歸采用正負樣本形式：
- \(feature map\) 表示回歸的特征圖（以 \(M\) 表示）
- \(M_{i,j}\) 表示 \((i,j)\) 個點的特征值
- 將 \(M_{i,j}\) 映射到原圖，假設當前特征圖的總步長是 \(S\) （和原圖比例），則原圖點\(P_{i,j} =（\frac{S}{2}+M{i}*S，\frac{S}{2}+M{j}*S）\)
- \(P_{i,j}\) 落入哪個label區域，就負責回歸哪個label，算作正樣本。落到外部則算作負樣本。
- 如果落在重復區域，按照上圖的形式（哪個面積小，就負責哪個label）
文章采用FPN結構，用於提高召回率和精確度。參考Anchor-based（不同尺度的Anchor負責不同大小的目標），文章對不同的層進行限制目標大小：其中\(M_{1}、M_{2}、...M_{6} = 0、64、128、256、 512\)，按照 \(M_{i}<（l^*、b^*、r^*、t^*）<M_{i-1}\) 形式進行分配。
最后文章發現一個問題，NMS時候出現很多和最終目標接近的框，我們希望的是：負樣本和正樣本區分明顯，而不是很多接近正樣本的框（比如分類，雖然可以正確分類，但是出現很多 \(conf=0.45\) 的目標，我們希望出現\(conf_{pos}=0.99,conf_{neg}=0.11\)）。
文章通過設置 \(center\) 進行控制，對於那些中心偏離的目標進行抑制。我們不僅僅要IOU好，也要center好。文章通過新建一個新的分支進行center-ness進行回歸。
3.3 參考文獻
- 原始論文
- FCOS改進
四 ATSS
此論文對比anchor-free和anchor-base的區別，從而在anchor-base上提出一套自動計算anchor的工具。使用較少，這里略過。
五.GFLV1
5.1. 論文簡介
將目標檢測Loss和評價指標統一，提升檢測精度。這是一篇挺好的論文，下面會將其拓展到其它領域。
主要做的貢獻如下（可能之前有人已提出）：
- 分類Loss+評價指標
- Regression分布推廣到一般性
5.2. 模塊詳解
5.2.1 談談分布
- 什么是分布？表示一個數發生的概率，設 \(f=P(x)\) 表示分布函數，\(f\) 表示發生的概率，\(x\) 可能存在的數。1）顯而易見，\(\int_{-\infty}^{+\infty}P(x)dx=1\)，所有的數存在概率總和為1。 2）\(y=\int_{-\infty}^{+\infty}P(x)*xdx\) ，它的整體期望（平均值）肯定是等於目標值的。
- 什么是 \(Dirac\) 分布? reference ，\(f=\delta(x-\mu)\) , 當 \(x=\mu\) 概率為1，其它都是0。這是什么意思？此分布簡稱為絕對分布，只要是直接求目標的，都屬於此分布。比如：1）直接計算 \(one-hot\) 交叉熵 \(label=[0,0,0,1]，pred=[0.2,0.1,0.1,0.6]\)，我們的目的就是兩者相等，其它的值都是不存在的。你問我按照\(Delta\) 分布應該其他值為0才對啊，那loss=0（實際loss為什么不是0）怎么回傳呢？記住Loss和分布不是一個概念，Loss是我們用一種方式使得結果達到理想分布，分布是一種理想的狀態，簡單點說 \(Loss \to Sample\)。2）那么直接進行BBox回歸也是一種 \(Delta\) 分布，因為都是預測一個值，然后直接和Label進行smoothL1計算Loss。
- 什么是 \(Gaussian\) 分布，這個不多說大家都知道。\(Gaussian-YOLO\) 和 \(Heatmap\) 都是屬於此分布。舉個例子：剛開始做關鍵點（當前小模型人臉也是這樣做的）直接使用坐標 \((x，y)\) 進行回歸，顯然這是屬於 \(Delta\) 分布的，后面人們將其改進為 \(Heatmap\)，這就是將分布改為 \(Gaussian\)，所以稱為\(Gaussian-Heatmap\) .
- 什么是任意分布？只滿足分布的兩個條件，沒有具體的公式。直接使用期望和Label進行計算Loss即可。
- 進一步理解Loss和分布的關系，期望和Label計算Loss（前向推導使用期望做結果），中間概率和期望計算Loss（使得輸出按照一定分布進行，容易收斂提高精度）。
5.2.2 分類Loss
- 具體由來見：論文作者知乎回答
筆者給出簡短說明：
- 先去看一下FCOS論文，其中使用 \(center-ness\) 計算預測框質量，兩個作用：1）訓練時抑制質量較差的框。2）前向計算時用於NMS操作指標。
- 問題來了。。。訓練階段、前向計算、評價指標沒有統一？
- 論文魔改一下Focal-Loss、center-ness統一為一個Loss
-
此部分比較簡單，基本和FCOS類似
# 代碼出自mmdetection
@weighted_loss
def quality_focal_loss(pred, target, beta=2.0):
"""Quality Focal Loss (QFL) is from
Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes
for Dense Object Detection
https://arxiv.org/abs/2006.04388
Args:
pred (torch.Tensor): Predicted joint representation of classification
and quality (IoU) estimation with shape (N, C), C is the number of
classes.
target (tuple([torch.Tensor])): Target category label with shape (N,)
and target quality label with shape (N,).
beta (float): The beta parameter for calculating the modulating factor.
Defaults to 2.0.
Return:
torch.Tensor: Loss tensor with shape (N,).
"""
assert len(target) == 2, """target for QFL must be a tuple of two elements,
including category label and quality label, respectively"""
# label denotes the category id, score denotes the quality score
label, score = target
# negatives are supervised by 0 quality score
pred_sigmoid = pred.sigmoid()
scale_factor = pred_sigmoid
zerolabel = scale_factor.new_zeros(pred.shape)
loss = F.binary_cross_entropy_with_logits(
pred, zerolabel, reduction='none') * scale_factor.pow(beta)
# FG cat_id: [0, num_classes -1], BG cat_id: num_classes
bg_class_ind = pred.size(1)
pos = ((label >= 0) & (label < bg_class_ind)).nonzero().squeeze(1)
pos_label = label[pos].long()
# positives are supervised by bbox quality (IoU) score
scale_factor = score[pos] - pred_sigmoid[pos, pos_label]
loss[pos, pos_label] = F.binary_cross_entropy_with_logits(
pred[pos, pos_label], score[pos],
reduction='none') * scale_factor.abs().pow(beta)
loss = loss.sum(dim=1, keepdim=False)
return loss
5.2.3 回歸Loss
主要包括兩個部分：
-
\(Delta\) 分布推廣到任意分布
- 論文公式（3）是 \(Delta\) 分布的期望，公式（4）和（5）是任意分布的期望
- 直接預測多個（論文設置為16）值，求期望得到最佳值
- TIPS: 效果肯定比 \(Delta\) 分布好，但是計算量會增加。小模型一般不適用，大模型使用較多。
-
限制任意分布
- 任意分布會過於離散，實際真實的值距離label都不會太遠
- 限制分布范圍，論文公式（6）
- TIPS: 按照公式推導應該效果好（正在推廣到關鍵點檢測），使用任意分布的都可以加上試試。
# 代碼出自mmdetection
@weighted_loss
def distribution_focal_loss(pred, label):
"""Distribution Focal Loss (DFL) is from
Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes
for Dense Object Detection
https://arxiv.org/abs/2006.04388
Args:
pred (torch.Tensor): Predicted general distribution of bounding boxes
(before softmax) with shape (N, n+1), n is the max value of the
integral set `{0, ..., n}` in paper.
label (torch.Tensor): Target distance label for bounding boxes with
shape (N,).
Return:
torch.Tensor: Loss tensor with shape (N,).
"""
# 完全按照論文公式（6）所示，label是真實值（目標框和anchor之間的偏差，參考FCOS）
# pred的shape（偏差*分布），如果沒有后面的分布，那就變成delta分布
dis_left = label.long() # label范圍[0,正無窮]，感覺這里應該-1然后限制一下范圍最好。作者說long()向下取整，但是這解決不了對稱問題。
dis_right = dis_left + 1
weight_left = dis_right.float() - label
weight_right = label - dis_left.float()
loss = F.cross_entropy(pred, dis_left, reduction='none') * weight_left \
+ F.cross_entropy(pred, dis_right, reduction='none') * weight_right
return loss
5.3. 參考文獻
六. GFLV2
6.1 概述
這篇論文非常非常的簡單，類似加入了一個全局信息的SENet模塊、或者說Non-Local模塊，讀懂GFLV1之后，馬上解決V2的問題。
此方法在小模型上不適合，在大模型上漲點明顯。可以進一步推廣，此方案用在大模型non-share Head中，而小模型都是共享Head的。
