最近Siamese真的是遍地開花
SiameseFC算是Siamese網絡的應用了把
SiameseFC是一個全卷積網絡,因此他可以輸入任意大小的圖片
在tracking中我有上一幀的BBOX,我將被跟蹤的目標切出來,通過SiameseFC獲得特征小圖A
對於當前幀,我通過SiameseFC獲得特征圖B,然后在B中找與A相似度最高的位置
對應到當前幀的位置就是我們目標跟蹤的建議位置
網絡結構如下
訓練:
輸入A,B,y
y表示A,B是否為同一類
具體訓練方法與Siamese有所不同,這里是計算每一個對應點的相似度,這里隨便用那種方法都行
這樣就得到了一個相似度矩陣
他的平均值即為這兩個地方的相似度
然后使用交叉熵作為loss即可
可以看到我們使用了每個點的相似度
這就為我們后續獲取mask打下了基礎