【目標檢測+域適應】CVPR18 CVPR19總結


域適應已經是一個很火的方向了,目標檢測更不用說,二者結合的工作也開始出現了,這里我總結了CVPR18和CVPR19的相關論文,希望對這個交叉方向的近況有一個了解。

1. 2018_CVPR Domain Adaptive Faster R-CNN for Object Detection in the Wild

這篇可算是第一個工作,以faster rcnn為baseline,在其基礎上添加判別器分支,附着到backbone輸出的特征圖和roi提取到的向量上,前者代表圖像級別的域適應,后者代表物體級別的域適應(roi代表一個物體),分別訓練兩個判別器,使其無法區分兩個域的圖像,除此之外,還添加了一致性正則化損失項,保證兩個層面的域分類結果一致。特別說明,源域數據沒有標簽,所以沒有檢測器的損失,只有域判別器的損失,所以最后的損失項:源域的檢測器損失+源域的物體域判別損失+源域的圖像域判別損失+源域的物體圖像一致性損失+目標域的物體判別損失+目標域的圖像判別損失+目標域的物體圖像一致性損失

相關代碼:

 https://github.com/yuhuayc/da-faster-rcnn(官方 caffe)

https://github.com/krumo/Detectron-DA-Faster-RCNN(caffe2)

https://github.com/divyam02/dafrcnn-pytorch/tree/cleaning(pytorch)

https://github.com/tiancity-NJU/da-faster-rcnn-PyTorch (pytorch)

 

2. 2018_CVPR Cross-Domain Weakly-Supervised Object Detection through Progressive Domain Adaption

這篇文章似乎出自東京大學?日本的科研能力依然世界前列啊。文章的任務設定與UDA(無監督域適應)略有不同,這篇文章處理的任務中,目標域有圖像級標注(圖像中有哪幾類物體),沒有實例級標注,所以文章的題目也說了,本文是弱監督任務。

這篇文章不能只介紹方法了,因為它還有另一大貢獻,那就是深度學習最為倚重的數據集,作者直接制作了三個數據集,而且都有實例級標注,太贊了!,這是不小的工作量。

三個數據集都是卡通風格的,與自然圖像相比域差異可以說是相當大了,分別是Clipart1K,Comic2K,Watercolor2K,從名字可以看出分別是1000,2000,2000張圖片。

 

 具體樣子如下,說實話在我看來長的都差不多,為什么選擇這幾個數據集,可能日本人對漫畫有天分和執着吧

說到方法,其實這篇論文的方法就是finetune,跟域適應的路子不太一樣,沒有域判別器之類的東西,然而,目標域沒有實例標簽,無法微調,所以作者想了兩種方法產生可用來微調的數據-標簽對。

1.在源域數據訓練檢測器

2. 利用cyclegan,將源域數據轉換為目標域,然后微調

3. 對目標域數據生成偽標簽,繼續微調

cyclegan的方法無需多說,詳情還得看cyclegan的東西,目標域生成偽標簽的原理是用檢測器檢測出結果,然后只保留圖像級標注中存在的物體類別,最后針對剩下的物體類,只取每一類中概率最高的一個檢測結果,這樣做是想盡量減少錯誤標注帶來的影響吧

相關代碼:

https://github.com/naoto0804/cross-domain-detection

3. 2019_CVPR Automatic adaptation of object detectors to new domains using self-training

這篇文章是跟上一篇有相同之處的,那就是都不是常規的域適應的路子,也是微調。不過本文沒有用cyclegan生成假樣本,只是采用了偽標簽。相比於僅利用檢測器生成偽標簽,本文還利用跟蹤器生成偽標簽,跟蹤器?沒錯,本文的偽標簽數據來自視頻,當然訓練好的檢測器可以用於視頻也可用於圖像。其中,跟蹤器的作用是查缺補漏,以防檢測器漏掉某些目標。

論文的貢獻不止於上面的,另一個貢獻在於對偽標簽的處理,使用了軟化的技術,軟標簽,具體內容不想講了,只是記得如果要使用偽標簽,可以考慮借鑒這篇論文的軟標簽處理方式。

相關代碼:http://vis-www.cs.umass.edu/unsupVideo/

4. 2019_CVPR Strong-Weak Distribution Alignment for Adaptive Object Detection

這篇文章采用的是常規的域適應的路子,只是采用了foca loss,效果出奇的好

由於采用的是域適應的路子,可以與第一篇文章做一下比較,第一篇文章是在圖像級和實例級兩個層面進行域適應,而這篇文章是在低層次特征和高層次特征兩個層面進行域適應,沒有利用目標信息,只是在圖像層面的域適應。

具體而言,選取兩個特征圖,一個層次低,一個層次高(backbone的最后特征圖),接下來的思想是我比較認同的,在低層次特征進行強對齊,也就是標准的交叉熵損失,在高層次特征進行部分對齊(弱對齊),如何達到弱對齊,就是采用focal loss,降低易分類樣本的損失權重,然后本文的核心東西就沒了,思路簡單,效果好

我覺得低層次編碼的是域相關信息,比如cityscape和foggy cityscape,差別在於后者有霧,這是一個圖像風格的問題,會在低層次進行編碼,當然,低層次特征還包含物體的邊,角等信息,而高層次特征編碼語義信息,對於兩個域而言,語義可能相同也可能不同,不該一味地強制語義對齊,所以采取弱對齊是合理的

相關代碼:https://github.com/VisionLearningGroup/DA_Detection

 

5. 2019_CVPR Few-shot Adaptive Faster R-CNN

這篇文章是關於少樣本學習的,這個方向不太了解,但是文章主要做的還是目標檢測和域適應,要解決的問題是目標域只有少量樣本的情況,但是目標域有標簽,不是無監督的

它也是在圖像級和實例級兩個層面進行域適應,但是由於目標域樣本少,作者采取了一種成對機制,具體來說,源域的特征圖(圖像級)切分成若干patch,與目標域的若干patch進行組隊,按照兩種方式組隊,源域patch和源域patch,源域patch和目標域patch,然后訓練分類器,這樣可訓練的樣本就增多了,對於實例級也是同樣策略,這就是這篇文章的核心思想。

相關代碼: 尚未找到

 

6. 2019_CVPR Adapting Object Detectors via Selective Cross-Domain Alignment

這篇論文完全就是針對CVPR18李文的那篇,完全一樣的三組實驗,然后全部吊打,太慘了

其實這篇論文的想法很合理,切中要害,文章只采用實例級對齊,但是抓住了實例對齊的問題,那就是RPN生成的proposal不准確,這種情況對不准確的區域對齊,產生的結果肯定是受干擾的

於是論文分兩步走,第一步找到需要對齊的區域,第二步,對齊

具體來說,對RPN生成的若干proposal, 聚類成K個proposal,認為這K個聚類中心更有可能包含目標,我覺得這還是有道理的

接下來的操作就有些看不到懂了,對K個proposal的特征,進行重構,變成一張圖片,這張生成的圖片與K個proposal所在區域的真實圖片,進行判別,這樣就完成了兩個域的適應?

我覺得講不大清楚,上圖吧,坦白講,第一步我深表贊同,第二步摸不着頭腦

相關代碼:尚未找到

7. 2019_CVPR Towards Universal Object Detection by Domain Attention

這篇論文的思路跟上面所有的都不一樣,其他人是進行域適應,在源域學習到的知識用於目標域,而這篇的目標是設計一個檢測器,同時檢測多個域,方法不是很新奇,就是多個域的數據都送入一個網絡訓練,當然,論文引入了注意力機制,SEnet等比較時髦的東西,其他的沒什么好說的了。

相關代碼:https://github.com/xuw080/towards-universal-objects-detection(目前似乎只有項目地址,還沒放出代碼)

 

8. 2019_CVPR Diversify and Match:A Domain Adaptive Representation Learning Paradigm for Object Detection

這篇論文我覺得很好,做法很簡單,確實是,但是簡單有效啊

說的直白點就是數據增強,但是增強的方式很有意思

利用cycle-gan在源域和目標域間生成多個中間域圖像,跟源域共享一個標簽,這樣,可訓練的數據就增多了,這些新的數據與源域和目標域一起送入faster rcnn,源域與新圖像會計算檢測loss,然后所有圖像一起會送入域分類器,不同於通常的域適應中的域判別器,這里的分類器不是二分類,是多分類,最終的目的是希望學習到多個域之間的不變特征

至於多個新圖像的產生細節,還是跟cycle-gan有關,添加不同的loss,產生不同風格的圖像,具體得看論文了。

 相關代碼:尚未找到

 

然后對這些方法中的實驗結果做個比對

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM