論文：https://ieeexplore.ieee.org/document/9646959
代碼：https://github.com/SUST-reynole/DESSN
1. 概述
目前應用於超高分辨率遙感影像變化檢測的方法中依然存在兩個主要的問題。一是它們要么忽略了雙時相圖像的原始信息，要么沒有充分利用雙時相圖像之間的差異信息，導致變化目標內部的低緊密性。二是孿生卷積神經網絡用於變化檢測總是采用的是雙分支編碼器，這樣極大地增加了計算代價。針對以上問題，該論文提出了一種應用於超高分辨率遙感影像變化檢測的輕量化的差異增強以及非局部空譜信息融合（DESSN）方法。本文主要做出了三個貢獻。首先，我們設計了可以有效學習前景和背景之間差異信息的差異增強（DE）模塊，從而減少無關變化對檢測結果的影響。其次，我們提出了不同於原始non-local模型的非局部空譜特征融合（SSN）模塊，它結合了多尺度空間全局特征來模擬變化檢測過程中大范圍的變化。這個模塊可以用來增強變化目標的邊緣完整性和內部緊密性。最后，利用結合Ghost的非對稱雙卷積（ADCG）模塊代替原始的卷積。由於水平和垂直卷積核具有良好的輪廓保留優勢，因此ADCG模塊可以更好地細化變化對象的邊緣信息，另外還可以大大降低所提出模型的計算復雜度。在兩個公共的超高分辨率變化檢測數據集上的實驗表明，我們所提出的方法不僅獲得了更高的檢測精度，而且降低了內存消耗。
2. 方法
本文利用Siamese的思想在U-Net網絡上進行改進，提出了用於超高分辨率遙感影像變化檢測的基於差異增強和非局部空譜特征融合網絡，其結構如圖1所示。
Fig. 1: The framework of the proposed network. The ADCG module aims to refine the extracted features and reduce computations. The DE module is purposed to make full use of differences to emphasize the changed features. The SSN module introduces multi-scale parallel sampling (MPS) module to strengthen the edge integrity and internal tightness of changed objects. out1, out2, and out3 indicate the three outputs of the DE module.
具體貢獻：
1）差異增強（DE）模塊：為了進一步有效地構建雙時相圖像之間的關系，在每一個特征提取層中雙時相特征圖的差異圖上使用注意力機制，然后將所獲得的帶有權重的差異圖與原始特征圖相加，從而加強變化目標之間的關系，降低未變化區域對檢測結果的影響，並用加強后的差異圖像進行跳躍連接，為上采樣提供更加准確的位置信息，結構示意圖如圖2所示。
Fig. 2: Structure of difference enhancement module, where “-” implies difference operation, “+” implies element-wise summation, and “ ×” implies multiplication operation.
2）非局部空譜特征融合（SSN）模塊：為了加強變化對象的邊界完整性和內部緊密性，且降低特征融合中的冗余，擬采用非局部模塊。但非局部模塊涉及到矩陣的乘積運算，計算量龐大，於是設計了多尺度並行采樣（MPS）模塊，將其嵌入到非局部模塊中，既能降低運算復雜度，又將空間信息與光譜信息進行了融合，從而提高了檢測精度，其結構示意圖如圖3所示。
Fig. 3: Architecture of the SSN module. MPS is the multi-scale parallel sampling module described in detail on the left side.
3）結合Ghost的非對稱雙卷積（ADCG）模塊：為了降低模型的內存消耗並提高對邊緣信息的提取，將原始U-Net網絡中的雙卷積（DC）替換為非對稱雙卷積（ADC）模塊，即用並聯的條形卷積代替原DC中的第二個方形卷積。為進一步降低模型的參數量，引入Ghost的思想。具體地，在每一層卷積操作中，用一半的ADC模塊進行特征提取，然后利用所獲得的特征圖進行線性變換獲得新的特征圖，具體的結構示意圖如圖4所示。
Fig. 4: Architecture of the ADCG module. The same color in feature maps indicates similar features.
3. 實驗
本文在兩個公開的數據集上進行實驗，分別為LEVIR-CD數據集、CDD數據集。采用精度（Precision, Pre）、召回率（Recall, Rec）、F1分數（F1-Score, F1）三個評價指標對實驗結果進行評價。
3.1 對比實驗
本文所提出的方法在LEVIR-CD數據集、CDD數據集上分別與Siam-UNet（baseline）, FC-EF [1], FC-Siam-conc [1], FC-Siam-diff [1], W-Net [2], FCN-PP [3], DSIFN [4], FDCNN [5] 8種方法進行對比，在LEVIR-CD數據集上的實驗結果如圖5所示，定量分析如表1所示；在CDD數據集上的實驗結果如圖6所示，定量分析如表2所示。
Fig. 5: Visual comparison of results of three different situations: sparse changes (row 1); large changes (row 2); dense changes (row 3). (a): pre-temporal image; (b): post-temporal image; (c): label; (d): U-Net; (e): FC-EF; (f): FC-Siam-conc; (g): FC-Siam-diff; (h): W-Net; (i): DSIFN; (j): FCN-PP; (k): FDCNN; (l): ours.
TABLE I: QUANTITATIVE ANALYSIS OF LEVIR-CD DATASET CHANGE DETECTION RESULTS, THE BEST VALUES ARE IN BOLD
Fig. 6: Visual comparison of results of three different situations: sparse small changes (row 1); complex changes (row 2); large changes (row 3). (a): pre-temporal image; (b): post-temporal image; (c): label; (d): U-Net; (e): FC-EF; (f): FC-Siam-conc; (g): FC-Siam-diff; (h): W-Net; (i): DSIFN;(j): FCN-PP; (k): FDCNN; (l): ours.
TABLE II: QUANTITATIVE ANALYSIS OF CDD DATASET CHANGE DETECTION RESULTS, THE BEST VALUES ARE IN BOLD
另外，我們還對所提出的方法的效率與其他對比方法進行了比較，定量分析結果如表3所示。實驗結果表明，在使用了較多模塊后，我們總的模型大小相較於baseline來說，壓縮了一半多，參數量以及計算量均得到了有效的降低。
TABLE III: COMPARISON OF THE EFFICIENCY OF DIFFERENT NETWORKS ON LEVIR-CD DATASET, THE BEST VALUES ARE IN BOLD
3.2 消融實驗
本文提出了三個模塊，表3展示了在LEVIR-CD數據集上的消融實驗的結果，驗證了我們所提出的各個模塊對性能提升的有效性。
TABLE IV: QUANTITATIVE ANALYSIS OF ABLATION EXPERIMENTS ON LEVIR-CD DATASET, THE BEST VALUES ARE IN BOLD
4. 總結與展望
本文從提升超高分辨率遙感影像變化檢測精度和降低雙分支模型參數量和計算量兩個角度出發，提出了基於DE模塊、SSN模塊以及ADCG模塊的DESSN網絡，旨在加強檢測目標的邊緣完整性和內部緊密性。在兩個公開的變化檢測數據集上的實驗結果表明，我們的所提出的網絡不僅獲得了較高的檢測精度，而且大大降低了模型存儲的內存消耗。事實上實現模型的輕量化並不一定會提升網絡運行速度，因此在未來進一步探究模型壓縮問題的同時繼續探究模型加速的問題，最終目標是在提升檢測精度的前提下，實現一個同時兼顧模型壓縮與模型加速的高效方法。
參考文獻：
[1] R. C. Daudt, B. L. Saux, A. Boulch, “Fully convolutional Siamese networks for change detection,” in Proc. Int. Conf. Image Process. (ICIP), 2018, pp. 4063-4067.
[2] B. Hou, Q. Liu, H. Wang, et al., “From W-Net to CDGAN: Bitemporal Change Detection via Deep Learning Techniques,” IEEE Trans. Geosci. Remote Sens., vol. 58, no. 3, pp. 1790-1802, 2019.
[3] T. Lei, Y. Zhang, Z. Lv, et al., “Landslide inventory mapping from bitemporal images using deep convolutional neural networks,” IEEE Geosci. Remote Sens. Lett., vol. 16, no. 6, pp. 982-986, 2019.
[4] C. Zhang, P. Yue, D. Tapete, et al., “A deeply supervised image fusion network for change detection in high resolution bi-temporal remote sensing images,” ISPRS J. Photogramm. Remote Sens., vol. 166, pp. 183-200, 2020.
[5] M. Zhang and W. Shi, “A feature difference convolutional neural network-based change detection method,” IEEE Trans. Geosci. Remote Sens., vol. 58, no. 10, pp. 7232-7246, 2020.