Classifification of Hyperspectral and LiDAR Data Using Coupled CNNs
來源：IEEE TGRS 2020
Abstract
本篇論文的主要工作就是基於信息融合的分類任務。
在這篇論文中，作者通過使用兩個耦合的CNN，提出一種融合高光譜和LiDAR數據的框架。設計一個CNN從高光譜數據中了解光譜空間特征，另一個則用於捕獲來自LiDAR數據。它們都由三個卷積層組成，最后兩個卷積層通過參數共享策略。在融合階段，特征級融合和決策級融合方法同時用於集成這些充足的異質特征。對於特征級融合，評估了三種不同的融合策略，包括串聯策略，最大化策略和求和策略。對於決策級融合，加權采用求和策略，確定權重通過每個輸出的分類精度。
提出的模型根據在美國休斯頓獲得的城市數據集進行評估，還有在意大利Trento農村地區捕獲的數據。在休斯頓數據中，作者的模型可以達到新記錄，整體精度為96.03％。在Trento數據上，其總體精度為99.12％。這些結果充分證明了作者提出的模型的有效性。
INTRODUCTION
文中模型的數據源是兩幅異質圖像——高光譜圖像（HSI）和激光雷達（LiDAR）圖像。
HSI圖像相比MSI具有更豐富的光譜信息，但是對於同一材質的物體區分性較弱，他們具有相似的光譜回應。不同於HSI，LiDAR可以記錄物體的海拔信息，能夠為HSI提供補充，二者優勢互補。
例如：區域中的樓房和道路由同樣的混凝土結構組成，HSI圖像很難區分二者之間的差別，但是LiDAR圖像則可以准確區分出樓房和道路，因為他們有不同的高度。相反，LiDAR無法區分兩條用不同材料（瀝青和混凝土）組成的道路，而可以用HSI。因此，融合高光譜和LiDAR數據是一種很有前途的方案，其性能已經得到了驗證。
METHODOLOGY
作者提出的模型主要包括兩個網絡：用於光譜空間特征學習的HSI網絡和用於海拔特征學習的LiDAR網絡。
它們每個都包含一個輸入模塊，一個特征學習模塊和融合模塊，如上圖所示。在特征學習模塊中，輸入的HSI圖像和LiDAR圖像分別通過一個三層的網絡結構進行特征提取，三層網絡結構中的后兩個卷積層權值共享。權值共享能夠減少網絡參數，而且有利於兩個分支統一優化。特征提取后則進入信息的融合模塊，在融合模塊中，構造了三個分類器，每個CNN都有一個輸出層，它們的融合特征也具有輸出層。
如圖2所示，兩組圖像特征首先通過特征級融合 \(F\) 獲得特征級融合特征\(F3=F1+F2\) 或者 \(F3=max(F1,F2)\)，特征級融合可以采用逐元素相加或者Max函數。然后對上述 \(F1,F2,F3\) 分別以下操作：
然后文中使用決策級融合 \(D\) 獲得最終的融合特征：\(O=F1\odot y1+F2\odot y2+F3\odot y3\)，\(\odot\) 為加權操作。
然后 \(L1\) 表示HSI圖像（\(y1\)）的交叉熵損失，\(L2\)表示LiDAR圖像（\(y2\)）的交叉熵損失。\(L3\)表示融合信息（\(O\)）的交叉熵損失。所以最終的損失函數為：
EXPERIMENTS
CONCLUSIONS
在將來需要探索更強大的鄰近提取方法，因為當前的分類圖仍然存在過度平滑的問題。