- A³CLNN: Spatial, Spectral and Multiscale Attention ConvLSTM Neural Network for Multisource Remote Sensing Data Classification
有效利用信息多個數據源的問題已成為遙感領域一個相關但具有挑戰性的研究課題。在本文中，我們提出了一種新的方法來利用兩個數據源的互補性：高光譜圖像（HSI）和光檢測與測距（LiDAR）數據。具體來說，我們開發了一種新的雙通道空間，頻譜和多尺度注意力卷積長短期記憶神經網絡（稱為雙通道A3CLNN），用於特征提取和多源遙感數據分類。首先針對HSI和LiDAR數據設計空間，光譜和多尺度注意機制，以便學習光譜和空間增強的特征表示並代表不同類別的多尺度信息。在設計的融合網絡中，使用了一種新穎的復合注意力學習機制（結合了三級融合策略）來完全整合這兩個數據源中的功能。最后，受轉學的想法啟發，設計了一種新穎的逐步訓練策略以產生最終的分類結果。我們在多個多源遙感數據集上進行的實驗結果表明，新提出的雙通道A3CLNN具有比其他最新方法更好的特征表示能力（導致更具競爭力的分類性能）。
- Deep Encoder-Decoder Networks for Classification of Hyperspectral and LiDAR Data
深度學習（DL）由於其強大的數據表示能力而受到了越來越多的關注（RS）。特別是，已證明深度模型對於基於單個給定模態的RS數據分類有效。然而，由於缺乏特征多樣性，在單一模式下，識別材料的能力仍然受到限制。為克服此限制，我們通過遵循深層編碼器-解碼器網絡體系結構（簡稱EndNet）來提供一種簡單而有效的多峰DL基線，以對高光譜和光檢測與測距（LiDAR）數據進行分類。 EndNet通過強制融合功能來依次重構多模式輸入，從而融合了多模式信息。與一些常規且廣泛使用的融合策略（例如，早期融合，中間融合和后期融合）相比，這種重構策略能夠更好地跨模態激活神經元。在兩個流行的高光譜和LiDAR數據集上進行的廣泛實驗證明，與高光譜LiDAR分類任務中的幾個最新基准相比，提議的EndNet具有優越性和有效性。這些代碼將在https://github.com/danfenghong/IEEE_GRSL_EndNet上可用，從而為RS社區做出了貢獻。
- FusAtNet: Dual Attention based SpectroSpatial Multimodal Fusion Network for Hyperspectral and LiDAR Classification
隨着傳感技術的最新進展，多模態數據將可輕松用於各種應用，尤其是在遙感（RS）中，在遙感中，許多數據類型如多光譜圖像（MSI），高光譜圖像（HSI），Li DAR等。可用。這些多源數據集的有效融合變得越來越重要，因為這些多模態特征已經顯示出可以生成高度准確的土地覆蓋圖。但是，考慮到數據中涉及的冗余以及多種模式之間的較大域差異，在RS上下文中進行融合是不平凡的。另外，針對不同模態的特征提取模塊之間很難相互影響，這進一步限制了它們的語義相關性。作為補救措施，本文提出了一種特征融合和提取框架工作，即FusAtNet，用於HSI和LiDAR數據的集體土地覆蓋分類。所提出的框架有效地利用了HSI模態，通過突出顯示其自身光譜特征的“自我注意”機制來生成注意圖。同樣，同時使用“交叉注意”方法來利用LiDAR派生的注意地圖，該地圖強調了HSI的空間特征。然后，與原始數據一起進一步探索這些細心的光譜和空間表示，以獲得模態特定的特征嵌入。如此獲得的面向模式的聯合光譜空間信息隨后被用於執行土地覆蓋分類任務。對三個HSI LiDAR數據集的實驗評估表明，所提出的方法達到了最新的分類性能，其中包括在休斯頓大學（Data Fusion Contest-2013）上可用的最大的HSI-LiDAR數據集。多峰特征融合的分類方法。
- Multiple Feature-Based Superpixel-Level Decision Fusion for Hyperspectral and LiDAR Data Classification
遙感傳感器數量的迅速增加使開發多源特征提取和融合技術成為可能，從而提高了表面材料的分類精度。據報道，光檢測和測距（LiDAR）數據可以為高光譜圖像（HSI）提供補充信息。本文提出了一種基於多特征的超像素級決策融合（MFSuDF）方法，用於HSI和LiDAR數據分類。具體而言，首先設計了超像素制導核主成分分析（KPCA）並將其應用於HSI，以減小尺寸並壓縮噪聲影響。接下來，分別對KPCA降低的HSI和LiDAR數據采用2-D和3-D Gabor濾波器，以獲取判別式Gabor特征，並且將幅度和相位信息都考慮在內。三種不同的模塊，包括基於原始數據的特征多維數據集（串聯的KPCA減少的HSI和LiDAR數據），Gabor幅度特征多維數據集和Gabor相位特征多維數據集（從KPCA降低的HSI和因此可以實現LiDAR數據）。此后，引入隨機森林（RF）分類器和象限比特編碼（QBC）來分別完成對上述三個提取的特征立方體的分類任務。或者，通過在組合的HSI和LiDAR數據上利用多通道簡單非迭代聚類（SNIC）和熵率超像素分割（ERS）算法生成兩個超像素圖，然后將其用於對三個分類圖進行正則化。最后，結合了基於加權多數投票的決策融合策略，以有效地增強多源數據的聯合使用。因此，建議的方法稱為MFSuDF。在三個真實的數據集上進行了一系列實驗，以證明所提出的MFSuDF方法的有效性。實驗結果表明，當每個樣本只有三個樣本時，我們的MFSuDF可以分別對休斯敦，特倫托和密蘇里大學和佛羅里達大學（MUUFL）Gulport數據集分別達到73.64％，93.88％和74.11％的整體精度。
- Joint Classification of Hyperspectral and LiDAR Data Using Hierarchical Random Walk and Deep CNN Architecture
使用多傳感器數據進行地球觀測越來越引起人們的注意。融合遙感高光譜圖像和光檢測和測距（LiDAR）數據有助於提高應用程序性能。在本文中，使用有效的分層隨機游走網絡（HRWN）研究了高光譜圖像和LiDAR數據的聯合分類。在提出的HRWN中，首先開發了雙通道卷積神經網絡（CNN）架構來捕獲光譜和空間特征。提出了一個像素方向的親和度分支，以從LiDAR數據中捕獲具有不同海拔信息的類之間的關系，並確認分類的空間對比度。然后在設計的分層隨機游走層中，雙通道CNN的預測分布充當全局先驗，而逐像素親和力反映了像素對的局部相似性，這在網絡的更深層中實現了空間一致性。最后，通過計算概率分布獲得分類圖。通過三個真實的多傳感器遙感數據驗證的實驗結果表明，所提出的HRWN明顯優於其他最新技術。例如，兩個分支的CNN分類器在休斯頓大學校園數據集上的准確性達到88.91％，而擬議的HRWN分類器獲得93.61％的准確性，從而提高了約5％。
- Fusion of Multispectral LiDAR, Hyperspectral, and RGB Data for Urban Land Cover Classification
隨着監視城市區域的重要性越來越高，出現了一個問題，即最適合解決相應挑戰的傳感器。 這封信提出了在隨機森林（RF）框架內進行新穎的節點測試的方法，使它們可以單獨或組合地將其應用於光學RGB圖像，高光譜圖像以及光檢測和測距（LiDAR）數據。 這不僅允許在不進行預處理或特征提取的情況下得出許多相關城市類別的准確分類結果，而且還可以洞悉哪種傳感器可以提供最有意義的數據來解決給定的分類任務。 盡管僅基於一小部分訓練樣本，但在公開基准數據集上獲得的結果要優於通過深度學習方法獲得的結果。
- Classification of Hyperspectral and LiDAR Data Using Coupled CNNs
論文學習筆記 - Classifification of Hyperspectral and LiDAR Data Using Coupled CNNs
- Hyperspectral and LiDAR Classification With Semisupervised Graph Fusion
為了融合高光譜和光檢測與測距（LiDAR），我們提出了一種半監督圖融合（SSGF）方法。 我們將形態濾波器應用於LiDAR和高光譜數據的前幾個分量，分別對高度和空間信息進行建模。 然后，將擬議的SSGF用於將光譜，高程和空間特征投影到較低的子空間上以獲得新特征。 特別地，SSGF的目的是通過使用標記和未標記的樣本來最大化類分離能力並保留局部鄰居引擎蓋結構。 來自2013年IEEE地球科學與遙感學會（GRSS）數據融合競賽的高光譜和LiDAR數據的實驗結果證明了SSGF的優越性。
- Feature Extraction for Classification of Hyperspectral and LiDAR Data Using Patch-to-Patch CNN
多傳感器融合在與地球觀測有關的應用中非常重要。例如，高光譜圖像（HSI）提供了豐富的光譜信息，而光檢測和測距（LiDAR）數據提供了高程信息，並且將HSI和LiDAR數據一起使用可以實現更好的分類性能。本文提出了一種無監督的特征提取框架，稱為斑對斑卷積神經網絡（PToP CNN），用於高光譜和LiDAR數據的協同分類。更具體地說，首先開發了三塔式PToP映射，以尋求從HSI到LiDAR數據的准確率表示，旨在合並兩個不同來源之間的多尺度特征。然后，通過對設計的PToP CNN的隱藏層進行光柵化，可以將提取的特征具有深融合的特征。因此，來自不同隱藏層的特征將被串聯成一個堆疊向量，並被饋送到三個完全連接的層中。為了驗證所提出分類框架的有效性，對兩個基准遙感數據集進行了實驗。實驗結果表明，與某些最新的分類器（例如，兩分支CNN和上下文CNN）相比，該方法可提供更好的性能。