1.摘要
HSI----高光譜圖像（Hyperspectral Image）。所捕獲的光譜信息以及對應高光譜數據對象之間的非線性關系，使得傳統方法無法進行准確的分類。深度學習方法作為一個強有力的特征提取器，被用在高光譜圖像分類任務上。1.概括傳統機器學習方法用於HSIC上面的不足，然后了解深度學習方法解決這些問題的優勢。2.將目前最新的深度學習框架划分為：光譜特征、空間特征和空間光譜特征。3.如何高效生產標注數據集。
2.引言
以前用於分析單色、RGB和多光譜圖像的傳統方法不能直接在HSI數據上提取有意義的信息。HSI展示了高維光譜/空間數據的統計和幾何屬性，即超立方體和超球體的體積分別集中在角落和外殼。
HSI分析主要划分為：降維操作、光譜分解、通道檢測分類、用於分類的特征學習、修復和去噪、分辨率提高。本文研究側重於HSI分類問題。
列出一個將深度學習使用在HSI分類問題的步驟框架：
- 光譜和空間特征分別學習
- 光譜空間特征學習
- 考慮到有限的訓練樣本，如何提高泛化性能
3.背景和挑戰
A.從傳統到深度學習模型
HSIC的主要任務----基於光譜或光譜空間屬性，給HSI立方體中每一個像素標注。
數學形式為：HSI立方體可以表示為:
這里\(B\)表示屬於\(Y\)類的所有頻帶，且每個頻帶包含\((N\times M)\)個樣本數量總和，其中\(x_i=[x_{1,i},x_{2,i},x_{3,i},\cdots,x_{B,i}]^{T}\)是\(i^{th}\)個HSI立方體中的樣本，其對應的類別是\(y_i \in R^Y\)。
傳統的手工特征方法主要包含兩類：
- 全局特征信息：顏色直方圖，GIST（全局尺度不變性轉變）、紋理描述子
- 局部特征信息：HOG（方向梯度直方圖）、SIFT（尺度不變特征轉換）
這些手工特征主要用來構建視覺詞袋模型（BOVW）以及基於HOG特征的模型。
B.高光譜數據特點和深度學習挑戰
一個主要問題是，缺少標注好的HSI數據。
其他問題：
高的內部變異性----集中環境因素干擾導致的反射值的不確定性變化；
由噪聲導致的數據降級；
冗余帶寬----HSI設備影響模型計算復雜度；
光譜混合----關聯於HSI的空間分辨率。
4. HSI的表示
HSI數據用\(3D\)立方體表示：\(X \in R^{B\times(N\times M)}\),這當中，一個樣本包含\(1D\)的譜段信息和\(2D\)的空間信息，\(B\)作為所有的譜段，\(N\)和\(M\)是空間部分，如下圖1所示。
A.譜段表示
上面表示中，每個像素向量是隔離於其他像素，並且處理每個像素向量是基於特定的頻譜空間\(x_{i}\)的，其中\(x_{i}\in R^{B}\)。注意，\(B\)可以是實際的譜段通道數，或者經過了降維后的譜段通道數。
僅僅依靠譜段信息來區分不同類型數據是不容易的，因為譜段混合的影響，相同材料可能表現出同的譜段信息，或者不同材料可能表現出相同的譜段信息。
B.空間表示
每一個譜段帶寬中的像素信息，即空間信息，表示為矩陣的形式：\(x_i \in R^{n \times M}\)
。空間相關性很高，相鄰像素有很大可能屬於同一個類別，像素的相鄰關系能夠決定使用像素核以及像素中心窗口。
C.譜段空間表示
聯合使用譜段和空間信息。一個像素向量基於譜段特征進行處理，考慮到空間紋理信息。
具體的處理操作：
- 直接拼接譜段向量中的空間信息
- 直接處理\(3D\)的HSI立方體