關鍵詞：DJI 精靈4 多光譜 雙向反射率 輻射校正 日期：1/7/2021 - 2/7/2021
2019年，DJI大疆創新正式發布了精靈4多光譜版無人機(P4 Multispectral，P4M)，這一多光譜無人機集成系統大大降低了多光譜遙感數據獲取的准入門檻和成本水平，大幅提升了農林水草等遙感數據的獲取效率，是遙感從業人員的一大利器。
我十分高興的是，終於不用再分別購買無人機和多光譜相機進行集成了，終於有一個十分穩定的解決方案了。大疆出品，必屬精品！
然而，據我了解，DJI多光譜影像的
圖像處理指南文檔中一些用詞並不嚴謹和專業，甚至有一些模棱兩可，而且並沒有明確告知雙向反射率的計算方式，僅僅介紹了植被指數的計算方式。因此我認為有必要重新系統介紹一下如何對多光譜影像進行輻射校正進而獲取雙向反射率。
1. DJI P4M多光譜數據介紹
1.1. 影像數據
DJI P4M集成了1 個 可見光相機(RGB合成影像)及 5 個多光譜相機(藍光，綠光，紅光，紅邊和近紅外單波段影像)，所有相機均擁有 200 萬像素解析力及配備全局快門。
Blue: 450 ± 16 nm； Green: 560 ± 16 nm； Red: 650 ± 16 nm； Red-edge: 730 ± 16 nm； Near infrared (NIR): 840 ± 26 nm； 需要注意的是：
單次拍攝，不同單波段相機的 曝光時間與增益可能不同；不同次拍攝，不同單波段相機的曝光時間與增益也往往不同。 由於多光譜相機中各個波段相機的位置存在差異，因此不同波段影像的同一位置像元並非對應相同的地物，並不能直接疊加在一起。
需要對不同波段的影像進行
配准處理，即以某一波段的影像為參考位置，其他波段修正位置偏移。由於各波段相機鏡頭以及內部光路一致，它們的
暗角效應是一致的。也就是說，不同波段相機采用完全相同的暗角效應
校正系數。
1.2. 元數據
令人驚訝的是，DJI提供了非常多的元數據（EXIF metadata，以及 XMP metadata），可以用於影像的幾何校正、輻射校正、飛行狀態解析等等。
航點位置相關 GNSS RTK：相對高程（RelativeAltitude）、絕對高程(AbsoluteAltitude)、經度(GpsLongtitude)、緯度(GpsLatitude)、RTK狀態(RtkFlag)、RTK經度標准差(RtkStdLon)、RTK緯度標准差(RtkStdLat)、RTK高程標准差(RtkStdHgt)。
飛行姿態相關：X方向速度(FlightXSpeed)、Y方向速度(FlightYSpeed)、Z方向速度(FlightZSpeed)、偏航角(FlightYawDegree)、旋轉角(FlightRollDegree)、俯仰角(FlightPitchDegree)。
相機姿態相關：其實對應的是雲台轉角，即雲台俯仰角(GimbalPitchDegree)、雲台偏航角(GimbalYawDegree)、雲台旋轉角(GimbalRollDegree)。
輻射校正相關：位數(BitsPerSample)、中心波長(CentralWavelength)、傳感器索引(SensorIndex)、暗電流值(BlackCurrent)、曝光時間(ExposureTime)、感光速度(ISOSpeed)、增益(SensorGain)、增益相對校正參數(SensorGainAdjustment)、暗角校正參數(VignettingPolynomial 或 VignettingData)、暗角中心像元位置(VignettingCenter)
輻照度傳感器相關：太陽輻照度傳感器測量值(SunSensor)、輻照度傳感器曝光時間(SunSensorExposureTime)、輻照度傳感器增益(IrradianceGain)。
幾何相關：影像寬度(ImageWidth)、影像高度(ImageHeight)、像主點(PrincipalPoint)、焦距(PerspectiveFocalLength)、焦距像元數(CalibratedFocalLength)、畸變校正參數(DewarpData 或 PerspectiveDistortion)、相對光心偏移X(RelativeOpticalCenterX)、相對光心偏移Y(RelativeOpticalCenterY)。
注意：在影像的metadata中，以上參數往往存在重復，比如暗角校正參數在在VignettingPolynomial 或 VignettingData中均可找到。
DJI 還提供了很多其他有用的metadata，就不一一列舉了，這里有一個示例文件（提取碼：1234），可供查看。
2. 逐影像雙向反射率計算
我們常說要計算反射率，但是這個稱謂並不准確，應該叫做
雙向反射率或者雙向反射因子（具體為什么，請參考我以前的博客）。有時我們僅僅需要計算每幅影像的逐像元雙向反射率，而且往往這也是后處理的輸入數據。
2.1. 暗電流校正
我們通常對光譜儀或高光譜相機做暗電流校正，多光譜相機往往被忽視這一問題。既然DJI明確提供了暗電流校正參數，那何不校正一下。公式很簡單：
2.2. 曝光時間與增益校正
如前所說，不同次拍攝以及不同波段的曝光時間、增益等參數可能不同 （幸好，不同波段相機的光圈大小是一致的，快門速度(ISO speed)也是一致的），因此為確保它們之間可以相比，需要對DN值進行標准化。
不過，目前我還沒搞懂為什么不同次拍攝時光圈一致，快門速度一致時，曝光時間存在差異。有知道的，請打在評論區。
2.3. 暗角校正
暗角效應體現為亮度由中心向邊緣進行輻射狀的變暗，其通常主要是由於鏡頭邊緣的成像光線與鏡頭光軸有一個較大的夾角，造成邊角失光。當然，還有其他一些原因，但不在本博客的討論范圍之內。
典型的暗角效應模型為
多項式模型，對輻射狀暗角進行補償：其中， 是像素點 到補償中心（通常為影像中心）的像素距離：
六次多項式模型的校正系數 可以由元數據中的
VignettingPolynomial或VignettingData獲得。補償中心 由元數據中的VignettingCenter獲得。
2.4. 成像畸變校正
相機在成像過程中，由於真實的相機成像過程並非嚴格遵從小孔成像模型，會發生
徑向畸變和切向畸變(具體可以參考我以前的博客)。通常采用Brown校正模型進行校正。
其中， 是圖像物理坐標點 到圖像物理中心（通常為影像中心）的物理距離： ，注意其與暗角校正中的坐標系的差異。
上述校正所在的坐標系為
圖像物理坐標系，因此最后需要轉換到圖像像素坐標系中：
其中 和 ， 為影像中心。
成像畸變的校正參數可以由元數據中的
DewarpData獲得，注意其順序為 。
如果不采用 運動恢復結構 sfm算法對影像進行三維重建，則需上述公式進行單獨的畸變校正；如果采用SfM算法，則不必額外進行畸變校正了，因為SfM過程中已經包含了畸變校正的過程(具體可以參考我以前的 博客)。
2.5. 雙向反射率計算
經過以上一系列校正，最終我們得到
標准化處理后的DN值即 ，綜合校正公式為：
其中上標 代表歸一化到[0, 1]區間的像元值。 為暗角校正模塊。
注意：經上述公式處理后，並非得到雙向反射率或者其他物理值，而仍然是DN值，只不過是標准化處理后的DN值。
通常由DN值轉換為
雙向反射率有兩種方式：
單一參考板校正方法：即僅采用一塊標准反射率參考板進行校正。 假定參考板與地物具有相同的輻照度條件，則地物雙向反射率 和參考板雙向反射率 ，聯立該方程組，可以得到
注意：上式中假定輻亮度與DN值的關系滿足 而非 ，即接受的輻亮度為0時，DN值為0。其實通過暗電流校正，前者是成立的。
多參考板校正方法：即采用多塊參考板構建經驗校正模型進行校正。 由於某些多光譜傳感器自身的非線性問題或者參考板老化等問題，采用多參考板進行校正往往更為合適。可以采用線性校正模型：
即采用多塊參考板構建多個方程組，計算 和 ，進而用於地物影像的輻射校正（即雙向反射率的計算）
3. 逐影像植被指數計算
如果采用參考板進行輻射校正獲取雙向反射率影像，則逐影像植被指數的計算非常自然，僅需要將不同波段影像之間的位置偏移進行校正。
DJI規定了以NIR波段影像為參考，以此需要對其他波段的影像進行位置偏移校正。 考慮到不同波段相機的物理位置非常相近，所攝取的地物范圍極為相近，因此僅僅通過平移即可。每個波段影像的元數據中的
RelativeOpticalCenterX和RelativeOpticalCenterY給定了需要平移的像元數。圖像處理指南中建議飛行時有航點懸停的情況下采用此種方式，不過據我們的測試，飛行速度比較慢（< 5 m/s）時，也可以直接平移。如果確實發現平移不行，那就需要其他的配准方式了。
另外一種計算植被指數的方式是采用
太陽輻照度傳感器 sun sensor，但是注意此種方式目前僅適用於計算比值型植被指數。此外，單純采用DJI的sun sensor是無法計算出雙向反射率的，因為欲計算雙向反射率，需要采用如下公式，而DJI並未提供足夠的參數用於計算。
由於DJI的元數據中並未提供 和 ，因此上式無法求解。
不僅如此，某個波段的相機與其對應的sun sensor的
光譜響應函數也應當保持一直，即在相同的入射輻射通量條件下，它們的響應值是一致的。有關如何用DJI現有的sun sensor計算雙向反射率，是一個非常值得研究的問題。因為這對於非直射光條件或者光照強烈變化條件下的雙向反射率計算十分有用。我可能后面會專門寫一篇博客介紹此事。
4. 雙向反射率與植被指數的正射影像
我一般采用Agisoft Metashape軟件進行正射影像的生成，原本這並不需要多說什么，但是對於獲取DJI P4M的雙向反射率和植被指數的正射影像，就需要多說幾句了。
Metashape 能夠自動識別原始DJI P4M影像，並且讀取影像元數據包含EXIF metadata 和 XMP metadata，尤其是可以用XMP metadata中的一些參數提高三維重建的質量。而當原始影像被處理后，在用 exiftool.exe保存TIFF影像時，則會喪失所有的XMP metadata信息。不過倒是可以單獨輸入一個航點文件（該文件可以自行寫腳本生成）需要注意的是，應當先自行寫代碼輸出雙向反射率影像，然后在Metashape中處理，進而得到正射影像。如果直接采用植被指數影像重建正射影像比較困難或者失敗，則可以先生成雙向反射率正射影像，然后再制作植被指數正射影像。
5. 后記
首先我有足夠的信心認為，DJI P4M多光譜影像是高質量的可信的數據。但是其圖像處理指南寫的確實很不專業，這可能是因為P4M團隊中並無遙感或者光學專家（我猜的）。其實通過與P4M團隊的一個電話會議，我意識到DJI其實是想將P4M做的易用好用，而且一直在不斷的努力中。
啥也不說了，等我有錢了，我要買台P4M （目前在借用北林駱校長團隊的以及北師大閻老師團隊的DJI系列無人機）。