紅外/可見光圖像配准融合
根據文獻【1】，對於平行光軸的紅外可見光雙目配置進行圖像配准，主要的限制是圖像配准只是對特定的目標距離（Dtarget）有效。配准誤差 x（以像素單位）的數學表達式為：
其中f為焦距，lpix為像素大小，dc為基線長度。Doptimal是目標距離，即圖像對齊誤差為0。如果光軸平行，即Doptimal=無窮遠，只有目標物體在相對相機很遠的位置將會精確對齊，對於距離較近（Dtarget<無窮遠）將會出現配准誤差。
圖像融合流程：
圖像融合框架如下圖：
其中標定方法采用的是OpenCV中的標定方法，只是標定板有所不同。需要注意的是圖像尺度因子及紅外相對可見光圖像的偏移。
（1）圖像尺度因子
由於紅外和可見光的焦距不一樣，導致空間物體在兩種圖像上成像大小不一樣，同時，使用的紅外/可見光硬件系統光心在Y方向上存在偏差，即使根據焦距大小對圖像進行縮放也並不能使得同一物體在不同圖像上的成像大小相同。
本次采用的方法是計算標定板兩兩圓心之間的在紅外和可見光圖像間的像素差，得到圖像的縮放比例，將空間物體在兩種圖像上的尺寸統一。
其中ThermalPoint和VisiblePoint為圓心n紅外和可見光圖像上的x或者y像素坐標值。根據求得的縮放因子，即可將空間物體在紅外和可見光圖像的尺寸統一，測試結果將在融合部分給出。
（2）紅外相對可見光圖像的偏移
本次紅外和可見光的原始大小分別為：640*512,1920*1080，將紅外和可見光圖像縮放到統一大小之后，將小尺寸的紅外圖像移動到可見光圖像上需要知道偏移距離（x，y）。采用的方法為：根據標定板中圓形的坐標位置在紅外和可見光圖像的像素坐標位置，計算對應點的像素差，則可將紅外與可見光像素對齊，公式如下。
X和Y分別為同一個圓心分別在紅外和可見光圖像中的像素坐標值。但是由於缺少深度信息，上述求出的偏移數據只能將空間距離與標定板距離接近的物體對齊，即假設標定板是在1.5m處求出的偏移距離，則使用該參數對於處於同樣距離的空間物體，對齊誤差為0，而對於大於或小於1.5m距離的物體，存在偏差，根據參考文獻，當最佳對齊（對齊誤差為0）位置為50m時，位於其他位置的物體的對齊誤差如下表所示：
從表中可以看出，當在50m處的對齊誤差為0時，對於物體在0~20m范圍內，誤差從4pixel到小於1piexl。而對於20m到無窮遠處的物體，對齊誤差始終在1piexl以內。
（3）對齊精度分析
硬件平台參數：
對於該硬件平台，根據公式（1），當Doptimal=50m，對距離相機25m處的物體在圖像上的對齊誤差：
即如果應用場景的可接受對齊誤差為±1piexl，對於該設備的有效目標距離為25m到無限遠。匹配誤差的數學表達式（公式1）表明，除了目標距離和最佳匹配距離，匹配誤差還與雙目的基線（dc），像素大小（lpix）和焦距（f）有關。上述表明，對於相同的目標距離，將相機配置為大的視場角（短焦距）對齊誤差將會變小。
（4）測試結果
由於對於遠距離下利用標定板求圖像的偏移距離存在難度，為了簡化測試，本次測試采集了一組人在相對相機不同距離下的一組圖片，對其進行圖像對齊，下表為測試結果：
測試數據中，人與相機的距離從6m~48m之間，每6m采集一組圖像，之后通過手動的方法將紅外和可見光圖像進行對齊，在通過反復調整偏移參數后，獲取了在上述偏移距離參數。從中可以看出，當物體距離大於12m之后，x方向的偏移基本保持不變，而y方向上，偏移參數的變化區間為[325,322](篇幅所限，給出少量測試結果)。
實驗結果：
實驗結果（1）
實驗結果（2）
實驗結果（3）
參考文獻：
【1】St-Laurent L, Prévost D, Maldague X. Fast and accurate calibration-based thermal/colour sensors registration[J]. Quantitative Infrared Thermography QIRT, 2010.
博客內容較為簡單，如有錯誤，還請各位指正！
E-main:vito_lee3258@163.com