基於小波的融合（wavelet）
小波變換的固有特性使其在圖像處理中有如下優點：完善的重構能力，保證信號在分解過程中沒有信息損失和冗余信息；把圖像分解成平均圖像和細節圖像的組合，分別代表了圖像的不同結構，因此容易提取原始圖像的結構信息和細節信息；小波分析提供了與人類視覺系統方向相吻合的選擇性圖像。
離散小波變換(Discrete Wavelet Transform, DWT)。DWT的函數基由一個稱為母小波或分析小波的單一函數通過膨脹和平移獲得。因而，DWT同時具有時域和頻域分析能力，與一般的金字塔分解相比，DWT圖像分解具有以下優勢：
1）具有方向性，在提取圖像低頻信息的同時，還可獲得了水平、垂直和對角三個方向的高頻信息；
2）通過合理的選擇母小波，可使DWT在壓縮噪聲的同時更有效的提取紋理、邊緣等顯著信息；
3）金字塔分解各尺度之間具有信息的相關性，而DWT在不同尺度上具有更高的獨立性。
DWT 融合算法基本思想與金字塔算法一致，即：首先對源圖像進行小波變換，然后按照一定規則對變換系數進行合並；最后對合並后的系數進行小波逆變換得到融合圖像。由於不具有移不變性，基於DWT的標准小波融合算法獲取的融合圖像通常會存在“振鈴”干擾;特別在處理連續的圖像序列時，融合結果會出現明顯的閃爍和抖動現象。
1、原理闡述
（1）小波的簡單計算原理
[x0，x1，x2，x3]=[90，70，100，70] 為達到壓縮 我們可取 (x0+x1)/2 (x0-x1)/2 來代表 x0,x1 這樣 [90,70] 可表示為 [80,10] 80即平均數 10是小范圍波動數（可想象出一種波的形狀） [90,70] --〉[80,10] , [100,70] --〉 [85,15] 可以想象80 和85 都是局部的平均值反映大的總體的狀態，是變化相對緩慢的值，可以認為他們是低頻部分的值。 而10、15是小范圍波動的值局部變換較快，可以認為他們是高頻部分的值。
1、 FIRST：把[90,70,100,70] 寫成 [80,85,10,15] 即把低頻部分寫在一起（記頻率L） 高頻部分寫在一起（H)
2、 SECOND：而[80,85] 又可經同樣的變換--> [82.5, -2.5] 這樣 82.5表示更低頻的信息(記頻率LL) -2.5則表示了頻率L上的波動
3、最后[90,70,100,70] --〉[82.5, -2.5, 10, 15] 這樣信息就可被壓縮了（數字范圍小了）
現在再來擴展一下 [90,70]---> [80,10] 寫成矩陣 [90,70] * [1/2, 1/2]
[1/2 ,-1/2]
矩陣[1,1；1,-1]/2為haar轉換矩陣。
如果是[90，70,100,70]第一步就可以寫成矩陣M1：[0.5,0,0.5,0; 0.5,0,-0.5,0; 0,0.5,0,0.5;0,0.5,0,-0.5]，第二步只對低頻L操作，高頻不變可寫成M2：
[1/2, 1/2, 0, 0; 1/2, -1/2, 0, 0; 0, 0, 1, 0 ;0, 0, 0, 1]。另M= M1*M2，可得到4*4的點陣操作。
第一步運算后原圖像縮小至左邊一半了，右邊的是對應波動信息；
第二步運算后圖像又縮小至左邊一半了，對應波動信息。
對一幅圖像先進行行變化，在進行列變化，那么就是小波變化了。
LL：水平低頻，垂直低頻
LH：水平低頻，垂直高頻
HL：水平高頻，垂直低頻
HH：水平高頻，垂直高頻
其中，L表示低頻，H表示高頻，下標1、2表示一級或二級分解。在每一分解層上，圖像均被分解為LL，LH，HH和HL四個頻帶，下一層的分解僅對低頻分量LL進行分解。這四個子圖像中的每一個都是由原圖與一個小波基函數的內積后，再經過在x和y方向都進行2倍的間隔采樣而生成的。這是正變換，也就是圖像的分解；逆變換，也就是圖像的重建。是通過圖像的增頻采樣和卷積來實現的。這里有個問題進過處理后，數據或超出255或者出現負數，需要將其歸一化到0-255之間，方可顯示圖像。這里介紹的只是簡單的小波計算，小波計算的而不同就在於選取不同的小波系數，一般有haar小波，sym2小波等。
資料：http://www.blogbus.com/shijuanfeng-logs/221385402.html
2、融合規則
規則一：系數絕對值較大法
該融合規則適合高頻成分比較豐富，亮度、對比度比較高的源圖像，否則在融合圖像中只保留一幅源圖像的特征，其他的特征被覆蓋。小波變換的實際作用是對信號解相關，並將信號的全部信息集中到一部分具有大幅值的小波系數中。這些大的小波系數含有的能量遠比小系數含有的能量大，從而在信號的重構中，大的系數比小的系數更重要。
規則二：加權平均法
權重系數可調，適用范圍廣，可消除部分噪聲，源圖像信息損失較少，但會造成圖像對比度的下降，需要增強圖像灰度。
規則三：局部方差准則
設A(x,y)和B(x,y)分別為高頻子圖像數據值，F(x,y)為相應高頻子圖像融合值，將A(x,y)和B(x,y)分成若干個M×N子塊圖像。對每個子塊圖像進行數值分布統計，計算其方差。確定A和B圖像每個子塊圖像加權系數K1和K2。如果A圖像子塊方差大於B圖像子塊方差,則K1≥K2，否則K1<K2。確定每個子塊圖像的數據融合數值為：F(i,j)=K1A(i,j)+K2B(i,j)。
3、融合應用
若對二維圖像進行N層的小波分解,最終將有(3N+1)個高低頻帶，其中包含3N個高頻帶和一個低頻帶。圖像融合的基本步驟如下。
1）對每一源圖像分別進行小波分解，建立圖像的小波金字塔分解。
2）對各分解層分別進行融合處理，采用不同的融合算子對各分解層的不同頻率分量進行融合處理，最終得到融合后的小波金字塔。低頻：加權平均，高頻：絕對值取大。
3）對融合后所得的小波金字塔進行小波逆變換，所得到的重構圖像即為融合后的圖像。
圖像的低頻部表現的是圖像的概貌和平均特性；圖像的高頻反應的是圖像的細節特性，如圖像的邊緣、區域邊界等。
融合規則：
基於局部方差的融合規則：在鄰域W中，圖像I在以（i ，j)為中心點的局部方差定義：
式中為圖像I 的均值，M，N 分別為局部區域的行數和列數，這里取局部區域為3*3，基於局部方差的融合方式常用的方法是選擇法，即通常說的局部方差取大法。方差選擇法的融合規則：
L為分解尺度， 表示圖像小波系數，
表示圖像小波系數， =d=H,V,D分別表示的是水平、垂直、對角高頻分量。如果兩幅圖片直接使用局部方差法進行融合，局部方差相差較大時，采用局部方差取大法能夠比較完整的存儲圖像的微小細節。一旦局部方差相差很小時，局部方差取大法會使圖像細節失真。
圖像融合有一個重要的目的，即將圖像的邊緣、細節等都包含到融合圖像中。一種方法是將圖像的邊緣提取出來，將它應用到相應的融合算法中。圖像邊緣檢測的最好的算子是 canny 算子，將canny算子和局部方差的融合規則的算法相結合，提出了一種新的改進融合方法。融合步驟如下：
（1）小波分解。對於圖像 A，B 分別進行 3 層小波分解，得到低頻分量AA、AB和高頻分量DLH，DLV，DLD。
（2）低頻融合。對低頻分量AA 和AB 所有的像素點計算其局部方差Var(i ,j)AA和 Var(i ,j)BA，然后進行歸一化：
然后，利用歸一化的局部方差，按照如下：
（3）高頻融合。在圖像 A 和 B 的每一個高頻分DLA，DLB中，對每一個高頻分量用 canny 算子進行邊緣提取，再對邊緣圖像的每一個元素計算局部方差：
其中，
表示源圖像的第l層經 canny 算子處理的高頻系數，
為源圖像的第l層經 canny 算子提取后的均值，
是對源圖
像的第l層高頻分量進行邊緣提取后求得的局部方差。
（4）小波重構。對融合后的系數進行小波重構，得到融合后的圖像。
附：這里介紹的小波是最簡單的形式，融合規則也比較常用，很多紅外和可見的融合也都用到了這里的規則，所以，實現這里面的算法來適用我們的應用。