1、圖像融合：圖像融合是指將多幅圖像，在經過去噪、配准等預處理后，再依據某些融合規則合成一幅圖像的過程。融合圖像對目標的描述更清晰和准確，更適合圖像后續的處理。（多傳感器圖像融合（可見光圖像和紅外圖像融合）、單一傳感器多聚焦圖像融合）
圖像融合需要遵守的3個基本原則 ：
1)融合后圖像要含有所有源圖像的明顯突出信息；
2)融合后圖像不能加入任何的人為信息；
3) 對源圖像中不感興趣的信息， 如噪聲要盡可能多地抑制其出現在融合圖像中。
融合圖像的作用
①圖像增強。通過綜合來自多傳感器（或者單一傳感器 在不同時間）的圖像，獲得比原始圖像清晰度更高的新圖像。②特征提取。通過融合來自多傳感器的圖像更好地提取圖像的特征，如線 段，邊緣等。③去噪。④目標識別與跟蹤。⑤三維重構。
2、圖像融合應用領域
圖像融合技術的研究呈不斷上升的趨勢，應用領域也遍及遙感圖像處理，可見光圖像處理，紅外圖像處理，醫學圖像處理等。
3、幾種典型的數字圖像融合方法
主成分分析法
差分演化計算法（DE）
遺傳算法 GA
粒子群算法（PSO）
蟻群算法
神經網絡法
小波變換法
模糊圖像融合
。。。。
如果按研究方法分類 ，彩色圖像融合大體可以分為兩類： 基於人的視覺系統和直接基於物理光學。基於物理光學的研究是直接在顏色空間 RGB中對圖像進行處理、 融合。而基於人的視覺系統的融合，更多是從感官上在色彩的 HI V空間對圖像進行融合。
4、融合過程：
圖像融合的方法很多，按照信息提取的層次從低到高的原則可划分為 3 類：像素級圖像融合、特征級圖像融合和決策級圖像融合。
像素級融合依據一定的融合規則直接對源圖像基於像素的特征進行融合，最后生成一幅
融合圖像的過程。它保留源圖像的原始信息最多、融合准確性最高，但該類方法也存在着信息量最大、對硬件設備和配准的要求較高、計算時間長和實時處理差等缺點。
特征級圖像融合是首先對源圖像進行簡單的預處理，再通過一定模型對源圖像的角點、邊緣、形狀等特征信息進行提取，並通過合適的融合規則進行選取，再依據一定的融合規則對這些特征信息進行選取和融合，最后生成一幅融合圖像的過程。
該類融合方法融合的對象是源圖像的特征信息，所以對圖像配准環節的要求沒有像素級融合要求的嚴格。同時，該類方法提取了源圖像的特征信息，對圖像的細節信息進行了壓縮，增強其自身實時處理能力，並盡最大可能為決策分析提供所需要的特征信息。相對於前一級圖像融合方法，特征級圖像融合方法的精度一般。
決策級圖像是在進行融合之前，每一源圖像都已獨立地完成了分類、識別等自身的決策任務，融合過程是通過對前面每一獨立決策結果進行綜合分析，從而生成全局最優決策並依此形成融合圖像的過程。這種融合方法具有靈活度高、通信量小、實時性最好、容錯能力強、抗干擾能力強等優點。但是決策級圖像融合需要首先對各個圖像分別進行決策判斷，導致最終融合前的處理任務太多、前期的預處理代價高。
根據圖像融合處理對象所處空間的不同，圖像融合方法又可以分為多尺度分解圖像融合和空間域圖像融合兩大類。
最早的圖像融合實現是提出基於空間域上采用加權平均、HIS變換、PCA變換等算法，並應用到雷達圖像與衛星遙感圖像融合、衛星多光譜遙感圖像與全色圖像融合、衛星圖像與紅外圖像融合等領域。（加權平均算法簡單的采用像素的某項值作為權值計算的依據，容易引入噪聲；HIS變換適用於高分辨率的彩色圖像，應用范圍太窄；PCA算法對於源圖像之間差異較大時，容易引入錯誤的信息。）
多尺度分解融合算法首先將源圖像進行多尺度分解，然后依據一定的融合規則對每一尺度上的光譜信息進行提取融合，生成新的多尺度頻譜信息數據，最后對每一尺度上的數據進行分解的逆變換重構融合圖像。由於此類算法可有有效提取那些在空間上相互重疊、關系復雜但在頻率域上獨立的圖像特征。
（1984 年，Burt 等）拉普拉斯金字塔多尺度分解的圖像融合算法，該算法的主要思想是：先將源圖像分別進行將采樣濾波卷積處理，構成一個塔狀結構，然后對塔狀結構的每一層的系數進行融合運算保存圖像的邊緣、紋理等特征生成新的塔狀結構，最后對塔狀結構每一層系數進行金字塔逆變換得到融合圖像。
（1993 年，Ranchin T 和 Wald L）離散小波變換算法運用到遙感圖像的融合。該算法主要思想是：首先將源圖像進行正交小波變換處理，得到一系列高頻帶和低頻信息，然后依據一定融合規則對各層系數進行融合，生成新的高頻和低頻系數，最后對新的各層系數進行分解的逆變換得到融合圖像。
（2005 年 Do M N）輪廓波變換（Contourlet Transform，CT），該算法可以對圖像的邊緣和紋理進行稀疏表示，是真正的二維波，並且高頻層多方向分析數量可以根據需要多方向設定。將 CT應用到圖像融合，通過將區域能量作為高頻子帶系數的融合規則，提高了融合圖像的質量。但是，由於該類方法采用將采樣處理，其融合算法依然存在着平移不變性問題，融合圖像存在 Gibbs現象。
（2006年AL Da Cunha等人）提出了非降采樣輪廓波變換（NSCT）理論，該理論在保留其他多尺度分解算法優點的同時，又解決了平移不變性問題，是目前最好的多尺度分解算法。
相對應於多尺度圖像融合算法，空間域圖像融合算法以計算量小見長，而且隨着圖像聚類和分割技術的發展，基於空間區域特征的圖像融合算法得到很快發展。近年來，空間域圖像融合主要在多聚集圖像融合上取得了快速發展。多聚焦空間域圖像融合基本上可以分為基於像素點、基於塊和基於區域的圖像融合方法。
基於像素點圖像融合是直接將像素點或其鄰域窗口的聚焦度測量作為計算融合權重的融合方法。該方法計算最簡單，最容易實現，但是該方法缺乏像素點空間的聚焦特性和相互關系考慮，導致相鄰像素點之間缺乏一致性。同時，該方法對噪聲敏感，容易從源圖像中融合錯誤點。
基於塊的圖像融合算法將源圖像分成相對應的大小相等塊，通過塊的聚焦度測量大小作為圖像塊選取的融合規則，計算完各塊的融合權重后生成融合圖像。該類方法計算簡單，容易實現，但是受到兩個方面的影響：一是分塊的策略，將影響運算速度和分塊的質量。二是塊尺寸的大小，塊的尺寸太大將導致塊中既包含聚焦區域又有非聚焦區域；塊的尺寸太小導致塊內不能完全包含聚焦區域。且該類方法容易在聚焦區域和非聚焦區域之間產生“塊效應”，影響融合圖像的質量。
為了克服上述缺點，基於區域的圖像融合方法被提出。首先，利用分割算子將源圖像分割為不同的區域，然后計算每個區域的聚焦度測量，再依據一定的融合規則將聚焦區域進行合並生成融合圖像。研究者提出基於水平集方法、基於區域四叉樹分裂合並的方法、基於 K-means 聚類方法等方法。然而該類算法計算量太大，不利於實時操作。
Fay 和 Waxman等提出了基於神經網絡的彩色圖像融合規則方法，該方法采取了中心和四周相分離的原則，簡稱 MIT法。
Min L等將PCNN（Pulse Coupled Neural Network）作為圖像區域划分的依據，提出了圖像自適應分割。
5、融合流程框架
圖像融合由圖的描述可看出系統的框架可分為4個部分： 圖像配准、 圖像預處理 、 圖像融合、 輸出和圖像后處理。
配准的目的是使圖像滿足時間和空間上的一致，實際配准的過程是以一幅圖像作為基礎， 把其他的圖像通過一定算法復合在其上。
6、圖像配准
圖像配准主要分為以下 4 個步驟：（1）確定特征空間。（2）確定搜索空間。（3）相似性度量。（4）搜索策略。
當前的圖像配准方法依據其配准對象的不同可以分為像素級圖像配准方法和特征級圖像配准方法，而像素級圖像配准方法又可分為基於灰度的圖像配准方法和基於變換域的配准方法。
1、 像素級圖像配准方法
像素級圖像配准方法，先將圖像進行校正、邊緣銳化、增強運算等預處理后，待配准圖像進行二維傅里葉變換或計算相關參數與參考圖像進行像素配准。
（1）基於灰度的圖像配准方法：其基本思想是利用基於全局的兩幅圖像灰度值的相關性，然后通過確定搜索相似性度量的最值點來確定兩幅圖像之間的變換模型。一些文獻分別提出了基於方差、相關系數、信息熵等相關性度量的模型，這些方法都采用了基於全局相似性度量的方法，由於高分辨率圖像的相似性度量計算量太大，所以此類方法適用於低分辨率圖像的配准。
（2）基於變換域的圖像配准方法：該類方法最主要的是基於傅里葉變換的配准方法，該類方法利用了傅里葉變換的平移不變性特點。相對於前一種配准方法，基於變換域的圖像配准方法對噪聲有魯棒性和計算量較小。
當圖像的灰度差異較大，且圖像存在縮放、扭曲和旋轉等幾何變換時，基於像素級圖像配准方法的應用會受到限制。而變換域配准方法僅局限於傅里葉變換，當圖像轉換形式比較復雜時，基於變換域圖像配准方法就不太適用了。采用基於圖像特征的圖像配准方法可以有效克服以上兩種方法的不足。
2、 基於特征的圖像配准方法
特征級圖像配准方法是通過對從參考圖像上提取的角點、邊緣、區域等特征集與待配准圖像進行特征配准。該類方法一般分為以下 3 個步驟：
特征提取、特征匹配、圖像轉換。
圖像的邊緣特征能夠代表圖像的大部分結構信息，可以克服一些圖像畸變帶來的影響，而且基於特征配准方法的計算量小。常用的邊緣檢測算子有 Sobel、LOG、Canny等。
7、圖像質量評價
這些融合圖像質量評價方法可分為兩類：主觀評價方法和客觀評價方法。
主觀評價方法容易受環境、觀察者等因素的影響，僅依靠單個或少數觀察者的圖像評價結果並不可靠，只有在統計的條件下，評價結果才有意義，該方法容易實現。有五級質量尺度和五級妨礙尺（如下）。
對融合圖像的定量評價方法和准則，即客觀評價方法。分為全參考圖像質量評價、半參考圖像質量評價和無參考圖像質量評價。
基於無參考圖像質量評價指標：信息熵（Entropy）、空間頻率 （Space Frequency）、拉普拉斯算子等。
基於有參考圖像的評價指標：均方根誤差( RMSE)、信噪比 SNR（Signal-to-Noise Ratio）、峰值信噪比 PSNR（Peak-Signal-to-Noise Ratio）、結構失真的圖像質量評價指標UQI(Universal Image Quality Index)。
基於有參考圖像的圖像質量客觀評價指標主要是通過參考圖像與融合圖像之間的差異程度的來評價融合圖像的質量好壞。由於在實際運用中往往找不到參考圖像，所以此類融合圖像質量客觀評價指標的應用會受到一定的限制。
基於源圖像的評價指標：互信息（Mutual Information, MI）、結構相似度（Structural Similarity,SSIM）、加權融合質量指標（Weighted Fusion Quality Index,WFQI）、邊緣保持度融合質量指標。
基於源圖像的融合圖像質量評價指標對應用條件要求較少，而且能夠很好的檢測源圖像的邊緣、結構等信息，其數據的准確度和可靠性相對前兩類評價指標較高。