圖像融合(三)-- 拉普拉斯金字塔


2、拉普拉斯金字塔融合

  圖像金字塔方法的原理是:將參加融合的的每幅圖像分解為多尺度的金字塔圖像序列,將低分辨率的圖像在上層,高分辨率的圖像在下層,上層圖像的大小為前一層圖像大小的1/4。層數為0,1,2……N。將所有圖像的金字塔在相應層上以一定的規則融合,就可得到合成金字塔,再將該合成金字塔按照金字塔生成的逆過程進行重構,得到融合金字塔。這個總的思路就是一下所有基於金字塔融合的算法過程,不同點就在於分解構造的金字塔不同,每層的融合規則不一樣,重構的方法不同而已。金字塔方法最先實現了這種思想,之后小波方法進一步完善和發展了這種多尺度融和的思想。

2.1、原理闡述

(1)高斯金字塔

  高斯金字塔是最基本的圖像塔。首先將原圖像作為最底層圖像G0(高斯金字塔的第0層),利用高斯核(5*5)對其進行卷積,然后對卷積后的圖像進行下采樣(去除偶數行和列)得到上一層圖像G1,將此圖像作為輸入,重復卷積和下采樣操作得到更上一層圖像,反復迭代多次,形成一個金字塔形的圖像數據結構,即高斯金字塔。

高斯金字塔的構建過程為:假設高斯金字塔的第L層圖像為Gl:

式中N為高斯金字塔頂層層號,Rl和Cl分別為高斯金字塔第l層的行數和列數W(m,n)是一個二維可分離的5*5窗口函數,表達式為:

  由G0,G1,,,GN,就構成了一個高斯金字塔,其中G0為高斯金字塔的底層(與原圖像相同)GN為金字塔的頂層。由此可見高斯金字塔的當前層圖像就是對其前一層圖像首先進行高斯低通濾波,然后再進行隔行和隔列的降2采樣而生成的。前一層圖像大小依次為當前層圖像大小的4倍。

Opencv中使用pyrdown函數就可以獲得高斯金字塔。

(2)拉普拉斯金字塔

  在高斯金字塔的運算過程中,圖像經過卷積和下采樣操作會丟失部分高頻細節信息。為描述這些高頻信息,人們定義了拉普拉斯金字塔(Laplacian Pyramid, LP)。用高斯金字塔的每一層圖像減去其上一層圖像上采樣並高斯卷積之后的預測圖像,得到一系列的差值圖像即為 LP 分解圖像。

將Gl內插方法得到放大圖像*Gl,使*Gl的尺寸與*Gl-1的尺寸相同,即放大算子Expand

該式子實現兩個步驟:在偶數行和列插入0,然后使用下采樣中的高斯核進行濾波處理,得到和l-1層一樣大小的圖像。

 

  N為拉普拉斯金字塔頂層的層號LPl是拉普拉斯金字塔分解的第L層圖像。由LP0,LP1、LP2…LPN構成的金字塔即為拉普拉斯金字塔。它的每一層L0圖像是高斯金字塔本層G0圖像與其高一層圖像G1經內插放大后圖像*G1的差,此過程相當於帶通濾波,因此拉普拉斯金字塔又稱為帶通金字塔分解。

  內插方法:opencv中有實現的函數pyrup。可以得到*G1。然后在兩個函數作差,相減就可以得到拉普拉斯金字塔。

  求得每個圖像的拉普拉斯金字塔后需要對相應層次的圖像進行融合,具體的融合規則有,取大、取小,等等。

(3)重構

     對融合后的拉普拉斯金字塔,從其頂層開始逐層從上至下按下式進行遞推,可以恢復其對應的高斯金字塔,並最終可得到原圖像G0。就是從最高層開始使用內插的方法。

2.2、融合應用

  圖像拉普拉斯金字塔分解的目的是將源圖像分別分解到不同的空間頻帶上,融合過程是在各空間頻率層上分別進行的,這樣就可以針對不同分解層的不同頻帶上的特征與細節,采用不同的融合算子以達到突出特定頻帶上特征與細節的目的。即有可能將來自不同圖像的特征與細節融合在一起。

(1)頂層處理

  設LAl和LBl分別為源圖像A,B經過拉普拉斯金字塔分解后得到的第l層圖像,融合后的結果為LFl。當l=N時,LAN和LBN分別為源圖像A,B經過拉普拉斯金字塔分解后得到的頂層圖像。對於頂層圖像的融合,首先計算以其各個像素為中心的區域大小為M*N(M、N取奇數且M >= 3、N >= 3)的區域平均梯度:

其中,Ix與Iy分別為像素f(x,y)在x與y方向上的一階差分,定義如下:

  因此對於頂層圖像中的每一個像素LAN(i, j)和LBN(i, j)都可以得到與之相對應的區域平均梯度GA(i, j)和GB(i, j)。由於平均梯度反映了圖像中的微小細節反差和紋理變化特征,同時也反映出圖像的清晰度。一般來說平均梯度越大,圖像層次也豐富,則圖像越清晰。因此頂層圖像的融合結果為:

(2)各層次處理

  當0<l<N時,則對於經過拉普拉斯金字塔分解的第l層圖像,首先計算其區域能量:

 

則其他層次圖像的融合結果為:

在得到金字塔各個層次的融合圖像LF1、LF2、LFN后。通過前面的重構,便可得到最終的融合圖像。

 第二種融合規則:

    采用最高層系數取平均,其余各層系數絕對值取大的融合策略進行融合。融合后圖像的系數(灰度值)越接近較清晰圖像的灰度值就說明融合效果好。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM