由於能力有限,總結的可能不一定全。其中有一些錯誤的地方歡迎指出,我將進行更改。
圖像拼接的定義:將一組相互之間存在重疊部分的圖像序列先進行空間配准,再經過圖像變換、重采樣和圖像融合后形成一幅包含每個圖像序列的寬視角或360度視角的全景圖像的技術。
圖像拼接技術主要包括三個重要步驟:圖像預處理、圖像配准和圖像融合。
1. 圖像預處理
目的:降低圖像配准的難度,提高圖像配准精度。
1.1 圖像投影
目的:使拼接后的圖像在視覺上保持一致。
方法:平面投影、柱面投影、球面投影和立方體投影。
1.2 圖像去噪
目的:減少圖像干擾噪聲。
方法:鄰域平均、空間域低通濾波、多幅圖像平均、中值濾波和圖像變換域。
1.3 圖像修正
目的:消除或減小圖像之間由圖像系統產生的非線性差異。
方法:針對灰度值偏差的修正和針對幾何變形的修正。
2. 圖像配准:根據一些相似性度量來計算不同圖像間的變換參數,使不同成像設備在不同 時間和不同視角獲取的同一場景的多幅重疊圖像變換到同一坐標系下,並得到最佳匹配的過程。
2.1 基於灰度的配准:利用灰度度量兩幅圖像之間的相似度,采用搜索方法尋找相識度最大的點。
優點:配准精度高。
缺點:計算復雜度搞,對遮擋、旋轉、形變和光照變焦敏感。
方法:空間相關度、頻域相關度和不變距。
灰度信息相似時方法:互相關匹配算法、投影匹配算法、基於傅里葉變換的相位匹配算法和圖像矩匹配算法。
2.2 基於特征的配准:通過選擇待拼接的兩幅圖像之間的特征和一致性准則來求解變換模型的最優參數解空間。
優點:計算量小、魯棒性好和對幾何形變不敏感。
缺點:損失大量的圖片信息,對一般場景的適應能力較差。
2.2.1 特征點的提取
方法有:Harris、SUSAN、DoG、SIFT、SURF、Moravec和Forstner等算法。
2.2.2 特征點的標識和描述:采用某種恰當的特征描述方法對特征點周邊鄰域的圖像局部信息進行描述,提高特征點的獨特性和可識別性。
2.2.3 特征點的匹配
相識性度量(歐氏距離),搜索策略(K-D樹),去除誤匹配點(K最近鄰)。
2.2.4 空間變換矩陣的估計
根據匹配點對求解圖像之間的空間變換模型參。
2.2.5 重采樣與插值
重采樣:對待配准圖像進行重采樣,得到和參考圖像同一坐標下的配准圖像。
插值:使重采樣后的像素值為整數。
2.3 基於變換域(傅里葉變換)的配准
優點:對噪聲步敏感,計算復雜度小,且可用FFT提高執行的速度。
缺點:只適用於在傅立葉變換中有相應定義形式(如旋轉、平移等)。
2.4 基於模版的配准:在一幅影像中選取一個影像窗口作模板,大小通常為5*5或7*7,然后通過相關函數的計算來找到它在搜索圖中的坐標位置。
優點:精度高、可靠性高以及抗干擾性強。
缺點:計算量大、准確率不高和實時性差。
3. 圖像融合:使用一定的算法,將拼接圖像中的各個子圖像進行信息綜合最終形成一幅完美的拼接圖像。
目的:消除亮度和顏色差異,消除幾何變換造成的重影(鬼影)。
方法:加權平均法、多分辨分析法、基於統計的融合方法、偽彩色圖像融合法、基於人工神經網絡的融合方法、基於多尺度分析的融合方法偏微分、離散余弦變換、獨立成分分析和形態學分析。
