復按照幾個papers圖像融合算法，誘導整個過程，與您分享(^_^)。
基於sift的全景拼接方法的整個過程的大致流程：
- 對需拼接的圖像進行預處理。主要是幾何校正和消噪。對於幾何校正。因為我們考慮的是視頻的實時處理，那么我們僅僅需考慮攝像機的全部運動形式，當中包括8個自由度。可用投影變換來表示。H=[m0 m1 m2;m3 m4 m5;m6 m7 1]，考慮到它的算法復雜度已經有n的3次方。我們能夠考慮通過控制攝像機的運動方式來減少復雜度，比方令攝像機僅僅有平移旋轉和縮放，即仿射變換，減少了一次復雜度。消噪的話考慮到DOG本身就是一種非常好的帶通濾波器。這一步省略。
- 提取圖像SIFT特征點描寫敘述算子。因為高斯函數是唯一可能的尺度空間核函數，所以整個SIFT算法是基於“尺度不變”的特征。
- 對於二維圖像的尺度空間L(X,Y,σ), 水平方向和垂直方向與濾波器（高通。低通）相卷積，從而得到G(X,Y,σ),即尺度可變高斯函數。
- 而DOG是不同尺度的高斯差分核和圖像卷積而成[注]。
DOG的方式相當於一個人從遠和近兩個不同的地方看景物，它的邊緣是不會非常大有變化的。因為它的邊緣效應非常強。所以會加強非常多高頻隨機噪聲。這時候須要去除不符條件的算子。通過擬合三維二次函數的得到一個理論的極值點函數。這時候須要設定一個比例，大於這個比例的點剔除。剔除之后要把特征點生成人眼適應的描寫敘述算子。
- 因為為了要讓算子具備旋轉不變性，我們在以特征點為中心的領域窗體採樣，並用直方圖統計鄰域像素的梯度方向。10度一柱，直方圖的峰值代表特征點處鄰域梯度的主方向，即該特征點的主方向。為了增強系統的魯棒性。當存在還有一個相當於主峰值80%能量的峰值時，則將這個方向覺得是該特征點的輔方向。
然后將區域內全部點的梯度方向轉過一個上述確定的主方向的角度（以確保旋轉不變性）。
- 然后將區域分為4*4=16個正方形子區域，每一個區域中的點按梯度大小和正態分布加權。繪制出8個方向的直方圖，所以每一個特征點可得到一個128維的描寫敘述子向量。然后繼續將特征向量的長度歸一化。去除光照變化的影響。
- 進行特征匹配，得到特征匹配對。曾經都是採用Kd-Tree算法，我們在這里使用近似近期鄰算法，即BBF算法。
該方法採用一個優先級隊列使搜索一次從節點與被查詢節點距離由近及遠的順序進行。
（BBF算法更適合維度高的特征向量。而SIFT特征是128維向量，較為有用）
- 匹配提取，得到魯棒的特征匹配對。因為僅僅採用RANSAC算法可能會導致鬼影現象。所以須要改進RANSAC算法。以RANSAC確定的配准誤差閥值的90%作為配准閥值提取終於的仿射變換矩陣，增強魯棒性。
- 進行圖像融合。因為圖像融合是為了視頻做准備，實時性要求非常高，所以復雜度高的算法在這里不適用。
- 在關注幾篇論文里面都是採用線性融合算法對重合區域使用雙線性插值，通常是漸入漸出的加權平均算法。這樣盡管能夠較快獲得圖像，可是重合部分較多時會造成耗時變長。重合區域會非常模糊，且圖中若出現新物體時會讓它的亮度大大減少。考慮到圖像清晰度和實時性兩點，以及這項技術假設實現得到應用之后的應用性，
- 中值濾波比較適合。主要思想是利用中值濾波器來解決重合部分像素值的突變。用直觀的方式來解釋的話就是利用中值濾波去除高於某個閥值的點。消除像素值的突變，保持光強連續性。中值濾波法的長處在於能夠增強細節，保持較高頻的圖像信息，特別是突出變化目標。這非常有用。
- 假設我們能夠改進中值濾波法。減少它在GPU上的執行時間，那它就能夠作為一種最適合的方式。
還有就是關於消除拼接圖像的鬼影效果，眼下。考慮到我們採用的圖像融合辦法出現鬼影的概率不是非常高，所以能夠選擇最簡單的Collage算法。Collage算法好比拼貼畫用特定圖像覆蓋重疊區域來形成圖像。長處是簡單迅速。但easy出現斷層。所以須要用Seam cost function標准來評價，來提高拼接效果。
[注]2006年Michael Grabner簡化了DOG算子，減少了運算量。DOG算子的長處在於它有非常強的移植性和普適性。當K設為1.6時，即為高斯拉普拉斯算子的近似。而在DOG算法中，它是一種模擬視網膜上的神經從影像中提取信息從而提供給大腦，這是K約等於為5.
關於Image Engineering& Computer Vision很多其它討論與交流。敬請關注本博客和新浪微博songzi_tea.
版權聲明：本文博主原創文章。博客，未經同意不得轉載。