泊松融合


Written by Samson Mulder @ Samsonlab.com

For more information visit http://www.samsonlab.com

最近國外的Open Course很火。很多同學喜歡看斯坦福,麻省的公開課程。但是國產大學生最大的悲劇就是,不願做作業。很多人看看公開課,看完也就結束了,很少有人會去做他們的課堂作業。大學期間看了斯坦福的Machine learning,很是喜歡。特別是里面那輛自動導航的車子和三維重建的技術。自動導航的車子終於在大學期間的飛思卡爾比賽中切實的做了一下。而三維重建技術確實很難。直到現在也還沒能做出一個demo來。想來覺得自己是一次台階跨的太高,沒有一個循序漸進的過程。於是便找了布朗大學(Brown University)的計算機視覺課程,按照他們的project,有淺到難,可能會好一點。

有興趣的同學可以參考這個鏈接:http://www.cs.brown.edu/courses/csci1950-g/

今天便討論下proj 2, poisson image blending

說起泊松,可以順便提及一下泊松同學的老師,拉普拉斯。學圖像或是信號的,一定對拉普拉斯算子和拉普拉斯卷積很熟悉。在泊松圖像融合出現之前,也有一種叫Laplacian pyramid blending的融合算法。兩者的效果可看下圖:

無敵window畫圖融合                    Poisson blend                        Laplacian

泊松融合  泊松融合  泊松融合
泊松融合  泊松融合  泊松融合

泊松融合  泊松融合  泊松融合

(圖像由布朗大學Steve Gomez 提供)

泊松融合的關鍵是要通過求解poisson equation來得到變換后的像素。

泊松方程

泊松方程是數學中一個常見於靜電學、機械工程和理論物理的偏微分方程。方程形式如下:

Δf =−ρ

這里的 Δ 代表的是拉普拉斯算子,

Δ≡ ∂ 2 ∂ 2x+∂2∂2y

而 f 和 ρ 可以是在流形上的實數或復數值的方程。其中ρ可以表示為ρ=ρ(x,y)的形式。

泊松圖像編輯

泊松圖像編輯是泊松方程的一個重要應用,首先提出該應用的是Poisson image editing. SIGGRAPH 2003,該文章對現在的圖像編輯技術有着非常重要的影響,隨后的幾年又出現了很多類似的圖像編輯方法,如 [Jiaya Jia et al. Drag and-drop pasting]於2006年提出了最優的融合邊界用於改進泊松圖像編輯的效果,[Zeev Farbman et al. coordinates for instant image cloning]在SIGGRAPH 2009中提出了使用Mean-Value coordinates用於計算基於梯度域的圖像編輯,該方法實現簡單且運行速度快,從而避免了求解復雜的泊松方程。下面通過幾個典型的應用來說明泊松方程在圖像編輯中的強大功能。

無縫融合
  • 傳統的圖像融合

    1. 精確地選擇融合區域:過程單調乏味且工作量大,常常無法得到好的結果

    2. Alpha-Matting:功能強大,但是實現復雜

  • 基於Poisson方程的無縫融合

    1. 選擇融合區域的過程簡單且方便

    2. 最終可以得到無縫融合的結果

  • 因此,我們選擇基於Poisson方程的方法進行圖像的無縫融合!!

為什么將泊松方程應用到圖像中
  • 很容易在圖像的梯度域中進行應用

    1. 通過局部的圖像編輯→ 全局融合的效果

    2. 無縫融合的應用 - 圖像合成, 圖像編輯, 圖像拼接

變分法的解釋泊松圖像編輯

泊松融合

其中,Delta I_A表示融合圖像塊的梯度,上面的變分方程的意義表明我們的無縫融合是以源圖像塊內梯度場為指導,將融合邊界上目標場景和源圖像的差異平滑地擴散到融合圖像塊I中,這樣的話,融合后的圖像塊能夠無縫地融合到目標場景中,並且其色調和光照可以與目標場景相一致。

基於泊松方程的圖像編輯實例
圖像合成

如下圖所示,我們分別用兩種不同的方法來進行圖像融合:

泊松融合

該圖是簡單的圖像拷貝,如右圖所示,此時的結果很不自然,有明顯的邊界。

泊松融合

該圖是基於Poisson的圖像編輯效果圖,如右圖所示,此時結果圖中沒有明顯的邊界,源圖像塊無縫且自然地融合到了天空中。

圖像無縫拼接

下面是基於圖像的無縫拼接的結果,該圖由25張圖像拼接而成,每張圖像表現的是沙灘上不同姿勢的小朋友,通過泊松融合,產生了無縫、自然且有趣的新圖像。

泊松融合

圖像編輯

下圖是圖像編輯的結果,通過改變花朵的融合邊界,將其重新融合到圖像中,從而可以自然地改變其色調,呈現出新的視覺效果。

泊松融合

本段摘自浙江大學,原作張贇。

理論方面就大約講到這里了。本人不才,理論方面只能做到只可意會,不可言傳的境界,所以只能將一些大牛的著作整合一下,希望對初學者有些幫助。

最后我會在最近將自己編寫的poisson image editing算法發布於Google code,license是GNU public license,希望對各位同學們有所幫助。

發布地址:http://code.google.com/p/imageblending/


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM