此主要討論圖像處理與分析。雖然計算機視覺部分的有些內容比如特 征提取等也可以歸結到圖像分析中來,但鑒於它們與計算機視覺的緊密聯系,以 及它們的出處,沒有把它們納入到圖像處理與分析中來。同樣,這里面也有一些 也可以划歸到計算機視覺中去。這都不重要,只要知道有這么個方法,能為自己 所用,或者從中得到靈感,這就夠了。
8. Edge Detection
邊緣檢測也是圖像處理中的一個基本任務。傳統的邊緣檢測方法有基於梯度 算子,尤其是 Sobel 算子,以及經典的 Canny 邊緣檢測。到現在,Canny 邊緣檢 測及其思想仍在廣泛使用。關於 Canny 算法的具體細節可以在 Sonka 的書以及 canny 自己的論文中找到,網上也可以搜到。最快最直接的方法就是看 OpenCV 的源代碼,非常好懂。在邊緣檢測方面,Berkeley 的大牛 J Malik 和他的學生 在 2004 年的 PAMI 提出的方法效果非常好,當然也比較復雜。在復雜度要求不高 的情況下,還是值得一試的。MIT的Bill Freeman早期的代表作Steerable Filter 在邊緣檢測方面效果也非常好,並且便於實現。這里給出了幾篇比較好的文獻, 包括一篇最新的綜述。邊緣檢測是圖像處理和計算機視覺中任何方向都無法逃避 的一個問題,這方面研究多深都不為過。
[1980] theory of edge detection
[1983 Canny Thesis] find edge
[1986 PAMI] A Computational Approach to Edge Detection
[1990 PAMI] Scale-space and edge detection using anisotropic diffusion
[1991 PAMI] The design and use of steerable filters
[1995 PR] Multiresolution edge detection techniques
[1996 TIP] Optimal edge detection in two-dimensional images
[1998 PAMI] Local Scale Control for Edge Detection and Blur Estimation
[2003 PAMI] Statistical edge detection_ learning and evaluating edge cues
[2004 IEEE] Edge Detection Revisited
[2004 PAMI] Design of steerable filters for feature detection using canny-like criteria
[2004 PAMI] Learning to Detect Natural Image Boundaries Using Local Brightness, Color, and Texture Cues
[2011 IVC] Edge and line oriented contour detection State of the art
翻譯
使用各向異性擴散的尺度空間和邊緣檢測——http://tongtianta.site/upload
作者:Pietro Perona and Jitendra Malik
摘要 -摘要-Witkin引入的比例空間技術涉及通過將原始圖像與高斯核卷積來生成較粗分辨率的圖像。這種方法的主要缺點是:很難准確地獲得“有意義的”邊緣的粗略位置。在本文中,我們提出了比例空間的新定義,並介紹了一類使用擴散過程實現該算法的算法。選擇擴散系數以在空間上變化,從而鼓勵區域內平滑優先於區域間平滑。結果表明,保留了常規比例尺空間的“不應在粗糙的比例尺上產生新的最大值”的特性。由於我們方法中的區域邊界仍然很清晰,因此我們獲得了可以成功利用全局信息的高質量邊緣檢測器。實驗結果顯示在許多圖像上。該算法涉及在映像上復制的基本本地操作,從而使並行硬件實現可行。
索引詞-自適應濾波,模擬VLSI,邊緣檢測,邊緣增強,非線性擴散,非線性濾波,並行算法,比例空間。
Ⅰ 引言
從計算機視覺的早期階段就已經認識到圖像多尺度描述的重要性,例如Rosenfeld和Thurston [20]。 Witkin [21]提出並在Koen derink [11],Babaud,Duda和Witkin [1],Yuille和Poggio [22]和Hummel [7],[8]。
這種方法的基本思想很簡單:將原始圖像嵌入到通過將原始圖像l0(x,y)與方差t的高斯核G(x,y;t)卷積而獲得的一組衍生圖像 I(x,y,t) 中:
t的較大值(比例空間參數)對應於較高分辨率的圖像。 見圖1。
圖1:一維一維信號I(x,t)通過將原始的一維(底部)與方差從高到低的高斯核進行卷積而得到(改編自Witkin [21])。
正如Koenderink [11]和Hummel [7]指出的那樣,派生圖像的這一參數系列可以等效地視為熱傳導或擴散方程的解。
初始條件為 I(x,y,0)= l0(x,y) 的原始圖像。
Koenderink通過陳述兩個標准來激勵擴散方程式的制定。
1)因果關系:分辨率不高的任何特征都必須具有分辨率更高(但不一定唯一)的“原因”,盡管反之不一定成立。換句話說,當分辨率較低時,不應生成任何虛假細節。分辨率降低。
2)同質性和各向同性:要求模糊是空間不變的。
這些標准自然導致了擴散方程的制定。可以注意到,僅出於簡化的目的陳述第二標准。稍后我們將對此有更多發言權。實際上,本文的主題是用更有用的方法代替此標准。
還應該注意的是,因果關系准則雖然可能是最簡單的,但它並不是唯一強制選擇高斯進行模糊的方法。Hummel[7]做出了重要的觀察,即最大原則的一個版本來自於拋物線微分方程等效於因果關系。我們將在IV-A節中進一步討論。
本文的組織結構如下:第二部分對標准比例尺空間范式進行了批判,並提出了另一套用於獲得“語義上有意義的”多比例尺描述的標准。 在第三節中,我們表明通過允許擴散系數變化,可以滿足這些標准。 在第IV-A節中,對最大原理進行了回顧並用於說明我們的方案仍如何滿足因果標准。 第五部分介紹了一些實驗結果。 在第六節中,我們將我們的方案與其他邊緣檢測方案進行了比較。第七節給出了一些結論。
Ⅱ 標准尺度空間范式的弱點
現在,我們檢查標准縮放空間范式是否適用於需要“在語義上有意義”的多個縮放描述的視覺任務。自然界中的表面通常具有由少量離散級別組成的層次結構[13]。在最好的水平上,一棵樹是由具有復雜的靜脈結構的葉子組成的。在下一級別,每個葉子被單個區域替換,在最高級別,對應於樹梢的單個斑點。分辨率的自然范圍(比例空間參數的間隔)與這些描述級別中的每個級別相對應。此外,在每個描述級別,區域(葉,樹梢或森林)都有明確定義的邊界。
在標准比例尺空間范式中,在粗糙比例尺圖像中不能直接獲得邊界的真實位置。在圖2的一維示例中可以清楚地看到這一點。粗尺度上的邊緣位置偏離了它們的真實位置。在2-D圖像中,存在另一個問題,即破壞了包含邊緣圖的許多空間信息的邊緣結。獲得已在粗略尺度上檢測到的邊緣的真實位置的唯一方法是通過在尺度空間上跟蹤到其在原始圖像中的位置。這種技術被證明是復雜且昂貴的[5]。
圖2:邊緣的位置(通過圖1的線性比例空間的拉普拉斯算子的零點(改編自Witkin [21])
圖3:各向同性線性擴散(離散8最近鄰實現的0、2、4、8、16、32次迭代)產生的比例空間(比例參數從上到下,從左到右遞增)比較圖12。
這種空間扭曲的原因非常明顯-高斯模糊並沒有“尊重”物體的自然邊界。假設我們有一個以天空為背景的樹梢的圖片。高斯模糊過程將導致樹葉的綠色與天空的藍色“混合”,早在樹梢成為特征之前(在樹葉被模糊在一起之后)。圖3顯示了通過高斯模糊獲得的一系列較粗的圖像,這些圖像說明了這種現象。還應注意,區域邊界通常是相當分散的而不是尖銳的。
以此為動機,我們闡明了[18]我們認為用於生成圖像的多尺度“語義上有意義的”描述的任何候選范式都必須滿足的標准。
1)因果關系:正如Witkin和Koenderink所指出的那樣,比例空間表示應具有以下特性:不應從細到粗的比例生成任何虛假細節。
2)立即定位:在每個分辨率下,區域邊界應清晰且與該分辨率下的語義有意義的邊界重合。
3)分段平滑:在所有尺度上,區域內平滑均應優先於區域間平滑進行。在前面提到的樹示例中,葉區域在與天空背景合並之前應折疊到樹梢。
Ⅲ 各向異性擴散
有一種簡單的方法可以修改線性比例空間范式,以實現我們在上一節中提出的目標。 在看比例空間的擴散方程框架中,假設擴散系數c是與空間位置無關的常數。 沒有根本原因可以做到這一點。 引用Koenderink [11,p.364],“ ...我不允許空間變化模糊。 顯然,這對問題不是必需的,但是它大大簡化了分析。”我們將展示如何適當選擇 c(x,y,t) 使我們能夠滿足上一節中列出的第二和第三條標准。 這可以在不犧牲因果關系標准的情況下完成。
考慮各向異性擴散方程
其中我們用div表示散度算子,分別用和
表示相對於空間變量的梯度算子和Laplacian算子。如果 c(x,y,t)為常數,則可簡化為各向同性熱擴散方程
。假設在時間(比例)t 處,我們知道適合該比例的區域邊界的位置。我們希望鼓勵在區域內進行平滑處理,而不是在邊界上進行平滑處理。這可以通過在每個區域的內部將傳導系數設置為1,在邊界處設置為0來實現。然后,模糊將在每個區域中分別發生,而區域之間沒有交互作用。區域邊界將保持清晰。
當然,我們不預先知道每個比例尺的區域邊界(如果我們這樣做,問題將早已解決!)。可以計算出適合該比例尺的邊界(邊緣)位置的當前最佳估計值。
圖4:非線性g(.)的定性形狀。
令E(x,y,t)為這樣的估計:在圖像上定義的向量值函數,理想情況下應具有以下屬性:
1)E(x,y,t)= 0在每個區域的內部。
2)每個邊緣點的E(x,y,t)= Ke(x,y,t),其中e是垂直於該點的邊緣的單位向量,K是局部對比度(圖像強度的差異)在左邊和右邊)。
請注意,上面使用的“邊緣”一詞尚未正式定義-我們在這里指的是邊緣作為區域邊界的感知主觀概念。完全令人滿意的正式定義可能是解決方案的一部分,而不是問題的定義!
如果估計 E(x,y,t)可用,則可以將傳導系數 c(x,y,t)選擇為E大小的函數c = g(|| E||)。陳述的策略g(.)必須是 g(0)= 1的非負單調遞減函數(見圖4)。這樣,擴散過程將主要發生在區域內部,並且不會影響E幅度較大的區域邊界。
直觀地知道,擴散過程能否成功滿足第II部分的三個比例空間目標,在很大程度上取決於估計E作為邊緣位置的“猜測”的准確性。盡管准確性在計算上很昂貴,並且需要復雜的算法。我們能夠證明幸運的是,最簡單的邊緣位置估計,亮度函數的梯度(即 E(x,y,t)= I(x,y,t)) 給出了出色的結果。
g(·)有許多可能的選擇,最明顯的是二進制值函數。在下一部分中,我們說明如果使用邊緣估計E(x,y,t)= I(x,y,t),則g(·)的選擇將限於單調遞減函數的子類。
IV 各向異性擴散的性質
通過回顧偏微分方程理論的一般結果,即最大原理,我們首先確定各向異性擴散滿足第二部分的因果關系准則。在第IV-B節中,我們顯示了一種擴散,其中,根據亮度函數的梯度大小(即,
如果正確選擇函數g(·),則不僅會保留亮度邊緣,還會使亮度邊緣銳化。
A.最大原則
因果關系標准要求在比例空間中從精細到粗糙的尺度傳遞圖像時,不引入新特征。如果我們使用亮度函數I(x,y,t )的“斑點”識別圖像中的“特征” )對於比例參數t的不同值,則新的“斑點”的出現將意味着創建一個最大值或最小值,該最大值或最小值必須屬於內部或頂面I(x,y,tf) (tf是尺度空間的最粗尺度),因此可以通過顯示尺度空間中的所有最大值和最小值都屬於原始圖像來建立因果關系准則。
擴散方程式(3)是滿足最大原理的更為通用的橢圓方程組的特例。該原理指出,只要傳導系數為正,該方程解在空間和時間上的所有最大值都屬於初始條件(原始圖像),並且屬於感興趣域的邊界。在我們的案例中,由於我們使用了絕熱邊界條件,因此最大原理甚至更強:最大值僅屬於原始圖像。原理的證明可以在[17]中找到。為了使論文自成一體,我們在附錄中提供了簡單的證明,其中還處理了絕熱邊界情況,並且使用了關於傳導系數的較弱假設。第五部分提出了最大原理的離散版本。
B.邊緣增強
對於常規的低通濾波和線性擴散,消除噪聲和執行標度空間所付出的代價是邊緣的模糊。這導致它們的檢測和定位困難。對這個問題的分析在[4]中提出。
邊緣增強和模糊圖像的重建可以通過高通濾波或在時間上向后運行擴散方程來實現。這是一個不適定的問題,並且會引起數值不穩定的計算方法,除非對該問題進行了適當的約束或重新設計[9]。
我們將在這里表明,如果選擇傳導系數作為圖像梯度的適當函數,我們可以使各向異性擴散在及時向前運行時增強邊緣,從而享受最大原理所保證的擴散穩定性。
我們將邊緣建模為與高斯卷積的階躍函數。不失一般性,假定邊緣與y軸對齊。
發散運算符的表達式簡化為
我們選擇c作為(4)中I:c(x,y,t)= g(lx(x,y,t))的梯度的函數。 令(Ix)= g(lx)·Ix表示通量c·Ix。
然后,擴散方程(3)的一維形式變為
我們感興趣的是觀察邊緣的斜率隨時間的變化:。 如果 c(·)> 0,則函數I(·)是平滑的,微分的階數可以顛倒:
假設邊的取向使 Ix> 0。 在拐點處Ixx = 0,並且Ixxx << 0,因為拐點對應於具有最大斜率的點(見圖5)。 那么在拐點附近,的符號與
相反。 如果
> 0,則邊緣的斜率將隨時間減小; 相反,如果
<0,則斜率將隨着時間增加。
圖5 :(從上到下)經過改進的台階邊緣及其一階,二階和三階導數。
注意,斜率的增加不能由邊的縮放引起,因為這會違反最大原則。邊緣變尖。
圖6:函數(·)的選擇會導致邊緣增強。
(·)有幾種可能的選擇,例如 g(Ix)= C /(1+(Ix / K)1+a)其中
> 0(見圖6),那么存在一定的閾值與K和
有關的值,在以下值時,
(·)單調增加,在其以下值時,
(·)單調減小,給出了使小的不連續點模糊和銳化邊緣的理想結果。由於(5)中的
為負,因此可將擴散視為“向后傳播”。這是一個令人擔憂的問題,因為已知向后傳播的常數系數擴散是不穩定的並且會放大在我們的案例中,這種擔心是沒有必要的:最大原理保證不會產生波紋,實驗觀察到
<0的區域迅速縮小,並且過程保持穩定。
Ⅴ 實驗結果
我們使用本節中介紹的簡單數值方案測試了我們的各向異性擴散,尺度空間和邊緣檢測的思想。
圖7:用於模擬擴散方程的離散計算方案的結構(物理實現請參見圖8)。 亮度值I 1與晶格的節點,到圓弧的傳導系數c相關聯。 顯示了晶格的一個節點及其四個北,東,西和南鄰居。
圖8:第V節中描述的實現各向異性擴散的網絡結構,在[19]中有更詳細的描述。 網絡每個節點上電容器上的電荷代表一個像素處圖像的亮度。 線性電阻產生各向同性的線性擴散,具有I-V特性的電阻(如圖6所示)產生各向異性的擴散。
公式(3)可以離散在一個方格上,其亮度值與頂點相關,而導電系數與弧相關(請參見圖7)。可以使用拉普拉斯算子的四近鄰離散化:
其中0≤入≤1/ 4為數值方案穩定,N,S,E,W為北,南,東,西的助記符下標,方括號上的上標和下標應用於所有項它包含在內,並且符號(不要與
混淆,我們將其用於梯度算子)表示最近鄰居差異:
傳導系數在每次迭代時都會根據亮度梯度(4)進行更新:
可以在不同的鄰域結構上計算梯度的值,以實現准確性和局部性之間的不同折衷。最簡單的選擇是用沿弧線方向的投影絕對值來近似每個位置的梯度范數:
該方案不是(3)的精確離散化,而是類似的擴散方程,其中傳導張量與輸入g(|Ix|)和g(|Iy|)對角,而不是g(||I||)和g(||
I||。該離散化方案保留了連續方程式(3)的性質,即保留了圖像中的亮度總量。另外,通過晶格的每個弧的亮度“通量”僅取決於定義晶格的兩個節點處的亮度值,這使得該方案成為模擬VLSI實現的自然選擇[19]。參見圖8。梯度的粗略近似以增加的計算復雜度為代價,得出了在感知上相似的結果。
只要函數g限制在0到1之間,就可以驗證,不管選擇梯度的近似值,離散方案仍然滿足最大(和最小)原理。
實際上,我們可以使用事實 入[0,1 / 4]和c
[0,1],並定義
和
,即迭代t 時Ii,j 的最大和最小。 我們可以證明
即,在離散比例空間的內部不可能有(局部)最大值和最小值。 事實上
並且,類似地:
本文中用於獲得圖片的數值方案是由方程(7),(8)和(10)給出的,以原始圖像為初始條件,並采用絕熱邊界條件,即設置傳導系數。 在圖像邊界處為零。 傳導系數c的常數值(即g(·)= 1)會導致高斯模糊(見圖3)。
圖9:Canaleto圖像(a)[3]上各向異性擴散的效果(b)。
g(·)使用了不同的函數,得出的感知結果相似。 本文中的圖像是使用
圖9,和
(Figs.12-14)。 這兩個函數生成的比例空間是不同的:第一個特權高對比度邊緣優先於低對比度邊緣,第二個特權寬區域優先較小的邊緣。
圖10:使用(a)各向異性擴散和(b)高斯平滑(Canny檢測器)檢測到的邊緣。
圖11:各向異性擴散得到的尺度空間 在Canaletto圖像上以二維方式進行擴散,該圖像上顯示了一條線(水平線在gondia上方480中的水平線號400)。 請注意,邊緣一直保持鋒利,直到消失為止。
圖12:從左到右(a)原始圖像,(b)使用各向異性擴散的比例空間(10,20,80次迭代)。 (c)相同的邊緣。(d)使用Canny檢測器檢測到的可比較比例尺的邊緣(方差1,2,4像素的卷積核)。
圖13:使用各向異性擴散的尺度空間。 圖12中的亮度的三維圖。(a)原始圖像,(b)用各向異性擴散平滑后。
圖14:使用各向異性擴散的尺度空間。 原始圖像(左上)和經過20,60,120,160,220,280,320,400次迭代后(從右到右,從上到下)的粗略圖像。
可以將常數K手動固定為某個固定值(見圖9-14),也可以使用Canny [4]描述的“噪聲估計器”:計算出整個圖像中梯度絕對值的直方圖, 並且在每次迭代中將K 設置為其積分的90%值(見圖12(b))。
為了簡單起見,選擇了本節中描述的計算方案。 對於有效的軟件實現,可以考慮擴散方程的其他數值解和多尺度算法。
VI 與其他邊緣檢測方案的比較
本節致力於將我們在本文中介紹的各向異性擴散方案與先前在邊緣檢測,圖像分割和圖像恢復方面的工作進行比較。
我們將邊緣檢測器分為兩類:固定鄰域邊緣檢測器和能量/概率“全局”方案。
A.固定鄰居探測器
這類檢測器僅利用本地信息-它們通常檢查圖像的一小窗口,並在確定是否存在邊緣以及在何處存在邊緣方面保持機敏。這個決定是模棱兩可和困難的。
我們選擇Canny的方案[4]作為此類檢測器的代表。圖像與高斯的方向導數進行卷積-其思想是平行於邊緣進行平滑處理,從而減少噪聲而不會過多地模糊邊緣。存在兩個主要困難:1)使用線性濾波會在定位精度和可檢測性之間不可避免地進行權衡; 2)多次銷售時合並濾波器輸出的復雜性。各向異性擴散是非線性過程,因此原則上不受限制1)。通過局部自適應平滑避免了多尺度,多方向濾波器的復雜性。因此,我們可以總結出我們提出的方案優於線性固定鄰域邊緣檢測器的優勢。
局部性:發生平滑的鄰域的形狀和大小由圖像的亮度模式局部確定,並適應需要進行平滑處理的區域的形狀和大小。在基於線性平滑或固定鄰域處理的方案中,在整個圖像中,發生平滑的區域的形狀和大小是恆定的。這會導致有意義區域的形狀發生變形,並導致邊緣結之類的結構丟失(見圖10(b),12(d),15),其中包含了許多信息,可以對三維區域進行三維解釋。邊緣畫線[12]。
圖15:使用線性卷積的尺度空間。 邊緣變形並且連接消失。 使用Canny檢測器生成的圖像並平滑高斯方差核(左上至右下)1 / 2、1、2、4、8、16像素。 與圖17比較,圖17中的各向異性擴散保留了邊緣結,形狀和位置。
圖16:通過對圖14中的梯度進行閾值檢測而得到的邊緣。不需要鏈接。 細化僅適用於較小的比例。與圖17相比,其中已使用細化和鏈接。
圖17:使用細化和鏈接平台[4]在圖14中檢測到的邊緣。
簡單性:該算法包含在4(8)個連接的方格的節點上迭代的相同的最近鄰操作(4-8個差,一個函數求值或一個表查找以及4-8個和)。相比之下,Canny檢測器需要多個卷積(每個卷積一次涉及大鄰域)作為預處理階段和跨尺度匹配階段。此外,使用我們的算法,通過IV-B節中討論的擴散過程可以使邊緣變得清晰。因此幾乎不需要邊緣細化和鏈接,尤其是在較粗的分辨率下(比較圖17和圖16)。對於基於卷積的邊緣檢測器,這是必不可少的,精致且昂貴的步驟,因為線性低通濾波具有模糊邊緣的作用。各向異性擴散所涉及的計算簡單,使其成為數字硬件實現的理想選擇。
並行性:算法的結構是並行的,這使得在簡單的並行處理器陣列上運行便宜。
在順序機器上,各向異性擴散在計算上比基於卷積的檢測器昂貴。這是因為在擴散過程中會生成連續的標度,而不是小的固定數。
B.基於能量的圖像重建和分割方法
文獻中出現了許多方法,其中通過最小化類型的能量函數來執行邊緣檢測/圖像分割過程
其中,I 表示晶格的節點集合,N(i)I 表示與節點i相鄰的節點,z 表示晶格上定義的函數,通常是亮度函數[2]。等效公式基於找到在所有圖像的空間上定義的馬爾可夫概率分布函數的最大值:
其中函數U(·)的形式為(14)[6],[14]。由於指數函數是單調的,因此概率分布的最大值與能量函數的最小值重合,因此我們可以將注意力集中在該方案基於最小化能量。
能量函數(14)是兩個項的和:先驗項(“ clique”函數V的總和,其中包含關於圖像空間的先驗知識—參見[6],[16], [2]進行完整討論),並根據可用數據(函數W的總和)確定一個術語。 V(.,.)通常是一個偶數函數,僅取決於其自變量之差的值(濫用符號V(zi,zj)= V(zi-zj) )。它在零處具有最小值,並且在正和負半線上單調,從而為亮度差 llzi-zjll 更大的晶格節點對 i,j 分配更高的能量(更低的概率)。我們將證明,在第五節中我們建議的各向異性擴散的近似值可以看作是能量函數先驗部分的梯度下降。能量函數:
尋找函數最小值的最陡下降策略包括從某個初始狀態開始,然后按照梯度矢量的相反方向迭代地更改狀態。可以從(16)相對於zi的微分計算出的能量函數的梯度是分量的矢量
因此,梯度下降算法為
其中A是一些“速度”因素。
假設V(·)在原點上是可微的,並定義(·)=-V。由於V(·)是偶數,所以
(·)是奇函數,
(0)= 0。然后我們可以寫出某些函數c(·)的正負
(s)= s·c(s)代入(18)得到
如果鄰域結構是由自然方格的自然最近鄰集團給出的,則這正是由(7),(8)和(10)定義的各向異性擴散算法。通過微分[6],[15],[2]的局部能量函數V(·)所獲得的通量函數類似於IV-B節中的分析所建議的通量函數的形狀。參見圖18。
圖18:(a)[6],[2],[14]提出的局部能量函數通常等於最近鄰亮度差的平方,並在某個閾值處飽和。 (b)能量函數(a)的一階導數。 (c),(d)各向異性擴散傳導系數和通量是亮度梯度幅度的函數,與離散情況下的最近鄰亮度差成正比。 (b)和(d)具有相同的作用。
總結一下:各向異性擴散可以看作是某些能量函數的梯度下降。數據(原始圖像)用作初始條件。在基於能量的方法[6],[16],[2]中,對數據的解的封閉性是由能量函數中的一項決定的。這使得能量函數不具有凸性,並且比梯度下降需要更復雜的優化算法。對於視覺應用,已提出的大多數算法(例如模擬退火)顯得太慢。也許唯一的例外是Blake和Zisserman [2]提出的GNC算法,該算法不能保證找到通用圖像的全局最優值,但似乎在速度和准確性之間取得了很好的折衷。
Ⅶ 結論
我們引入了各向異性擴散工具,我們相信該工具將在許多早期視覺任務中發揮作用。
我們引入了各向異性擴散工具,我們相信該工具將在許多早期視覺任務中發揮作用。基於擴散的算法涉及整個圖像晶格上的簡單,局部,相同的計算。在大規模並行體系結構(如連接機)上的實現幾乎是微不足道的。使用混合模擬數字網絡的實現似乎也是可行的。
我們已經表明,各向異性擴散的最簡單版本可以成功地應用於多尺度圖像分割。作為預處理步驟,它不需要邊緣的細化和鏈接,它保留了邊緣連接,並且由於形狀和位置都保留在每個單獨的比例下,因此不需要復雜地比較不同比例的圖像。
在由噪聲產生的亮度梯度大於邊緣的亮度梯度並且噪聲水平在整個圖像中變化很大的圖像中,我們已經描述的方案證明不足以獲得正確的多尺度分割。在這種情況下,全局噪聲估計不能提供准確的局部估計,並且梯度的局部值提供的信息過於局部,無法區分與噪聲相關和與邊緣相關的梯度。而且,必須根據典型的對比度值來設置通量函數(·)的峰值的橫坐標K,如果這在整個圖像中發生很大變化,則必須局部設置K的值。為了解決這些困難,應該使用局部對比度和噪聲估計值來實現各向異性擴散。
附錄的最大原理證明
稱A為Rn的開放邊界集(在我們的例子中,A為圖像的平面,為Rn的矩形),T =(a,b)為R的間隔。令D為Rn+1的開放圓柱 由乘積D = A X T = {(x,t):x A,t
T}組成。稱
為D的邊界,
為閉合,而
,
為頂部,側面和底部
:
為方便起見,將稱為底邊邊界:
以下定理成立。
定理:考慮一個函數f:Rn+1→R 在D上是連續的,並且在D U 上可微分兩次。 如果f 滿足微分不等式
在D上,C:Rn+1→R在D上連續並且在D U 上是可微的,然后它遵循最大原理,即D的底面邊界
達到
中的f的最大值:
推論:考慮一個函數f,該函數滿足先前定理的假設,並且f在上可微分兩次,且
xf = 0(其中
x表示沿x方向的梯度算子)。然后
下面的證據改編自John [10]。
證明:首先考慮f 滿足更嚴格的條件
假設f 在緊集上是連續的,因此它具有最大值。 稱
為這個最大值。
假設p D.由於f 在D 中連續可微兩次,我們可以寫出f的泰勒展開的前三個項關於p:
其中vRn+1,
大約為零,
表示f的n + 1 × n + 1個Hessian矩陣。為了緊湊起見,與本文的其余部分不同,(22)中的
f 表示f的梯度。相對於空間坐標和時間坐標為f。由於p是f具有最大值的點,因此展開(22)的一階項中的梯度
f 等於零,因此第二項不能為正,
0 ;因此,Hessian矩陣是負半定值,這意味着其對角線上的項等於0或為負;拉普拉斯矩陣是對角線上的項之和,因此為A。這意味着在p
與假設相反。
類似地,如果p關於f 的t 的一階導數只能為正或等於零,而關於x變量的一階導數則必須等於零,而關於x的二階導數則必須等於零。變量只能等於零或負,從而在p處的不等式與上述相同。這將再次與假設相矛盾。因此,如果f滿足(21),則它遵循最大原則。
如果f 滿足弱不等式(20),則定義為g = f-入(t-a)的函數 g 滿足嚴格不等式(21),因此對於任何大於0的情況都滿足最大原理。觀察到f = g +入(t-a) s<=g +入(b-a)在上,因此
讓入→0得到論文。
請注意,最大值原理還保證了D U 中沒有 f 的局部最大值。可以使用與將D限制為局部最大值所在的鄰域中包含的圓柱體中使用的相同技術,以查看p
D U
處存在一個圓柱將違反微分不等式。
推論可以沿同樣的方向證明:由於f通過假設在上是可微的,因此可以將(21)和(22)用於任何p
,在適當的半球中使用v,以便
。
如果函數f 滿足微分方程
利用已經在函數C(.)和c(·)上陳述的假設,可以將以上論據用於 f 和 h = -f ,證明必須同時滿足最大和最小原理。
擴散方程(3)是(23)的特例(設置C(x,t)= 1,f = I),因此比例空間亮度函數 I(x,y,t)遵循所提供的最大原理導系數c 永遠不會取負值(實際上,當f 最大時c 不取負值的條件就足夠了)並且是可微的。如果使用絕熱(xf = 0)邊界條件,那么推論的假設也將得到滿足,並且最大值可能僅屬於初始條件。
如果傳導系數沿空間軸恆定,則(3)的解f具有附加屬性:c = c(t)。在這種情況下,(3)的票價解決方案的所有空間導數都滿足最大原理的假設。因此,所有此類函數(包括梯度的分量,拉普拉斯算子等)均滿足因果標准。注意,當傳導系數在尺度和空間上變化時,對於(3)的解通常是不正確的,我們在IV-B部分中表明,各向異性擴散實際上可以增加對比度(即梯度的大小)圖像中的邊緣。
致謝
我們感謝L. Semenzato,A.Casotto,P.Kube和B. Baringer在建立軟件仿真和拍照方面提供了非常友好的幫助。 R. Brodersen友善地提供了攝影器材。 洪梅爾(B. Hummel)向我們指出了紐倫堡的結果。
參考文獻
[1] J.Babaud, A.Witkin, M.Baudin,and R.Duda, "Uniqueness of the gaussian kermel for scale-space filtering." IEEE Trans. Pattern Anal. Machine Intell., vol. PAM1-8,Jan.1986.
[2] A. Blake and A. Zisserman. Visual Reconstruction. Cambridge, MA:MIT Press, 1987.
[3]Canaletto, "View in Venice," National Gallery of Art, Washington. DC,circa 1740.
[4] J.Canny, "A computational approach to edge detection." IEEE Trans. Pattern Anal. Machine intell..vol. PAMI-8, pp. 679-698, 1986.
[5] J. Clark, “Singularity theory and phantom edges in scale space." lEEE Trans. Pattern Anal. Machine Intell., vol.10,no.5,pp.720-727.1988
[6] S.Geman and D.Geman. “Stochastic relaxation.Gibbs distributions, and the Bayesian restoration of images." IEEE Truns. Pattern Anal. Machine lntell..vol. PAMl-6. pp.721-741. Nov.1984.
[7] A. Hummel. “Representations based on zero-crossings in scale- space. "in Proc. IEEE Computer Vision and Pattern Recognition Conf..June 1986, pp.204-209: reproduced in: Readings in Computer Vision: Issues, Problems,Principles and Paradigms. M. Fischler and O. Firschein. Eds. Los Altos, CA:Morgan Kaufmann. 1987.
[8] —. “The scale-space formulation of pyramid data structures." in Parallel Computer Vision, L. Uhr. Ed. New York: Academic. 1987. pp.187-223.
[9] A. Hummel, B. Kimia.and S. Zucker.“ Debluring Gaussian blur." Comput. Vision, Graphics, lmage Processing. vol.38. pp.66-80, 1987.
[10] F. John. Partial Diferential Equations. New York: Springer-Ver. lag. 1982.
[11] J.Koenderink. "The strueture of images." Biol. Cvbern..vol. 50. pp.363-370, 1984.
[12] J.Malik. “interpreting line drawings of curved objects." Int. J. Comput. Vision,vol.1,no.1.pp.73-103,1987.
[13] D. Marr, Vision. San Francisco. CA: Freeman, 1982.
[14] J.Marroquin."Probabilistic solution of inverse problems. "Ph. D. dissetation, Massachusetts Inst. Technol..1985.
[15] ——. "Probabilistic solution of inverse problems." Artificial Intell. Lab., Massachusetts Inst.Technol., Tech. Rep. Al-TR 860, 1985.
[16] D.Mumford and J.Shah, “Optimal approximation of piecewise smooth functions and associated variational problems." Commun. Pure Appl. Math., vol.42. pp.577-685, 1989.
[17] L. Nirenbarg, "A strong maximum principle for parabolic equations." Commun.Pure Appl. Math., vol. VI. pp.167-177. 1953.
[18] P. Perona and J. Malik. "Scale space and edge detection using anisotropic diffusion." in Proc. IEEE Comput. Soc. Workshep Computer Vision. Miami. FL. 1987. pp.16-27.
[19] ——. "A network for edge detection and scale space." in Proc. IEEE Int. Symp. Circuits and Systems, Helsinki, June i988, pp.2565-2568.
[20] A. Rosenfeld and M. Thurston. “Edge and curve detection for visual scene analysis." IEEE Trans. Comput..vol. C-20, pp.562-569. May 1971.
[21] A.Witkin. “Scale-space filtering." in lnt. Joint Conf. Artificial Intelligence. Karlsruhe. West Germany. 1983. pp. 1019-1021.
[22] A. Yuille and T. Poggio. “Scaling theorems for zero crossings." IEEE Trans. Pattern Anal. Machine Intell.. vol. PAMl-8. Jan. 1986.