此主要讨论图像处理与分析。虽然计算机视觉部分的有些内容比如特 征提取等也可以归结到图像分析中来,但鉴于它们与计算机视觉的紧密联系,以 及它们的出处,没有把它们纳入到图像处理与分析中来。同样,这里面也有一些 也可以划归到计算机视觉中去。这都不重要,只要知道有这么个方法,能为自己 所用,或者从中得到灵感,这就够了。
8. Edge Detection
边缘检测也是图像处理中的一个基本任务。传统的边缘检测方法有基于梯度 算子,尤其是 Sobel 算子,以及经典的 Canny 边缘检测。到现在,Canny 边缘检 测及其思想仍在广泛使用。关于 Canny 算法的具体细节可以在 Sonka 的书以及 canny 自己的论文中找到,网上也可以搜到。最快最直接的方法就是看 OpenCV 的源代码,非常好懂。在边缘检测方面,Berkeley 的大牛 J Malik 和他的学生 在 2004 年的 PAMI 提出的方法效果非常好,当然也比较复杂。在复杂度要求不高 的情况下,还是值得一试的。MIT的Bill Freeman早期的代表作Steerable Filter 在边缘检测方面效果也非常好,并且便于实现。这里给出了几篇比较好的文献, 包括一篇最新的综述。边缘检测是图像处理和计算机视觉中任何方向都无法逃避 的一个问题,这方面研究多深都不为过。
[1980] theory of edge detection
[1983 Canny Thesis] find edge
[1986 PAMI] A Computational Approach to Edge Detection
[1990 PAMI] Scale-space and edge detection using anisotropic diffusion
[1991 PAMI] The design and use of steerable filters
[1995 PR] Multiresolution edge detection techniques
[1996 TIP] Optimal edge detection in two-dimensional images
[1998 PAMI] Local Scale Control for Edge Detection and Blur Estimation
[2003 PAMI] Statistical edge detection_ learning and evaluating edge cues
[2004 IEEE] Edge Detection Revisited
[2004 PAMI] Design of steerable filters for feature detection using canny-like criteria
[2004 PAMI] Learning to Detect Natural Image Boundaries Using Local Brightness, Color, and Texture Cues
[2011 IVC] Edge and line oriented contour detection State of the art
翻译
使用各向异性扩散的尺度空间和边缘检测——http://tongtianta.site/upload
作者:Pietro Perona and Jitendra Malik
摘要 -摘要-Witkin引入的比例空间技术涉及通过将原始图像与高斯核卷积来生成较粗分辨率的图像。这种方法的主要缺点是:很难准确地获得“有意义的”边缘的粗略位置。在本文中,我们提出了比例空间的新定义,并介绍了一类使用扩散过程实现该算法的算法。选择扩散系数以在空间上变化,从而鼓励区域内平滑优先于区域间平滑。结果表明,保留了常规比例尺空间的“不应在粗糙的比例尺上产生新的最大值”的特性。由于我们方法中的区域边界仍然很清晰,因此我们获得了可以成功利用全局信息的高质量边缘检测器。实验结果显示在许多图像上。该算法涉及在映像上复制的基本本地操作,从而使并行硬件实现可行。
索引词-自适应滤波,模拟VLSI,边缘检测,边缘增强,非线性扩散,非线性滤波,并行算法,比例空间。
Ⅰ 引言
从计算机视觉的早期阶段就已经认识到图像多尺度描述的重要性,例如Rosenfeld和Thurston [20]。 Witkin [21]提出并在Koen derink [11],Babaud,Duda和Witkin [1],Yuille和Poggio [22]和Hummel [7],[8]。
这种方法的基本思想很简单:将原始图像嵌入到通过将原始图像l0(x,y)与方差t的高斯核G(x,y;t)卷积而获得的一组衍生图像 I(x,y,t) 中:
t的较大值(比例空间参数)对应于较高分辨率的图像。 见图1。
图1:一维一维信号I(x,t)通过将原始的一维(底部)与方差从高到低的高斯核进行卷积而得到(改编自Witkin [21])。
正如Koenderink [11]和Hummel [7]指出的那样,派生图像的这一参数系列可以等效地视为热传导或扩散方程的解。
初始条件为 I(x,y,0)= l0(x,y) 的原始图像。
Koenderink通过陈述两个标准来激励扩散方程式的制定。
1)因果关系:分辨率不高的任何特征都必须具有分辨率更高(但不一定唯一)的“原因”,尽管反之不一定成立。换句话说,当分辨率较低时,不应生成任何虚假细节。分辨率降低。
2)同质性和各向同性:要求模糊是空间不变的。
这些标准自然导致了扩散方程的制定。可以注意到,仅出于简化的目的陈述第二标准。稍后我们将对此有更多发言权。实际上,本文的主题是用更有用的方法代替此标准。
还应该注意的是,因果关系准则虽然可能是最简单的,但它并不是唯一强制选择高斯进行模糊的方法。Hummel[7]做出了重要的观察,即最大原则的一个版本来自于抛物线微分方程等效于因果关系。我们将在IV-A节中进一步讨论。
本文的组织结构如下:第二部分对标准比例尺空间范式进行了批判,并提出了另一套用于获得“语义上有意义的”多比例尺描述的标准。 在第三节中,我们表明通过允许扩散系数变化,可以满足这些标准。 在第IV-A节中,对最大原理进行了回顾并用于说明我们的方案仍如何满足因果标准。 第五部分介绍了一些实验结果。 在第六节中,我们将我们的方案与其他边缘检测方案进行了比较。第七节给出了一些结论。
Ⅱ 标准尺度空间范式的弱点
现在,我们检查标准缩放空间范式是否适用于需要“在语义上有意义”的多个缩放描述的视觉任务。自然界中的表面通常具有由少量离散级别组成的层次结构[13]。在最好的水平上,一棵树是由具有复杂的静脉结构的叶子组成的。在下一级别,每个叶子被单个区域替换,在最高级别,对应于树梢的单个斑点。分辨率的自然范围(比例空间参数的间隔)与这些描述级别中的每个级别相对应。此外,在每个描述级别,区域(叶,树梢或森林)都有明确定义的边界。
在标准比例尺空间范式中,在粗糙比例尺图像中不能直接获得边界的真实位置。在图2的一维示例中可以清楚地看到这一点。粗尺度上的边缘位置偏离了它们的真实位置。在2-D图像中,存在另一个问题,即破坏了包含边缘图的许多空间信息的边缘结。获得已在粗略尺度上检测到的边缘的真实位置的唯一方法是通过在尺度空间上跟踪到其在原始图像中的位置。这种技术被证明是复杂且昂贵的[5]。
图2:边缘的位置(通过图1的线性比例空间的拉普拉斯算子的零点(改编自Witkin [21])
图3:各向同性线性扩散(离散8最近邻实现的0、2、4、8、16、32次迭代)产生的比例空间(比例参数从上到下,从左到右递增)比较图12。
这种空间扭曲的原因非常明显-高斯模糊并没有“尊重”物体的自然边界。假设我们有一个以天空为背景的树梢的图片。高斯模糊过程将导致树叶的绿色与天空的蓝色“混合”,早在树梢成为特征之前(在树叶被模糊在一起之后)。图3显示了通过高斯模糊获得的一系列较粗的图像,这些图像说明了这种现象。还应注意,区域边界通常是相当分散的而不是尖锐的。
以此为动机,我们阐明了[18]我们认为用于生成图像的多尺度“语义上有意义的”描述的任何候选范式都必须满足的标准。
1)因果关系:正如Witkin和Koenderink所指出的那样,比例空间表示应具有以下特性:不应从细到粗的比例生成任何虚假细节。
2)立即定位:在每个分辨率下,区域边界应清晰且与该分辨率下的语义有意义的边界重合。
3)分段平滑:在所有尺度上,区域内平滑均应优先于区域间平滑进行。在前面提到的树示例中,叶区域在与天空背景合并之前应折叠到树梢。
Ⅲ 各向异性扩散
有一种简单的方法可以修改线性比例空间范式,以实现我们在上一节中提出的目标。 在看比例空间的扩散方程框架中,假设扩散系数c是与空间位置无关的常数。 没有根本原因可以做到这一点。 引用Koenderink [11,p.364],“ ...我不允许空间变化模糊。 显然,这对问题不是必需的,但是它大大简化了分析。”我们将展示如何适当选择 c(x,y,t) 使我们能够满足上一节中列出的第二和第三条标准。 这可以在不牺牲因果关系标准的情况下完成。
考虑各向异性扩散方程
其中我们用div表示散度算子,分别用和
表示相对于空间变量的梯度算子和Laplacian算子。如果 c(x,y,t)为常数,则可简化为各向同性热扩散方程
。假设在时间(比例)t 处,我们知道适合该比例的区域边界的位置。我们希望鼓励在区域内进行平滑处理,而不是在边界上进行平滑处理。这可以通过在每个区域的内部将传导系数设置为1,在边界处设置为0来实现。然后,模糊将在每个区域中分别发生,而区域之间没有交互作用。区域边界将保持清晰。
当然,我们不预先知道每个比例尺的区域边界(如果我们这样做,问题将早已解决!)。可以计算出适合该比例尺的边界(边缘)位置的当前最佳估计值。
图4:非线性g(.)的定性形状。
令E(x,y,t)为这样的估计:在图像上定义的向量值函数,理想情况下应具有以下属性:
1)E(x,y,t)= 0在每个区域的内部。
2)每个边缘点的E(x,y,t)= Ke(x,y,t),其中e是垂直于该点的边缘的单位向量,K是局部对比度(图像强度的差异)在左边和右边)。
请注意,上面使用的“边缘”一词尚未正式定义-我们在这里指的是边缘作为区域边界的感知主观概念。完全令人满意的正式定义可能是解决方案的一部分,而不是问题的定义!
如果估计 E(x,y,t)可用,则可以将传导系数 c(x,y,t)选择为E大小的函数c = g(|| E||)。陈述的策略g(.)必须是 g(0)= 1的非负单调递减函数(见图4)。这样,扩散过程将主要发生在区域内部,并且不会影响E幅度较大的区域边界。
直观地知道,扩散过程能否成功满足第II部分的三个比例空间目标,在很大程度上取决于估计E作为边缘位置的“猜测”的准确性。尽管准确性在计算上很昂贵,并且需要复杂的算法。我们能够证明幸运的是,最简单的边缘位置估计,亮度函数的梯度(即 E(x,y,t)= I(x,y,t)) 给出了出色的结果。
g(·)有许多可能的选择,最明显的是二进制值函数。在下一部分中,我们说明如果使用边缘估计E(x,y,t)= I(x,y,t),则g(·)的选择将限于单调递减函数的子类。
IV 各向异性扩散的性质
通过回顾偏微分方程理论的一般结果,即最大原理,我们首先确定各向异性扩散满足第二部分的因果关系准则。在第IV-B节中,我们显示了一种扩散,其中,根据亮度函数的梯度大小(即,
如果正确选择函数g(·),则不仅会保留亮度边缘,还会使亮度边缘锐化。
A.最大原则
因果关系标准要求在比例空间中从精细到粗糙的尺度传递图像时,不引入新特征。如果我们使用亮度函数I(x,y,t )的“斑点”识别图像中的“特征” )对于比例参数t的不同值,则新的“斑点”的出现将意味着创建一个最大值或最小值,该最大值或最小值必须属于内部或顶面I(x,y,tf) (tf是尺度空间的最粗尺度),因此可以通过显示尺度空间中的所有最大值和最小值都属于原始图像来建立因果关系准则。
扩散方程式(3)是满足最大原理的更为通用的椭圆方程组的特例。该原理指出,只要传导系数为正,该方程解在空间和时间上的所有最大值都属于初始条件(原始图像),并且属于感兴趣域的边界。在我们的案例中,由于我们使用了绝热边界条件,因此最大原理甚至更强:最大值仅属于原始图像。原理的证明可以在[17]中找到。为了使论文自成一体,我们在附录中提供了简单的证明,其中还处理了绝热边界情况,并且使用了关于传导系数的较弱假设。第五部分提出了最大原理的离散版本。
B.边缘增强
对于常规的低通滤波和线性扩散,消除噪声和执行标度空间所付出的代价是边缘的模糊。这导致它们的检测和定位困难。对这个问题的分析在[4]中提出。
边缘增强和模糊图像的重建可以通过高通滤波或在时间上向后运行扩散方程来实现。这是一个不适定的问题,并且会引起数值不稳定的计算方法,除非对该问题进行了适当的约束或重新设计[9]。
我们将在这里表明,如果选择传导系数作为图像梯度的适当函数,我们可以使各向异性扩散在及时向前运行时增强边缘,从而享受最大原理所保证的扩散稳定性。
我们将边缘建模为与高斯卷积的阶跃函数。不失一般性,假定边缘与y轴对齐。
发散运算符的表达式简化为
我们选择c作为(4)中I:c(x,y,t)= g(lx(x,y,t))的梯度的函数。 令(Ix)= g(lx)·Ix表示通量c·Ix。
然后,扩散方程(3)的一维形式变为
我们感兴趣的是观察边缘的斜率随时间的变化:。 如果 c(·)> 0,则函数I(·)是平滑的,微分的阶数可以颠倒:
假设边的取向使 Ix> 0。 在拐点处Ixx = 0,并且Ixxx << 0,因为拐点对应于具有最大斜率的点(见图5)。 那么在拐点附近,的符号与
相反。 如果
> 0,则边缘的斜率将随时间减小; 相反,如果
<0,则斜率将随着时间增加。
图5 :(从上到下)经过改进的台阶边缘及其一阶,二阶和三阶导数。
注意,斜率的增加不能由边的缩放引起,因为这会违反最大原则。边缘变尖。
图6:函数(·)的选择会导致边缘增强。
(·)有几种可能的选择,例如 g(Ix)= C /(1+(Ix / K)1+a)其中
> 0(见图6),那么存在一定的阈值与K和
有关的值,在以下值时,
(·)单调增加,在其以下值时,
(·)单调减小,给出了使小的不连续点模糊和锐化边缘的理想结果。由于(5)中的
为负,因此可将扩散视为“向后传播”。这是一个令人担忧的问题,因为已知向后传播的常数系数扩散是不稳定的并且会放大在我们的案例中,这种担心是没有必要的:最大原理保证不会产生波纹,实验观察到
<0的区域迅速缩小,并且过程保持稳定。
Ⅴ 实验结果
我们使用本节中介绍的简单数值方案测试了我们的各向异性扩散,尺度空间和边缘检测的思想。
图7:用于模拟扩散方程的离散计算方案的结构(物理实现请参见图8)。 亮度值I 1与晶格的节点,到圆弧的传导系数c相关联。 显示了晶格的一个节点及其四个北,东,西和南邻居。
图8:第V节中描述的实现各向异性扩散的网络结构,在[19]中有更详细的描述。 网络每个节点上电容器上的电荷代表一个像素处图像的亮度。 线性电阻产生各向同性的线性扩散,具有I-V特性的电阻(如图6所示)产生各向异性的扩散。
公式(3)可以离散在一个方格上,其亮度值与顶点相关,而导电系数与弧相关(请参见图7)。可以使用拉普拉斯算子的四近邻离散化:
其中0≤入≤1/ 4为数值方案稳定,N,S,E,W为北,南,东,西的助记符下标,方括号上的上标和下标应用于所有项它包含在内,并且符号(不要与
混淆,我们将其用于梯度算子)表示最近邻居差异:
传导系数在每次迭代时都会根据亮度梯度(4)进行更新:
可以在不同的邻域结构上计算梯度的值,以实现准确性和局部性之间的不同折衷。最简单的选择是用沿弧线方向的投影绝对值来近似每个位置的梯度范数:
该方案不是(3)的精确离散化,而是类似的扩散方程,其中传导张量与输入g(|Ix|)和g(|Iy|)对角,而不是g(||I||)和g(||
I||。该离散化方案保留了连续方程式(3)的性质,即保留了图像中的亮度总量。另外,通过晶格的每个弧的亮度“通量”仅取决于定义晶格的两个节点处的亮度值,这使得该方案成为模拟VLSI实现的自然选择[19]。参见图8。梯度的粗略近似以增加的计算复杂度为代价,得出了在感知上相似的结果。
只要函数g限制在0到1之间,就可以验证,不管选择梯度的近似值,离散方案仍然满足最大(和最小)原理。
实际上,我们可以使用事实 入[0,1 / 4]和c
[0,1],并定义
和
,即迭代t 时Ii,j 的最大和最小。 我们可以证明
即,在离散比例空间的内部不可能有(局部)最大值和最小值。 事实上
并且,类似地:
本文中用于获得图片的数值方案是由方程(7),(8)和(10)给出的,以原始图像为初始条件,并采用绝热边界条件,即设置传导系数。 在图像边界处为零。 传导系数c的常数值(即g(·)= 1)会导致高斯模糊(见图3)。
图9:Canaleto图像(a)[3]上各向异性扩散的效果(b)。
g(·)使用了不同的函数,得出的感知结果相似。 本文中的图像是使用
图9,和
(Figs.12-14)。 这两个函数生成的比例空间是不同的:第一个特权高对比度边缘优先于低对比度边缘,第二个特权宽区域优先较小的边缘。
图10:使用(a)各向异性扩散和(b)高斯平滑(Canny检测器)检测到的边缘。
图11:各向异性扩散得到的尺度空间 在Canaletto图像上以二维方式进行扩散,该图像上显示了一条线(水平线在gondia上方480中的水平线号400)。 请注意,边缘一直保持锋利,直到消失为止。
图12:从左到右(a)原始图像,(b)使用各向异性扩散的比例空间(10,20,80次迭代)。 (c)相同的边缘。(d)使用Canny检测器检测到的可比较比例尺的边缘(方差1,2,4像素的卷积核)。
图13:使用各向异性扩散的尺度空间。 图12中的亮度的三维图。(a)原始图像,(b)用各向异性扩散平滑后。
图14:使用各向异性扩散的尺度空间。 原始图像(左上)和经过20,60,120,160,220,280,320,400次迭代后(从右到右,从上到下)的粗略图像。
可以将常数K手动固定为某个固定值(见图9-14),也可以使用Canny [4]描述的“噪声估计器”:计算出整个图像中梯度绝对值的直方图, 并且在每次迭代中将K 设置为其积分的90%值(见图12(b))。
为了简单起见,选择了本节中描述的计算方案。 对于有效的软件实现,可以考虑扩散方程的其他数值解和多尺度算法。
VI 与其他边缘检测方案的比较
本节致力于将我们在本文中介绍的各向异性扩散方案与先前在边缘检测,图像分割和图像恢复方面的工作进行比较。
我们将边缘检测器分为两类:固定邻域边缘检测器和能量/概率“全局”方案。
A.固定邻居探测器
这类检测器仅利用本地信息-它们通常检查图像的一小窗口,并在确定是否存在边缘以及在何处存在边缘方面保持机敏。这个决定是模棱两可和困难的。
我们选择Canny的方案[4]作为此类检测器的代表。图像与高斯的方向导数进行卷积-其思想是平行于边缘进行平滑处理,从而减少噪声而不会过多地模糊边缘。存在两个主要困难:1)使用线性滤波会在定位精度和可检测性之间不可避免地进行权衡; 2)多次销售时合并滤波器输出的复杂性。各向异性扩散是非线性过程,因此原则上不受限制1)。通过局部自适应平滑避免了多尺度,多方向滤波器的复杂性。因此,我们可以总结出我们提出的方案优于线性固定邻域边缘检测器的优势。
局部性:发生平滑的邻域的形状和大小由图像的亮度模式局部确定,并适应需要进行平滑处理的区域的形状和大小。在基于线性平滑或固定邻域处理的方案中,在整个图像中,发生平滑的区域的形状和大小是恒定的。这会导致有意义区域的形状发生变形,并导致边缘结之类的结构丢失(见图10(b),12(d),15),其中包含了许多信息,可以对三维区域进行三维解释。边缘画线[12]。
图15:使用线性卷积的尺度空间。 边缘变形并且连接消失。 使用Canny检测器生成的图像并平滑高斯方差核(左上至右下)1 / 2、1、2、4、8、16像素。 与图17比较,图17中的各向异性扩散保留了边缘结,形状和位置。
图16:通过对图14中的梯度进行阈值检测而得到的边缘。不需要链接。 细化仅适用于较小的比例。与图17相比,其中已使用细化和链接。
图17:使用细化和链接平台[4]在图14中检测到的边缘。
简单性:该算法包含在4(8)个连接的方格的节点上迭代的相同的最近邻操作(4-8个差,一个函数求值或一个表查找以及4-8个和)。相比之下,Canny检测器需要多个卷积(每个卷积一次涉及大邻域)作为预处理阶段和跨尺度匹配阶段。此外,使用我们的算法,通过IV-B节中讨论的扩散过程可以使边缘变得清晰。因此几乎不需要边缘细化和链接,尤其是在较粗的分辨率下(比较图17和图16)。对于基于卷积的边缘检测器,这是必不可少的,精致且昂贵的步骤,因为线性低通滤波具有模糊边缘的作用。各向异性扩散所涉及的计算简单,使其成为数字硬件实现的理想选择。
并行性:算法的结构是并行的,这使得在简单的并行处理器阵列上运行便宜。
在顺序机器上,各向异性扩散在计算上比基于卷积的检测器昂贵。这是因为在扩散过程中会生成连续的标度,而不是小的固定数。
B.基于能量的图像重建和分割方法
文献中出现了许多方法,其中通过最小化类型的能量函数来执行边缘检测/图像分割过程
其中,I 表示晶格的节点集合,N(i)I 表示与节点i相邻的节点,z 表示晶格上定义的函数,通常是亮度函数[2]。等效公式基于找到在所有图像的空间上定义的马尔可夫概率分布函数的最大值:
其中函数U(·)的形式为(14)[6],[14]。由于指数函数是单调的,因此概率分布的最大值与能量函数的最小值重合,因此我们可以将注意力集中在该方案基于最小化能量。
能量函数(14)是两个项的和:先验项(“ clique”函数V的总和,其中包含关于图像空间的先验知识—参见[6],[16], [2]进行完整讨论),并根据可用数据(函数W的总和)确定一个术语。 V(.,.)通常是一个偶数函数,仅取决于其自变量之差的值(滥用符号V(zi,zj)= V(zi-zj) )。它在零处具有最小值,并且在正和负半线上单调,从而为亮度差 llzi-zjll 更大的晶格节点对 i,j 分配更高的能量(更低的概率)。我们将证明,在第五节中我们建议的各向异性扩散的近似值可以看作是能量函数先验部分的梯度下降。能量函数:
寻找函数最小值的最陡下降策略包括从某个初始状态开始,然后按照梯度矢量的相反方向迭代地更改状态。可以从(16)相对于zi的微分计算出的能量函数的梯度是分量的矢量
因此,梯度下降算法为
其中A是一些“速度”因素。
假设V(·)在原点上是可微的,并定义(·)=-V。由于V(·)是偶数,所以
(·)是奇函数,
(0)= 0。然后我们可以写出某些函数c(·)的正负
(s)= s·c(s)代入(18)得到
如果邻域结构是由自然方格的自然最近邻集团给出的,则这正是由(7),(8)和(10)定义的各向异性扩散算法。通过微分[6],[15],[2]的局部能量函数V(·)所获得的通量函数类似于IV-B节中的分析所建议的通量函数的形状。参见图18。
图18:(a)[6],[2],[14]提出的局部能量函数通常等于最近邻亮度差的平方,并在某个阈值处饱和。 (b)能量函数(a)的一阶导数。 (c),(d)各向异性扩散传导系数和通量是亮度梯度幅度的函数,与离散情况下的最近邻亮度差成正比。 (b)和(d)具有相同的作用。
总结一下:各向异性扩散可以看作是某些能量函数的梯度下降。数据(原始图像)用作初始条件。在基于能量的方法[6],[16],[2]中,对数据的解的封闭性是由能量函数中的一项决定的。这使得能量函数不具有凸性,并且比梯度下降需要更复杂的优化算法。对于视觉应用,已提出的大多数算法(例如模拟退火)显得太慢。也许唯一的例外是Blake和Zisserman [2]提出的GNC算法,该算法不能保证找到通用图像的全局最优值,但似乎在速度和准确性之间取得了很好的折衷。
Ⅶ 结论
我们引入了各向异性扩散工具,我们相信该工具将在许多早期视觉任务中发挥作用。
我们引入了各向异性扩散工具,我们相信该工具将在许多早期视觉任务中发挥作用。基于扩散的算法涉及整个图像晶格上的简单,局部,相同的计算。在大规模并行体系结构(如连接机)上的实现几乎是微不足道的。使用混合模拟数字网络的实现似乎也是可行的。
我们已经表明,各向异性扩散的最简单版本可以成功地应用于多尺度图像分割。作为预处理步骤,它不需要边缘的细化和链接,它保留了边缘连接,并且由于形状和位置都保留在每个单独的比例下,因此不需要复杂地比较不同比例的图像。
在由噪声产生的亮度梯度大于边缘的亮度梯度并且噪声水平在整个图像中变化很大的图像中,我们已经描述的方案证明不足以获得正确的多尺度分割。在这种情况下,全局噪声估计不能提供准确的局部估计,并且梯度的局部值提供的信息过于局部,无法区分与噪声相关和与边缘相关的梯度。而且,必须根据典型的对比度值来设置通量函数(·)的峰值的横坐标K,如果这在整个图像中发生很大变化,则必须局部设置K的值。为了解决这些困难,应该使用局部对比度和噪声估计值来实现各向异性扩散。
附录的最大原理证明
称A为Rn的开放边界集(在我们的例子中,A为图像的平面,为Rn的矩形),T =(a,b)为R的间隔。令D为Rn+1的开放圆柱 由乘积D = A X T = {(x,t):x A,t
T}组成。称
为D的边界,
为闭合,而
,
为顶部,侧面和底部
:
为方便起见,将称为底边边界:
以下定理成立。
定理:考虑一个函数f:Rn+1→R 在D上是连续的,并且在D U 上可微分两次。 如果f 满足微分不等式
在D上,C:Rn+1→R在D上连续并且在D U 上是可微的,然后它遵循最大原理,即D的底面边界
达到
中的f的最大值:
推论:考虑一个函数f,该函数满足先前定理的假设,并且f在上可微分两次,且
xf = 0(其中
x表示沿x方向的梯度算子)。然后
下面的证据改编自John [10]。
证明:首先考虑f 满足更严格的条件
假设f 在紧集上是连续的,因此它具有最大值。 称
为这个最大值。
假设p D.由于f 在D 中连续可微两次,我们可以写出f的泰勒展开的前三个项关于p:
其中vRn+1,
大约为零,
表示f的n + 1 × n + 1个Hessian矩阵。为了紧凑起见,与本文的其余部分不同,(22)中的
f 表示f的梯度。相对于空间坐标和时间坐标为f。由于p是f具有最大值的点,因此展开(22)的一阶项中的梯度
f 等于零,因此第二项不能为正,
0 ;因此,Hessian矩阵是负半定值,这意味着其对角线上的项等于0或为负;拉普拉斯矩阵是对角线上的项之和,因此为A。这意味着在p
与假设相反。
类似地,如果p关于f 的t 的一阶导数只能为正或等于零,而关于x变量的一阶导数则必须等于零,而关于x的二阶导数则必须等于零。变量只能等于零或负,从而在p处的不等式与上述相同。这将再次与假设相矛盾。因此,如果f满足(21),则它遵循最大原则。
如果f 满足弱不等式(20),则定义为g = f-入(t-a)的函数 g 满足严格不等式(21),因此对于任何大于0的情况都满足最大原理。观察到f = g +入(t-a) s<=g +入(b-a)在上,因此
让入→0得到论文。
请注意,最大值原理还保证了D U 中没有 f 的局部最大值。可以使用与将D限制为局部最大值所在的邻域中包含的圆柱体中使用的相同技术,以查看p
D U
处存在一个圆柱将违反微分不等式。
推论可以沿同样的方向证明:由于f通过假设在上是可微的,因此可以将(21)和(22)用于任何p
,在适当的半球中使用v,以便
。
如果函数f 满足微分方程
利用已经在函数C(.)和c(·)上陈述的假设,可以将以上论据用于 f 和 h = -f ,证明必须同时满足最大和最小原理。
扩散方程(3)是(23)的特例(设置C(x,t)= 1,f = I),因此比例空间亮度函数 I(x,y,t)遵循所提供的最大原理导系数c 永远不会取负值(实际上,当f 最大时c 不取负值的条件就足够了)并且是可微的。如果使用绝热(xf = 0)边界条件,那么推论的假设也将得到满足,并且最大值可能仅属于初始条件。
如果传导系数沿空间轴恒定,则(3)的解f具有附加属性:c = c(t)。在这种情况下,(3)的票价解决方案的所有空间导数都满足最大原理的假设。因此,所有此类函数(包括梯度的分量,拉普拉斯算子等)均满足因果标准。注意,当传导系数在尺度和空间上变化时,对于(3)的解通常是不正确的,我们在IV-B部分中表明,各向异性扩散实际上可以增加对比度(即梯度的大小)图像中的边缘。
致谢
我们感谢L. Semenzato,A.Casotto,P.Kube和B. Baringer在建立软件仿真和拍照方面提供了非常友好的帮助。 R. Brodersen友善地提供了摄影器材。 洪梅尔(B. Hummel)向我们指出了纽伦堡的结果。
参考文献
[1] J.Babaud, A.Witkin, M.Baudin,and R.Duda, "Uniqueness of the gaussian kermel for scale-space filtering." IEEE Trans. Pattern Anal. Machine Intell., vol. PAM1-8,Jan.1986.
[2] A. Blake and A. Zisserman. Visual Reconstruction. Cambridge, MA:MIT Press, 1987.
[3]Canaletto, "View in Venice," National Gallery of Art, Washington. DC,circa 1740.
[4] J.Canny, "A computational approach to edge detection." IEEE Trans. Pattern Anal. Machine intell..vol. PAMI-8, pp. 679-698, 1986.
[5] J. Clark, “Singularity theory and phantom edges in scale space." lEEE Trans. Pattern Anal. Machine Intell., vol.10,no.5,pp.720-727.1988
[6] S.Geman and D.Geman. “Stochastic relaxation.Gibbs distributions, and the Bayesian restoration of images." IEEE Truns. Pattern Anal. Machine lntell..vol. PAMl-6. pp.721-741. Nov.1984.
[7] A. Hummel. “Representations based on zero-crossings in scale- space. "in Proc. IEEE Computer Vision and Pattern Recognition Conf..June 1986, pp.204-209: reproduced in: Readings in Computer Vision: Issues, Problems,Principles and Paradigms. M. Fischler and O. Firschein. Eds. Los Altos, CA:Morgan Kaufmann. 1987.
[8] —. “The scale-space formulation of pyramid data structures." in Parallel Computer Vision, L. Uhr. Ed. New York: Academic. 1987. pp.187-223.
[9] A. Hummel, B. Kimia.and S. Zucker.“ Debluring Gaussian blur." Comput. Vision, Graphics, lmage Processing. vol.38. pp.66-80, 1987.
[10] F. John. Partial Diferential Equations. New York: Springer-Ver. lag. 1982.
[11] J.Koenderink. "The strueture of images." Biol. Cvbern..vol. 50. pp.363-370, 1984.
[12] J.Malik. “interpreting line drawings of curved objects." Int. J. Comput. Vision,vol.1,no.1.pp.73-103,1987.
[13] D. Marr, Vision. San Francisco. CA: Freeman, 1982.
[14] J.Marroquin."Probabilistic solution of inverse problems. "Ph. D. dissetation, Massachusetts Inst. Technol..1985.
[15] ——. "Probabilistic solution of inverse problems." Artificial Intell. Lab., Massachusetts Inst.Technol., Tech. Rep. Al-TR 860, 1985.
[16] D.Mumford and J.Shah, “Optimal approximation of piecewise smooth functions and associated variational problems." Commun. Pure Appl. Math., vol.42. pp.577-685, 1989.
[17] L. Nirenbarg, "A strong maximum principle for parabolic equations." Commun.Pure Appl. Math., vol. VI. pp.167-177. 1953.
[18] P. Perona and J. Malik. "Scale space and edge detection using anisotropic diffusion." in Proc. IEEE Comput. Soc. Workshep Computer Vision. Miami. FL. 1987. pp.16-27.
[19] ——. "A network for edge detection and scale space." in Proc. IEEE Int. Symp. Circuits and Systems, Helsinki, June i988, pp.2565-2568.
[20] A. Rosenfeld and M. Thurston. “Edge and curve detection for visual scene analysis." IEEE Trans. Comput..vol. C-20, pp.562-569. May 1971.
[21] A.Witkin. “Scale-space filtering." in lnt. Joint Conf. Artificial Intelligence. Karlsruhe. West Germany. 1983. pp. 1019-1021.
[22] A. Yuille and T. Poggio. “Scaling theorems for zero crossings." IEEE Trans. Pattern Anal. Machine Intell.. vol. PAMl-8. Jan. 1986.