基于偏微分方程PDEs的图像修复inpainting方法的研究

1、中文摘要图像修复是指利用图像的已知信息来填充待修复区域内已经丢失或破损的 信息，从而得到完整图像的处理过程。图像修复与图像去噪都属于图像恢复问题 的一般范畴。现今，图像修复(inpainting)技术已经成为图像工程领域的一个新的 活跃的研究方向。图像修复在图像处理、视觉分析、电影业等领域中具有极其广 泛的应用。包括：修复具有收藏价值的旧名画、修复具有划痕的老照片和底片、 去除图像中的附加文字、去掉图像中不想要的物体、图像的放大和图像压缩编码世 寸。图像修复包括非纹理图像修复和纹理图像修复。非纹理图像修复的最新方法 是基于偏微分方程的方法。本文主要研究基于偏微分方程方法的局部的非纹理图 像修复

2、。首先，本文研究了基于偏微分方程或变分原理的图像修复的典型模型即 Harmonic模型、TV模型和CDD模型。Harmonic模型实际上是各向同性扩散方 程(热传导方程)。此方程对图像的修复过程是各向同性的。Tv修复模型是对 Rudin，Osher和Fatemi提出的经典的TV(Total Variation)去噪模型的扩展。CDD 模型克服了TV修复模型不能满足“连接性原则”的缺点。然后，在TV修复模 型的启发下，本文提出了几个改进的图像修复模型，即把PeronaMalik扩散模型， 选择平滑模型，退化扩散模型，选择退化扩散模型这些经典的滤波模型用于图像 修复领域。其中退化扩散模型和选择退化

3、扩散模型在修复的同时能够很好的保持 图像的边缘信息。这两个模型的修复效果要远远好于经典的Tv模型。最后，本 文研究了两个经典的同时修复和去噪的联合模型，包括TV联合修复和去噪模型、 CDD联合修复和去噪模型并提出了改进的联合修复和去噪模型。包括：ALMTV联合修复和去噪模型、ALMMCF联合修复和去噪模型与MCF-ALM联合修复和去噪模型。实验结果表明：本文改进的模型有更好的恢复效果且运行速度 也加快了。关键词：图像恢复，图像修复，图像去噪，偏微分方程图像处理ABSTRACTImage inpainting technique is the process of filling in the

4、missing or degraded information of the inpainting domain using the known information of the image SO asto gain the whole imageImage inpainting as well as image denoising belongs tO the image restoration categoryNowadays，image inpainting technique has been a new and active research way of the image e

5、ngineering fieldImage inpainting has very wide applications in the fields such as image process，vision analysis，film industryetc including the restoration of old paintings which have collection value，restoring old photos and films which have scratchs，the removal of superimposed texts from theimage，t

6、he removal of undesired objects，image zooming and image compress codingImage inpainting includes the nontexture inpainting and textm'e inpaintingThe new methods of the non-texture inpainting ate the method based on partial differential equationsThis paper mostly dealswith the local and nontextur

7、e image inpaintingbased on partial differential equationsFirstly,the paper studys the classic image inpainting models based on the partial differential equations or variational method，namely Harmonic model，TV model andCDD modelIn fact，Harmonic model is an isotropic diffusion equation(heatequation)Th

8、is equation is isotropic during inpaintingTV inpainting model is the extention of the classic TV(Total Variation)denoising model proposed by Rudin， Osher and FatemiCDD model overcomes the disadvantage of the TV model not meeting the consistent principleThen,inspired by TV inpainting model，the paper

9、proposed some improved image inpainting models，namely Perona-Malik diffusion model，selective smoothing model，degenerate diffusion model and selectivedegenerate diffusion model and put these denoising models into inpainting fieldAmong these models，degenerate diffusion model and selective degenerate d

10、iffusion model call keep the image edges very well during inpaintingThe inpainting effect of these two models is far better than that of TV modelLastly,the paper studys two classic models that simultaneously inpaint and denoise，including TV inpainting and denoising model，CDD inpainting and denoising

11、 model，and propose three improved modelsThat include ALMTV inpainting and denoising modelALMMCF inpainting and denoising model and MCF-ALM inpainting and denoising modelExperiment results show that the models proposed by this paper have better restoration effect andfaster speed than classic modelsKE

12、Y WORDS：Image restoration，Image inpainting，Image denoising，Partial differential equations image processing独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨壅盘鲎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。学位论文作者签名：曹踊为 签字日期：3吖年石月B同学位论文版权使用授权书本

13、学位论文作者完全了解盘鲞盘堂 有关保留、使用学位论文的规定。 特授权垂鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。 (保密的学位论文在解密后适用本授权说明)学位论文作者签名：I静丽结导师签名：烙晨签字日期：硐年 莎月，弓日签字同期：力伽7年g月廖日第一章绪论第一章绪论11基于偏微分方程的图像处理方法简述基于偏微分方程(Partial Differential Equation简称PDE)的图像处理是图像 处理领域中的一个重要分支。近些年来，偏微分方程的方法已经应用于图

14、像处理 和计算机视觉的许多方面，包括图像分割，运动物体跟踪，物体检测，光流，图 像恢复，图像锐化，对比度增强，图像量化等，并取得了很好的效果。用偏微分 方程进行图像处理的基本思想是把待处理的图像作为初始条件，把图像处理变换 看作偏微分方程的算子，利用偏微分方程把初始图像变形，从而将偏微分方程的 解与图像联系起来。使用偏微分方程进行图像处理的思想可以追溯到Gabor和Jain1，但是这种 方法真正建立起来是从Koenderink2和Witkin3开始；他们引入了尺度空间 (Scale Space)的概念，尺度空间把一组图像同时在多个尺度上表述。他们的工 作是将多尺度图像表示为高斯滤波器处理的结果

15、。尺度空间理论在很大程度上构 成了偏微分方程进行图像处理的基础。1983年，Witkin在论文【3中指出：图像 与具有不同尺度的高斯函数卷积等价于求解以图像为初始值的热传导方程，由此 提出了最早的图像滤波模型即热传导方程。由于热传导方程在各个方向上扩散相 同，因而在滤波过程中造成的图像边缘严重模糊。为了解决这一问题，Perona 和Malik4对上述模型进行了改进。他们用一个非线性扩散方程代替热传导方 程，这个模型可以控制图像中不同部分扩散速率，从而可以保留边缘信息，他们 的工作引发了许多理论和实际问题的研究。1992年，Cau6针对Perona和Malik 模型对噪声敏感的不足对其进行了改进

16、，提出使用对边缘的估计信息决定扩散程 度的选择平滑模型5】。在此基础上，Alvarez提出了退化扩散模型，该模型只在 沿着垂直于图像梯度方向扩散，这种模型能够很好地保持图像的边缘【6】6。 Alvarez，Lions和Morel6将选择平滑模型和退化扩散模型相结合，提出了选择 退化扩散模型，该模型可以更好地保持图像的边缘。通过变分法可以把能量泛函的极值问题转化为求解其相应的偏微分方程。即求图像能量的极小值mmEu(x，y)D(11)其中，u(x，y)表示一个图像函数，EM定义了一幅图像的能量。第一章绪论令F(u)表示Ek的Euler微分，可得达到极小值的必要条件是：F(u)=0(1-2)一般可

17、以用最速下降法求解：粤=一F-(x川Y)】(1-3)Ol其中，t是人为引入的一个时间步长，表示了图像的演化过程。 1992年，Rudin等人将全变分(Total Variation)引入图像处理领域，用以解决图像噪声去除问题，提出了全变分去噪模型(TV denoising model)7】。该方 法的主要思想是：根据图像处理的目的和具体实施方法设计一个能量泛函，通过 变分法把这个泛函的极值问题转化为对偏微分方程的求解，函数的最小化等价于 图像的平滑。基于偏微分方程的图像处理方法成为近年来图像研究的一个热点。它还衍生 出了许多分支，例如动态边界(snake)、基于水平集(1evel set)的图

18、像处理、 图像变形(deform)、曲率运动(curvature motion)图像模型的研究等，把数学 和图像有机地联系起来。使用偏微分方程进行图像处理有很多优点。主要包括以下三点： 第一，通过建立连续模型便于对实际问题的理解和数值处理； 第二，能够获得较好的处理效果，特别对于视觉上重要的几何特征(例如梯度、切线、曲率等)和动态视觉处理过程(例如选择性扩散、信息传输机制等) 具有较好的控制和模拟；第三，数学上完备的偏微分方程理论和丰富的数值计算方法，也为图像处理 提供了很大的帮助。此外，基于偏微分方程的图像处理过程是一个逐渐演化的过程，它能够给出 图像处理的中间状态，这有利于选择最优结果，避

19、免出现诸如过增强等现象。同 时，利用偏微分方程很容易将两个不同的图像处理算法结合起来，使诸如滤波和 增强这两个不同的处理过程同时进行。这也是该方法区别于传统图像处理方法的 两个显著优点。 ：12图像恢复理论简介图像恢复，就是利用使获得的图像产生退化的先验知识，建立退化图像数学 模型，然后沿着图像退化的逆过程加以重建和复原，以获得“清晰和干净”的图 像。图像恢复的一般模型是：函数U：QR表示原始图像，这是未知的，是我 们想找到的。其中Q表示图像域。用函数，表示描述与U相同场景的观测图像，2第一章绪论它是退化的，已知的，我们称其为数据，力是加性噪声。一般假设其服从正态分 布：I=Ku+疗(1-4)

20、其中K是影响图像失真的因子，甜表示原始图像，是己知的图像。图像恢 复问题就是从已知图像，得到恢复图像“。图像恢复问题是图像处理中最基本的问题。从观察到的数据出发，求真实图 像的一个最优估计。图像恢复问题就是在观察到的图像数据和图像的生成模型的 约束下求最优估计的问题。用图像的TV来定义最优，可以把约束问题变成一个 无约束的最优化问题：r、唧n仁k=JlV材Idx+,2I(Hu_Uo)2dx(1-5)LQnJ其中Uo表示观察到的数据，日表示模糊算子。在图像去噪声时可以不考虑。 由变分法可以得到极小值达到的必要条件为：厂一、一丫【尚l+2删(Hu刊0)o(1-6)代表模糊核的邻接算子。这个偏微分方

21、程的解就是恢复的图像。 本文主要研究的图像修复与图像去噪一样都属于图像恢复问题的一般范畴。 图像修复问题就是利用图像的已知信息来填充待修复区域内的已经丢失的或破损的信息，从而得到完整图像的处理过程。 对于具有部分丢失信息区域的破损图像，要对其进行修补，就需要从整幅图像来估计这些丢失的信息。在这里，图像修复就是根据图像修复的准则，建立数 学模型，把图像修复问题抽象成为求解一个最优估计的问题，用Euler公式就可 以得到一个偏微分方程。在进行图像修补时，要填充未知区域的信息，就需要把区域边界上的信息扩 散到区域中去。可见，求解偏微分方程的过程就是一个扩散过程。13图像修复技术概述图像修复与图像去噪

22、都属于图像恢复问题的一般范畴。图像修复是指根据图 像中被破损或已经丢失了信息的区域D周围的有效信息，用图像修复算法自动进 行恢复，从而使被修复的图像看上去和原来的一样自然。图像修复的目的是重建 已经具有了丢失信息或破损区域的图像，使其看上去更加清晰并恢复其一致性。 假设Q表示完整的图像域，区域D为待修复区域，通常可以不连通，可以是一 个区域或是子区域的有限集合，且每一个区域可以是一个空白区域，物体被隐藏3第一章绪论的部分，附着在物体上的文字，旧照片的裂痕或是一个不想要的物体等。甜。l为 图像的已知信息，可以包含噪声。修复就是利用图像的已知信息UoI矿来填充待 修复区域D内的已经丢失的或破损的信

23、息甜ID，从而得到完整图像z，的处理过程。般图像处理的基本模型可以表述为输入和输出系统，即：u广_I厂一一llu。1J图像处理器对于图像修复而言，U。=(z，I。，D)，U=R。现今，图像修复(inpainting)技术已经成为图像工程领域的一个新的活跃的研 究方向，其目的就是研究和解决如何更好地检测图像上的受损部分，并根据受损 图像周围的有效信息用图像修补算法自动进行恢复。当今世界日益数字化，许多珍贵文物图画，档案照片或图片，经典老电影等等通过扫描技术输入到计算机中， 以便于长久保存。而它们或多或少有划痕、折痕和污渍等。虽然一些强大的数字 图像处理软件，例如Photoshop等，也可以对数字

24、图像进行专业的特效处理和对受损图像进行修复处理，但却需要有经验的技术人员进行复杂的手工处理，无法达到“计算机智能”自动处理的目的。因此，自动的图像修复技术是一个较理想 的选择。Bertalmio等人【8】首先通过模拟艺术家修复受损的艺术作品的方法来进 行数字化自动修复，提出了一个基于传递理论的高阶偏微分方程的修复模型。该模型沿着已知信息点的等值线(isophotcs)方向不断向掩模(mask)的待修复区 域内扩散，以迭代的方式填充整个修复区域。在此之后，图像修复问题开始日益 受人关注，相关研究也日益深入。图像修复在图像处理、视觉分析、电影业等领 域中具有极其广泛的应用。包括：修复具有收藏价值的

25、旧名画、修复具有划痕的 老照片和底片、去除图像中的附加文字、去掉图像中不想要的物体、图像的放大 和图像压缩编码等。14图像修复的研究方法与发展现状图像修复包括非纹理图像修复和纹理图像修复。非纹理图像修复的最新方法 是基于偏微分方程的方法和变分方法，它被分为两大类：一类是基于偏微分方程 的图像修复即微观修复机制。这类方法通过分析像素点问的关系，将损坏区域周 围的信息延伸到区域里面这类模型主要有：Bertalmio等人8】首先提出的一个基 于传递理论的高阶偏微分方程的修复模型。此模型的提出将图像修复技术引入图 像处理领域。他们的方法是通过将待修复区域外部的有效信息沿着等照度线4第一章绪论(isop

26、hote)的方向向待修复区域内扩散来实现图像修复。CeliaA等人提出的水 平线延伸的修复模型9】、Caselles等人提出的自明修复模型10】和CaliaA等人提 出的修复与去噪相结合的模型1l】等。第二种类型包括模拟宏观修复机制(贝叶 斯框架)的各种变分模型。从统计的观点来看，最佳猜测与贝叶斯框架理论比较 相似，基于贝叶斯原理的图像修复是简单和直观的：艺术家进行图像修复时主要 考虑两方面的因素，即怎样利用图像剩余部分的信息(数据模型)和原先完好的图 像属于什么类型的图像(图像模型)在变分方法中，一最佳猜测通过优化能量泛函 实现这类模型主要有：Chan和Shen在Osher，Fatemi和R

27、udin7】全变分去噪 模型的启发下提出的全变分(Total Variation简称TV)修复模型12】。这种方法可以用来修复断裂的边缘。由于全变分模型不能满足人类视觉的“连接性原则”， Chan和Shen又提出了一种基于曲率流动扩散的新的偏微分方程的修复模型(CDD模型)13】。这个模型可以克服Tv模型不能满足人类视觉的“连接性原 则”的缺点。此外，还有函数化的弹性摸型14】，灰度值和梯度方向的联合模型 15，基于Mumfordshah分割的活动轮廓模型16】及MumfordShahEuler的函数 模型17】等。对于纹理结构的图像修复(inpainting)技术，如木纹、岩石花纹等，其核心

28、思 想是仿真并生成局部纹理进行填充。因为纹理是物质构成成分的分布或特征的反 映，它的局部形状信息能够表现相同纹理的共性。对于纹理图像的修复，主要方法有：ACriminisi等18，19提出的反复迭代的修复方法。这种方法是先计算待修 复区域边界上点的优先度，然后选择优先度最大的块为填充块并进行反复迭代。 IDrori等【20】提出的基于块填充的图像修复算法，其将图像的已知信息区域作为训练集，反复迭代，用自相似原理逐步逼近待填充区域。算法引入多分辨率思想， 由粗到精。HIgehy等21】在前人提出的纹理合成算法的基础上，以目标纹理和噪声为输入，算法处理后，噪声被转化为合成的纹理来填充目标区域，并用

29、多分辨率合成技术来防止模糊和走样。最新的纹理修复研究成果可见Wei，Levoy， Igehy，Pereira的论文2227。后来还有MBertalmio等28】和SDRane等29】 同时结构和纹理合成的修复方法。有关图像修复的方法也是多样化的，还有非线性滤波方法、贝叶斯方法和谱 方法以及统计方法(尤其对于纹理图像)等等。研究人员提出了很多新的算法 30-41】，并针对某些不同特征的图像有不错的修复效果。逻辑上，图像修复必须事先从图像中检测到破损区域的准确位置才能进行， 但从自然图像中检测破损区域是一个很困难而又复杂的问题，目前这方面的研究 工作还没有开展。所以，现在人们在研究图像修复时，总是

30、假设破损区域的位置 是已知的，先搁置检测问题，只研究修复算法，本文也是这样。第一章绪论多数图像修复算法有如下步骤： (1)人工选定需要修复的区域。(2)由待修复区域外边界向区域内部不断扩散颜色信息，亦即用待修复区域边界 外面的已知图像信息来填充未知区域内的像素点。15图像修复的应用及评价图像修复就是将图像中损坏的区域以一定的方式修补起来，使之成为一幅完 整的图像。图像修复在图像处理、视觉分析、电影业等领域中具有极其广泛的应用。首 先是对于静态图像的裂纹修复以及障碍物去除。在印刷行业，对于印前需要处理 的不同类型的数字图像原稿，如破损老照片、有划痕的透射底片，或是在图像中 去掉与图像内容无关的障

31、碍物，都可以通过修复(inpaiming)技术简单地修复。 用户只需要简单地选择修复范围，计算机就会自动完成对划痕、空白区域的填充， 或是去掉障碍物后填充背景图案，可以很大程度地减少印前图像处理的时间和手 工工作量，也可根据修复的结果进行更进一步的图像处理。其次是动态影像修复。图像修复技术可应用于影视行业，例如对于影视拷贝， 如果对于连续帧中的其中的一帧有划痕、污点等需要修复的情况，我们通过将影 片的连续帧转化成数字图像序列，然后根据其前后帧的信息比较，从相邻帧中提 取有用信息进行拷贝修复。另外，对于影片中带有的不同语言的字幕，我们也可 以通过修复技术去除。再次，在一些摄影领域，还可以通过in

32、painting技术实现对数字照片中红眼 现象的消除，或是分次拍摄的数字照片在拼接全景图像时，可通过inpainting技 术修复相邻照片中的重叠部分。Inpainting技术目前在国内已有不少学者关注，在国外已经成为一个活跃的 研究领域。总之，inpainting的技术优势还会涉及到更多的图像应用领域，例如 生物医学、遥感探测等领域，并在不同领域中促进这项技术更科学地发展。虽然图像修复的应用范围很广泛，但由于仍然没有精确的模型来描述图像， 图像修复还需要深入研究现有的图像修复模型还存在边缘保持和运行时间长的 问题。图像修复是一个典型的病态问题。它没法用一个数学过程来描述，图像修 复也无法表示

33、成其逆过程。如果说图像降析中只丢失了一部分信息，那图像破损 过程中就丢失了全部的信息，破损区域的数据完全丢失了，它当然也不可逆，更 谈不上逆的唯一性。图像复原中用先验模型进行规整化，而图像修复则完全依赖6第一章绪论于先验模型，不同的先验模型会导致完全不同的解。如果破损区域是一个局部区 域，由外部基本能够预测里面的结构。而如果破损区域较大，结构比较复杂，对 它的修复将有更强的主观性，这时的各种预测只要在边界处能和己知数据吻合的上，就能构成一个成功的修复结果。这就表现出更强的病态性。 关于算法效果的评价，目前还没有一个定量的评价标准。由于图像修复本来就含有一定的主观臆测的成分，所以人们也就乐于用主

34、观的方法来判断修复结果 的好坏。本文也只做了一些简单的实验比较，没有做更多的定量分析。而对计算 速度而言，不同的方法，计算时间差别很大，所以我们也只做一些粗略的计算时 间上的比较，这就足以说明问题了。16本文的主要内容本文主要研究基于偏微分方程的图像修复技术。包括基于偏微分方程的图像 修复及同时修复和去噪模型的研究。实现了几个典型的图像修复模型，并在此基 础上，在Tv修复模型的启发下，将一些典型的滤波模型用于图像修复领域。并 提出了几个能够同时修复和去噪的联合模型。本文将各个模型应用在一些模拟图 像和自然图像上，并将实验结果进行了比较和分析。本文的结构如下：第一章绪论，简要介绍了基于偏微分方程

35、的图像处理方法，图像恢复的简单 理论，图像修复的含义、方法、发展现状、应用及评价。第二章介绍了图像修复的局部性参考，图像修复模型建立的一致性原则， 两种既相互关联又不同的修复方法。第三章研究了基于偏微分方程或变分原理的图像修复的典型模型即 Harmonic模型、TV模型和CDD模型，并在TV模型的启发下，将Perona-Malik 各向异性扩散模型，选择平滑模型，退化扩散模型，选择退化扩散模型用于图像 修复领域。其中退化扩散模型和选择退化扩散模型在修复的同时能够很好的保持 图像的边缘信息。此外，本文还提出了三个有效的可以同时修复和去噪的联合模 型。第四章首先将第三章所述的各个模型进行数值离散，

36、然后应用在一些破损 的模拟图像和实际图像上，并将实验结果进行了对比和分析。第五章总结与展望，总结本文的工作，并对今后的研究方向提出了设想。7第二章图像修复的理论基础第二章图像修复的理论基础21局部条件是指图像修复模型不依赖于图像的全局特征或模式识别。因此，修 复仅仅依赖于局部信息(与待修复区域有关)。对于非纹理图像，模式就是一种 空间或是颜色对称，如镜面对称、翻转不变、周期性。比如说，大多数人脸都沿 着鼻子和嘴这条中心线几乎是镜面对称的。尽管人类视觉很易察觉，但对于计算 机来说，由于一般图像尺度和结构上的丰富变化使得识别这种模型比较困难而且 代价高。在人类视觉分析中，一个典型的例子如图21所示

37、，对于左边待修复的图像， 待修复(或遮蔽)区域在交叉部分是一个灰度方块，人类观察者通常很容易看到 黑色的十字架，因此将待修复(或遮蔽)区域填充为黑色。我们大多数人会认为 这是一个好的猜测。对于右边的面板，左边的图像被嵌入了一个较大的结构中。 我们可以很容易识别出整个棋盘模式，因此将其填充为白色来实现空间的对称 性。因此，人类的视觉参考依赖于全局背景。-i-图21局部修复方案不需要考虑全局模式 (待修复区域都是这种人类视觉参考的复杂性与修复模型相似。高层次的图像修复方法必须考 虑图像的全局信息。目前的研究领域主要集中在低层次的图像修复，即只利用破 损区域周围的图像信息来修复图像。本文用变分法和偏

38、微分方程的方法所建立的 图像修复模型主要用来处理非纹理图像，属于依赖局部信息的低层次图修复方 法。因此，即使对于图21中的右图，待修复区域也应该被填充为黑色。第二章图像修复的理论基础22图像修复模型建立的一致性原则(a)图像修复模型是局部性的。因为我们建立的模型不需要知道图像的全局信 息，待修复区域的信息完全由待修复区域周围的已知信息决定。)图像修复模型应该能够修复窄的被截断的光滑的边缘。因为边缘对目标 识别和图像分割至关重要，所以，我们要注意边缘的修复问题。(c)图像修复模型应该对噪声具有鲁棒性。因为对于人类视觉来说，从现有的 噪声图像数据中察觉出不含有噪声的图像特征并把其延伸到修复区域是一

39、件容 易的事。23贝叶斯(Bayesian)框架理论和变分理论我们可以通过两种不相同却相互关联的理论框架来解释修复理论。即概率方 法和变分方法。概率方法后面隐含的基本假定是：对于一个给定的问题，存在一个概率分布， 其在某种程度上能够抓住图像的重要特征和不同结构之间的相互作用。对于修复问题，概率方法就是通过图像的现存部分(数据模型)使整个被修 复的图像与修复者认为图像所属的类型一致(图像的先验模型)。在贝叶斯框架 下，这就等价于最大化后验概率prob(u l材o)(MAP)。定义为：prDb(u I“。)：prob(u。I u-)*下prob(u)(2-1)proolIu J贝叶斯修复机理是相当

40、简单和直观的(见图31)：我们人类修复者修复一幅 不完整的图像主要依赖于两个因素：(a)如何解读已有的图像信息uuIDc，即所 谓的数据模型(data model)。fb)修复者认为原始的完好的图像属于图像的哪一 种类型，即图像先验模型(imagepriormodel)。当Uo给定后，上式中的分母为 常数。因此，最大化后验概率就是最大化数据概率和图像概率的乘积。图像修复的另一个方法是变分理论及与其相联系的偏微分方程。这种方法适 用于连续域。变分方法和概率方法(贝叶斯理论)是相互关联的，并且我们可以通过Gibbs 公式来建立两种理论之间的联系：11prob(u)=÷exp(-+E(u)

41、(2-2)二”其中r是绝对温度，Z。是一个配分函数，其作用是归一化指数项使其成为一种 概率。9第二章图像修复的理论基础nh(22)n-I将(21)改为：prob旧0)2盖eXp(-寺陋oI“)-以扩)(2-3)Z通常是一个常数，所以最大化后验概率prob(u 120)即最小化能量函数： E(uUo)=E(u)+E(uo l“)一E(uo)(2-4)对于给定的图像，zfulDc已知，E(uo)为常数可以省去。对于修复问题，变分方法就是假定一个能量，其通过将图像扩展到未知的待 修复区域而最小化。待修复区域边界上”o的某些特性为被传递的信息。最简单的方法就是传递 边界019上已知强度值的Uo的信息。

42、这就导致能量最小化问题：minE(u)(2-5)其中A是一个包含了限制条件的适当的可容许的集合。这些限制条件产生于将已 知信息传递到待修复区域D，例如边界019上的像素值。即：12=120，(x，y)OD(2-6)或边界01)上的像素梯度值。即：胛=吆，(w)01)(2-7)一般情况下，我们使用能量(变分)公式，因为容易根据实际问题得到能量(变 分)模型。在图像修复问题中，数据模型的建立一般比较简单由于prob(u 120)=prob(n=甜一材o)，rl是图像中的噪声(28)由上式可以根据不同的噪声类型建立模型。假设图像受到高斯白噪声影响即：材ol Dc=K木U，anDc(29)K是影响图像

43、失真的其它因素。 则数据模型建立为：E(u tl。)=鲁。(K*U-U0)出(2-10)由于待修复区域里没有可利用的信息，所以，对待修复区域的重建仅取决于 图像模型。一个好的图像模型对于图像修复而言比对于其他任何一个经典的恢复 问题如去噪、去模糊、分割都重要。对于大多数修复问题，待修复区域通常“抹去”了一些感官上重要的图像的 几何信息，例如边缘。为了重建几何信息，图像模型有必要解决几何先验问题。 大多数传统的概率模型缺乏这个特征。但幸运的是，明显有几何信息驱动的能量 形式存在。典型的例子包括：Rudin，Osher和Fatemi提出的Tv(Total Variation) 模型，及Mumfor

44、d和Shah提出的Objectedge模型。lO第二章图像修复的理论基础因此，一个有效的贝叶斯或者变分修复模型，主要依赖于一个好的先验图像 模型E(u)。有下面几种方法可以建立先验概率模型，如M砌(o“Gibbs随机场理论、 基于学习的滤波和熵理论、MumfordGidas建立的处理随机化模型的公理化方法、 几何模型方法(例如总体变分、泛函化的弹性模型、MumfordShah模型等)。24本章小结图像修复属于图像恢复的范畴，且其理论与图像恢复理论紧密联系本章的 主要内容是阐述图像修复的理论基础。首先，介绍了图像修复的局部性参考理论， 并指出本文用变分法及其相应的偏微分方程的方法所建立的图像修复

45、模型主要 用来处理非纹理图像，属于依赖局部信息的低层次图修复方法；其次，介绍了 Tony和Chan提出的低层次图像修复应当遵循的三个重要原则即图像修复模型 建立的一致性原则；最后讲述了两种不相同但相互关联的修复方法：概率方法(贝 叶斯框架理论)和变分方法。第三章基于偏微分方程的图像修复模型第三章基于偏微分方程的图像修复模型31基于偏微分方程的图像修复模型311经典的修复模型3111 Harmonic修复模型 第二章我们介绍了贝叶斯框架理论知识，由贝叶斯公式(2·1)可知：prob(uo l“)模拟数据的形成过程。假设破损图像材。是这样得到的。即：使一幅无 噪声图像具有均值为0在空间上

46、没有相互联系并且静止的高斯白噪声，且其在破损区域D外具有标准偏差盯，而破损区域内图像信息完全丢失。因此p加她)。野附掣)-(嘞1-Ic,)exp(-y学)(31)·z代表图像中一个像素的位置，K=1-I，。cl是一个规定化常数。先验模型p)通常很难找到，因为它模拟一组给定的像素值代表一幅有意义的图像的概率。对 于非纹理图像，假设图像的平滑形式即在一个给定像素位置的像素值变化应该最 小。基于这个目的，引入梯度算子V。Vu表示在一个给定像素位置周围的图像 局部变化，确保合理平滑的方法就是Vu要小。一个可能的先验模型是IV甜(工)I的值是高斯分布的，均值为0，标准偏差为仃。则：!型：，、一

47、F!盟p(扰)=17p(陬工)1)-1-I叩2=I兀c：lP“猷2(3-2)其中，h=丌，、C2是一个归一化常数。由MAP标准和Gibbs公式，问题即转化JL JjIZ为求下列能量的极小值(即转化为变分问题)：脚F)=轰华+互掣(33)将其转化为一个连续模型，即极小化：脚妒)2专k(0)2出+壶肿陋(3-4)引入参数五=哆z，则：E(“=u-u。)2出+兄刚2出(3-5)12第三章基于偏微分方程的图像修复模犁由(35)得出Harmonic联合修复与去噪模型。 实际的Harmonic修复模型符合以下情况：p(甜。lu)=l若x时，U-UO(3-6)p(uo l甜)=0其它情况(37)在上述情况下

48、，最小值问题转化为： 寻找U使其满足：“=min 0Vul2dx(38)6由Euler-Lagrange Equation可得：Au=0xD(3-9)，,=甜oz09(310)，Harmonic模型实际上是各向同性扩散方程(热传导方程)。此方程对图像的修复 过程是各向同性的。 由于图像信息在各个方向上同等扩散，因此修复的同时破坏图像几何信息，臣U图 像边缘。3112 TV(Total Variation)修复模型 Tv修复模型是对Rudin，Osher和Fatemi的经典的Tv(Total Variation)去噪模型的扩展，是Chan等人于2002年提出的。设Q为整幅图像域，D为待修复区域，

49、E为待修复区域的外邻域，一般为环 状。r是D的边界。如图31所示图31待修复区域及其邻域示意图其中，区域D为待修复区域，通常可以不连通。U”1c为图像的已知信息，工，可以包含噪声。待修复区域的外邻域E的大小很容易确定。如果图像不含有噪声， E可以仅是待修复区域D的边界r；如果想除去待修复区域边界附近的随机噪声 并提取有用的信息，我们可以给定E一个合理的范围，如几个像素宽；如果整幅 图像都被噪声污染，则E是待修复区域D的补集Dc，以便能同时修复与去噪。记修复后EuD区域内的图像值为U，定义代价函数为：R(u)=Lr(IVul)dxdy(3一l 1)第三章基于偏微分方程的图像修复模型并应满足如下噪

50、声约束条件：丽1肛甜旷I dxdy耐(3-12)其中A(E)为E区域的面积，E内的初始图像值甜。被高斯白噪声所污染，白噪声 的标准偏差为仃。，为一个在输入为非负数时输出也为非负数的实函数。可见，式(311)是为 了使待修复区域及其边界尽可能的平滑，式(312)使得修复过程对噪声有良好的 鲁棒性。为了对边缘有一个良好的修复效果，需要选择一个合适的函数r，在边 缘V甜是一个冲击函数万。因此，要求代价函数R似)有限。即：上。D，(万)出砂<(3·13)把函数r(s)展开成如下的形式：，(J)=S4+低阶展开项式(313)要求s-+oo时，r(s)有限，因此，口1，选取a=I。此时，式

51、(3-11) 就是图像恢复领域中的TV(Total Variation)修复模型。运用拉格朗日(Lagrange)乘子法将有约束条件的极值问题转化为无约束条 件的极值问题。新代价函数为：厶(“)=fUDIV材脚+导f|-M012出咖(3-14)根据Euler-Lagrange方程可知，使得(“)最小的“应满足如下条件：一击捌一川=。(3一15)由最速下降法解得：-彻万=div褂”“，l同JM似。叫(3·16)舯护A(x,y)e三即在待修复区域D内，模型仅演化各向异性扩散方程：·O西u=dv巾l西L硎V_兰u”I(3_17)u。1"然而，在待修复区域外，激活Rudi

52、nOsher-Fatemi的TV去噪模型：抛=dv褂撕。叫(318)如果从贝叶斯框架理论分析，即将：加Mexp(薹警)州咖露。e啾一，面掣)“n，07(319)14第三章基十偏微分方程的骨像修复模型 可得脚)=肌脚+；砂卅I 2嘶(3-203113 CDD(Curvature Driven Diffusion)修复模型 上一节我们介绍了Tv修复模型，即在不考虑噪声的情况下有：暑=a捌瓦“1冈J仔：”。”该模型在修复中可以保持尖锐的边缘并且数值实现简单，但TV模型的缺点是不能满足人类去遮蔽过程中的“连接性原则”，即当一个单一物体被待修复区域截 断的剩余部分相隔得很远时。它不能令人满意地将其修复好

53、。_一_j嚣一，I_a)待修复图像(b)满足人类视觉“连接性原则”的修复结果(c)TV修复结果 图3-2Tv模型的修复结果违背了人类视觉的“连接性原则”(f>w针对Tv模型不能满足“连接性原则”的缺点，Chan和Shah在Tv模型的 基础上提出了一个基于曲率驱动扩散机制的修复模型即CDD模型。此模型满足 “连接性原则-o由于该模型中扩散系数取决于等照度线(iso口hore)的曲率所 以，我们称该模型为基于曲率驱动扩散的修复模型。在引出CDD修复模型之前，先来简单分析一下Tv模型不能满足人类视觉 “连接性原则”的原因。Tv修复模型的扩散强度仅依赖于等照度线的对比度或强度(梯度值)，而不依赖

54、于等照度线的几何信息。对于个平面曲线，其几何信息体现在尺度曲率F上。图3-2中(c)图是TV模型的修复结粜，在a，bc和d四个角点处的曲率第三章基于偏微分方程的图像修复模型r=+一oo，(b)图是满足人类视觉“连接性原则”的修复结果。所有等照度线都能 尽可能平的延伸。即曲率在大小上尽可能的小。综合以上分析，Chart和Shah就提出了CDD修复模型。下面将介绍CDD修复模型。 Chart和Shan将TV模型的扩散系数：肚商(3-22)修正为：哗等IV甜IB23，、。引入了曲率项，在像素点(工，Y)的曲率是通过这一点的等照度线的曲率，并由下 式给出，壮咖嗍p24，则，CDD模型为：石彻-f=div腊砌卜加。l IV“lI一r3-25)U=Uo，(工，Y)aD(326)在这里，待修复区域D被理解为一个开集，不包括其边界， Uo是图像有用的信 息。其中，g(s)为S的增函数：0J：0gO)=00s=oo(3-27)【0-y oo0<J<通常取：g(s)=S，s>0，P1(3-28) CDD修复模型的扩散强度不仅依赖于梯度值，还依赖于等照度线的几何信 息即曲率。由于g为增函数，基于这种选择，扩散在等照度线曲率大的地方变得 较强，并随着等照度线伸展的地方逐渐减弱。这使得修复过程能够消