（光学专业论文）基于偏微分方程（pdes）的图像修复（inpainting）方法的研究.pdf

中文摘要 图像修复是指利用图像的已知信息来填充待修复区域内已经丢失或破损的 信息，从而得到完整图像的处理过程。图像修复与图像去噪都属于图像恢复问题 的一般范畴。现今，图像修复( i n p a i n t i n g ) 技术已经成为图像工程领域的一个新的 活跃的研究方向。图像修复在图像处理、视觉分析、电影业等领域中具有极其广 泛的应用。包括：修复具有收藏价值的旧名画、修复具有划痕的老照片和底片、 去除图像中的附加文字、去掉图像中不想要的物体、图像的放大和图像压缩编码 世 寸。 图像修复包括非纹理图像修复和纹理图像修复。非纹理图像修复的最新方法 是基于偏微分方程的方法。本文主要研究基于偏微分方程方法的局部的非纹理图 像修复。 首先，本文研究了基于偏微分方程或变分原理的图像修复的典型模型即 h a r m o n i c 模型、t v 模型和c d d 模型。h a r m o n i c 模型实际上是各向同性扩散方 程( 热传导方程) 。此方程对图像的修复过程是各向同性的。t v 修复模型是对 r u d i n ，o s h e r 和f a t e m i 提出的经典的t v ( t o t a lv a r i a t i o n ) 去噪模型的扩展。c d d 模型克服了t v 修复模型不能满足“连接性原则”的缺点。然后，在t v 修复模 型的启发下，本文提出了几个改进的图像修复模型，即把p e r o n a m a l i k 扩散模型， 选择平滑模型，退化扩散模型，选择退化扩散模型这些经典的滤波模型用于图像 修复领域。其中退化扩散模型和选择退化扩散模型在修复的同时能够很好的保持 图像的边缘信息。这两个模型的修复效果要远远好于经典的t v 模型。最后，本 文研究了两个经典的同时修复和去噪的联合模型，包括t v 联合修复和去噪模型、 c d d 联合修复和去噪模型并提出了改进的联合修复和去噪模型。包括：a l m t v 联合修复和去噪模型、a l m m c f 联合修复和去噪模型与m c f - - a l m 联合 修复和去噪模型。实验结果表明：本文改进的模型有更好的恢复效果且运行速度 也加快了。 关键词：图像恢复，图像修复，图像去噪，偏微分方程图像处理 a b s t r a c t i m a g ei n p a i n t i n gt e c h n i q u ei st h ep r o c e s so ff i l l i n gi nt h em i s s i n go rd e g r a d e d i n f o r m a t i o no ft h ei n p a i n t i n gd o m a i nu s i n gt h ek n o w ni n f o r m a t i o no ft h ei m a g es oa s t og a i nt h ew h o l ei m a g e i m a g ei n p a i n t i n ga sw e l la si m a g ed e n o i s i n gb e l o n g st ot h e i m a g er e s t o r a t i o nc a t e g o r y n o w a d a y s ，i m a g ei n p a i n t i n gt e c h n i q u eh a sb e e nan e w a n da c t i v er e s e a r c hw a yo ft h ei m a g ee n g i n e e r i n gf i e l d i m a g ei n p a i n t i n gh a sv e r y w i d ea p p l i c a t i o n si nt h ef i e l d ss u c ha si m a g ep r o c e s s ，v i s i o na n a l y s i s ，f i l mi n d u s t r y e t ci n c l u d i n gt h er e s t o r a t i o no fo l dp a i n t i n g sw h i c hh a v ec o l l e c t i o nv a l u e ，r e s t o r i n g o l dp h o t o sa n df i l m sw h i c hh a v es c r a t c h s ，t h er e m o v a lo fs u p e r i m p o s e dt e x t sf r o mt h e i m a g e ，t h er e m o v a lo fu n d e s i r e do b j e c t s ，i m a g ez o o m i n ga n di m a g ec o m p r e s sc o d i n g i m a g ei n p a i n t i n gi n c l u d e st h en o n t e x t u r ei n p a i n t i n ga n dt e x t m ei n p a i n t i n g t h e n e wm e t h o d so ft h en o n - t e x t u r ei n p a i n t i n ga t et h em e t h o db a s e do np a r t i a ld i f f e r e n t i a l e q u a t i o n s t h i sp a p e rm o s t l yd e a l s w i t ht h el o c a la n dn o n t e x t u r ei m a g ei n p a i n t i n g b a s e do np a r t i a ld i f f e r e n t i a le q u a t i o n s f i r s t l y , t h ep a p e rs t u d y st h ec l a s s i ci m a g ei n p a i n t i n gm o d e l sb a s e do nt h ep a r t i a l d i f f e r e n t i a le q u a t i o n so rv a r i a t i o n a lm e t h o d ，n a m e l yh a r m o n i cm o d e l ，t vm o d e la n d c d dm o d e l i nf a c t ，h a r m o n i cm o d e li sa ni s o t r o p i cd i f f u s i o ne q u a t i o n ( h e a t e q u a t i o n ) t h i se q u a t i o ni si s o t r o p i cd u r i n gi n p a i n t i n g t vi n p a i n t i n gm o d e li st h e e x t e n t i o no ft h ec l a s s i ct v ( t o t a lv a r i a t i o n ) d e n o i s i n gm o d e lp r o p o s e db yr u d i n ， o s h e ra n df a t e m i c d dm o d e lo v e r c o m e st h ed i s a d v a n t a g eo ft h et vm o d e ln o t m e e t i n gt h ec o n s i s t e n tp r i n c i p l e t h e n , i n s p i r e db yt vi n p a i n t i n gm o d e l ，t h ep a p e r p r o p o s e ds o m ei m p r o v e di m a g ei n p a i n t i n gm o d e l s ，n a m e l yp e r o n a - m a l i kd i f f u s i o n m o d e l ，s e l e c t i v es m o o t h i n gm o d e l ，d e g e n e r a t e d i f f u s i o nm o d e la n ds e l e c t i v e d e g e n e r a t ed i f f u s i o nm o d e la n dp u tt h e s ed e n o i s i n gm o d e l si n t oi n p a i n t i n gf i e l d a m o n gt h e s em o d e l s ，d e g e n e r a t ed i f f u s i o nm o d e la n ds e l e c t i v ed e g e n e r a t ed i f f u s i o n m o d e lc a l lk e e pt h ei m a g ee d g e sv e r yw e l ld u r i n gi n p a i n t i n g t h ei n p a i n t i n ge f f e c to f t h e s et w om o d e l si sf a rb e t t e rt h a nt h a to ft vm o d e l l a s t l y , t h ep a p e rs t u d y st w o c l a s s i cm o d e l st h a ts i m u l t a n e o u s l yi n p a i n ta n dd e n o i s e ，i n c l u d i n gt vi n p a i n t i n ga n d d e n o i s i n gm o d e l ，c d di n p a i n t i n ga n dd e n o i s i n gm o d e l ，a n dp r o p o s et h r e ei m p r o v e d m o d e l s t h a ti n c l u d ea l m t vi n p a i n t i n ga n dd e n o i s i n gm o d e l a l m m c fi n p a i n t i n g a n dd e n o i s i n gm o d e la n dm c f - a l mi n p a i n t i n ga n dd e n o i s i n gm o d e l e x p e r i m e n t r e s u l t ss h o wt h a tt h em o d e l sp r o p o s e db yt h i sp a p e rh a v eb e t t e rr e s t o r a t i o ne f f e c ta n d f a s t e rs p e e dt h a nc l a s s i cm o d e l s k e yw o r d s ：i m a g er e s t o r a t i o n ，i m a g ei n p a i n t i n g ，i m a g ed e n o i s i n g ，p a r t i a l d i f f e r e n t i a le q u a t i o n si m a g e p r o c e s s i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨壅盘鲎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：曹踊为 签字日期： 3 吖年石月b 同 学位论文版权使用授权书 本学位论文作者完全了解盘鲞盘堂 有关保留、使用学位论文的规定。 特授权垂鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：i 静丽结 导师签名：烙晨 签字日期：硐年莎月，弓日 签字同期：力伽7 年g 月廖日 第一章绪论 第一章绪论 1 1 基于偏微分方程的图像处理方法简述 基于偏微分方程( p a r t i a ld i f f e r e n t i a le q u a t i o n 简称p d e ) 的图像处理是图像 处理领域中的一个重要分支。近些年来，偏微分方程的方法已经应用于图像处理 和计算机视觉的许多方面，包括图像分割，运动物体跟踪，物体检测，光流，图 像恢复，图像锐化，对比度增强，图像量化等，并取得了很好的效果。用偏微分 方程进行图像处理的基本思想是把待处理的图像作为初始条件，把图像处理变换 看作偏微分方程的算子，利用偏微分方程把初始图像变形，从而将偏微分方程的 解与图像联系起来。 使用偏微分方程进行图像处理的思想可以追溯到g a b o r 和j a i n 1 ，但是这种 方法真正建立起来是从k o e n d e r i n k 2 和w i t k i n 3 开始；他们引入了尺度空间 ( s c a l es p a c e ) 的概念，尺度空间把一组图像同时在多个尺度上表述。他们的工 作是将多尺度图像表示为高斯滤波器处理的结果。尺度空间理论在很大程度上构 成了偏微分方程进行图像处理的基础。1 9 8 3 年，w i t k i n 在论文【3 中指出：图像 与具有不同尺度的高斯函数卷积等价于求解以图像为初始值的热传导方程，由此 提出了最早的图像滤波模型即热传导方程。由于热传导方程在各个方向上扩散相 同，因而在滤波过程中造成的图像边缘严重模糊。为了解决这一问题，p e r o n a 和m a l i k 4 对上述模型进行了改进。他们用一个非线性扩散方程代替热传导方 程，这个模型可以控制图像中不同部分扩散速率，从而可以保留边缘信息，他们 的工作引发了许多理论和实际问题的研究。1 9 9 2 年，c a u 6 针对p e r o n a 和m a l i k 模型对噪声敏感的不足对其进行了改进，提出使用对边缘的估计信息决定扩散程 度的选择平滑模型 5 】。在此基础上，a l v a r e z 提出了退化扩散模型，该模型只在 沿着垂直于图像梯度方向扩散，这种模型能够很好地保持图像的边缘【6 】6 。 a l v a r e z ，l i o n s 和m o r e l 6 将选择平滑模型和退化扩散模型相结合，提出了选择 退化扩散模型，该模型可以更好地保持图像的边缘。 通过变分法可以把能量泛函的极值问题转化为求解其相应的偏微分方程。 即求图像能量的极小值 m m e u ( x ，y ) d ( 1 1 ) 其中，u ( x ，y ) 表示一个图像函数，e m 定义了一幅图像的能量。 第一章绪论 令f ( u ) 表示e k 的e u l e r 微分，可得达到极小值的必要条件是： f ( u ) = 0 ( 1 - 2 ) 一般可以用最速下降法求解： 粤= 一f - ( x 川y ) 】( 1 - 3 ) o l 其中，t 是人为引入的一个时间步长，表示了图像的演化过程。 1 9 9 2 年，r u d i n 等人将全变分( t o t a lv a r i a t i o n ) 引入图像处理领域，用以解 决图像噪声去除问题，提出了全变分去噪模型( t vd e n o i s i n gm o d e l ) 7 】。该方 法的主要思想是：根据图像处理的目的和具体实施方法设计一个能量泛函，通过 变分法把这个泛函的极值问题转化为对偏微分方程的求解，函数的最小化等价于 图像的平滑。 基于偏微分方程的图像处理方法成为近年来图像研究的一个热点。它还衍生 出了许多分支，例如动态边界( s n a k e ) 、基于水平集( 1 e v e ls e t ) 的图像处理、 图像变形( d e f o r m ) 、曲率运动( c u r v a t u r em o t i o n ) 图像模型的研究等，把数学 和图像有机地联系起来。 使用偏微分方程进行图像处理有很多优点。主要包括以下三点： 第一，通过建立连续模型便于对实际问题的理解和数值处理； 第二，能够获得较好的处理效果，特别对于视觉上重要的几何特征( 例如梯 度、切线、曲率等) 和动态视觉处理过程( 例如选择性扩散、信息传输机制等) 具有较好的控制和模拟； 第三，数学上完备的偏微分方程理论和丰富的数值计算方法，也为图像处理 提供了很大的帮助。 此外，基于偏微分方程的图像处理过程是一个逐渐演化的过程，它能够给出 图像处理的中间状态，这有利于选择最优结果，避免出现诸如过增强等现象。同 时，利用偏微分方程很容易将两个不同的图像处理算法结合起来，使诸如滤波和 增强这两个不同的处理过程同时进行。这也是该方法区别于传统图像处理方法的 两个显著优点。 ： 1 2 图像恢复理论简介 图像恢复，就是利用使获得的图像产生退化的先验知识，建立退化图像数学 模型，然后沿着图像退化的逆过程加以重建和复原，以获得“清晰和干净”的图 像。 图像恢复的一般模型是：函数u ：q r 表示原始图像，这是未知的，是我 们想找到的。其中q 表示图像域。用函数，表示描述与u 相同场景的观测图像， 2 第一章绪论 它是退化的，已知的，我们称其为数据，力是加性噪声。一般假设其服从正态分 布： i = k u + 疗 ( 1 - 4 ) 其中k 是影响图像失真的因子，甜表示原始图像，是己知的图像。图像恢 复问题就是从已知图像，得到恢复图像“。 图像恢复问题是图像处理中最基本的问题。从观察到的数据出发，求真实图 像的一个最优估计。图像恢复问题就是在观察到的图像数据和图像的生成模型的 约束下求最优估计的问题。用图像的t v 来定义最优，可以把约束问题变成一个 无约束的最优化问题： r、 唧n 仁k = j l v 材i d x + , 2 i ( h u _ u o ) 2 d x ( 1 - 5 ) lqnj 其中u o 表示观察到的数据，日表示模糊算子。在图像去噪声时可以不考虑。 由变分法可以得到极小值达到的必要条件为： 厂一、 一丫【尚l + 2 删( h u 刊0 ) o ( 1 - 6 ) 代表模糊核的邻接算子。这个偏微分方程的解就是恢复的图像。 本文主要研究的图像修复与图像去噪一样都属于图像恢复问题的一般范畴。 图像修复问题就是利用图像的已知信息来填充待修复区域内的已经丢失的 或破损的信息，从而得到完整图像的处理过程。 对于具有部分丢失信息区域的破损图像，要对其进行修补，就需要从整幅图 像来估计这些丢失的信息。在这里，图像修复就是根据图像修复的准则，建立数 学模型，把图像修复问题抽象成为求解一个最优估计的问题，用e u l e r 公式就可 以得到一个偏微分方程。 在进行图像修补时，要填充未知区域的信息，就需要把区域边界上的信息扩 散到区域中去。可见，求解偏微分方程的过程就是一个扩散过程。 1 3 图像修复技术概述 图像修复与图像去噪都属于图像恢复问题的一般范畴。图像修复是指根据图 像中被破损或已经丢失了信息的区域d 周围的有效信息，用图像修复算法自动进 行恢复，从而使被修复的图像看上去和原来的一样自然。图像修复的目的是重建 已经具有了丢失信息或破损区域的图像，使其看上去更加清晰并恢复其一致性。 假设q 表示完整的图像域，区域d 为待修复区域，通常可以不连通，可以是一 个区域或是子区域的有限集合，且每一个区域可以是一个空白区域，物体被隐藏 3 第一章绪论 的部分，附着在物体上的文字，旧照片的裂痕或是一个不想要的物体等。甜。l 为 图像的已知信息，可以包含噪声。修复就是利用图像的已知信息u o i 矿来填充待 修复区域d 内的已经丢失的或破损的信息甜i d ，从而得到完整图像z ，的处理过程。 般图像处理的基本模型可以表述为输入和输出系统，即： 厂一一 l u 广_ i图像处理器l u 。1j 对于图像修复而言，u 。= ( z ，i 。，d ) ，u = r 。 现今，图像修复( i n p a i n t i n g ) 技术已经成为图像工程领域的一个新的活跃的研 究方向，其目的就是研究和解决如何更好地检测图像上的受损部分，并根据受损 图像周围的有效信息用图像修补算法自动进行恢复。当今世界日益数字化，许多 珍贵文物图画，档案照片或图片，经典老电影等等通过扫描技术输入到计算机中， 以便于长久保存。而它们或多或少有划痕、折痕和污渍等。虽然一些强大的数字 图像处理软件，例如p h o t o s h o p 等，也可以对数字图像进行专业的特效处理和对 受损图像进行修复处理，但却需要有经验的技术人员进行复杂的手工处理，无法 达到“计算机智能”自动处理的目的。因此，自动的图像修复技术是一个较理想 的选择。b e r t a l m i o 等人【8 】首先通过模拟艺术家修复受损的艺术作品的方法来进 行数字化自动修复，提出了一个基于传递理论的高阶偏微分方程的修复模型。该 模型沿着已知信息点的等值线( i s o p h o t c s ) 方向不断向掩模( m a s k ) 的待修复区 域内扩散，以迭代的方式填充整个修复区域。在此之后，图像修复问题开始日益 受人关注，相关研究也日益深入。图像修复在图像处理、视觉分析、电影业等领 域中具有极其广泛的应用。包括：修复具有收藏价值的旧名画、修复具有划痕的 老照片和底片、去除图像中的附加文字、去掉图像中不想要的物体、图像的放大 和图像压缩编码等。 1 4 图像修复的研究方法与发展现状 图像修复包括非纹理图像修复和纹理图像修复。非纹理图像修复的最新方法 是基于偏微分方程的方法和变分方法，它被分为两大类：一类是基于偏微分方程 的图像修复即微观修复机制。这类方法通过分析像素点问的关系，将损坏区域周 围的信息延伸到区域里面这类模型主要有：b e r t a l m i o 等人 8 】首先提出的一个基 于传递理论的高阶偏微分方程的修复模型。此模型的提出将图像修复技术引入图 像处理领域。他们的方法是通过将待修复区域外部的有效信息沿着等照度线 4 第一章绪论 ( i s o p h o t e ) 的方向向待修复区域内扩散来实现图像修复。c e l i a a 等人提出的水 平线延伸的修复模型 9 】、c a s e l l e s 等人提出的自明修复模型 1 0 】和c a l i a a 等人提 出的修复与去噪相结合的模型 1 l 】等。第二种类型包括模拟宏观修复机制( 贝叶 斯框架) 的各种变分模型。从统计的观点来看，最佳猜测与贝叶斯框架理论比较 相似，基于贝叶斯原理的图像修复是简单和直观的：艺术家进行图像修复时主要 考虑两方面的因素，即怎样利用图像剩余部分的信息( 数据模型) 和原先完好的图 像属于什么类型的图像( 图像模型) 在变分方法中，一最佳猜测通过优化能量泛函 实现这类模型主要有：c h a n 和s h e n 在o s h e r ，f a t e m i 和r u d i n 7 】全变分去噪 模型的启发下提出的全变分( t o t a lv a r i a t i o n 简称t v ) 修复模型 1 2 】。这种方法 可以用来修复断裂的边缘。由于全变分模型不能满足人类视觉的“连接性原则”， c h a n 和s h e n 又提出了一种基于曲率流动扩散的新的偏微分方程的修复模型 ( c d d 模型) 1 3 】。这个模型可以克服t v 模型不能满足人类视觉的“连接性原 则”的缺点。此外，还有函数化的弹性摸型 1 4 】，灰度值和梯度方向的联合模型 1 5 ，基于m u m f o r d s h a h 分割的活动轮廓模型 1 6 】及m u m f o r d s h a h e u l e r 的函数 模型 1 7 】等。 对于纹理结构的图像修复( i n p a i n t i n g ) 技术，如木纹、岩石花纹等，其核心思 想是仿真并生成局部纹理进行填充。因为纹理是物质构成成分的分布或特征的反 映，它的局部形状信息能够表现相同纹理的共性。对于纹理图像的修复，主要方 法有：a c r i m i n i s i 等 1 8 ，1 9 提出的反复迭代的修复方法。这种方法是先计算待修 复区域边界上点的优先度，然后选择优先度最大的块为填充块并进行反复迭代。 i d r o r i 等【2 0 】提出的基于块填充的图像修复算法，其将图像的已知信息区域作为 训练集，反复迭代，用自相似原理逐步逼近待填充区域。算法引入多分辨率思想， 由粗到精。h i g e h y 等 2 1 】在前人提出的纹理合成算法的基础上，以目标纹理和 噪声为输入，算法处理后，噪声被转化为合成的纹理来填充目标区域，并用多分 辨率合成技术来防止模糊和走样。最新的纹理修复研究成果可见w e i ，l e v o y ， i g e h y ，p e r e i r a 的论文 2 2 2 7 。后来还有m b e r t a l m i o 等 2 8 】和s d r a n e 等 2 9 】 同时结构和纹理合成的修复方法。 有关图像修复的方法也是多样化的，还有非线性滤波方法、贝叶斯方法和谱 方法以及统计方法( 尤其对于纹理图像) 等等。研究人员提出了很多新的算法 3 0 - 4 1 】，并针对某些不同特征的图像有不错的修复效果。 逻辑上，图像修复必须事先从图像中检测到破损区域的准确位置才能进行， 但从自然图像中检测破损区域是一个很困难而又复杂的问题，目前这方面的研究 工作还没有开展。所以，现在人们在研究图像修复时，总是假设破损区域的位置 是已知的，先搁置检测问题，只研究修复算法，本文也是这样。 第一章绪论 多数图像修复算法有如下步骤： ( 1 ) 人工选定需要修复的区域。 ( 2 ) 由待修复区域外边界向区域内部不断扩散颜色信息，亦即用待修复区域边界 外面的已知图像信息来填充未知区域内的像素点。 1 5 图像修复的应用及评价 图像修复就是将图像中损坏的区域以一定的方式修补起来，使之成为一幅完 整的图像。 图像修复在图像处理、视觉分析、电影业等领域中具有极其广泛的应用。首 先是对于静态图像的裂纹修复以及障碍物去除。在印刷行业，对于印前需要处理 的不同类型的数字图像原稿，如破损老照片、有划痕的透射底片，或是在图像中 去掉与图像内容无关的障碍物，都可以通过修复( i n p a i m i n g ) 技术简单地修复。 用户只需要简单地选择修复范围，计算机就会自动完成对划痕、空白区域的填充， 或是去掉障碍物后填充背景图案，可以很大程度地减少印前图像处理的时间和手 工工作量，也可根据修复的结果进行更进一步的图像处理。 其次是动态影像修复。图像修复技术可应用于影视行业，例如对于影视拷贝， 如果对于连续帧中的其中的一帧有划痕、污点等需要修复的情况，我们通过将影 片的连续帧转化成数字图像序列，然后根据其前后帧的信息比较，从相邻帧中提 取有用信息进行拷贝修复。另外，对于影片中带有的不同语言的字幕，我们也可 以通过修复技术去除。 再次，在一些摄影领域，还可以通过i n p a i n t i n g 技术实现对数字照片中红眼 现象的消除，或是分次拍摄的数字照片在拼接全景图像时，可通过i n p a i n t i n g 技 术修复相邻照片中的重叠部分。 i n p a i n t i n g 技术目前在国内已有不少学者关注，在国外已经成为一个活跃的 研究领域。总之，i n p a i n t i n g 的技术优势还会涉及到更多的图像应用领域，例如 生物医学、遥感探测等领域，并在不同领域中促进这项技术更科学地发展。 虽然图像修复的应用范围很广泛，但由于仍然没有精确的模型来描述图像， 图像修复还需要深入研究现有的图像修复模型还存在边缘保持和运行时间长的 问题。 图像修复是一个典型的病态问题。它没法用一个数学过程来描述，图像修 复也无法表示成其逆过程。如果说图像降析中只丢失了一部分信息，那图像破损 过程中就丢失了全部的信息，破损区域的数据完全丢失了，它当然也不可逆，更 谈不上逆的唯一性。图像复原中用先验模型进行规整化，而图像修复则完全依赖 6 第一章绪论 于先验模型，不同的先验模型会导致完全不同的解。如果破损区域是一个局部区 域，由外部基本能够预测里面的结构。而如果破损区域较大，结构比较复杂，对 它的修复将有更强的主观性，这时的各种预测只要在边界处能和己知数据吻合的 上，就能构成一个成功的修复结果。这就表现出更强的病态性。 关于算法效果的评价，目前还没有一个定量的评价标准。由于图像修复本来 就含有一定的主观臆测的成分，所以人们也就乐于用主观的方法来判断修复结果 的好坏。本文也只做了一些简单的实验比较，没有做更多的定量分析。而对计算 速度而言，不同的方法，计算时间差别很大，所以我们也只做一些粗略的计算时 间上的比较，这就足以说明问题了。 1 6 本文的主要内容 本文主要研究基于偏微分方程的图像修复技术。包括基于偏微分方程的图像 修复及同时修复和去噪模型的研究。实现了几个典型的图像修复模型，并在此基 础上，在t v 修复模型的启发下，将一些典型的滤波模型用于图像修复领域。并 提出了几个能够同时修复和去噪的联合模型。本文将各个模型应用在一些模拟图 像和自然图像上，并将实验结果进行了比较和分析。本文的结构如下： 第一章绪论，简要介绍了基于偏微分方程的图像处理方法，图像恢复的简单 理论，图像修复的含义、方法、发展现状、应用及评价。 第二章介绍了图像修复的局部性参考，图像修复模型建立的一致性原则， 两种既相互关联又不同的修复方法。 第三章研究了基于偏微分方程或变分原理的图像修复的典型模型即 h a r m o n i c 模型、t v 模型和c d d 模型，并在t v 模型的启发下，将p e r o n a - m a l i k 各向异性扩散模型，选择平滑模型，退化扩散模型，选择退化扩散模型用于图像 修复领域。其中退化扩散模型和选择退化扩散模型在修复的同时能够很好的保持 图像的边缘信息。此外，本文还提出了三个有效的可以同时修复和去噪的联合模 型。 第四章首先将第三章所述的各个模型进行数值离散，然后应用在一些破损 的模拟图像和实际图像上，并将实验结果进行了对比和分析。 第五章总结与展望，总结本文的工作，并对今后的研究方向提出了设想。 7 第二章图像修复的理论基础 2 1 第二章图像修复的理论基础 局部条件是指图像修复模型不依赖于图像的全局特征或模式识别。因此，修 复仅仅依赖于局部信息( 与待修复区域有关) 。对于非纹理图像，模式就是一种 空间或是颜色对称，如镜面对称、翻转不变、周期性。比如说，大多数人脸都沿 着鼻子和嘴这条中心线几乎是镜面对称的。尽管人类视觉很易察觉，但对于计算 机来说，由于一般图像尺度和结构上的丰富变化使得识别这种模型比较困难而且 代价高。 在人类视觉分析中，一个典型的例子如图2 1 所示，对于左边待修复的图像， 待修复( 或遮蔽) 区域在交叉部分是一个灰度方块，人类观察者通常很容易看到 黑色的十字架，因此将待修复( 或遮蔽) 区域填充为黑色。我们大多数人会认为 这是一个好的猜测。对于右边的面板，左边的图像被嵌入了一个较大的结构中。 我们可以很容易识别出整个棋盘模式，因此将其填充为白色来实现空间的对称 性。因此，人类的视觉参考依赖于全局背景。 - i - 图2 1 局部修复方案不需要考虑全局模式 ( 待修复区域都是 这种人类视觉参考的复杂性与修复模型相似。高层次的图像修复方法必须考 虑图像的全局信息。目前的研究领域主要集中在低层次的图像修复，即只利用破 损区域周围的图像信息来修复图像。本文用变分法和偏微分方程的方法所建立的 图像修复模型主要用来处理非纹理图像，属于依赖局部信息的低层次图修复方 法。因此，即使对于图2 1 中的右图，待修复区域也应该被填充为黑色。 第二章图像修复的理论基础 2 2 图像修复模型建立的一致性原则 ( a ) 图像修复模型是局部性的。因为我们建立的模型不需要知道图像的全局信 息，待修复区域的信息完全由待修复区域周围的已知信息决定。 ) 图像修复模型应该能够修复窄的被截断的光滑的边缘。因为边缘对目标 识别和图像分割至关重要，所以，我们要注意边缘的修复问题。 ( c ) 图像修复模型应该对噪声具有鲁棒性。因为对于人类视觉来说，从现有的 噪声图像数据中察觉出不含有噪声的图像特征并把其延伸到修复区域是一件容 易的事。 2 3 贝叶斯( b a y e s i a n ) 框架理论和变分理论 我们可以通过两种不相同却相互关联的理论框架来解释修复理论。即概率方 法和变分方法。 概率方法后面隐含的基本假定是：对于一个给定的问题，存在一个概率分布， 其在某种程度上能够抓住图像的重要特征和不同结构之间的相互作用。 对于修复问题，概率方法就是通过图像的现存部分( 数据模型) 使整个被修 复的图像与修复者认为图像所属的类型一致( 图像的先验模型) 。在贝叶斯框架 下，这就等价于最大化后验概率p r o b ( ul 材o ) ( m a p ) 。定义为： p r d b ( ui “。) ：p r o b ( u 。iu - ) * 下p r o b ( u ) ( 2 - 1 ) p r o o l i uj 贝叶斯修复机理是相当简单和直观的( 见图3 1 ) ：我们人类修复者修复一幅 不完整的图像主要依赖于两个因素：( a ) 如何解读已有的图像信息u u i d c ，即所 谓的数据模型( d a t am o d e l ) 。f b ) 修复者认为原始的完好的图像属于图像的哪一 种类型，即图像先验模型( i m a g e p r i o r m o d e l ) 。当u o 给定后，上式中的分母为 常数。因此，最大化后验概率就是最大化数据概率和图像概率的乘积。 图像修复的另一个方法是变分理论及与其相联系的偏微分方程。这种方法适 用于连续域。 变分方法和概率方法( 贝叶斯理论) 是相互关联的，并且我们可以通过g i b b s 公式来建立两种理论之间的联系： 1 1 p r o b ( u ) = e x p ( - + e ( u ) ) ( 2 - 2 ) 二” 其中r 是绝对温度，z 。是一个配分函数，其作用是归一化指数项使其成为一种 概率。 9 第二章图像修复的理论基础 n h ( 2 2 ) n - i 将( 2 1 ) 改为： p r o b 旧0 ) 2 盖e x p ( - 寺陋 o i “ ) - 以扩) ) ( 2 - 3 ) z 通常是一个常数，所以最大化后验概率p r o b ( u1 2 0 ) 即最小化能量函数： e ( u u o ) = e ( u ) + e ( u ol “) 一e ( u o ) ( 2 - 4 ) 对于给定的图像，z f u l d c 已知，e ( u o ) 为常数可以省去。 对于修复问题，变分方法就是假定一个能量，其通过将图像扩展到未知的待 修复区域而最小化。 待修复区域边界上”o 的某些特性为被传递的信息。最简单的方法就是传递 边界0 1 9 上已知强度值的u o 的信息。这就导致能量最小化问题： m i n e ( u ) ( 2 - 5 ) 其中a 是一个包含了限制条件的适当的可容许的集合。这些限制条件产生于将已 知信息传递到待修复区域d ，例如边界0 1 9 上的像素值。 即： 1 2 = 1 2 0 ，( x ，y ) o d( 2 - 6 ) 或边界0 1 ) 上的像素梯度值。 即： 胛= 吆，( w ) 0 1 ) ( 2 - 7 ) 一般情况下，我们使用能量( 变分) 公式，因为容易根据实际问题得到能量( 变 分) 模型。 在图像修复问题中，数据模型的建立一般比较简单由于 p r o b ( u1 2 0 ) = p r o b ( n = 甜一材o ) ，r l 是图像中的噪声 ( 2 8 ) 由上式可以根据不同的噪声类型建立模型。假设图像受到高斯白噪声影响即： 材o ld c = k 木u ，a n d c ( 2 9 ) k 是影响图像失真的其它因素。 则数据模型建立为： e ( ut l 。) = 鲁。( k * u - - u 0 ) 出 ( 2 - 1 0 ) 由于待修复区域里没有可利用的信息，所以，对待修复区域的重建仅取决于 图像模型。一个好的图像模型对于图像修复而言比对于其他任何一个经典的恢复 问题如去噪、去模糊、分割都重要。 对于大多数修复问题，待修复区域通常“抹去”了一些感官上重要的图像的 几何信息，例如边缘。为了重建几何信息，图像模型有必要解决几何先验问题。 大多数传统的概率模型缺乏这个特征。但幸运的是，明显有几何信息驱动的能量 形式存在。典型的例子包括：r u d i n ，o s h e r 和f a t e m i 提出的t v ( t o t a lv a r i a t i o n ) 模型，及m u m f o r d 和s h a h 提出的o b j e c t e d g e 模型。 l o 第二章图像修复的理论基础 因此，一个有效的贝叶斯或者变分修复模型，主要依赖于一个好的先验图像 模型e ( u ) 。有下面几种方法可以建立先验概率模型，如m 砌( o “g i b b s 随机场理论、 基于学习的滤波和熵理论、m u m f o r d g i d a s 建立的处理随机化模型的公理化方法、 几何模型方法( 例如总体变分、泛函化的弹性模型、m u m f o r d s h a h 模型等) 。 2 4 本章小结 图像修复属于图像恢复的范畴，且其理论与图像恢复理论紧密联系本章的 主要内容是阐述图像修复的理论基础。首先，介绍了图像修复的局部性参考理论， 并指出本文用变分法及其相应的偏微分方程的方法所建立的图像修复模型主要 用来处理非纹理图像，属于依赖局部信息的低层次图修复方法；其次，介绍了 t o n y 和c h a n 提出的低层次图像修复应当遵循的三个重要原则即图像修复模型 建立的一致性原则；最后讲述了两种不相同但相互关联的修复方法：概率方法( 贝 叶斯框架理论) 和变分方法。 第三章基于偏微分方程的图像修复模型 第三章基于偏微分方程的图像修复模型 3 1 基于偏微分方程的图像修复模型 3 1 1 经典的修复模型 3 1 1 1h a r m o n i c 修复模型 第二章我们介绍了贝叶斯框架理论知识，由贝叶斯公式( 2 1 ) 可知： p r o b ( u ol “) 模拟数据的形成过程。假设破损图像材。是这样得到的。即：使一幅无 噪声图像具有均值为0 在空间上没有相互联系并且静止的高斯白噪声，且其在破 损区域d 外具有标准偏差盯，而破损区域内图像信息完全丢失。因此 p 加她) 。野附掣) - ( 嘞1 - i c , ) e x p ( - y 学) ( 3 1 ) z 代表图像中一个像素的位置，k = 1 - i ，。c l 是一个规定化常数。先验模型p ) 通常很难找到，因为它模拟一组给定的像素值代表一幅有意义的图像的概率。对 于非纹理图像，假设图像的平滑形式即在一个给定像素位置的像素值变化应该最 小。基于这个目的，引入梯度算子v 。v u 表示在一个给定像素位置周围的图像 局部变化，确保合理平滑的方法就是v u 要小。 一个可能的先验模型是i v 甜( 工) i 的值是高斯分布的，均值为0 ，标准偏差为仃。则： ! ! ! ! 型：， 、一f! ! ! 盟 p ( 扰) = 1 7 p ( 陬工) 1 ) - 1 - i 叩2 = i 兀c ：l p “猷2 ( 3 - 2 ) 其中，h = 丌，、c 2 是一个归一化常数。由m a p 标准和g i b b s 公式，问题即转化 j lj j i z 为求下列能量的极小值( 即转化为变分问题) ： 脚f ) = 轰华+ 互掣 ( 3 3 ) 将其转化为一个连续模型，即极小化： 脚妒) 2 专k ( 0 ) 2 出+ 壶肿陋 ( 3 - 4 ) 引入参数五= 哆z ，则： e ( “= u - u 。) 2 出+ 兄刚2 出( 3 - 5 ) 1 2 第三章基于偏微分方程的图像修复模犁 由( 3 5 ) 得出h a r m o n i c 联合修复与去噪模型。 实际的h a r m o n i c 修复模型符合以下情况： p ( 甜。l u ) = l 若x 时，u - - u o p ( u ol 甜) = 0 其它情况 ( 3 - 6 ) ( 3 7 ) 在上述情况下，最小值问题转化为： 寻找u 使其满足： “= m i n0 v u l 2 d x ( 3 8 ) 6 由e u l e r - l a g r a n g ee q u a t i o n 可得： a u = 0 ， x d ( 3 - 9 ) , = 甜o ， z 0 9 ( 3 1 0 ) h a r m o n i c 模型实际上是各向同性扩散方程( 热传导方程) 。此方程对图像的修复 过程是各向同性的。 由于图像信息在各个方向上同等扩散，因此修复的同时破坏图像几何信息，臣u 图 像边缘。 3 1 1 2t v ( t o t a lv a r i a t i o n ) 修复