（计算机应用技术专业论文）基于偏微分方程的图像修复(1).pdf

摘要 图像修复是图像处理中的重要研究内容之一，是当前计算机图形学和计算机视 觉中的研究热点，其应用越来越广泛。图像修复是对缺损的图像、照片以及目标物 体的遮挡等信息进行修补或去除。如何对缺损或遮挡信息进行修复是我们所关注的 问题。目前与修复相关的两个研究方向就是结构图像修复和纹理合成，本文主要以 全变差( t v ) 修复模型为核心，对图像修复的原理、方法和应用进行了研究和探讨。 首先介绍了图像修复的相关理论基础，包括图像修复的原理、各向同性扩散、 各向异性扩散以及图像修复算法的评价标准等。讨论了基于偏微分方程的6 种修复 模型，重点介绍了曲率驱动扩散模型( c d d ，c u r v a t u r e - d r i v e nd i f f u s i o n s ) 和全变 差( t v ，t o t a lv a r i a t i o n ) 模型。c d d 模型通过曲率项来控制扩散速度，能满足人的 视觉连接性。1 v 模型去噪的同时能较好地保持图像的局部边缘，能很好地修复细小 的窄带，但只能适合灰度图像，而对彩色图像，修复效果不理想。根据彩色图像耦 合思想将t v 模型运用到彩色图像中，提出了彩色图像修复模型。通过实验对比分析 了改进后的修复效果能较好的修复破损图像，保持彩色图像边缘。但对含有噪声的 彩色图像，修复的边界模糊。对彩色1 、，模型进行了改进，实验对比改进后的模型很 好的保持了图像的强边缘，且具有良好地去噪效果。 关键词：图像修复；彩色图像；全变差模型；偏微分方程 a b s t r a c t i m a g ei n p a i n t i n gi sv e r yi m p o r t a n t i ni m a g ep r o c e s s i n g ，i ti sah o t s p o ti nc o m p u t e r g r a p h i c sa n dc o m p u t e rv i s i o n ，i ti su s e dw i d e l y i m a g ei n p a i n t i n gi st od e a lw i t hd a m a g e d i m a g e ，p h o t oa n do c c l u s i o n h o wt oi n p a i n tt h ed a m a g e di m a g ea n df i l ls o m ei n f o r m a t i o n i n t ot h eo c c l u d e dr e g i o n s ，i ti sa ni m p o r t a n tp r o b l e m a tp r e s e n t ，t h e r ea r et w ot h e m e s r e l a t e dt oi n p a i n t i n g ，o n ei si m a g ei n p a i n t i n g ，t h eo t h e ri st e x t u r es y n t h e s i s t vi n p a i n t i n g m o d e li st h ef o c u so ft h i sd i s s e r t a t i o n ，w ec a r r yo u tr e s e a r c ho nt h ep r i n c i p l e ，m e t h o d sa n d a p p l i c a t i o n sa b o u ti m a g ei n p a i n t i n g f i r s t l yd i s c u s st h ee s s e n t i a lt h e o r y r e l a t e dt o i m a g ei n p a i n t i n g ，i n c l u d i n gt h e p r i n c i p l eo fi m a g ei n p a i n t i n g ，i s o t r o p i cd i f f u s i o n ，a n i s o t r o p i cd i f f u s i o na n de v a l u a t i o n 。 c r i t e r i ao fi m a g ei n p a i n t i n g t h e ni n t r o d u c es i xt y p e si n p a i n t i n gm o d e lb a s e do np a r t i a l d i f f e r e n t i a le q u a f i o n ( p d e ) ，f o c u so nc u r v a t u r e d r i v e nd i f f u s i o n sm o d e l ( c d d ) a n d t 0 t a lv a r i a t i o nm o d e l c t v ) t h ec d dm o d e li st h r o u g hc u r v a t u r et oc o n t r o li t sd i f f u s i o n s p e e d ，r e a l i z e s t h ec o n n e c t i v i t y p r i n c i p l e t vm o d e lc o u l dp r e s e r v ei m a g ee d g e s e f f e c t i v e l y , d e n o s i n ga n di n p a i n tn a r r o ws t r i p ，b u ti tc o u l df i tg r a yi m a g e ，n o tf i tc o l o r i m a g e ai m p r o v e dc h a n n e lc o u p l e dd i f f u s i o nm o d e lb a s e do n iv i sp r o p o s e d t h r o u g h e x p e r i m e n t ，r e s u l t ss h o wt h a tt h ec o l o r i vm o d e lc o u l di n p a i n td a m a g e di m a g ea n d p r e s e r v ei m a g ee d g e sb e t t e r b u ti tc o u l dm a k ee d g eb l u r r e df o rc o l o ri m a g ew i t hn o i s e ， t h e nc o l o r i - vm o d e li si m p r o v e d 。e x p e r i m e n t a lr e s u l t ss h o wi m p r o v e dc o l o rt vm o d e l c o u l dm a i n t a i nt h ec l e a re d g eo fi m a g e ，g o o d r e s u l t sa n dd e n o i s i n g k e yw o r d s ：i m a g ei n p a i n t i n g ；c o l o ri m a g e ；t o t a lv a r i a t i o nm o d e l ；p a r t i a l d i f f e r e n t i a le q u a t i o n 青岛大学硕士学位论文 学位论文独创性声明 本人声明，所呈交的学位论文系本人在导师指导下独立完成的研究成果。文中 依法引用他人的成果，均已做出明确标注或得到许可。论文内容未包含法律意义上 已属于他人的任何形式的研究成果，也不包含本人已用于其他学位申请的论文或成 果。 本人如违反上述声明，愿意承担由此引发的一切责任和后果。 论文作者签名：孤辛跌日期：五姆年扣朗 学位论文知识产权权属声明 本人在导师指导下所完成的学位论文及相关的职务作品，知识产权归属学校。 学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权利。本人离校 后发表或使用学位论文或与该论文直接相关的学术论文或成果时，署名单位仍然为 青岛大学。 本学位论文属于： 保密口，在年解密后适用于本声明。 l 不保密彤 ( 请在以上方框内打“ ) 论文作者签名：孤福太 导师签名： i 和吃 日期：加罗年f 月姻 日期：瑚年妒啪 ( 本声明的版权归青岛大学所有，未经许可，任何单位及任何个人不得擅自使用) 4 2 第一章绪论 第一章绪论 1 1 研究数字图像修复的目的与意义 图像是人类获取信息的主要来源之一，数字图像技术在扫描仪、数码相机、录 像机、电视、移动电话等数字产品中得到广泛的应用。有很多因素会引起图像局部 信息的缺失，如原有破损或有折痕的图像经扫描仪扫描来的图像，或是为了达到某 种特殊的视觉效果要求删除不必要的信息等。因此，自从有了图像，也就有了对破 损图像修复的研究。早在文艺复兴时期，人们就开始由专业人员手工修复艺术品， 其修复过程是尽可能的模仿作家的原意图来手工修复那些年久褪色或是受损产生裂 缝n 2 1 的艺术作品，其目的是通过修补一些裂缝或缺失的信息以使艺术品恢复本来 面目。后来将这种修复方法应用到图像的处理中，与图象处理技术中的“图像插值 相对应嘲，成为最初图像修复的理论基础。 图像修复的目的可以引用b e r t a l m i o 的文章的第一段来说明h 1 “图像修复就是 对图像进行的一种修改，这种修改对于不知道原始图像的人来说是几乎观察不出来 的，这是一件与艺术创作本身一样有着悠久历史的事。 修复就是重构图像中缺少或 者损坏的部分信息，目的就是为了使这些图像保持更加清晰和完整。对于许多珍贵 历史文物，如古代油画、档案照片或等，它们多少有些划痕、折痕和污渍等( 如图1 1 所示) ，要对它们进行重构原来的信息，首先通过扫描仪技术把这些破损图像输入到 计算机中，成为数字图像。然后通过算法或软件标注待修复区域，计算机按照指定 的修复模型或算法对标注区域进行修复，也可尝试多种模型、算法或软件而得到不 同的修复结果，通过比较选择得到最理想和最合理的接近于原图像的修复效果。通 过这种修复方法既可以节省大量的人力、物力和财力，也没有损坏原作的任何危险， 对于那些珍品来说，显得尤其重要。因此，数字图像修复技术为修复珍贵的艺术作 品提供最安全最有效的途径。 图像修复技术的应用范围不仅仅局限于珍贵作品的修复。随着图像修复技术的 发展，越来越多的领域希望对图像进行一定程度的修改，达到人眼所觉察不出来的 某种特殊效果，如在电影后处理中一些特效处理如遮挡物去除( 如图1 2 所示) 、文字 去除( 如图1 3 所示) 等，这些都是图像修复的重要内容。 现在目前有许多图像处理软件，如p h o t o s h o p 等，也可以对数字图像进行专业 的特效处理和受损图像有效的修复，但这种方法对用户的专业技术要求很高，如在 1 青岛人学硕士学位论文 操作时用户必须严格区分待修复的区域，还要考虑要填充的颜色、格式以及纹理效 果，然后经过复杂的手工处理后才能完成。这种修复方法，主观性较强，不同的用 户对于同一幅图像处理的效果会不同。另外，对于实时性要求很高、运算量很大的 图像处理，p c 机就很难胜任。d s p 是数字信号处理专用芯片，具有数学运算速度快、 精度高等特点，能够胜任要求实时性强、运算量大的工程。因此，用高速d s p 芯片 工程实现先进的图像修复算法，就能将复杂的手工过程自动化，并适合有大量数据 运算且对实时性要求高的应用，使得不论是平面图像还是视频图像的修复变得更加 准确和快捷。 图1 1 修复古代绘画作品中的裂痕 图1 2 彩色图像中遮挡物擦除 图1 3 彩色图像中文字的去除 2厶 第一章绪论 1 2 数字图像修复技术的发展与现状 近年来，国内外发表的图像修复论文提出了很多有效的修复模型或方法，其中 有代表性的是基于结构图像的修复方法和基于纹理合成的修复方法n 3 ，下面我们对 其中的一些方法作简要回顾。 对于结构性图像的修复，大都采用偏微分方程的方法。其基本思想是利用待修 复区域周围的有效信息向待修复区域内进行扩散，这种方法简单易用，只需标注要 修复的区域就行，但不能修复大的区域，也不能修复纹理图像，以这种方法为基础 的模型有很多。2 0 0 0 年， m b e r t a l m i o 等叩1 人首先开始数字图像修复的研究，提出 了一个基于三阶偏微分方程的修复方法，称为微观仿真技术。这种模型模仿了流体 动力学中的n - s ( n a v i e r - s t o k e se q u a t i o n ) 方程1 ，建立了基于偏微分方程的图像修 复方法。这个过程是一个等照度线沿切线方向延伸的过程，这个算法对修复区域的 拓扑结构没有任何要求，适应性好，但是修复速度太慢，妨碍了该算法的应用前景； 同时该算法使修复后的区域产生模糊，尤其在修复大的区域时，模糊更加明显。 o li v e r i r a h l 利用了高斯卷积核对图像进行滤波，能快速的修复破损区域，但该算法 仅考虑了破损区域边缘一周的图像信息，使其方法仅适用于破损区域为2 - 3 个像素宽 度的情形。周廷芳，汤锋等阳3 提出了基于径向基函数的图像修复技术，该方法将图 像处理的问题转化为三维曲面重建问题，利用径向基函数对图像进行修复。t o n y 等 人在微观仿真基础上，提出了整体变分t v ( t o t a lv a r i a t i o n ) p 1 修复模型，该模型对 于较小的破损区域有很好的修复效果，但不能修复较大的区域，而且只适合灰度图 像的修复。对于彩色图像，需要对多个颜色通道进行平滑，相同边缘在不同通道中 的图像强度不同，这就导致有些通道中的边缘被保留，有些则被扩散，需要通过耦 合思想对彩色图像进行修复。g g e r i g n 等人提出了一种耦合方法，通过耦合方法 修复出来的彩色图像才不会失真。由于t v 模型不能修复较大的区域，不能满足人的 视觉连接性，t o n y c h a n 等人对t v 模型进行改进，又提出了曲率驱动扩散 c d d ( c u r v a t u r ed r i v e nd i f f u s i o n ) 修复模型的思想。在扩散量上加上一个惩罚项函 数g ( k ) ，其中该函数是与曲率有关的递增函数。该方法特点是在曲率大的地方，传 导流量就大，在曲率小的地方，传导流量就小。在待修复区域边界交点处曲率是很 大的，所以此处的流量就大，边缘一定会向里延伸。所以曲率驱动扩散方法比基于 整体变分模型的扩散方法修复能力要强，能处理较大的修复区域，但曲率驱动扩散 没有良好的收敛性。c h a n ，k a n g 和s h e n n 用弹性图像模型x d r r v 模型进行改进，提出了 弹性修复模型，此模型修复出来的是曲线。m u m f o r d - s h a h 模型n 2 1 是m u m f o r d 和s h a h 3 青岛大学硕士学位论文 在研究图像分割时最初提出的，后来由s a i ，y e z z i ，w i l l s k y n 3 1 和c h a n ，s h e n 1 首次提 出用于图像修复。由于m u m f o r d - s h a h 模型不能修复大区域且修复出来的是直线，也 不能满足连接性，于是e s e d o g l u 衣i s h e n n 副提出用e u l e r 弹性模型来替换直线模型，模 型就是m u m f o r d - s h a h - e u l e r 模型，其模型可以用rn 司逼近和水平集的方法求解，这 样修复出来的模型是在区域边界处是光滑的。这些方法比较抽象复杂，不容易实现， 收敛性不好。 纹理图像具有自相似性，- d , 块纹理能反映整体纹理的特点，给出一小块纹理 就能生成一大块相似的纹理。根据物体表面的性质纹理可分为两类，一类是颜色纹 理，主要指同一表面各处呈现出不同的花纹和颜色；另一类是几何纹理，是指物体 表面在微观上呈现出的起伏不平。基于纹理的合成算法有多种，最有名的- 黜a r k o v 随机场( m r f ) n 町为模型的非参数特征匹配法，该模型的修复依据是纹理中的任何一部 分可以由邻域的纹理来决定。其优点是应用广泛，合成效果好，缺点是非常耗时。 近年来，国内发表的图像修复方面的论文提出了很多卓有成效的修复模型或方 法，其中代表性的是中国科技大学邵肖伟n 刀等提出的是一种基于t v 模型的自适应图 像修复方法，通过修改扩散系数来影响扩散速度。复旦大学信息学院王晨n 8 3 等提出 的新的块缺失的图像修复算法，该文以对图像块粗糙度的分析为依据，优化纹理合 成算法，并结合j p e g 算法，应用于图像压缩，使图像压缩率得到显著提高。 1 3 研究工作和内容安排 本文首先提出图像修复的目的和意义，阐述了图像修复技术的国内外现状，简 单介绍了图像修复的理论基础、目前图像修复的模型和方法、以及各种模型的特点。 在灰度t v 修复模型基础上，提出了彩色t v 修复方法及其改进算法，取得了不错的修 复效果。 本文内容总体安排如下： 第一章绪论。介绍了数字图像修复的目的意义以及图像修复技术的发展；最后 介绍了本文要做的研究工作和内容安排。 第二章图像修复的理论基础。介绍图像修复的工作原理，图像修复的原则以及 偏微分方程和变分法的理论，各向同性扩散、各向异性扩散的概念，最后介绍了评 价图像修复算法的主观和客观标准。 第三章基于偏微分方程的图像修复。先后介绍了微观仿真技术、全变差模型 ( t v ) 、曲率驱动扩散模型( c d d ) 和弹性修复等6 种模型，并分析了各自的特点。重点 4 第一章绪论 对b s c b 、t v 、c d d 修复模型进行了分析。 第四章彩色图像修复模型。介绍了彩色图像的耦合技术，提出了彩色t 、，模型及 其修复彩色图像的步骤，在此基础上提出了改进的彩色t v 修复模型。 第五章c d d 模型和t v 模型实验。先对c d d 模型进行了实验，实验表明c d d 模型 有良好的连接性，满足人的视觉效果实验结果。后对灰度t v 、彩色t v 模型和改进： 的彩色t v 进行了实验，实验证明灰度t v 模型适合处理很小范围内的破损图像，彩 色t v 对含有噪声的彩色图像不能保持强边缘，改进后的彩色，r v 模型既有很好的去 噪效果又能保持图像的强边缘， 第六章总结全文研究的内容并对未来的工作进行了展望。 5 青岛大学硕士学位论文 2 1 图像修复基础 第二章图像修复理论基础 【1 ) 数字图像修复原理 数字图像修复就是针对图像中遗失或者损坏的部分，利用其周围的有效信息对 其修复，使修复后的图像接近或者达到原图的视觉效果。用户先确定待修补的区域， 然后根据该区域周围的已知有效信息( 灰度及纹理) ，由计算机自动执行修复算法来 完成对破损区域的修复。从数学的角度来看，已知信息是未受损部分，未知信息是 破损部分，图像修复就是根据已知有效部分来求未知部分。 ( 2 图像修复的原则 2 0 0 2 年，t o n yc h a r t 等饽1 人提出了对于低层次的图像修复应当遵循三个重要原 则： 第一满足局部性。修复的图像结果只与修复区域临近的信息相关，所以只能由 已知邻近的信息来推测待修复区域的信息。 第二能够修复断裂的边缘。由于人眼对物体或图像的边缘是非常敏感的，边缘 信息对模式识别和图像分割是非常重要的，因此，图像修复必须要考虑图像的边缘 问题。 第三对修复算法对噪声要具有鲁棒性。当噪声低于一定程度时，人类视觉能够 忽略图像中的一些噪声，辨别出图像的重要特征信息。 图像修复的建模过程一般依赖于h e l m h o l t z 1 9 1 最佳猜测原理。h c l m h o l t z 基本原 理： 在给定传感数据的情况下，我们所感觉到的一切是基于现实世界的状态而做出 的最佳猜测。最佳猜测原理是用统计的方法研究问题，它和b a y c s 理论对现实世界 的分析类似，下面讲解b a y e s 理论。 【3 ) b a y c s 模型 b a y e s 算法是由伟大的数学大师t h o m a sb a y e s 提出的基于一种概率的算法，将这 种算法应用到图像恢复中，如图像去噪( d e n o i s i n g ) 、图像去糊( d e b l u r r i n g ) 、图像 6 第二章图像修复理论基础 分割( s e g m e n t i n g ) ，这些通用的方法是b a y e s 框架。b a y e s 的理论可以粗略地被简述 成一条原则：为了预见未来，必须要看过去。b a y e s 的理论表示未来某事件发生的概 率可以通过计算它过去发生的频率来估计。 b a y e s 修复模型的思想就是利用已知污染或受损的图像来恢复干净的图像搿， 根据最佳猜测原理，就是求b a y e s 最大后验概率，、求使p r o b ( u l u o ) 最大的口。b a y e s 公式： p r o b ( u u o ) = p r o b ( u o i 口) p r d 6 ( “) ，p r d 易( ) 2 一( 4 ) 当u 。给定后，p r o b ( u 。) 就是一个常数。“的估计依赖于两点，即观测到的图像 与口的联系以及基于最佳猜测而建立的图像先验概率。所以极大化后验概率就是极 大化数据概率与图像概率的乘积。m u m f o r d n 铂指出，概率图像修复模型和几何图像模 型之间的联系完全通过统计力学中的g i b b s 公式： p ro b ( u ) = e x p ( - f l e ( u ) ) ， 2 一( 5 ) 其中e ( 球) 是的能量，厂是分布函数，b a y e s 公式写成能量形式为： e ( u l u o ) = e ( u ) + ( u , l u ) + c o n s t 若图像含有噪声，这数据模型为： 2 一( 6 ) “。i m 。= ( 置口。州。n o i s e ) o u ， 2 一( 7 ) 若噪声服从g u a s s 分布，则能量形式： e ( o l 垆害，( 置口飞) 2 威 。n d 2 一( 8 ) 所以一个有效的b a y e s 模型取决于图像的能量。 ， ( 4 偏微分方程( p a r t i a ld i f f e r e n t i a le q u a t i o n ) p d e j 通过偏微分方程解决图像处理领域的问题在近几年成为一个热门的研究领域， 7 青岛大学硕士学位论文 被越来越多的人所关注。其基本思想是对给定的曲率、表面、或是图像的偏微分方 程变形，用连续的二维函数来对图像进行建模，从而对图像进行求导求积分等操作， 把图像处理问题规范化；在计算方面，可以很好的利用一些非常完备的数值分析和 偏微分方程计算方法来计算；另外，偏微分方程可以提高图像处理和分析的速度、 准确性和稳定性。因此，使用偏微分方程可以准确对图像建模，从而很好的解决了 图像处理中许多复杂的问题。 ( 5 ) 变分法 变分法口”是数学中的一个重要分支，其主要研究的内容就是泛函的极值，是微 分学中求函数极值的一种方法。变分学在自然科学和工程技术方面有着广泛的应用， 特别是在探讨“最佳方案 ，“最优设计 方面显得尤其重要。 泛函定义：设h _ g ( x ) 为具有某种性质的函数的集合，对于集合中的每一个函 数g ( x ) ，都有一个实数值m 相对应，那么变量m 就称为定义于集合h 上的泛函， 记：m _ m g ( x ) ，泛函就是自变量是函数的实数值函数。对于函数m = m g ( x ) ，任何 一个元素g ( x ) 的变分匆是指该集合中任何两个函数g ( j c i ) 和g ( x o ) 之差，记： 8 9 = g ( 五) 一g ( x o ) ，其中j c l ，而是自变量得两个值，这是函数变分。如果函数m g ( x ) 的变分埘= 肘【g ( 工) + 万g 】- m g ( x ) 】= g ( 功，8 9 】+ 口( g ( j 【) ，8 9 ) m a x l s g l ， 当 m a x l 8 9 l 专0 时，有a ( g c x ) ，8 9 ) 专0 ，则称g ( 工) ，以】为泛函膨【g ( 工) 】的变分，记： 8 m 。若泛函m ( g ( 工) ) 在g = g ( 工) 的值大于( 小于) 它在集合日中的任何一个函数 g ( x ) 的值，即跚= 膨( g ( 工) ) 一膨( g ( 力) 0 ( 0 ) 对于集合h 中的任何一个函数都成 立，就称泛函m c g ( x ) ) 在g ( 工) 处达到了最小( 最大) 值，g ( 工) 为泛函肘( g ( 工) ) 的最 小( 最大) 函数，并且在m ( g ( 工) ) 处有6 m = o 。对于泛函变分的求解，一般常用的是 欧拉方程e u l e r _ _ l a g r a n g e 解法。以下对所有破损的图像修复都是基于能量的问题， 能量泛函是一个关于目标函数及其导函数的积分表达方式，通过变分的技术求其 e u l e r _ l a g r a n g e 方程，再将e u l e r _ l a g r a n g e 方程转化成最速下降流，从而用迭代 方法求解。 ( 6 ) 各向同性扩散( i s o t r o p i cd i f f u s i o n ) 和各向异性扩散( a n i s o t r o p i c 8 第二章图像修复理论基础 d i f f u s i o n ) 扩散是物理学中的概念，指热量在介质中的传导，扩散方程又叫热传导方程。 对于均匀、各向同性的介质，传导系数是相同的，这种扩散称为各向同性扩散方程。 如果介质不是均匀、各向同性的，而是关于位置的一个函数，这时热传导方程就是 各向异性扩散方程。在图像修复中，扩散可以理解是一种平滑过程，各向同性扩散 对图像区域的边界和图像区域内部同等对待，均执行平滑过程，如高斯平滑。典型 的方程例如热传导方程，其解实际上就是一个高斯函数，均方差和时间有关。各向 异性扩散对区域边界和区域内部分别对待，即对图像区域内部进行平衡，而在区域 边界处不执行平衡过程，可以起到模糊区域内部噪声，而对边缘进行增强的效果。 2 2 图像修复算法的评价标准 破损的图像通过给定的算法对图像修复以后，总是与受损前的图像存在着差异， 这种差异体现了图像修复质量的好与坏，如何评定好与坏需要有个统一的标准，也 就是说，要有一个合理的图像质量评价方法，主要有主观和客观两种方法。 主观方法是对修复后得到的图像本身的评价，也就是修复后的图像与标准图像 的相似程度。这种方法使人对修复后图像的主观感受，主要是通过人的眼睛来比较， 对于修复差别比较大的图像有很直观的感觉，但是细节方面的区别就看不出来，不 同的人针对相同的图像可能感觉的结果也不同。另外有些图像由于没有标准图像作 为参考，其区别就无从谈起。对于一幅受损图像，可以采用n 种不同修复算法进行 修复得到不同的n 种修复结果，然后由m 个观察者对n 个修复图像进行打分，用得 分的高低来评价算法优劣。另一个就是修复算法运行时间的长短，这是对算法效率的 评价，但不能独立的看运行时间，必须和前者结合来使用。 主观评价方法受评价者的主观影响，研究者提出了峰值信噪比( p s n r ，p e a k s i g n a lt on o i s er a t i o ) 2 2 1 客观方法，其公式 腓= l o l o g ( 器 2 ( 9 ) 9 青岛大学硕士学位论文 脚一1 ，一i 2 ( 厶( j 3 - x , ( i ，j 3 ) m s e = ! l l 一 2 一( 1 0 ) m n 。 其中m s e 指两幅图像所有对应像素点像素值的均方差( ( m e a ns q u a r ee r r o r ) ， m x n 表示图像的大小，即图像像素的个数。1 0 ( i ，力和( l 力分别代表原图像和修 补后的图像在对应像素点( i ，j ) 的像素值，p s n r 的单位为分贝( d b ) 。p n s r 值越大就 代表修补后图像与原图像( 受损前图像) 相比误差越小：即失真越少，修复效果越好。 2 3 小结 本节主要讨论了关于数字图像修复的理论基础以及如何评价图像修复的效果， 为数字图像修复的深入学习奠定理论基础。 i o 第三章基于偏微分方程的图像修复 第三章基于偏微分方程的图像修复 我们主要研究的是偏微分方程的图像修复模型，下面我们重点介绍基于偏微分 方程的图像修复算法。 3 1 微观仿真技术( b s c b ) m b e r t a l m i o 和g 。s a p i r o 等人于2 0 0 0 开始研究数字图像修复，从此图像修复 问题引起了学者们的普遍关注，开创了偏微分方程在图像修复中的先河。他们把图 像修复叫做i n p a i n t i n g ，意思就是画家在图画破损的地方重新画上丢失的信息。他 们模仿流体动力学中的n _ s 方程，建立了一个等照度线光滑延伸的修复算法。此修 复方法是基于模拟微观的修复机制，它通过传递、扩散、以及它们的结合等过程， 将受损区域周围的信息沿等照度线方向延伸至受损区域内部，称为微观仿真技术， 因为是由b c r t a h n i o ，s a p i r o ，c a s e u e s ，b c l l e s t e r4 人提出的偏微分方程模型嗌1 ，所 以有的称b s c b 模型。修复区域内不同的区域是由边界线划分的，根据修复区域边界 信息来填充破损区域的信息。图像的修复过程就是逐渐扩散平滑的过程，这个过程 的一系列中间结果看作是一个连续迭代的变化图像。这个过程可以描述如下： 设初始图像( f ，力，修复区域为d ，其边界表示为勿。扩散过程由已知区域 沿着等照度线方向向内部未知区域不断的扩散d 附近的灰度信息，使o d 不断缩小， 最后修复整个d 。其迭代公式为 u n + i ( f ，力= “4 ( f ，力+ 幽c ( 力，v ( i ，力d 3 一( 1 ) 其中，( f ，_ ，) 为象素点位置，挖代表当前的修复次数，f 表示迭代速率，“? ( l 力 表示当前群“( f ，) 的变化量，“o ( f ，力= ( f ，d 为初始图像值。注意：上面的迭代公式 只使用于待修复区域内部的像素，不改变其它像素的值。随着迭代次数的增加，图 像修复得越来越完整。 “j ：i ( f ，力= a l 8 ( i ，力4 ( f ，力 3 一( 2 ) 青岛大学硕士学位论文 n “( f ，_ ) 为扩散方向，a l 4 ( i ，) 表示信息的变化量，当算法收敛时， m 叫( f ，d = u n ( f ，j ) ，则有 a l ( i ，j 。) n 4 ( f ，j ) = 0 3 一( 3 ) 随着迭代次数n 增加，扩散的信息r ( f ，_ ) 就逐渐沿着n ( i ，力方向扩散出去。如 何计算f ( f ，_ ) ，m b e r t a l m i o 提出了用图像的拉普拉斯运算法则： f ( f ，j ) = 比三( f ，) + “舅( f ，_ ，) 3 一( 4 ) 扩散方向一般沿着图像灰度变化最小的方向，就是前面说过的等照度线方向。 对于一个像素值( f ，j ) ，其梯度v u 8 ( f ，_ ) 就是灰度之变化最快的方向，与梯度垂直的 方向应该是灰度变化最小的方向，不妨记作v 上t 4 8 ( f ，) ，这样就保证了图像信息沿着 灰度变化最小的方向扩散。为了保证正确的扩散方向，在扩散过程中需要间隔进行 扩散。为了边界不被模糊，防止扩散方向相互交叉，可以采用异性扩散方程： 詈( 训，f ) = 烈训) ，y 力陬训力m 训) d 3 娟) 其中，d 是指对d 的边界信息通过半径为s 的结构元进行形态学膨胀后得到的 区域( m a t l a b 中可以直接使用膨胀函数) 。k ( x ，y ，f ) 代表曲率，g 。( 工，y ，t ) 函数，在修 复区域边界处为零，在区域里面为1 。这个算法对修复区域的拓扑结构没有任何要 求，适应性好，但修复速度较慢。 笋 嚣 - 图3 1 微观仿真示意图 1 2 第三章基于偏微分方程的图像修复 3 2 整体变分模型( t v 模型) 3 2 1t v 模型思想 数字图像的噪声主要来源于图像的获取( 数字化过程) 和传输过程。图像传感器 的工作情况受种因素的影响，如图像获取中的环境条件和传感器件自身的质量，图 像在传输过程中主要由于所用的传输信道的干扰受到噪声的污染。对含有噪声的图 像，可以看作一个连续函数的离散化，图像中包含丰富的信息，可以分为边缘信息 和非边缘信息，边缘位置上的图像信息变化大，其对应的梯度较大，而非边缘处， 灰度变化大的其梯度大，灰度变化小的其梯度较小。边缘信息是图像的重要信息， 反映了图像的特征。边缘通常对应高频信息，而噪声也往往是高频信息，如何从高 频中把噪声信息分离出来，是保持边缘去除噪声的关键。因此图像修复主要目的是 在图像的修复扩散中尽量保持图像边缘的梯度信息，而非边缘处梯度较小的尽量都 有较大的光滑。变分模型算法的修复区域初始值均为高斯噪声( 其噪声分布密度函数 满足均值口，方差为盯2 的正态分布) ，用变分法求解其最小能量方程。t c h a r t 等人 在全变差( t v ，t o t a lv a r i a t i o n ) 模型去噪的基础上，提出了基于1 v 模型的修复方 案。r v 模型执行各向异性扩散，对区域内部执行平滑，而在区域边界处不执行平衡 过程，可以起到模糊区域内部噪声，而对边缘进行增强的效果。t v 模型对含有噪声 的非纹理图像进行修复，取得了较好的效果。 3 2 2t 、模型公式 图像的修复可以用如下图3 2 所示，d 是待修复区域，e 是待修复区域的外邻， 设为环状。其主要思想是用已知信息e 通过扩散的方法去修复破损的图像区域d 。 图3 2 修复原理图 1 3 青岛大学硕士学位论文 设修复后e u d 区域内的图像值为“，u 0 是图像的初始值，其能量函数为： 顾蛐) = l v “+ 睾卅喵i d r d y 3 一( 6 ) 量u dl , e 量 其中五： 五( ，x , y ，) e e ，表示在d 外部进行去噪和扩散，在d 内部只进行扩散。 1 0 ( 工，) ，) d 一 一。 需要说明两点： ( a )如果整幅图像是含有噪声的，该模型可以对修复区域d 外部进行去噪， 内部进行修复。e 表示的是含有噪声的图像。d 外部的去噪效果直接影响到d 的修 复效果。所以去噪对修复来说非常重要。 ( b )如果图像没有噪声，则e 表示的是待修复区域d 边缘的膨胀区。利用e 的信息往d 内部进行扩散。 3 一( 6 ) 公式求解采用变分法，t v 模型的e u l e r - l a g r a n g e 方程如下。 & c u l l o ) 一d 如( w q v u l ) = o 3 一( 7 ) 其梯度下降流： 色心= d i v ( v u l v 比1 ) + 五( 一h ) 3 一( 8 ) 令 g ( i v “d = 圳v 距i 嘶复模型相当于传导系数为南的热扩散，对于扩散系数南， 3 - ( 9 ) 通常用如下 的量l v 距l 。代替l 乳i ，i v 口i 。= 占2 + i v 琢1 2 ，占为任意的小的正数。即扩散强度仅依赖 于梯度值而不依赖于等照度线的几何信息。t v 模型的修复结果不能满足人类视觉的 “连接性准则”。如图3 3 ( c ) 所示。可以发现在t v 修复结果中的四个拐点处的曲率 七= ，而我们所希望的修复结果如图3 3 ( b ) 所示，此时等照度线被尽量拉伸，反 映在曲率上就是使修复结果中沿等照度线的曲率尽量小。为了解决这个问题，引入 了曲率驱动扩散的思想。 1 4 第三章基于偏微分方程的图像修复 ( a ) 待修复图像( b ) 若l 1 r 时1 1 修复结果 图3 3 矩形遮挡修复 3 3 曲率驱动扩散模型( c d d ) 3 3 1 曲率驱动扩散模型思想 全焚差模型的扩散方法( t v ) 无法修复较大的区域，当修复区域的宽度l 大于黑 色窄带的宽度w 时，就不能把窄带连接起来，而人眼判断这个窄带是相连的。如图 3 3 ( b ) 所示。为了解决这个问题，t o n y c h a n 和s h c n 等冽提出曲率推动扩散的想法。 在扩散方程e o 力n ) v - - 个惩罚项g ( k ) ，得到： ，d 】= 删v 恤耖+ 争肿氆细 3 一( 1 0 ) 其中k 为水平线的曲率，g ( 七) 为曲率的单调递增函数， c d d 修复模型就是基于上述分析在，i v 修复模型的基础上将传导系数南改为 器引入了曲率项，得到 即。捌咖尚 3 _ ( 1 1 ) 其中，七= 执( 专为水平线的曲率，g ( k ) 为曲率的单调递增函数，其扩散速度 1 5 圈 冒 青岛大学硕士学位论文 与曲率葙关，所以称曲率驱动扩散。其中g ( 七) ： o ，k = - o 通常取g c k ) ：k ，c 1 p ) ，加 l 0 0f 。o 上这样的惩罚项后，其扩散强度不仅依赖于梯度值，还依赖于等照度线的几何信息 曲率。由于g 为增函数，曲率大的地方，传导流量大，而对待修复区域边界的边缘， 曲率很大，此处流量也大，边缘会向里延伸，所以，c d d 法比基于f i - v 法的修复能 力要强，能修复更大的区域，但实验表明，c d d 没有良好的收敛性。 3 3 2c d d 模型的数值实现方法 由于c d d 图像修复模型是基于偏微分方程的，对于从式3 - ( 1 1 ) ，我们采用时间 离散法求解。令_ f = ( ，j f 2 ) = 一g c i l v k l “) v i 一= ，可得到迭代公式： h 州- - 。+ 地v 。歹4 3 - ( 1 2 ) a t 为时间步长，“伽表示待修复点在n a t 时刻的值，我们采用半点中心差分法 实现。如图3 4 所示，令待修复点为o ，e ，n ，w ，s 为o 点的4 邻域点，对于0 点，我们不妨 设为( 0 ，0 ) ，其散度形式w 离散化后： 唧舻警+ 孥竽 3 m 3 ， 图3 4 半点中心差分法图示 1 6 第三章基于偏微分方程的图像修复 不妨设g ( 陋- i k i ，我们需要分别求半点值v u ( i ，d ，t ( i ，力，其中，u = o ， h + 1 ，i = l i ，v h c 丢，。，= ( 罢【争。，考【争。， = 吼o ) 叫o ，o ) 丛( 三，1 ) 叫丢，棚 其中“( ，1 ) 取h ( o ，1 1 ) t 铂“( 1 ，1 ) 的平均值。 h 2 h 咖触 糊珈2 丢 踟加一 糊珈 ，一- 3 一( 1 4 ) 再求七( 一i 1 ，0 ) 、k ( o ，一争、k ( o ，争类似。待处理的图像利用公式3 一( 1 2 ) 执行迭 代就可得到c d d 修复结果。 3 4 弹性修复模型 欧拉在研究外力的作用下，首先提出了曲线的能量概念嘲， e ( u ) = 点( a + b k 2 k - v ( 晶) 3 - ( 1 5 ) o i - i 其中，4 。b 表示正数，出表示弧长，k 表示曲率。c h a r t ，k a n g 和s h e n 将弹性能 量应用到图像修复中并对t v 修复模型改进，提出了如下的弹性修复能量方程： e ( u i u 。，d ) = j p ( k ) d ) 【+ 害，( u u 。) 2 d x 3 一( 1 6 ) q。t j m 其中e c k ) - a + b k 2 。 由变分法可知3 一( 1 4 ) 相应的最速下降方程为： 1 7 旦m 一 _。l一 墙一 1一 乩一 1j一 旦刚一 p。l一盟 广_ k 一 一1 一 旦堕 青岛大学硕士学位论文 害= v v + 掷) ( u 。刊 3 ( 1 7 ) v 圳嫡一南掣 3 m 8 ， 其中矗代表梯度方向，即法向量， 一 肛丽 7 代表垂直梯度的方向，即切向量 i ：n 上 呈= t v 8 | 沿边界a q 的外部切向量；的自然边界条件是 丝= o 型到业= o a ，却 3 5m u m f o r d - s h a h 修复模型 3 一( 1 9 ) 3 一( 2 0 ) 3 一( 2 1 ) 3 一( 2 2 ) m u m f o r d s h a h n 幻模型- 是m u m f o r d 和s h a h 在研究图像分割时提出的，之后被用于图 像降噪等，t s a i ，y e z z i ，w i l l s k y 和c h a n - s h e n 将其用于图像修复。 m u m f o r d - s h a h 图像修复模型其能量方程： e m s ( u ，r d ) = 考| 矾1 2 d x + 口i c n g t h ( f ) d - 害，( u - - b o ) 2 d x 3 ( 2 3 ) 一q 、ro 、d 其中，以口和五是正数，它们与模型处理的侧重点相关。如果d 是空的，此模型 就是用于图像分割和降噪的m u m f o r d s h a h 模型田3 。这种模型的输出结果与前几种模 型不同，需要输出两部分：修复后的图像“和边缘r 。 3 6m u m f o r d s h