（信号与信息处理专业论文）数字图像修复技术的研究与应用.pdf

摘要 摘要 图像修复是图像复原研究中的一个重要内容，也是当前图像处理和计算机视 觉领域中的一个研究热点。图像修复是对图像上信息缺损区域进行信息填充的过 程，其目的是恢复有信息缺损的图像，并使观察者无法察觉图像曾经缺损或已被 修复。该项技术在文物保护、影视特技制作、老照片的修复、图像中文本的去除、 障碍物的去除以及视频错误隐藏等方面，有着很高的应用价值。该领域的研究， 国外正在蓬勃发展，国内尚处于起步阶段。 本论文主要研究小尺度破损的图像修； b ( i n p a i n t i n g ) 技术和大尺度破损的图像 补全( c o m p l e t i o n ) 技术，以及它们的相关应用。论文针对图像修补问题，着重研究 变分p d e 模型及其算法；针对图像补全问题，着重研究基于纹理合成的图像修复 算法；最后，探讨图像修复技术在图像压缩，图像缩放等方面的应用。 论文的第一章是绪论，介绍本文的研究背景、国内外研究现状和应用前景， 以及本文的结构和创新点。 作为实际工作的理论指导，第二章介绍和评述数字图像修复技术的基本知识 和常用算法，分析了最佳猜测原理和贝叶斯框架理论、图像修补与视觉心理学、 变分法的相关知识、整体变分t a lv a r i a t i o n , t v ) 模型，以及纹理合成技术等。 第三章研究小尺度破损的图像修补问题。通过分析t v 模型存在的不足，根据 嗓声的情况，提出两种基于p - h a r m o n i c 能量最小化的变分图像修补模型。利用变 分原理，推导出两种变分模型所对应的e u l e r - l a g r a n g e 方程；利用图像的局部正交 坐标系，分析其扩散能力。其次，根据对两种模型的分析，利用半点差分格式， 设计出图像修补的数值算法。理论分析和实验结果都表明，p - h a r m o n i c 修补模型在 图像修补的视觉效果和收敛速度上都要优于t v 修补模型。 第四章在对现有小波域图像修补模型进行分析研究的基础上，提出了一种基 于p - l a p l a c e 算子的小波域图像修补模型；通过调节模型中的可变参数，可以同时 处理噪声图像和无噪声图像。根据所建立的修补模型，利用变分原理推导出对应 的e u l e r - l a g r a n g e 方程，建立了与之对应的扩散方程。利用有限差分法实现了扩散 方程的数值求解，进而给出了数值实现方案，以及具体的算法步骤。理论分析和 实验结果都表明，该模型在运算时间和修补效果上都具有更好的综合性能。 第五章针对现有图像补全算法的运行速度慢、易产生误匹配以及引入模糊等 摘要 缺点，提出了一种基于纹理合成的快速自适应自然图像补全算法。该算法充分利 用多数自然图像都具有一定的纹理走向这一事实，给出一种计算纹理主方向的方 法，并将搜索范围缩小到这一方向，减少了寻找最优匹配块的时间，提高了纹理 合成的速度；其次，定义了块的优先权，尽量使具有较多已知信息和较多结构信 息的区域的优先权值最大，使具有最大优先权的块先被修复；最后给出一种利用 局部梯度信息，选择模板窗口大小的自适应方案来改进图像的补全质量。大量实 验表明，与同类算法相比，该算法能有效改善补全图像的视觉效果，还可以大大 提高纹理合成的速度。 第六章探讨了图像修复技术在图像压缩、图像缩放等方面的应用。针对图像 压缩问题，利用图像修补技术，提出一种全新的图像压缩方法。与传统的基于变 换编码的方法不同，本方法仅对一些重要的图像特征( 如边缘) 编码和存储，而其它 不重要的平滑区域不被编码和存储，这样可以大大减少编码的数据量；而在解码 端，利用图像修补技术来重构平滑区域。大量实验结果表明，该压缩方法能够在 较少信息量的情况下得到很好的重建图像。针对图像缩放问题，根据p - h a r m o n i c 修补模型，建立一种用于图像放大的数字p - h a r m o n i c 滤波器。实验表明，该滤波 器能在放大图像的同时滤除噪声。 第七章总结论文的主要创新成果与研究结论，并提出了一些需要深入研究的 问题。 合成 关键词：图像复原，图像修补，图像补全，整体变分模型，p 调和模型，纹理 a b s t r a ( j r a b s t r a c t i m a g ei n p a i n t i n gi sa ni m p o r t a n tr e s e a r c ht o p i ci nt h ea r e ao fi m a g er e s t o r a t i o n i t s o b j e c t i v ei st or e s t o r et h em i s s i n go rd a m a g e dp o r t i o n so ft h ei m a g ei no r d e rt om a k ei t m o r el e g i b l ea n dt or e s t o r ei t su n i t yi naw a yt h a ti sn o n - d e t o c m b l ef o ra l lo b s e r v e rw h o d o e sn o tk n o wt h eo r i g i n a li m a g e c u r r e n t l y , d i g i t a ii n p a i n t i n gt e c h n i q u e sh a v ef o u n d b r o a da p p l i c a t i o n si ni m a g ep r o c e s s i n g ，v i s i o na n a l y s i s ，d i g i t a lr e s t o r a t i o no fa n c i e n t p a i n t i n g sf o rc o n s e r v a t i o np u r p o s e s ，t e x tr e m o v a la n do b j e c t sr e m o v a li ni m a g e sf o r s p e c i a le f f e c t s ，r e s t o r a t i o no f o l dp h o t o g r a p h so rf i l m sw i t hs c r a t c h e so rm i s s i n gp a t c h e s ， d i s o c e l u s i o ni nc o m p u t e rv i s i o n , e r r o i sc o n c e a li i lv i d e o s a n ds oo n h o w e v e r , e v e r y t h i n gi sj u s ta tt h eb e g i n n i n g b a s e do nu n d e r s t a n d i n ga n du t i l i z a t i o no ft h e p r e v i o u sa c h i e v e m e n t s ，t h i sd i s s e r t a t i o nf o c u s e so nd e v e l o p i n gi n n o v a t i v ed i g i t a li m a g e i n p a i n t i n gm e 也o d s t h i sd i s s e r t a t i o na t t e m p t st om s e a r c ho ni l n a g ei n p a i n t i n gt e c h n i q u e sa n di m a g e c o m p l e t i o nt e c h n i q u e s ，a sw e l la st h e i ra p p l i c a t i o n s t h ef o r m e ri ss u i t a b l et oi n p a i n tt h e s m a l ls c a l es c r a t c h e si ni m a g e sw h i l et h el a t t e ri sv e r yg o o da tc o m p l e t i n gt h el a r g e o b j e c t s f i r s t l y , i tr e s e a r c h e so nt h ev a r i a t i o n a lp d ei m a g em o d e l sa n dc o r r e s p o n d i n g a l g o r i t h m sf o ri m a g ei n p a i n t i n gw h i c hi st h er e s e a r c hh o t s p o tr e c e n t l y t h e n , i tf o c u s e s o ni m a g ec o m p l e t i o nb a s e do nt e x t u r es y n t h e s i st of i l li nt h el a r g ed a m a g e do b j e c t s f i n a l l y , i td i s c u s s e st h eb r o a da p p l i c a t i o n so fi m a g ei n p a i n t i n gi n c l u d i n gi m a g e c o m p r e s s i o n ，i m a g ez o o m i n ga n dd i g i t a lr e s t o r a t i o no f a n c i e n tp a i n t i n g s c h a p t e r1 i st h ep r e f a c eo ft h i sd i s s e r t a t i o n , w h i c hi n t r o d u c e st h eb a c k g r o u n d k n o w l e d g e ，r e n e w st h es t a t eo fa r t sd e v e l o p m e n ta n db r o a da p p l i c a t i o n so fd i g i t a l i m a g ei n p a i n t i n gt e c h n i q u e s ，a n ds u m m a r i z e st h ec e n t r a lr e s e a r c hw o r ka n di n n o v a t i v e p o i n t si nt h i sd i s s e r t a t i o n a sat h e o r e t i c a lg u i d ef o rp r a c t i c ew o r k , c h a p t e r2i n t r o d u c e ss o m er e v i e wo nt h e b a s i cp r i n c i p l e sr e l a t e dt oi m a g ei n p a i n t i n gi n c l u d i n gt h e b e s tg u e s s p r i n c i p l ea n d b a y e s i a nf r a m e w o r k ，v a r i a t i o n a lb a s i ct h e o r y , t o t a lv a r i a t i o ni n p a i n t i n gm o d e la sw e l l a s t e x t u r es y n t h e s i s c h a p t e r3s t u d i e si m a g ei n p a i n t i n gt e c h n i q u e i ti sp r e s e n t e dt h a tt w ov a r i a t i o n a l l a b s t r a c t i n p a i n t i n gm o d e l sb a s e do np - h a r m o n i ce n e r g ym i n i m i z a t i o nd e p e n d i n go nw h e t h e ro r n o tn o i s en e e d st ob es u p p r e s s e di nt h ei m a g e d e d u c i n gt h ea s s o c i a t e de u l e r - l a g r a n g e e q u a t i o n so f t h et w om o d e l s ，i ti sa n a l y z e dt h ed i f f u s i o np e r f o r m a n c eo f t h ep h a r m o n i c e q u a t i o n sa n dp r o v e dt h et w om o d e l sh a v eu n i q u es o l u t i o n si nt h es p a c eo fs o b o l e v f i n a l l y , w i t hh a l f - p o i n td i f f e r e n t i a ls c h e m e ，af i n i t ed i f f e r e n c ei n p a i n t i n ga l g o r i t h mi s p r o p o s e d t h e o r e t i ca n a l y s i sa n de x p e r i m e n t a lr e s u l t ss h o wt h a tt h en e wm o d e l sh a v e b e t t e rp e r f o r m a n c e sb o t ho nv i s i o ne f f e c ta n dc o n v e r g e n c es p e e dt h a nt o t a lv a r i a t i o n i n p a i n t i n gm o d e l c h a p t e r4 s t u d i e sw a v e l e ti m a g ei n p a i n t i n gt e c h n i q u e aw a v e l e ti n p a i n t i n gm o d e l b a s e do np - l a p l a c eo p e r a t o rf o rt h el o s tw a v e l e tc o e f f i c i e n t si sp r e s e n t e d t i l i sn e w m o d e li ss u i t a b l ef o rp r o c e s s i n gn o i s yi m a g e sa n dn o i s ef r e ei m a g e st h r o u g ha d j u s t i n g t h ea l t e r a b l em o d e lp a r a m e t e r s i tt h e nd e d u c e st h ea s s o c i a t e de u l e r - l a g r a n g ee q u a t i o n a n de s t a b l i s h e dt h ec o r r e s p o n d i n gd i f f u s i o ne q u a t i o n f i n a l l y , af i n i t ed i f f e r e n c e i n p a i n t i n ga l g o r i t h mi sp r o p o s e d t h e o r e t i ca n a l y s i sa n de x p e r i m e n t a lr e s u l t ss h o wt h a t b e t t e ri n p a i n g t i n gq u a l i t yc a r lb ea c h i e v e dw i t hm u c hl e s sc o m p u t i n gt i m ew i t ht h en e w m o d e l c h a p t e r5s t u d i e si m a g ec o m p l e t i o nt e c h n i q u e s i tp r e s e n t saf a s ta d a p t i v e a l g o r i t h mb a s e do nt e x t u r es y n t h e s i sf o rn a t u r a li m a g ec o m p l e t i o n t h ea l g o r i t h mt a k e s a d v a n t a g eo ft h ef a c tt h a tm o s tn a t u r a li m a g e sh a v es o m ed i r e c t i o n a ld i s t r i b u t i o no f t e x t u r ea n dc o l o r s ot h es e a r c hi sm a d eo v e ras m a l l e rr e g i o nt or e d u c et h e c o m p u t a t i o n a lc o m p l e x i t y i td e f i n e st h es e a r c h i n go r d e ro ft h ep a t c h e st oe n s u r et h e r e g i o n sw i t hm o r ek n o w ni n f o r m a t i o na n ds t r u c t u r e ss h o u l db ec o m p l e t e db e f o r ef i l l i n g i no t h e rr e g i o u sa n dp r e s e n t sa na d a p t i v es c h e m et od e t e r m i n et h es i z eo f 。t e m p l a t e w i n d o wt oi m p r o v et h eq u a l i t yo f t h eo u t p u ti m a g e c o m p a r a t i v ee x p e r i m e n t ss h o wt h a t t h ep r o p o s e da l g o r i t h mo u t p e r f o r m st h ee a r l i e rw o r k si nt e r m so fb o t hp e r c e p t u a l q u a l i t ya n dc o m p u t a t i o n a le f f i c i e n c y c h a p t e r6d i s c u s s e st h eb r o a da p p l i c a t i o n so fi m a g ei n p a i n t i n gi n c l u d i n gi m a g e c o m p r e s s i o na n dz o o m i n g f i r s t l y , i ni m a g ec o m p r e s s i o n , i m a g ei n p a i n t i n gm e t h o di s a p p l i e dt oi m a g ec o m p r e s s i o na n dan o v e ls c h e m eo fc o m p r e s s i o nb a s e do nc d g c i n f o r m a t i o ni sp r o p o s e d i ne n c o d i n g ，i ti so n l ye n c o d i n ge d g ee x t e n s i o ni m a g es ot h a t c r e a t i n gal a r g ea r e ao f b l a n kd o m a i n sw h e r e t h ei m a g ei n f o r m a t i o nh a sb e e nw i p e do u t , i v a b s t r a c t a n dt h u sa 糙曲c o m p r e s s i o nr a t ei sa c h i e v e d i nd e c o d i n g ，a l li m a g ei n p a i n t i n gm e t h o d i sa p p l i e dt or e c o n s t r u c tt h ei m a g e e x p e r i m e n tr e s u l t ss h o wt h a t 诵t l lt h i ss c h e m e p r o p o s e d ，o n ec a ng e tag o o dq u a l i t yo fr e c o n “s t r u c t e di m a g ei nl e s si m a g ei n f o r m a t i o n s e c o n d l y , i ni m a g ez o o m i n g ，w ee s t a b l i s h ad i g i t a i p - h a r m o n i cf i l t e r b a s e do n p - h a r m o n i ci m a g ei n p a i n t i n gm o d e lt on o i s yi m a g ez o o m - i n e x p e r i m e n t a lr e s u l t ss h o w t h a tt h ed i g i t a lp - h a r m o n i cf i l t e ra c h i e v e sb e t t e rp e r f o r m a n c e ，i tc a nz o o ma ni m a g ew i t h a r b i t r a r ya c c u r a c ya n dd e n o i s e c h a p t e r7s u m m a r i z e st h ed i s s e r t a t i o na n db r i n g sf o r w a r ds o m ep r o b l e m st h a tn e e d f u r t h e rr e s e a r c h i n go n k e y w o r d ：i m a g er e s t o r a t i o n , i m a g ei n p a i n t i n g , i m a g ec o m p l e t i o n , t o t a lv a r i a t i o n a l m o d e l ，p - h a r m o n i cm o d e l ，t e x t u r es y n t h e s i s v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名： 墨! 丛日期：知占年，彦月，矿日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：丛导师签名 日期：) 第一章绪论 第一章绪论 1 1 数字图像修复技术的背景、目的和意义 随着数字技术的不断发展和进步，数字图像技术在扫描仪、数码相机、数码 摄像机、数字电视、以及可收发图像的移动电话等数字产品中得到广泛应用。但 是，有很多因素会引起图像上局部信息的缺损【l 】：对原本就有划痕或有破损的 图片扫描后得到的图像；为了某种特殊目的而移走数字图像上的目标物体或文 字后留下的信息空白区；在数字图像的获取、处理、压缩、传输和解压缩过程 中，因信息丢失所留下的信息缺损区等。为了保证图像信息的完整性，需要对这 些受损图像进行填充修复。所谓图像修复是对图像上信息缺损区域进行填充的过 程，其目的是恢复有信息缺损的图像，并使观察者无法察觉图像曾经缺损或已被 修复。 图像修复是项古老的艺术。欧洲文艺复兴时期，为了恢复美术作品中丢失 或被损坏的部分，保持作品的整体效果，开始进行对中世纪美术品的修复，主要 是填补美术品上所出现的裂痕。随着美术博物馆的数字化，作品被扫描到电脑里， 数字图像修复技术只需对这些数字图像使用计算机程序或者软件进行处理，通常 只需要简单的人机交互工作。手工修复要直接在原始作品上修改；数字图像修补 技术则带来了极大的自由，比如出现错误的时候或者是逐步增强修补效果的时候， 不需要破坏珍贵的原画。毫无疑问，数字图像修复技术为修补古老的艺术作品提 供了安全便捷的途径。 数字图像修复技术的应用范围远远不只是网上数字博物馆，随着技术的发展， 越来越多的领域期望能够对图像进行一定的修改，并且达到人眼觉察不出来的效 果。因此，数字图像修复技术成为当前计算机图形学和计算机视觉中的一个研究 热点，在文物保护陆4 , 4 8 , 4 9 】、影视特技制作伍4 , 5 0 , 9 8 、多余目标物体剔除( 如视频图 像中删除部分人物、文字、小标题等) 【2 ，3 ，4 孤5 1 , 9 1 , 9 2 , 9 7 l 、图像缩放【4 ，9 3 】、图像的有 损压缩嗍、视频通信的错误隐斟”，5 4 3 等方面有着重大的应用价值。虽然目前采用某 些图像处理软件，例如p h o t o s h o p 等，也可以对数字图像进行专业的特效处理和对 受损图像进行修复处理，但用户必须区分要修补的区域，并要仔细考虑要填充什 1 电子科技大学博士学位论文 么样的颜色、格式和纹理，需要有经验的技术人员进行复杂的手工处理。因此， 迫切希望有一种自动、快速、简单的修复算法，轻松地修复图像。 b e r t a l m i o 。s a p i r o ，c a s e l l e s 和b a l l e s t e r 2 在2 0 0 0 年的一次学术会议上，首次提 出数字图像修复技术这个术语。现在，数字图像修复技术正在得到广泛的研究。 研究者们现在正在开发自动的图像修复技术，用户只需简单地选择要恢复的区域， 计算机自动完成余下的工作，从而显著地减少处理时间和精力。 当然，不管是数字的方式还是手工方式，修复技术都只是尽可能地弥补图像 丢失的信息。在大多数情况下，对于怎样去填充一个裂缝，产生一个似是而非的 结果，解决方案都有很多种，最终的是非判断还要依赖旁观者的眼睛。 1 2 数字图像修复技术的国内外研究现状 目前，数字图像修复技术的发展主要集中在两个领域：基于非纹理结构的图 像修复和基于纹理结构的图像修复，如图1 1 所示。 图1 - 1 数字图像修复技术发展方向 基于非纹理结构的图像修复技术，主要用于修复小尺度破损的数字图像。目 前研究者多采用基于高阶偏微分方程( p d e ) 模型的修补算法。其主要思想是，利用 待修补区域的边缘信息。确定扩散信息和扩散方向，从区域边界各向异性地向边 界内扩散。该算法可以同时填补多个包含不同结构和背景的区域，对待修补区的 2 第一章绪论 拓扑结构没有限制。这种基于p d e 的数字修复技术最早是由b e r t a l m i o ，s a p i r o ， c a s e l l e s 和b e l l e s t e r l 2 】引入到图像处理中，他们利用待修补区域的边缘信息，采用 一种由粗到精的方法来估计等照度线( i s o p h o t e ) 的方向，并采用传播机制将信息传 播到待修补的区域内，得到了较好的修补效果。另外，m a n o u 等人【1 0 2 】根据上述思 想，提出了一种快速图像修补技术，在待修复区域边界确定等照度线方向，用直 线连接对应的等照度线，将待修补区邻域信息在等照度线范围内扩散来填补待修 补区。这种方法对简单结构图像有较好的修复效果，而且修复时间大大缩短。这 类基于p d e 的修补典型方法还包括b s c b 模型【2 l ，用三阶p d e 模拟平滑传输过程； c h a n - s h e n l 3 1 用三阶p d e 模拟c d d ( c u r v a t u r ed r i v e nd i f f u s i o n s ) 等。在这类方法中， 还有一种是基于几何图像模型的变分修补技术。该类算法的主要思路是，模仿修 补师的手工修复过程。他们认为，修补幅缺损图片主要依赖于两个因素：如 何观察并读懂图片的现存部分u o i 。、。用数学语言来描述，也就是建立图像的数据 模型( d a t a m o d e l ) ；原始图片u 属于哪类图像。用数学语言来描述，也就是要知道 图像的先验模型( i m a g e 面o rm o d e l ) 。通过建立图像的先验模型和数据模型，将修 补问题转化为一个泛函求极值的交分问题。这类算法主要包括整体交分( t o t a l v a r i a t i o n ，t v ) 模型【4 】、e u l e r se l a s t i c a 模型i s 、m u m f o r d 。s h a h 模型m 、 m u m f o r d s h a h - e u l e r 模型 7 等。由于偏微分方程与变分法，可以通过变分原理相互 等价推出，因此，把这一类方法统称为基于变分p d e 的图像修补算法。 基于纹理结构的图像修复技术，主要用于填充图像中大块丢失的信息。目前， 这一类技术也包含两种方法：一种是基于图像分解的修复技术，其主要思想是将 图像分解为结构部分和纹理部分，结构部分用修补算法修补，纹理部分用纹理合 成方法填充。近来，对于图像分解已提出了几种先进的技术l l ”】。b e r t a l m i om 等田利用v e s el 和o s h e rs 建立的模型f 1 0 4 来进行分解，首先用整体变分最小化将 图像的结构部分提取出来，然后用一个震动函数来建模纹理或噪声部分。把图像 分髌成这两个部分以后，用b s c b 模型来修补结构部分，用非参数采样纹理合成 技术删来填充纹理部分，最后把这两部分修补的结果叠加起来，就是最终的修补图 像。类似的算法还包括文献 1 0 1 2 ，9 9 】；另一种是用基于样本的纹理合成技术， 填充丢失的信息，此类算法也称为图像补全( i m a g ec o m p l e t i o n ) 。该种算法的主要思 想是，从待修补区域的边界上选取一个像素点，以该点为中心，根据图像的纹理 特征，选取大小合适的纹理块，然后在待修补区域的周围寻找与之最相近的纹理 匹配块，来替代该纹理块。近几年，利用纹理合成来修复大块丢失信息的图像修 电子科技大学博士学位论文 复技术得到了相当的研究，也取得了一些成果，典型的算法包括文献【1 3 1 6 ，3 5 ， 3 6 , 1 0 0 ，1 0 1 ，1 0 7 。 由于数字图像修复技术是近几年提出的一个具有挑战性的课题，国外的研究 正处于初步阶段，国内很少有这方面的文献，因此，本章将系统讨论以上两大类 图像修复技术，及其在数字图像修复领域的广泛应用。 1 2 1 图像修复问题的描述 从数学角度来看，图像修复就是根据待修补区域周围的信息，将图像填充到 待修补区域中( 如图1 2 所示) 。然而，图像修补通常是一个病态问题，因为没有足 够的信息可以保证能唯一正确地恢复被损坏部分。从而，人们从视觉心理学的角 度进行分析，提出各种假设限定来解决这个问题。因此，图像修补属于图像复原 的研究领域。 图l - 2 图像修补示意图 通常，图像在获取过程中，往往受到一些因素的影响，使得图像质量退化。 在图像复原领域中，常用的退化模型是： “o = k 甜+ v 其中，矿为所获得的观察图像，“为原始图像，k 为退化函数，片为加性白噪 声。对大多数的图像修补问题，数据模型具有以下形式： 扩in 、。= 雎”+ n 】。 ( 1 2 ) 其中，q 表示整个图像区域，d 表示信息丢失的待修补区域，q 、d 表示没有 丢失信息的区域，扩为q 、d 上可利用的图像部分，为需要复原的目标图像。假 设, 1 2 为高斯的，那么关于数据模型的能l - 泵i 数e ，常用最小均方误差定义【1 4 l ： 4 第一章绪论 e p i “ = 喜f n 。k u - u 。) 2 出( 1 - 3 ) 由于待修补区域d 无任何可用的数据，因此，图像( 先验) 模型对图像修补算法 来说，比其他传统的复原问题，如去噪，去降晰，变得更为重要。 图像模型可以从图像数据中经过滤波、参数或非参数估计，以及熵方法得到， 这些统计方法对具有丰富纹理图像的修补很重要。然而，对大多数的修补问题来 说，修补区域常常丢失的是图像的重要几何信息( 如边缘) 。为了重建该几何信息， 图像模型要事先解决这些几何特征，而多数传统的概率模型缺乏这种特征。幸运 的是，在很多文献中，由几何信息激发的“能量”形式的确存在，如r u d i n , o s h e r 和f a t e r m i l 2 l 】模型以及m u m f o r d s h a h 6 1 模型。这就是所谓的变分法。 在变分方法中，图像修补问题转化为一个约束最优化问题： ? 裂： ( 1 q s j e f 阳盯2 ” 其中，e 【“】为图像先验模型的能量形式，盯2 表示高斯白噪声的方差，它可以 用适当的统计估计器估计。用l a g r a n g e 乘子法可将该约束问题转化为无约束问题： v a i ne u + 2 e u o l u l ( 1 - 5 ) 通常，2 用于均衡匹配项耍p o 阳与正则化硬研明e 对于正则化项e 【“】，即图 像的先验模型，常由“能量”泛函实现。比如s o b o l e v 范数：e ( “) = l i v “1 2 d x ； r u d i n 等的整体变分删v a r i a t i 。i l ，) 模型：研“】= l i v “l 出，以及 m u m f o r d s h a h 模型1 2 2 ：q 地r 】= l ，l v ”1 2d x + f l h l ( r ) ，其中表示一( 1 牲h a u s d r o f f 溺度，r 为图像的边缘集。 1 2 2 基于变分p o e 的图像修补技术 这一节主要研究两种最重要的基于几何图像模型的变分技术修补方案，以及 s 电子科技大学博士学位论文 它们的改进模型。在本文中，v 、v 、分别表示梯度、散度和拉普拉斯算子。 1 2 。2 ，1 基于整体变分( t 、f ) 模型的图像修补方法 r u d i nl 等【2 1 1 将图像看成是一个分段平滑函数，在有界变差空间上对图像建 模，所提出的整体变分( t o t a lv a r i a t i o n , t v ) 模型，能够起到延长图像边缘的作用， 从而非常适合于图像的修补。t o n yc h a r t 等人h 将该模型推广到图像修补。根据上 一节对图像修补问题的描述，他们建立了整体变分图像修补模型： m i i l 毋】= l l v “l 出+ 害l 。悻, u - - u 。1 2 出0 - 6 ) 其中，旯为l a g r a n g e 乘子。根据变分原理，可求得与之对应的e u l e r - l a g r a n g e 方 程： - v 【v “l v “l 】+ 如( x ) ( 七u - - u o ) = o ( 1 - 7 ) 其中，如( x ) = 旯l n 、。( x ) = ：三尝。因此，求解泛函( 1 6 ) 的最小值，等价于 求解偏微分方程( 1 7 ) 。另外，揪i x - - 个时间变量t ，利用最陡下降法来求解 ( i - 7 ) ，其表达式为： 詈再陬i v 0 - x o ( 顽胁卅) o - s ) 也就是，随着时间变量f 的演化，当詈一。时，就得到所要求的最小值纨 就数值计算的观点来看，因为在平滑区，i v “i 将会很小，甚至会趋近于零，所 以，在以上两个偏微分方程中，为避免分母为零，一般用矶 v u l l v u 。】替代 v t v u i v i ，其中l v 吨= 如2 + l v “1 2 ，a3 0 一个小的正参数因此，最优化问题 变为： m i n 以m = l l v ”i 。出+ 吾l k “一扩1 2 出( 1 - 9 ) 第一章绪论 在大多数包含阈值的处理任务中( 象去噪与边缘检测) ，参数a 通常可看着阈 值。在平滑区域，i v u i 口，可以采用调和修补模型；而在边缘区，l v u lv a ，可 以采用t v 模型。 奉 图l - 3 视觉上的连通原理 t v 模型的主要优点是，保持边缘和数值p d e 实现方便，其主要不足是破坏 了视觉理论中的连通原理( c o n n e c t i v i t y p r i n c i p l e ) 。如图l - 3 所示，无论w 和，的比 率是多少，根据视觉心理学，人们会认为图1 3 ( b ) 是最优的修补结果。但对于t v 模型，当， w 时，其修补结果为图1 3 ( c ) ， 这就破坏了连通原理。因为在t v 模型中，扩散强度( d i f f u s i o ns t r e n g t h ) 仅仅依赖于 等照度线( i s o p h o t e ) 的对比度或强度，它由传导系数d = 1 v u l 来反映。因此，扩散 强度不依赖于等照度线的几何信息。对于平面曲线，标量曲率r 可以反映它的几何 信息。当， w 时，从t v 修补的结果来看，在四个角a , b ，c ，d 处r = 。相反，按 视觉心理学得出的结果，这四个角处的曲率应该为零，也就是说，在对图像进行 修补时，要使曲率j r 尽可能小，才能得到符合人类视觉观察的图像。根据以上的分 析，文献【3 】对t v 模型进行了改进，提出c d d ( c u r v a t u r e - d r i v e nd i f f u s i o n ) 修补模 型。 在c d d 模型中，将t v 模型的传导系数修改为西= g ( i , r 1 ) i v u i ，此处，g 的 定义为： f 0s = 0 g ( j ) = a o j = 。 ( 1 - 1 0 ) i 大于零的有限数0 j o o 7 量“_-时嘞 f 电子科技大学博士学位论文 这种选择可使在大曲率处扩散变强，小曲率处扩散逐渐消失。因此，c d d 修 补模型为： 睁v 错v 乩 m i i , = “o ，x q d 其中，r = v v u l v u l ：为曲率。 1 2 2 2 基于m u m f o r d s h a h 模型的图像修补方法 m u m f o r d - s h a h 模型首先是由t o n yc h a r t 等和1 蹦等嘲提出的。上一节已提 到，变分修补模型是最小化如下能量函数： 刊棚= 脚】专( m 卅) 2 出( 1 - 1 2 ) e 【“】为图像的先验模型，后一项为数据模型。这里假设扩= k * u + n ，”为高斯白 噪声。 m u m f o r d 和s h a l f 2 2 】提出用于图像分割的o b j 蹦t - e d g e 模型： 班群，r 】= 兰l ，l v 扯1 2 出+ 口日( r ) ( 1 - 1 3 ) 其中，r 为图像的边缘集，日1 为一维l - t a u s d o r f f 澳j 度。事实上，在大多数图像 分割中，特别是在数值计算剀中，h ( r ) 通常是用r 的长度l e n g t l l ( r ) 代替( 假 设r 为规则曲线) 。因此，由式( 1 1 2 ) ，基于m u m f o r d - s h a h 图像模型的修补算 法为最小化能量函数： 五。陂r p 】= 考、，l v 叫2 斑+ 口l e n g t h ( f ) + 詈 材一扩) 2 斑( 1 - 1 4 ) 文献【7 】将e u ，f 】的t - 收敛( t - e o n v e r g e n e e ) 逼近，应用到模型( 1 1 4 ) 中，并分析 了这种逼近的优缺点，推导出该模型的t - 收敛逼近的形式： 8 第一章绪论 r