（计算机应用技术专业论文）基于区域分类的图像修复算法研究.pdf

西华大学硕士毕业论文 基于区域分类的图像修复算法研究 计算机应用技术 研究生：龙杰指导老师：罗晓晖 图像缺损信息修复是指对数字图像中损坏或丢失信息的部分，按照合理的 规则，利用未损坏区域的信息，对原图中的损坏或丢失的部分进行修补，以达 到良好的视觉效果。 图像修复技术源自于古老艺术品的修复，用于修复受到损坏的绘画作品。 随着数字媒体的普及，在特定目标移除、视频错误隐藏、图像压缩、超分辨率 重建等领域也获得了广泛的应用。 按照适用范围的不同，图像修复算法大致可以分为三类：平缓区域的修复 算法、结构性区域的修复算法和纹理区域的修复算法。本文依据基于视觉认知 的修复规律，深入地研究了现有的几种图像修复的主流算法，分析其优缺点。 针对大面积缺损区域的修复，本文提出了基于区域分类的图像修复算法， 通过修复受损的强边缘，把缺损区域分成若干小块，并通过基于区域属性的分 类方法将这些小区域分为结构性区域、纹理区域和平缓区域，对于结构性区域 采用基于结构的图像修复算法，纹理区域采用基于纹理的图像修复算法，对于 平缓区域，提出了基于邻域的自适应窗口偏移滤波的修复算法，实验证明可有 效对大面积的缺损区域进行修复，具有一定的实际意义。 关键词：图像修复、多分辨率分析、区域分类 西华大学硕士毕业论文 a b s t r a c t d i g i t a li m a g ei n p a i n t i n gi sat e c h n i q u eo fr e p a i r i n gam i s s i n go rp a r t i a l l y d a m a g e di m a g e ，w h i c hu s e st h ei n f o r m a t i o no fn o d a m a g e dr e g i o nt of i l lu pt h e m i s s i n g o rp a r t i a l l yd a m a g e dr e g i o ni na c c o r d a n c ew i t hr e a s o n a b l er u l e sf o ra n a t u r a lv i e w d i g i t a li m a g ei n p a i n t i n gd e r i v e sf r o mr e s t o r a t i o no fa r t w o r k s ，a n dh a sb e e n a p p l i e dt or e p a i ra n c i e n tp a i n t i n g s a n dw i t ht h ew i d es p r e a do fm u l t i m e d i a , i t s w i d e l yu s e di no b j e c tr e m o v a l ，s u p e rr e s o l u t i o n , i m a g ec o m p r e s s i o na n dv i d e o e r r o rc o n c e a l m e n t t h em e t h o d so fi m a g ei n p a i n t i n ga c c o r d a n c ew i t ht h ed i f f e r e n tp r i n c i p l e s c a nb ec l a s s e di n t ot h r e et y p e so fm e t h o d sf o rf l a tr e g i o n , m e t h o d sf o rs t r u c t u r e r e g i o na n dm e t h o d sf o rt e x t u r er e g i o n a c c o r d i n gt os o m eb a s i cp r i n c i p l e so f h u m a nv i s u a ls y s t e m ，w ec o n d u c t e dad e t a i l e da n a l y s i sa n dd i s c u s s i o no f e x i s t i n g i n p a i n t i n gm e t h o d s ，a n da n a l y z et h ea d v a n t a g e sa n dd i s a d v a n t a g e s h e r ea l li m a g ei n p a i n t i n gt e c h n i q u eb a s e do nr e g i o nc l a s s i f i c a t i o n , w h i c h d i v i d e st h ed a m a g e dr e g i o ni n t os e v e r a lo n e s b yt h ei n p a i n t e de d g e ，t h e n a c c o r d a n c ew i t ht h ed i f f e r e n tc h a r a c t e r i s t i c ，c l a s s e st h e mi n t ot h r e e t y p e so f s t r u c t u r er e g i o n ，t e x t u r er e g i o na n df l a tr e g i o n , a tl a s t ，m e t h o db a s e do ns t r u c t u r e f o rt h es t r u c t u r er e g i o n ，m e t h o db a s e do nt e x t u r er e g i o nf o rt h et e x t u r er e g i o n ，a n d an e wa l g o r i t h mb a s e do na d a p t i v ee x c u r s i o nf i l e rf o rt h ef l a tr e g i o n e x p e r i m e n t s s h o w ：i tp r o d u c e sc o m p a r a b l er e s u l t sa n dh a ss o m ep r a c t i c a ls i g n i f i c a n c e k e yw o r d s ：i m a g i ei n p a i n t i n g ，m u k i r e s o l u t i o na n a l y s i s ，r e g i o nc l a s s i f i c a t i o n i i 西华大学硕上毕业论文 9 声明 本人声明所呈交的学术论文是本人在导师指导下进行的研究工作及取得 的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表或撰写过的研究成果，也不包含为获得西华大学或其他教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在 论文中作了明确的说明并表示谢意。 本学位论文成果是本人在西华大学读书期间在导师指导下取得的，论文成 果归西华大学所有，特此声明。 作者签名： 钇莎 洲年 f j 月z j 日 翩繇雾孑日砂l 年中月阳日 两华大学硕士学位论文 西华大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规 定，同意学校保留并向国家有关部门或机构送交论文的复印件和电 子版，允许论文被查阅和借阅，西华大学可以将本论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复 印手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书； 2 、不保密彰适用本授权书。 ( 请在以上口内划) 学位论文作者签名：缸苍 醐： 面p 矽 厅7 嘭栩 7 d j 7 ：夕 名 一 繇 渺 币 “y 教： 导期指日 西华火学硕十学位论文 l 绪论 1 1 研究背景 图像是人类从外界获得的信息的最主要来源。图像技术在广义上是各种与 图像有关的技术的总称。计算机图像处理，是指利用计算机对图像进行一系列 加工，以便获得人们所需要的效果。图像处理虽然也可以用光学方法或模拟技 术来实现，但目前主要是利用计算机来实现，称为数字图像处理。因此，图像 处理一般是指数字图像处理，即为达到一定的目的，采用一定的信号处理方法 用计算机对数字图象信号进行的数据处理，是一个图像到图像的过程。图像处 理研究的内容有：图像数字化、图像变换、图像增强、图像复原、图像分割、 图像编码、与图像分析等【2 3 1 。 ( 1 ) 图像数字化通过取样与量化过程将图像变换成便于计算机处理的数 字形式。 ( 2 ) 图像变换是图像处理和分析的基础，在变换域中能较快较方便的实 现。常用的变换有：傅立叶变换，k l 变换，离散余弦变换，小波变换。 ( 3 ) 图像增强主要目的是提高图像质量( 去除噪声，提高图像的清晰度) ， 使图像清晰或将其转换为更适合人或机器分析的形式。 ( 4 ) 图像复原主要目的是去除干扰和模糊，消除或减少在获取图像过程 中所产生的某些退化，从而恢复图像的本来面目。 ( 5 ) 图像分割将图像划分为一些互不重叠的区域通常用于将分割的对象 从背景中分离出来，以便于进一步分类、分析和识别处理，是图像分析的基础。 ( 6 ) 图像编码根据图像信号的统计特性及人类视觉特性对图像进行高效 编码，从而达到压缩图像的目的，以便满足传输与存储的要求。 ( 7 ) 图像特征提取是从从图像中抽取某些有用的度量、数据或其它有关 信息。 图像处理技术的应用相当广泛，广泛应用于监控、身份认证、国防、气象 监测、资源调查、t c 、核磁共振等领域。 两华大学硕士学位论文 1 2 问题的提出 图像修复( i m a g ei n p a i n t ) 技术最初起源于艺术品修复。在战乱年代，珍贵 的艺术品往往被多次易手，保管的时候难免有所损伤【j 11 2 1 。关于图像修复的目 的可以引用b e r t a l m i o 的文章的第一段来说明 3 1 ：“图像修复就是对图像进行一 种修改，这种修改对于不知道原始图像的人来说是几乎观察不出来的，这是一 件与艺术创作本身一样有着悠久历史的事。”早在文艺复兴时期就开始了对中 世纪艺术作品的修复，通常是填补艺术作品中的一些缝隙，而目的通常是为了 使这些中世纪的画“焕然一新”，这一工作通常被称为是修整或是修复。修复也 就是重构图像中缺少或者损坏的部分，目的就是为了使这些图像更为清晰并且 恢复图像的完整性。在以前，这完全是一种手工行为，具有相当高的风险，需 要由富有经验的艺术馆人员来处理，存在费时、低效、高风险、不可恢复等缺 点。 近几十年来，随着现代多媒体技术的发展，存储图像的方法也变得多样起 来，如广泛使用的照片和电影胶片。但同样的，这两种介质在长期保存的时候 也容易遭到损坏，如电影胶片在多次放映后产生的划痕，长期保存时由于潮湿 引起的霉斑，使用不当造成的指纹、污点等等。这些都会不同程度的影响观看 效果，降低了图像的质量。在历史档案管理中，这个问题尤为严重。 数字图像修复是指对数字化的绘画作品进行处理，主要针对原图中损坏的 部分，如划痕、污点等，将其从原图中擦除，然后对该区域进行修复，使得在 与原图风格保持一致的前提下，具有较好的观赏效果。数字图像修复技术由于 不需要对原作直接进行处理，因此毫无风险，可以根据需求反复调整后最终确 定修复结果，安全可靠，具有较高的实用价值。此外，数字图像修复技术还可 以用于移除图像或视频中不希望出现的物体，如视频中的字幕等。 2 西华大学礤士学位论文 f i g 1 3 0 b j e c t r e m o v i n g 图1 3 目标去除 西华大学硕士学位论文 数字图像修复技术在实际中有广泛的应用，但更为重要的是，它为数字图 像与视频处理开辟了一条新思路，可以为视觉处理中的一些问题提供新的分析 方法。比较典型的有： 图像超分辨率( s u p e r r e s o l u t i o n ) 分析 图像超分辨率重建是指通过分辨率较低的图像来重建分辨率较高的图像 的算法，最为常见的有线性插值、立方插值等算法。而通过数字图像修复技术， 可以把低分辨率下的点作为高分辨率下的初值，然后以此来修复剩余区域，在 基于等照度线( l v e e l l n i e ) 的处理方案以及基于总体变分( t o t a lv a r i a t i o n ) 模型的 处理方案下均有较好的抗锯齿效果。 图像压缩 常规的图像压缩算法通过变换域分析( 如离散余弦变换、小波变换、分形 变换) 以减少冗余系数。而使用数字图像修复技术，在压缩时只保存图像的边 缘信息，剩余部分采用修复技术重建，可以提高非纹理图像的压缩率。 视频传输中的错误隐藏( e r r o r c o n e e a l m e n t l 在观看网络视频时，由于带宽等因素，往往会出现丢包的情况，造成图像 中部分编码块丢失。由于网络视频对实时性要求较高，因此常规的超时重发等 手段往往难以使用。通过数字图像修复技术，则可以对传输过程中发生错误的 图像块进行实时修复，从而在不增加网络带宽、不改变原有通信协议的基础上 改善观看效果。 数字图像修复技术不仅仅为机器视觉分析中的若干问题提供了一种新方 法，更为重要的是，图像修复技术本身就是对视觉感知过程的学习和理解。图 像修复是一个不确定的问题，没有唯一解存在，解的合理性取决于视觉系统的 接受程度。换而言之，为了达到较好的视觉效果，我们必须让修复结果更为符 4 西华大学硕士学位论文 合视觉感知的特性，使得整幅图像看起来浑然一体，没有修改的痕迹。弗朗西 斯在其著作【s 】中提到，人的视觉认知系统具有接近律、相似律、简洁律、封闭 律和敏感律等认知规则，这些规则对图像修复都有很重要的指导意义。而目前 机器视觉的研究水平还不足以描述这些规则，因此诸多研究者试图从不同的角 度入手，针对某些视觉特性，提出相应的模型，从而增加额外的条件，来获得 唯一解。 总的来说，图像修复的本质是从视觉认知的角度出发，对图像建立准确 的分析模型，合理的视觉认知规则，然后通过相应的修复技术实现。修复技术 一方面可应用于艺术品、照片、影片等的数字化修复工作，如珍贵文物、文献 性电影等，可以在无损原件的前提下安全处理，在档案管理、媒体数字化等应 用中有重要的价值；另一方面，修复技术还可直接应用于图像超分辨率、图像 压缩、视频错误隐藏等相关领域，为这些问题的研究提供了一条新思路。更为 重要的是，图像修复的关键是图像分析模型以及视觉认知规则的研究，这不仅 是图像修复的重要研究内容，也是图像理解和机器视觉中的基础理论问题。因 此，对图像修复的研究必将推动机器视觉中相关领域的发展，如图像检索、视 频分析等。 1 3 大脑的图像修复机制 在人眼的物理构造中( 图1 4 ) ，视网膜中的盲点所在处由于与视神经相连， 因此没有感光细胞，所以无法获得落在此处的图像信息。我们平时感觉不到盲 点的存在，是因为大脑能根据从两个眼睛得到的信息来填补盲点区域，从而形 成完整的图像。但医学研究表明，即使是在单眼的情况下，盲点也不会带来明 显的视觉空白。所以即使我们闭上一只眼睛观察前方，也不会感觉到景物中空 西华大学硕士学位论文 洞的存在。大脑会自动推测盲点区域的信息井填充，从而让我们感受到一幅完 整的图像。 f i g 1 4t h ep h y s i c a ls t r u c t u r eo ft h ee y e 幽1 4 眼物理结构 大脑究竟是如何实现这一修复过程的? 事实上，目前视觉生理学家们对这 个问题的了解也十分有限。z u r 等人通过医学实验0 sw ，试图进一步了解这种修 复方式的细节。 通过分析，得出了以下结论： 1 确认了视觉感知对受损区域有自动填充的功能且随着区域的增大而 减弱。 2 亮度填充要比纹理填充迅速。 3 填充取决于邻域复杂性以及密度，越规则越易受辨识。 4 填充结果尽量与邻域保持一致。 西华人学硕七学位论文 1 4 修复规律总结 通过分析，我们把基于视觉感知的修复规律【1 9 】总结如下： 1 结构性。结构型轮廓在感知中的作用最为明显。当断断续续的线条出 现时，大脑会试图将其连接成一个整体。这就是错觉轮廓之所以出现的原因。 2 相似性。对于未知区域的信息，大脑会根据相似性的原理，使用其邻 域的信息进行推断，把类似的物体组合在一起，以便得到最直观的解释。这也 就是认知规律中的相似性和简洁原理，盲点实验中的规则点填充结果也证明了 这一点。 3 结构优先。由于结构线条在视觉感知中的重要作用，可以认识到修复 时结构优先是保持整体图像一致性的基本原则。否则如果先进行纹理填充，则 有可能会出现虽然细节相似，但整体有一定偏差的情况。此外，盲点实验中得 出结论：亮度填充要比纹理填充迅速，这也是对结构优先的有力证明。 4 纹理一致。纹理其实并不被大脑所重视，如果不仔细观察，则只是被 看成是相似的物体，而不会主动分辨其中的细节。因此，对于纹理修复，只要 没有出现不同于当前纹理的新信息，大脑就不容易察觉。 无论我们能得到什么样的规律，但有一点是可以确定的，那就是修复能力 始终还是有限的。修复的必要条件是我们可以从待修复区域的邻域获取足够多 的信息，但这并不是一个充分条件。受损区域大到一定程度时，大脑就已经失 去了自动修复的功能。因此，数字图像修复也只能是在一定程度上对遗失的信 息进行估计并填充。但可以确信的是，利用的信息越充分，就越有可能获得较 好的修复结果。仅仅使用少量邻域信息就进行修复的结果，往往有较大的局限 性。 1 5 难点分析 到目前为止，人们提出了一些图像修复的模型和办法。然而，这些方法都 是针对图像本身的性质和图像缺损区域的特点而设计，如一些算法只能修复小 7 两华大学硕士学位论文 面积的缺损区域、一些算法只能适合处理以纹理特性为主的图像，总之，目前 这些方法还远远不够成熟，存在很多难点，有很多问题，归纳如下： 1 没有统一的标准 图像修复本身是一种艺术性的工作，是一种主观行为，不同的人有着不同 的看法，从数学的角度讲，是一种病态行为，损失的信息不可能被完全复原， 没有一定的标准可循。人们现在已经认识到这个问题，并开始付诸行动，美国 历史和艺术作品保护协会专门组织人员对艺术作品的修复标准进行研究。我们 现在采用计算机进行数字图像修复，实际上也是模拟人工修复的过程，也是人 的主观行为。 2 没有客观的质量评价体系 图像修复是对缺损信息的填充，可以说是无中生有，是一种推断和猜想。 由于没有任何先验知识和参照标准，不容易评价其修复质量，不像图像压缩， 具有信噪比( p s n r ) 等定量标准来进行客观评价，所以，图像修复的质量只 能通过人眼视觉来进行主观性的评价。 3 图像本身的结构复杂多变 现实世界的图像既不是纯粹的结构性图像( 如卡通图像) ，也不是纯粹的 纹理图像( 如墙面、沙地的纹理图) ，而是同时包含纹理和结构。在图像中， 纹理和结构的分布也是复杂多变的，有的是纹理和结构分片分布，有的是相互 混杂一起，还有的根本无法区分是纹理还是结构。所以，图像结构的复杂性使 得图像修复工作变得非常困难。 4 相关领域的研究还不够深入 图像上缺损信息的修复，不仅仅是一个数学问题，也不仅仅是一个计算机 算法的问题，它涉及到信息获取、处理、表达等信息科学的内容，也涉及到认 知科学、认知心理学、思维科学、以至于美学和艺术等方面的内容。人类的双 眼和大脑是一套高智能的图像获取与处理系统，研究人类大脑和视觉系统对该 问题的解决将有很大的帮助。 综上所诉，目前图像修复的研究还很不成熟、很不完善，只是从最低层次 的算法问题上进行了研究和讨论，要想彻底解决该问题，还有很长的路要走。 8 西华大学硕士学位论文 由于目前研究水平和条件的限制，本文的研究主要也是基于较低层次的算法和 方法的研究。 1 6 本文的主要工作内容 本文通过查阅相关资料和一些相关的试验，对图像缺损信息的修复展开了 深入的研究，主要内容如下： ( 1 )深入地研究了当前一些主流的图像修复算法，通过试验分析其 优缺点。 ( 2 )针对小面积缺损区域，提出了基于邻域的自适应窗口偏移滤波 的修复算法。利用修复区域与周围邻近信息的相关性，定义修 复点的优先度来确定修复顺序，对优先度大的点优先进行修复， 通过自适应的窗口偏移选择合适的邻域参考信息进行填充，实 验证明，修复效果良好。 ( 3 )对于大面积缺损区域，提出了基于区域分类的图像修复算法。 按照结构优先的原则，通过多分辨率小波提取受损的强边缘， 经过拟合、查值、拼贴，修复受损边缘，此时修复好的边缘将 受损区域分割成不同特征的小区域。跟据5 3 2 5 所述的分类算 法将这些小区域分为平缓区域、结构性区域、纹理区域。对于 平缓区域采用基于邻域的自适应窗口偏移滤波的修复算法，对 于结构性区域，此采用基于总变分模型的修复算法，纹理区域 按照纹理一致的原则，采用基于马尔可夫模型的修复算法，实 验证明，修复效果良好，符合视觉感受，能够突破目前一些修 复算法的应用限制，具有一定的实际意义。 ( 4 ) 最后总结了本文所作工作，并提出了需要进一步完善的地方以 及下一步的发展方向。 9 两华大学硕士学位论文 本文结构流程图： f i g 1 5f l o wc h a r t 图1 5 流程图 1 0 两华大学硕士学位论文 2 基于结构的图像修复算法研究 。在这一章，我们主要研究一些主流的基于结构的图像修复模型。这些方法 由微观分析入手，借助于偏微分方程( p a r t a l i d i e f f e m t i a l e q u a t i n o ，简称为p d e ) 建立相应的模型，对小范围内非纹理图像有较好的修复效果。 2 1 偏微分方程与图像修复 如果一个微分方程中出现的未知函数只含一个自变量，这个方程叫做常微 分方程，也简称微分方程；如果一个微分方程中出现多元函数的偏导数，或者 说如果未知函数和几个变量有关，而且方程中出现未知函数对几个变量的导 数，那么这种微分方程就是偏微分方程1 ”】1 2 0 l 。例如： 即皇，字鲁肇，婴)：0(2-y u 1 ) ，l x ，_ ，_ ，i 了，i 了，i ) 。 l j ( ：c y a x c yv x c y 其中f 是函数，x ，y ，是自变量，u ( x ，y ，) 是应变量。偏微分方程的阶次 与常微分方程的定义相似：阶次最高的偏导数次数称为偏微分方程的阶次。上 式( 2 1 ) 即为二次偏微分方程。 偏微分方程的解一般有无穷多个，但是解决具体的物理问题的时候， 必须从中选取所需要的解，因此，还必须知道附加条件。因为偏微分方 程是同一类现象的共同规律的表示式，仅仅知道这种共同规律还不足以 掌握和了解具体问题的特殊性，所以就物理现象来说，各个具体问题的 特殊性就在于研究对象所处的特定条件，就是初始条件( i n i t i a l ) 和边界 ( b o u n d a r y ) 条件。有了这些初始条件或边界条件，就可以确定函数u 以后的变化。 下面介绍与图像修复有关的扩散方程。 西华大学硕士学位论文 2 1 1 各向同性传导方程 图像平滑是图像处理当中的一个重要环节，然而它与细节保持是一对矛盾 关系。在对图像进行低通滤波降噪的同时，容易产生图像边缘模糊现象。采用 偏微分方程的图像平滑方法具有很大的优势，它在平滑噪声的同时能够较好地 保持图像边缘。 基于偏微分方程的图像平滑一般是通过扩散方程来实现的。j k o e d e r i n k 和a w i t k i n 开创了偏微分方程在图像处理中的实质性工作【2 1 1 ，他们将多尺度 图像表示为g a u s s i a n 滤波器处理的结果，等效于将图像经过热传导方程使之 变形，获得各向同性( i s o t r o p i e ) 扩散流。 假设初始的灰度图像为u ( x ，y ，0 ) ，在t 时刻的灰度图像为u ( x ，y ，t ) 。 则图像的热传导平滑方程为： d u _ ( x - , y 一, t ) ：a u ( 墨y ，f ) ( 2 2 ) 讲 其中，a u ( x ，y ，t ) 为图像的拉普拉斯( l a p l a c i a n ) 算子，其初始条件为 u ( x ，y ，0 ) 。上诉方程的解为u ( x ，y , t ) = q 木u ( x ，y ，0 ) ( 宰表示卷积) ，其中g f 是高 斯函数： g f ( ) ：c t - - te x p 芦竿盟】 ( 2 3 ) 叶l 由于初始图像与不同尺度的高斯滤波器的卷积等价于热传导方程的解。高 斯平滑图像方法虽然简单快速，但由于其各向同性，图象平滑后的特征难以得 到保留，破坏了图像中作为主要信息的些特征及边缘，具体表现在图像中目 标物的轮廓或细节变模糊了，因此，采用该方程进行图象平滑必然带来边缘模 糊现象。 2 1 2 各向异性传导方程 1 2 西华大学硕士学位论文 p p e r o n a1 9 9 0 在j k o e n d e r i n k t 2 2 】等人研究的基础上，给出了图像平滑中 多尺度描述的三个准则： ( 1 ) 因果性( c a u s a l i t y ) ：当尺度由细变粗时，不产生新的细节。 ( 2 ) 即使定位( i m m e d i a t el o c a l i z a t i o n ) ：在每个尺度下，区域边界要明 显，并与对应尺度下的物体边界相一致。 ( 3 ) 分段平滑( p i e c e w i s es m o o t h i n g ) 在所有尺度上，区域内部优先于 区域边界进行平滑。 根据这些准则，理想的图像平滑方法应该是图像特征强的区域平滑程度 小，图像特征弱的区域平滑程度大：垂直于图像特征方向平滑程度小，沿着图 像特征的方向平滑程度大。 前面介绍的常系数( 传导系数为1 ) 热传导方程没有考虑图像的空间位置， 是各向同性扩散，实际上，传导系数可以根据图像的空间位置来确定。针对常 系数热扩散方程的缺陷，e p e r o n a 给出了传导系数可变的各向异性( a n i s o t r o p i c l 扩散方程： o u _ ( x - , y , 一t ) ：d i v c ( x ，) ，t ) a u ( x , y ，) 】 ( 2 4 ) 研 其初始条件为( x ，y ，0 ) ，d i v 为散度算子，v 为梯度算子，c ( x ，y ，) 是传导 系数( 是图像坐标和时间的函数) 。当c ( x ，y ，) 为常数l 时，方程2 - 4 就变成了各 向同性热传导方程。 假设图像区域边界己知，通过设置如下的阶跃型传导系数c ( x ，) ，r ) ：当 ( 南y ) 在区域内部时c ( x ，y ，t ) = l ；当( x ，y ) 在边界上时c ( x ，y ，) = 0 。 就可以实现在图像区域内部进行平滑，而在边界位置不进行平滑的目的， 这样模糊现象就只能发生在区域内部，从而保持边界特征。但是，图像边界往 往不能事先知道，需要进行估计，设边界点估计为e ( x ，y ，t ) ，它是一个向量函 数，且满足如下的条件： ( 1 ) e ( x ，y ，f ) = 0( x ，y ) 在区域内部 ( 2 ) e ( x ，y ，f ) = 元e ( x ，y ，f )( x ，y ) 在边界上 其中，e ( x ，y ，) 是垂直于边界的单位矢量，九代表边界的对比度( 边界两侧 像素的差值) 。 西华大学硕士学位论文 常常可以将e ( x ，y ，f ) 取为梯度，即e ( x ，y ，) = v u ( x ，y ，) ，则传导系数 c ( x ，y ，f ) 函数可以设计成以l 陋( x ，y ，r ) 0 为变量的单调下降函数，例如，p p e r o n a 给出的一个系数函数为： “l 弘d _ g o 卜南 q 5 其中k 为常量，影响着扩散的快慢程度。 采用各向异性扩散方程的图像平滑方法，能够根据梯度的大小决定平滑程 度，能很好地兼顾噪声消除和边缘保持，保持了非线性平滑方法对图像特征保 留的优点。 2 2 基于偏微分方程的图像修复方法 目前，偏微分方程方法广泛用于图像修复，其主要优点是计算过程由合适 的p d e 数值格式自动完成，免去了做边缘检测、t 型交汇点检测和连接，另 外，它也没有修复区域拓扑关系得限制，但是区要明确的是p d e 方法只适用 于非纹理( n o t e x t u r e ) 图像或者低纹理( l o w t e x t d r e ) 图像的修复。下面我 们介绍两种经典的图像修复算法。 2 2 1 基于b s c b 模型的图像修复算法 在2 0 0 0 年的s i g g r a p h 会议上，b e i r t a l m i ot 3 1 等人发表了他们的研究成果， 旗帜鲜明的定义了图像修复这个问题，并引入了基于偏微分方程的分析方法， 从而奠定了图像修复的基础，我们称之为b s c b 模型。在该算法中，修复的 过程被看作是一个扩散的过程。依据手工修复的经验，将信息沿着待修复区域 的边界向内扩散。如图2 1 所示。 1 4 西华大学硕士学位论文 f i g21p r o p a g a t i o nd i r e c t i o n 越t h en o r n l a j t o t h e 鲥g “e d 西8 m c e 协廿l 。b o 帅d a r y o f t h 。他百o n 。b e i n p 副1 他d 图2l 传递的方向定义为等照度线方向n 如图2 i ，q 表示要修复的区域，茁2 是它的边界。直观地说，b s c b 模型 是：延长达到a q 的等照度线，并保留达到时的“角度”。从a q 向内，继续依 此进行，同时逐步地弯曲延长的线段，以防止它们相互交叉。所谓等照度线就 是灰度值在同一等级上的一系列点所组成的线，在等照度线上所有的点均满足 “( f ，f ) = c ，到达边界施上的点( i ，f ) 的等照度线与边界的夹角的方向就是_ 与边界的方向，因此期望信息沿等照度线的方向传递。 2 2 1 1b s c b 修复模型 设u o ( i ，j ) ：【0 , m i x 0 , n 卜r x r ，【0 ，吖】x 【o ，m 】匕 n ，是离散2 d 灰 度图像。由手工修复技术看来，迭代算法是自然的选择。数字修复程序建立一 个图像函数：u o ( i ，l o ) ：【0 ，m 】x 【仉】斗r ，使得u o ( i ，j ，0 ) = u o ( i ，j ) ，而 l i m u ( i , j ，n ) = ( f ，) ，其中u r ( i ，) 是算法的输出结果，即修复过的图像。这 样形式的任何一般算法可以写成： “肿。( j ，力= 矿( d + 出”( f ，j ) ，v ( f ，力e q ( 2 1 ) 指数n 表示修复的次数，( ，) 是像素坐标，r 表示迭代步长，矿( ，) 表 示图像矿o ，j ) 的修正，方程只作用于修复区域。内。随着n 的增大，可以获 西华大学硕士学位论文 得效果更好的图像，当然也增加了算法的时间。当n 增大到一定程度，甜”( f ，) 不再有明显的变化，即n + l ( f ，j ) u n ( f ，j ) ，则算法停止。 设r ( f ，) 表示传递的信息，n ”( f ，j ) 表示传递的方向，有： “? ( f ，j ) = v l x i ，j ) ( 2 2 ) 其中v l ”( i ，j ) 是f ( f ，j ) 变化的度量。n ”( f ，) 为等照度线方向，可用梯度矢量 旋转9 0 度来得到。容易证明，顺时针或者逆时针旋转对结果没有影响。 根据这一方程，估计图像的信息l n ( i ，) ，并计算沿着方向的变化。在 稳定的情况下， 由n + l ( f ，) “”( f ，) 以及式( 2 1 ) 和( 2 2 ) 得 v r ( f ，) n ”( t ，) 0 ，这就是说信息l 已经沿着方向传递。 因为希望信息平滑的传递，r ( f ，j ) 就是图像平滑的评估因子。通过简单 的离散拉普拉斯方程很容易达到这一目的，r ( f ，j ) = u x x ( f ，) + 扰。( f ，) 。虽然 也可以使用其它的平滑评估因子，但是实验证明这一简单的选择己经可以获得 令人满意的效果。 为了确保方向场的正确演化，将图像修复过程与扩散过程交叉进行。每隔 若干步的修复，进行几步反复扩散，扩散是为避免曲线交叉。为了在修复过程 中达到不丢失清晰度的目的，使用各向异性扩散【4 】【5 1 ( a n i s t r o p i c d i f f u s i o n ) ， 各向异性的扩散能够保持边缘的光滑。这里使用的各向异性扩散方程为： a ，j 导( x ，y ，f ) = g 。( x ，y ) k ( x ，y ，t ) v u ( x ，y ，)v ( x ，y ) q 6 。( 2 3 ) 优 q 6 是用一个半径为s 的球对q 做扩张，k 是i 的等灰度e u c l i d e a n 曲率， ( x ，y ) 在q 8 是连续函数，它在艘上g 。( x ，y ) = o ；在q 上( x ，y ) = 1 。 b s c b 模型是基于手工修复的机制建立的，能够很好的保持边缘，在沿边 缘的切线方向平滑而在法线方向实施较小的平滑，有令人十分满意的修复效 果。 2 2 1 2 数值计算 在此算法中，为了保证内部描绘对噪声的鲁棒性，在第一次迭代之前先对 图像做一次各向异性扩散。此后，图像进入修复循环，q 内部的值都是经过 1 6 西华人学硕士学位论文 修正的。这些值根据下面将述的修复程序而改变。每执行若干步，进行一次各 向异性的扩散。重复这一过程直到获得稳定的图像。 设u n ( f ，j ) 表示q 内的每一个像素的第n 次修复。那么，模型的离散化实 现过程如下：由进化方程式( 2 1 ) 材肘1 ( f ，j ) = “”( f ，j ) + a t u ? ( i ，j ) ，v ( f ，) q 进化量： 讯“声啪) 湍弦( f ，州m 加q ( 2 - 4 ) v f f ( i ，) - ( f f ( i + l ，) 一l ( i - 1 ，力，p ( j + 1 ) 一i f ( i , j - 1 ) ) ( 2 5 ) r ( f ，j ) = 甜三( f ，j ) + 甜鲁( f ，j ) ( 2 6 ) 等照度线矢量方向： 靶：毒丝丝丝丝生 ( 2 7 ) i n ( i ，j ，胛) l ( “：( f ，朋2 + ( “瓢朋2 趴“m 啪) 黼 ( 2 ” 在计算梯度的绝对值时，如果直接采用类似上式的前后相减的方法，有可 能会导致迭代过程不稳定1 1 4 1 1 5 】。因此，b s c b 等人使用了坡度限制 ( s l o p e - l i m i t e d ) ，其定义如下： 陬w i - 怒卷一= 三兰 9 ， 为方便起见，在上式中省略了位置信息x ( y ) 。其中下标b 和f 分别表示后 向差分和前向差分，下标m 和m 表示和0 相比的最小值和最大值。即 ，2 ( x ，y ) 兰m i n ( u ”( x ，y ) 一甜。“( x - 1 ，y ) ，o ) ( 2 1 0 ) ，搿( x ，y ) = m a x ( 。哪( x ，y + 1 ) - i 。哪( x ，y ) ，0 ) ( 2 1 1 ) 其余定义已此类推。 西华大学硕士学位论文 算法结束的条件是当算法获得稳定的图像，t g 就是u , = 0 时，在等照度线 方向平稳度为常量。 当修复区域q 的边界触的像素带入方程( 2 1 ) 以及( 2 4 ) ( 2 1 1 ) 时，也要用到修复区域外的己知的像素。也就是说，在区域q 8 上应用方程( 2 1 ) ( 2 1 1 ) ，但是只改变q 内部的像素的值( 也就是说方程( 2 1 ) 只应用于q 内部) 。在q 周围的带状区域内部的信息传递至q 内部，包括灰度值以及等照 度线方向的信息的传递，是算法成功的基础。 在修复循环中，先以方程( 2 1 ) 进行修复执行a 步，再以方程( 2 3 ) 进 行扩散执行b 步，然后再执行a 步方程( 2 1 ) ，依次循环，总的执行步数为 t 。这一数值可以是预先指定的，或者是当图像值的变化小于一给定极限时算 法自动停止。我们采用的值是a = 1 5 ，b = 2 ；速度a t = 0 1 。t 的值与q 的大小 有关。 2 2 1 3 实验结果 算法流程： ( i ) 读入图像和掩模信息。 ( 2 ) 对掩码中的每一个像素，执行a 次第3 步，转第4 步。 ( 3 ) 对于受损区域内的象素，利用周围未受损区域的信息，根据式( 2 4 ) 一( 2 1 1 ) ( 4 ) 求得象素点的修正值，但是只作用于受损区域，即只改变受损区域 的象素值。 ( 5 ) 对掩码中的每一个像素，执行b 次第5 步。 ( 6 ) 对于受损区域内的象素，利用周围未受损区域的信息，根据式( 2 3 ) 修正受 ( 7 ) 损区域内的象素信息。 ( 8 ) 若未获得满意的结果重复第2 步。 1 8 西华大学硕士学位论文 对于2 4 位彩色图像的修复，我们可以先把该图像分解成r 、g 、b 三个 分量上的图像，然后单独对每个分量利用上述方法修复，完毕后，“把修复结果 合成2 4 位图像。( r ，g ，b ) 三个分量的关系如图2 2 所示。 b 7 ，7 7 ： _ 经上r 2i 参二ij 0 f i g 2 2r e l a t i o nb e t w e e nt h e ( r , g , b ) c o l o rm o d e l a n d t h eo n eu s e di nt h i sa r t i c l e ，( p ，s i n 掣 ，s i n ) 图2 2r g b 颜色模型，本文中采用( p ，s i n 妒，s i n l f ，) 的表示形式 实验结果： 本文算法在p e n t i u m ( r ) d2 8 g h z ，5 1 2 内存的微机，m a t l a b 7 0 平台上实现。 采用的值是a = 1 5 ，b = 2 ，迭代步长取a t = 0 。1 ，循环次数t 跟q 的大小有关。 实验结果图如下。可以看出对于小的平坦区域及边界，该算法效果明显，算法 的执行时间主要和受损区域的面积有关。 1 9 两华大学硕士学位论文 f i g2 3s y n t h e t i ce x a m p l e q i ss h o w ni nw h i t e 图23 模拟图像的合成，白色标志待修复区域 e i 喽一 g f i g2 4r e s t o r a t i o no f a no l dp h o t o g r a p h 图24j 日照片的修复 b s c b 修复模型通过模仿画家手工修复，沿等照度线方向将信息迭代入受 损区域，为避免曲线交叉将图像修复过程与扩散过程交叉进行。每隔若干步的 修复，进行几步各向异性扩散算法，在修复区域内进行非线性扩散获得稳定清 晰的结果，对缺损的边缘有着良好的修复效果，但是还存在着以下几个方面的 问题： ( 1 ) 算法时间复杂度太高，执行速度非常慢。 i 浊d 百1一，毒 。晒 西华大学硕士学位论文 ( 2 ) 对大的缺损区域的修复，效果不好。 ( 3 ) 稳定性不好，有时会导致修复图像的视觉效果不好。 ( 4 ) 容易受到噪声的干扰，影响等照度线方向的判断。 2 2 2 基于t v 模型的图像修复算法 基于t v ( t o t a lv a r i a t i o n ) 模型的图像修复算法由c h a r t 等人于2 0 0 2 年提出 1 6 ，与b s c b 方法的模型和思路都完全不一样。该方法出自图像恢复中所使 用的t v 模型，利用求函数极值的变分方法求解【2 8 1 1 2 9 1 。 2 2 2 1t v 总变分图像修复算法模型 不， 记d 为待修复区域，e 为待修复区域的外邻域，一般为环状，如图2 5 所 f i g 2 5i n p a i n t i n gi st op a i n tt h em i s s i n geu do i li n p a i n t i n gd o m a i nd b a s e do r lt h ei m a g ei n f o r m a t i o na v a i l a b l eo u t s i d e 图2 5 利用e 区域的信息去修复d 区域的信息 2 1 西华大学硕士学位论文 记修复后e u d 区域内的图像值为，+ ，定义代价函数为： r ( i + ) = f ，v ，+ 1 ) 出砂 ( 2 1 2 ) e v 。d 。 并满足如下噪声约束条件： 志旷i 2 c u d y 卸2 ( 2 1 3 ) 其中a ( e ) 为e 区域的面积，e 内的初始图像值i 被高斯白噪声所污染， 白噪声方差为仃。r 为一个在输入为非负数时输出也为负数的实函数。可见，式 ( 2 1 2 ) 是为了使待修复区域及其边界尽可能的平滑，式( 2 1 3 ) 则保持修复 结果与原图的一致性，否则修复结果会被过度平滑导致变成常数。 为了对边缘也有良好的修复效果，需要选择一个合适的函数，。在边缘上 w 是一个冲击函数6 ，因此要求代价函数e 有限，即： i r ( 6 ) c u d y o ，则称x 是以7 7 为邻域的马尔可夫随机场。这里x 和为分别 3 0 西华大学硕士学位论文