（信号与信息处理专业论文）基于图像局部特性分析和稀疏变换的图像修复算法研究.pdf

西南交通大学硕士研究生学位论文第f 页 ! 1 1 1 i i 皇曼曼曼曼曼皇 摘要 图像修复起源于上世纪八十年代，最初被用来修复破损的古文物字画。后来，随 着计算机技术的高速发展，世界目益呈现数字化，数字图像修复技术逐步兴起。现今， 数字图像修复技术已成为图像处理领域的一个重要分支，被广泛应用在各个领域，包 括破损图像的修复、特定目标物的去除、图像编码和压缩、图像超分辨率分析等等。 本文首先介绍了图像修复技术的研究背景和意义，并简单回顾了数字图像修复技 术的发展历程。现今的图像修复技术可谓方法众多，其中最为重要的两大类要数基于 偏微分方程的方法和基于纹理合成的方法，本文在第二章给出了这两类修复算法的几 种经典的修复模型。 基于样本块的图像修复技术是基于纹理合成修复方法的一个重要分支，文章在接 下来的章节中详细介绍了这一算法思想，并对具体的算法实现进行了改进，提高了算 法保持图像强边缘的能力。基于偏微分方程的修复算法，适用于较小尺寸破损的图像 修复。然而，这类算法往往要以复杂的数学理论模型为基础，较难理解。为此，文章 的第四章在分析图像局部特性的基础上，提出了一种简单的基于等照度线扩散的图像 修复算法，取得了较为理想的效果。 利用图像在某一变换域的稀疏特性进行残缺图像的修复，是一种新颖的方法。文 章的最后着重介绍了一种基于稀疏变换的迭代算法，重点讨论了算法实验结果中出现 的问题，进而提出了一种结合超小波变换和等照度线平滑的循环迭代算法。实验表明， 该算法对较小尺寸的图像破损有着很好的修复效果。 关键词：图像修复；样本；等照度线方向；稀疏变换 西南交通大学硕士研究生学位论文第1 f 页 a b s t r a c t t h eo r i g i no fi m a g ei n p a i n t i n gt r a c e sb a c kt o19 8 0 s , w h i c hw a su s e dt or e p a i rd a m a g e d a r t w o r k sa n dp a i n t i n g s w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e rt e c h n o l o g y ，t h ew o r l dh a s b e e nd i g i t i z e di n c r e a s i n g l y s y n c h r o n o u s l y ，d i g i t a li m a g ei n p a i n t i n gt e c h n o l o g yh a sc o m et o t h ef r o n tg r a d u a l l y t o d a y ，d i g i t a li m a g ei n p a i n t i n gt e c h n o l o g yh a sb e c o m ea l li m p o r t a n t b r a n c hi nt h ef i e l do fd i g i t a li m a g ep r o c e s s i n g ，w h i c hi sw i d e l yu s e di nv a r i o u sf i e l d s ， i n c l u d i n gr e s t o r a t i o no ft h ed a m a g e di m a g e ，r e m o v a lo fac e r t a i no b j e c t ，i m a g ec o d i n ga n d c o m p r e s s i n g ，i m a g es u p e r - r e s o l u t i o na n a l y s i sa n ds oo n f i r s t l y ，t h er e s e a r c hb a c k g r o u n da n ds i g n i f i c a n c eo fd i g i t a li m a g ei n p a i n t i n gt e c h n o l o g y a r ei n t r o d u c e di nt h i sp a p e r ，a n dt h e nt h ed e v e l o p m e n tc o u r s eo ft h et e c h n o l o g yi sb r i e f l y r e v i e w e dt o o n o w a d a y s ，t h ea l g o r i t h m so fd i g i t a li m a g ei n p a i n t i n ga r ev a r i o u s ，i nw h i c h t h e r ea r et w om o s ti m p o r t a n tk i n d s o n ei st h ei m a g ei n p a i t i n gb a s e do np a r t i a ld i f f e r e n t i a l e q u a t i o n s ( p d e ) ，t h eo t h e ri st h ei m a g ei n p a i n t i n gb a s e do nt e x t u r es y n t h e s i s s e v e r a lc l a s s i c i n p a i t i n ga l g o r i t h mm o d e li sg i v e ni nc h a p t e r2o ft h i sp a p e r t h ei m a g ei n p a i t i n gb a s e do ne x e m p l a rp a t c hi sa ni m p o r t a n tb r a n c ho ft h ei m a g e i n p a i t i n gb a s e do nt e x t u r es y n t h e s i s c h a p t e r3d e s c r i b e st h ea l g o r i t h mi nd e t a i l ，a n dt h e n g i v e ss o m ei m p r o v e m e n t sa b o u tt h er e a l i z a t i o np r o c e s s t h ee x p e r i m e n t a lr e s u l t ss h o wt h a t t h ei m p r o v e da l g o r i t h mh a ss t r o n gc a p a b i l i t yt ok e e ps t r o n ge d g eo fd a m a g e di m a g e t h e i m a g ei n p a i t i n gb a s e do np a r t i a ld i f f e r e n t i a le q u a t i o n si ss u i t a b l et oi n p a i n tt h es m a l ls c a l e r e g i o n si ni m a g e s h o w e v e r ，t h i sk i n do fa l g o r i t h mi so f t e nb a s e do nm a t h e m a t i c a lt h e o r y m o d e l sw h i c ha r ed i f f f i c u l tt ob eu n d e r s t o o d a c c o r d i n gt ot h i si s s u e ，as i m p l ea l g o r i t h mo f i m a g ei n p a i t i n gb a s e do ni n f o r m a t i o nd i f f u s i o na l o n gt h ei s o p h o t e sd i r e c t i o ni sp r o p o s e db y a n a l y s i n gt h el o c a lc h a r a c t e r i s t i c so fi m a g ei nc h a p t e r4 ，a n da c h i e v e sg o o dr e s u l t s i t i san o v e la p p r o a c ht oi n p a i n td a m a g e di m a g eu s i n gs p a r s e n e s si ns o m et h a n s f o r m d o m a i n i nt h el a s tp a r to ft h ep a p e r ，a l li t e r a t i v ea l g o r i t h mb a s e do ns p a r s et r a n s f o r m a t i o ni s d i s c u s s e d a c c o r d i n gt ot h ep r o b l e m se x i s t i n gi nt h ee x p e r i m e n t a lr e s u l t s ，a ni t e r a t i v e a l g o r i t h mo fi m a g ei n p a i t i n gb a s e do nh y p e r - w a v e l e tt r a n s f o r ma n di s o p h o t e ss m o o t h i n gi s p r o p o s e d t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ea l g o r i t h mw o r k se f f i c i e n t l yo ns m a l ls c a l e r e g i o n s k e yw o r d s ：i m a g ei n p a i n t i n g ；e x e m p l a r ；i s o p h o t e sd i r e c t i o n ；s p a r s et r a n s f o r m 西南交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并 向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授 权西南交通大学可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复印手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书； 2 不保密彤使用本授权书。 ( 请在以上方框内打“扩) 学位论文作者签名：陈耋笼 指剥雠：尹赂 日期：矽护f r - 7日期：训p 绅 7 tf 西南交通大学硕士学位论文主要工作( 贡献) 声明 本人在学位论文中所做的主要工作或贡献如下： 1 、详细阐述了几种经典的图像修复模型，给出了相应的理论分析，并就部分方法 模型进行了仿真实验，对比分析了各自的优缺点。 2 、介绍了一种基于样本块的图像修复算法并对其进行了改进，详细阐述了具体的 理论方法及实现步骤，并对比分析了改进前后的实验效果。 3 、提出了一种简单的基于等照度线扩散的图像修复算法，给出了详细的理论分析 和算法实现细节，并在实验仿真的基础上，讨论了该算法的优点以及缺陷。 4 、将基于m p 算法的图像稀疏分解算法应用于残缺图像的修复，进而提出了一种 改进的基于稀疏变换的图像修复算法，讨论了它的原理，并实验验证了该算法的可行 性和有效性。 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所得的成 果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰 写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中作了明确说明。 本人完全了解违反上述声明所引起的一切法律责任将由本人承担。 学位论文作者签名： 日期： f 车，磊 加如，7 | 西南交通大学硕士研究生学位论文第1 页 1 1 研究背景 第1 章绪论 俗话说眼睛是人类心灵的窗口，人类认知客观世界最为直接有效地方式就是通过 视觉获取图像信息。据统计，人类获取的信息约有七成以上是通过视觉获取的，由此 可见视觉信息的重要地位。图像作为一种信息符号，有着其它信息载体不可比拟的优 势。正如一句话所说，一幅图像胜过千言万语。在传达信息时，图像与语言文字相比 有一个很大的优点就是一目了然、直观形象。用语言描述一个形象或事物，即使花费 大量的口舌，听者还是感到模模糊糊，然而用一幅图像来展示，则变得简单明了。例 如，用语言去准确地描述一个人的外貌几乎是不可能的，而用一张照片就变得轻而易 举，见照片如见其人。随着计算机科学技术的发展，计算机图像处理学科也迅速成长， 深入到各个领域，如航空航天、卫星遥感、军事侦察、生物医学工程、工业生产以及 人们的日常生活。 图像既然是人们在日常生活中获取外界信息的主要方式，那么图像信息的保存和 传输也就显得尤为重要了。然而，在日常生活和科学研究应用中，我们经常会碰到一 些图像信息缺损的现象，它们可能会以多种方式呈现，如图像破损、图像划痕、污渍 斑点、部分图像被遮挡、网络传输丢失等等。这些现象都导致了图像信息的不完整， 破坏了整幅图像的可读性和美观性。图像修复技术就是针对这一问题，利用图像中的 已知信息，依托一定的修复准则，实现缺损信息的重现，从而恢复全图视觉上的完整 性。 图像修复技术起源于欧洲文艺复兴时期，是一项古老的艺术。当时，为了恢复美 术作品中丢失或被损坏的部分，并尽力保持作品的整体效果，人们利用自己的感知力 和想象力来填补裂缝，使画面恢复原貌。这样的工作完全是一种手工行为，需要由富 有经验的人员来处理，而且处理结果一旦形成就不可能再更改，稍有疏忽就将对珍贵 的艺术瑰宝造成不可挽回的损失，因而具有相当高的风险。近几十年来，随着计算机 技术的高速发展，世界日益呈现数字化，许多珍贵的文物国画、档案文件或图片等， 都可以通过扫描输入到计算机中，形成数字图像长期保存。这样的情况下，利用数字 化技术进行图像修复，就避免了对实物直接修复带来的风险，节省了大量的人力物力 和财力，而且可以进行反复的修复直到达到满意的效果。 在2 0 0 0 年新加坡的一次学术会议上，m b e r t a l m i o 等人首次提出了数字图像修复 技术的概念【l 】。数字图像修复是指对那些局部数据信息完全丢失的图像进行修补，以恢 复其完整性和原有的视觉效果，并使观察者无法觉察到图像曾经缺损或己被修复。由 至室耋翌查耋至圭墼耋兰茎篓篓兰兰：霍 于该技术不需要直接处理原作，可以根据需求反复调整，最终再确定采用何种修复方 法，因此安全可靠，具有很高的实用价值。 1 2 目的与意义 图像修复就是重构图像中缺少或者损坏的部分，以达到恢复图像完整性的目的。 在现今的数字时代，数字图像修复技术已成为当前计算机图形学和计算机视觉中的一 个研究热点，在古文物壁画保护l l 卅、动态影像特技制作1 1 , 2 , 7 - 9 1 、多余目标物体剔除( 如 视频或图像中删除部分物体、文字、小标题等) 1 1 , 2 , 7 , 9 - 1 6 1 、图像编码和压缩【2 ”1 、图像缩 放及超分辨率分析 2 ：s - 2 0 1 、图像无线传输和视频通信中的误差隐匿1 2 1 2 2 1 等方面有着重大 的应用价值。 数字图像修复技术有很高的应用价值及研究意义，具体来说主要有以下几个方面： m 保护古文物字画i i 叫 这是数字图像修复的原始目标之一，它能够修复有损伤的珍贵艺术作品。由于年 代久远或人为的破坏，大量珍贵文物都不可避免地出现破损，例如永乐宫的壁画，西 藏的唐卡等具有高度艺术价值和社会价值的古文物。将这些珍贵的作品扫描进计算机 后，通过数字图像修复技术，只需要确定待修复的区域，计算机就可以按照指定的算 法对这些珍贵的文物图像进行修复，而且修复效果较好，同时也避免了人工操作所带 来的巨大风险，节省了大量的人力物力和财力，如图l - 1 。 图i - 1 文物字画修复( 备注：彩色图像) ( 2 1 修复照片丢失的信息1 棚 在生活中，照片图像的破损是一种屡见不鲜的情况，例如照片被不小心折叠或划 伤，由于放置不当受潮脱落，或者照片、胶片被污染，这时就需要数字修复技术- 如 图1 _ 2 。 至童耋塑奎茎至圭! 塞兰耋堡堡圣堡：里 茛i 鹞 。，蔼 图i - 2 照片修复 r 3 1 修复因网络传输、图像扫描等造成的残缺图像 在网络上进行图像传输时，如果传输层采用的是用户数据报协议( u d p ) 协议，且传 输过程中发生了数据包的丢失，那么在接收端接收到的图像就会出现残缺，这种数据 的丢失会直接影响到接收端图像的质量。为了不影响或尽可能少地影响接收到的图像 质量，可以采用数字图像修复技术对丢失信息的图像进行修复，使得接收到的图像没 有显示上的空白，改善其视觉效果。不仅如此，采用修复技术在接收端对传输过程中 发生错误的块进行处理，可以在不增加网络带宽以及不改变原有通信协议的情况下改 善接收端图像的质量，如图l 一3 。 图1 0 数据条块修复 ( 4 ) 去除图像及视频中的文字、划痕 当一幅图像或一段视频中有过多的文字或划痕时，往往会影响甚至降低观看者的 欣赏兴趣，影响人眼对视觉信息的获取。通过数字图像修复技术可以消除这种文字障 碍，恢复出原来的视觉效果，如图1 4 。 a 一 、眵一o套，”飞，善 ，磐丫 叠妻耋兰查耋堡圭至塞圭兰堡篓圣薹：要 闰1 4 文字去除( 备注：彩色图像) ( 5 ) 遮挡物以及特定目标的去除 9 - “i 在某些领域，困为某种目的或需要，可能要对图像中的多余目标进行处理，如去 除一些不需要的人物或物体，或者隐藏图像中的一些重要军事目标等等。这些都需要 在移除目标之后对空缺的区域进行填充，咀便达到不留痕迹的效果。这时使用图像修 复技术可以达到预期的效果，如图l - 5 。 图1 - 5 目标移除( 备注：彩色图像) f 6 1 图像放大和超分辨率分析b 1 9 - 2 0 l 如何通过分辨率较低的图像来重建分辨率较高的图像是图像超分辨率分析领域所 关心的问题之一。解决该问题，最为常见的方法是图像插值，比如零阶保持、职线性 插值、样条插值等。但是，对于较为复杂的图像信号，插值的方法无法带来新的信息， 例如恢复原始图像中的高频损失。而通过数字修复技术，可以将低分辨率下的像素值 看作高分辨率下的初值，并以此作为有效信息，结合人类视觉规则以及相应的数学模 型，修复剩余区域，这能够获得较好的效果瑚j 。 图像编码和压缩口 1 7 j 图像压缩技术主要是应用了冗余信息的可去除性而图像修复技术本身就是对缺 损区域的填补，这一点两者是类似的。 采用修复技术进行压缩的方法能够利用视觉冗余，在压缩时仅编码部分图像信息 西南交通大学硕士研究生学位论文第5 页 如边缘、高频图像信息块等，其余部分通过修复技术来重建，这可以提高编码效率和 图像质量【2 2 1 。 总之，数字修复技术作为一种先进的图像处理技术在很多领域有着广阔的应用前 景。以上列举了一些可能出现信息缺失的情况，当然还有其它的应用，这里就不再一 一列举了 1 3 国内外研究现状 图像修复起源于欧洲文艺复兴时期，是一项古老的艺术，其最初的目的是为了恢 复中世纪美术作品中丢失或被损坏的部分，同时保持作品的整体效果。近几十年来， 随着数字化技术的发展，数字图像修复技术逐渐被人们推崇，它避开了在原始作品上 的操作，极大地推动了图像修复技术的发展。自从m b e r t a l m i o 等人【l 】将数字图像修复 技术引入到图像修复领域的，数字图像修复技术就得到了广泛的应用。 近些年，国内外发表的图像修复方面的论文提出了很多卓有成效的修复模型和方 法。其中最具代表性的是基于偏微分方程的模型和方法，以及基于纹理合成的模型和 方法，当然还有其他方法，这里简单回顾一下。 ( 1 ) 基于偏微分方程的图像修复方法 基于偏微分方程( p a r t i a ld i f f e r e n t i a le q u a t i o n s ，p d e ) 的数字图像修复模型有很多， 也是较先提出的一类修复模型。 m b e r t a l m i o 等【l j 提出的基于偏微分方程的修复方法是一种模拟专业人员手工修复 图像的修复方法，它将基于扩散的高阶偏微分方程应用于图像修复，开创了基于偏微 分方程图像修复方法的先河，简称b s c b 模型。该算法主要是通过将待修复区域周围的 有效信息沿着边界区域的等照度线( i s o p h o t e s ) 的方向各向异性的向待修复区域内延伸， 并逐步迭代产生修补信息，从而完成对图像的修复。 接着，在偏微分方程的基础上，c h a n 和s h e n l 2 1 提出了一种整体变分( t o t a l v a r i a t i o n ，t v ) 模型，他们采用欧拉一拉格朗日方程和各向异性扩散的方式来保持等照 度线的方向。这个模型在修复小区域以及去噪方面有很好的效果，但是对于较大区域 的破损以及破损区域的边界常常不能得到很好的修复效果。这是因为t v 模型总是用 最短的直线连接断裂的条状结构，不能达到连接断裂边缘的要求。 针对上述缺点，c h a n 和s h e n 又提出了基于曲率驱动扩散( c u r v a t u r e d r i v e n d i f f u s i o n ，c d d ) i 拘修复模型【1 0 】。c d d 模型是t v 模型的扩展，其在定义扩散的力度方面， 考虑到了等照度线的曲率信息【l0 1 。由于在扩散过程中考虑到了轮廓的几何曲率，使得 在修复过程中不可能出现曲率为无穷大的情况，一定程度上解决了视觉连通性的问题。 它可以处理较大的区域，同时还具有一定的抗噪声能力。但该模型也是用直线逼近的 方法来修复待修复的区域，所以修复区域边界不光滑以及模糊的现象仍然存在。 西南交通大学硕士研究生学位论文第6 页 i l l i i ii i i,_ i i 蔓皇曼曼曼曼曼曼曼曼曼 另外，还有很多变分的方法通过引入的能量方程和欧拉拉格朗日方程来建模， 从而实现破损图像的修复f 2 4 0 2 7 j ，或者是通过改进的p d e 方法【2 8 3 0 】来解决图像的修复问 题。 总的来说，这几年，基于p d e 方法的图像修复技术发展很快、突破很多。但是由 于p d e 本身没有考虑修复的先后顺序，且对高频部分没有充分的考虑，所以传播过程 会引入模糊，这在修复较大区域时会比较明显，同时由于单纯的基于p d e 的方法只考 虑到了结构的修复而没有考虑到纹理的修复，从而也使得该方法不适合于纹理区域的 修复。 ( 2 ) 基于纹理合成的图像修复方法 基于纹理合成的图像修复方法是另一种有效的修复方法，特别是针对破损区域较 大的纹理图像具有很好的修复效果。 e f r o s 和l e u n g 于l9 9 9 年，在i e e ei n t e m a t i o n a lc o n f e r e n c e 上提出了基于单个像 素点合成的非参数采样纹理合成算法【3 1 1 。该算法运用了马尔可夫随机场( m a r k o v r a n d o mf i e l d ，m r f ) 模型1 5 4 1 ，其基本思想是：选择一个待修复点，根据其周围未丢失的 或己合成的像素点的值来计算待修复点的值，在待修复区域中逐点计算修改，直到整 幅破损图像都被修复完成。该算法对于结构性纹理的合成取得了非常好的效果，但是 由于每次只修复一个点，且需要搜索一遍样本图，时间代价比较大。 在上述算法的基础上，y iw e i 和m a r cl e v o y 在2 0 0 0 年提出了快速纹理合成算法， 也被称为w l 算法f 3 2 1 。该算法采用l 形邻域规则，直接在指定大小的区域上采样，从 一个初始的种子点开始，一点一点的向外合成纹理。这一算法简单直观，对许多随机 性纹理图像的合成效果比较理想，但是由于基于单个像素点的合成方法不能反映纹理 图像所包含的结构方面的信息，所以点合成算法不太适合于结构性纹理的合成。 接着，m i c h a e la s h i k h m i n 对w l 算法进行了改进，提出了a s h i k h m i n 算法【3 3 1 。该 算法利用相关性原理，把搜索范围限制在当前点的邻域内。根据l 邻域像素点在输入 图像中的对应位置，偏移相应量后获得待选点。a s h i k h m i n 算法【3 3 j 对绝大多数的自然纹 理的合成都能取得很好的效果，并且由于改变了搜索策略，算法的时间代价也得到了 降低，效率明显提高。 针对自然图像具有方向性的特点，s b o r i k a r 等【3 4 】提出了一种使用纹理合成原理的 快速填充算法。j s u n 等【3 5 j 将结构纹理扩散的概念引入进来，提出了一种能够修复结构 纹理和其它重叠纹理的算法。， 总的来说，基于单个像素点的合成算法，非常耗时。因此，后来又有人将m r f 模 型【5 4 1 由像素点层次推广到纹理块层次，提出了基于块拼接的纹理合成方法【5 5 】【5 6 】，进一 步加快了合成速度，提高了合成效果。 基于纹理合成图像修复技术的另外一个重要分支是基于样本块的图像修复方 西南交通大学硕士研究生学位论文第7 页 篡i _ i m 鼍曼! 舅舅曼鼍曼曼曼曼皇兰皂曼曼曼! 鼍皇曼曼皇曼皇曼曼曼曼曼蔓曼曼曼曼舅曼曼鼍皇曼蔓 法【3 7 1 3 8 】【3 9 】，该算法的主要思想是：首先确定破损区域的填充边缘，计算填充边缘上所 有待修复块的优先值；然后选取优先值最大的块，并在图像源区域中，搜索与该图像 块中已知部分的均方误差最小的块；最后传播纹理及结构信息并更新待修复图像破损 边缘以及相应的优先权。 基于样本块的图像修复方法结合了p d e 模型和纹理合成两种方法的优点。基于 p d e 模型的修复方法是通过扩散的方式把线性结构传播到目标区域的，其扩散过程会 造成一定的模糊，并且随着填充区域的扩大，p d e 模型引起的模糊也将变得更为明显。 基于样本块的图像修复算法是一个既复制纹理又复制结构的过程，纹理和结构信息的 同时传播由一个单独的、有效的算法实现。 ( 3 ) 结构和纹理图像的修复方法 对既含有结构又含有纹理的图像，仅仅使用偏微分方法或纹理合成方法中的一种 方法不能取得较好的修复效果，所以有些研究人员结合两种方法，发挥两种方法的长 处对这类图像进行修复，比较典型的有： h y a m a u c h i 等【4 0 j 提出了结合多分辨率纹理合成的修复方法，通过离散余弦变换 ( d c t ) 将原图像分解成高频和低频两个部分，低频部分用快速修复方法处理，高频部分 则通过构造高斯( g a u s s i a n ) 金字塔，对每一层使用多分辨率纹理合成方法填充，输出结 果为两部分的和。 m b e r t a l m i o 等【4 1 】利用整体变分最小化的方法，提取出图像的结构部分，继而用一 个震动函数来建模纹理或噪声部分，最终将图像分解为结构部分和纹理部分。然后分 别采用合适的修复算法实现两部分的修复。最后把这两部分修复的结果叠加起来，就 是最终的修复结果。类似方法还有文献 4 2 】等。 s d r a n e 等【2 l 】使用同时修复纹理和结构的方法，对无线传输过程中丢失信息的图 像块进行修复，取得良好的效果。 此外，还有研究者使用离散小波变换把图像分解为高频成分与低频成分，在不同 的小波分辨率上对图像的不同频率成份进行修补f l5 】。图像的低频部分采用基于p d e 或 t v 的方法进行修复，高频部分采用基于样本的方法修复，直到完成小波系数的修复， 而后反变换重建得到修复图像。类似地，利用小波变换多分辨率性质的算法还有文献 4 3 ，4 4 】等等。 ( 4 ) 基于稀疏变换的图像修复方法 利用图像在某一变换域的稀疏特性进行残缺图像的修复，是一个新颖的方法。目 前，国内基于这一方法的研究较为欠缺。图像在某个变换域的稀疏性，是这种方法可 行的前提【拍1 。 现有的基于稀疏域的图像修复方法，一般把图像修复视为一个不完整信号的重建 问题。文献【4 6 】采用线性规划的方法来解决稀疏分解【4 5 】的问题，介绍了利用变换域稀疏 西南交通大学硕士研究生学位论文第8 页 皇皇曼皇曼皇曼曼曼曼曼曼皇曼曼曼! 曼曼曼曼曼毫曼鼍曼曼| 1 1 舅曼皇! 曼鼍曼曼曼曼曼曼曼! 曼曼皇曼曼曼曼曼! ! ! 曼曼皇皇! 曼曼曼曼曼曼曼笪皇曼曼曼曼曼曼曼曼曼皇皇曼曼曼曼! 曼 性重建缺损数字信号的可行性以及局限性，并且给出了能够确保成功恢复原信号的限 制条件。 此外，文献 4 7 】将图像的稀疏性用作代价函数，并把图像修复的问题视为对缺失数 据的估计，通过期望值最大( e x p e c t a t i o nm a x i m i z a t i o n ，e m ) 算法进行图像修复。该算法 隐含的条件为：存在足够的可以重建图像受损部分的稀疏表示。文献 4 9 】【5 0 】通过假定 图像在缺损区域是稀疏的，且部分稀疏变换的系数接近于零，并建立模型给出了该算 法可行的理论依据以及实现方法。文献【5 l 】通过采用k s v d 训练彩色图像得到的学习 字典进行彩色图像的去噪和修复。有关这方面比较好的算法还有文献 5 2 】。 总的来说，图像修复的方法很多。但是由于图像修复是根据已知信息推断完全缺 失的信息，因此修复算法和原图像本身的特征息息相关，再加上自然图像非常复杂， 既包含结构信息，也包含纹理细节，所以目前还没有“包治百病的算法模型。 1 4 图像修复算法的评价标准 对图像修复算法好坏的评价可以从两个方面考虑：一是修复效率，即修复算法运 行的时间多寡；二是修复效果。算法的效率可以用时间来衡量，较容易量化。而对于 图像修复效果的评价，目前尚没有统一的标准。图像修复本身是一个典型的病态问题， 没法用一个数学过程来准确描述。针对同一幅破损图像，不同的修复算法有可能会得 到完全不同的修复结果。为此，对图像修复效果的评价可以从主观和客观两个方面来 考虑。 主观方法是对修复得到的图像本身的评价，即人对修复后图像的主观感受，主要 是通过人的眼睛来鉴定图像是否“完整、是否“合理”。人眼对于修复差别比较大 的图像有很直观的感觉，而对于细节方面的差别就很难区分开来，而且不同的人针对 相同的图像可能会有不同的感觉结果。 主观评价方法受评价者的主观影响，而最常用的评价图像质量的客观方法是峰值 信噪比( p s n r ，p e a ks i g n a lt on o i s er a t i o ) ，其公式为： 仃2 p s n r = 1 0 l o g ( 面- - , f ) ( 1 - 1 ) ( 厶( f ，) 一讹埘2 m s e = 旦生丽鬲一( 1 - 2 ) m n 其中，g ，代表图像上灰度值的最大可能值，m s e 指两幅图像所有对应像素点像素 值的均方误差( m e a ns q u a r ee r r o r ) ，1 0 ( i ，_ ，) 和正( ，) 分别代表原图像和修复后的图像在 对应像素点( f ，_ ，) 的像素值，m xn 表示图像的大小，即图像像素的个数，p s n r 的单位 西南交通大学硕士研究生学位论文第9 页 曼舅! 曼曼曼曼曼曼曼曼! 曼曼曼曼曼曼曼曼曼曼曼曼皇曼曼曼曼! 曼曼皇曼皇! 曼曼! 曼曼! 曼曼曼! ! 曼曼曼! ! 曼曼! 曼曼量曼曼! 曼! 曼曼! 曼曼鼍i 一一一一 一量i i 为分贝( d b ) 。觥值越大就代表修复后图像与原图像相比误差越小，即失真越少，修 复效果越好。g ，的值一般取2 5 5 ( 默认图像是8 位量化的) 。 文中采用主观和客观相结合的方法来评价修复算法的修复效果。 1 5 本文的结构安排 论文余下部分共分为五章，内容安排如下： 第2 章详细阐述了几种经典的图像修复模型，包括基于偏微分方程的b s c b 模型、 t v 模型以及基于纹理合成技术的马尔可夫随机场模型，给出了相应的理论分析，并就 部分模型给出了仿真实现。 第3 章着重介绍了一种基于样本块的图像修复算法及其改进，详细阐述了具体的 实现方法及步骤，并对比分析了改进前后的实验效果。 第4 章提出了一种简单的基于等照度线扩散的图像修复算法，给出了详细的理论 分析和算法实现细节，并在实验仿真的基础上，讨论了该算法的优点以及缺陷。 第5 章提出了一种结合超小波变换和等照度线平滑的图像修复迭代算法，讨论了 它的原理，并实验验证了算法的可行性和有效性。 文章的最后，对全文的工作重点进行了总结，同时也展望了本课题进一步研究的 方向。 西南交通大学硕士研究生学位论文第1 0 页 第2 章几种经典的图像修复模型 在图像修复的问题中，破损区域的检测尚没有很好的方法，所以一般都需要用户 事先标定出需要修复的区域，而后跟据某些算法或模型实现图像破损区域的重建。 根据图像破损局域的大小，可将图像修复问题简单划分为以下两个方面1 5 7 1 ) 小区域破损的修复，如去除图片上的文字、划痕、折痕、斑点等。这类问题的 破损区域具有相对面积小、不具备纹理的特点 2 ) 大区域破损的修复，如图像中标定目标的移除、块状缺损区域的填补等。这类 问题的破损区域具有相对面积大、拥有纹理区域、存在结构信息的特点 上述两种情况，分别对应了现今图像修复领域的两类经典的算法模型【5 7 】： 1 ) 基于偏微分方程( p d e ) 的小尺度破损图像修复技术 2 1 基于纹理合成的大块区域填补技术 2 1 基于偏微分方程的图像修复模型 基于偏微分方程的图像修复模型很多，这里仅介绍两种比较经典的修复模型， b s c b 模型和模型2 1 。 2 1 1b s c b 模型 图像修复是由m b e r t a l m i o 等人【1 1 首次正式引入到数字图像处理中来的，他们采用 一种基于高阶偏微分方程的方法来模拟传统的手工修复过程，利用图像缺损区域的边 缘信息来确定待修复区域的信息内容和扩散方向，从缺损区域边界各向异性地向待修 复区域内扩散，开创了利用偏微分方程的方法进行图像修复的先河。 ( 1 ) b s c b 模型原理 如何将破损区域周边的边缘信息延伸到破损区域内部是图像修复中重点考虑的问 题，这个可以通过连接跨越待修复区域的等照度线来完成【1 1 。如图2 1 所示，q 为待修 复区域，弛为q 的边缘，为信息扩散的方向( 即等照度线方向) 。所谓等照度线就是 指灰度值在同一等级上的一系列像素点所组成的线，在同一等照度线上的所有像素点 的灰度值均相等或相差甚微。 在b s c b 算法中，破损区域的修复过程被看作是一个信息扩散的过程，且为了防 止等照度线的交叉，会适时地引入各向异性平滑扩散【1 j 。 西南交通大学硕士研究生学位论文第11 页 图2 - 1 待修复i 基域及信恩扩散方向不恿图 设i o ( i ，j ) ：【0 ，肘】【o ，m 】j r ，且【0 ，m x 0 ，m 】c n x n ，是一幅离散的二维灰度 图像。数字图像修复技术通过建立一个图像函数来描述一个手工修复的过程，即 ，( f ，j ， 1 ) ：【0 ，膨】x o ，m xn r ，并令，( f ，j ，0 ) = z o ( i ，j ) ，且l i mi ( i ，j ，疗) = g ( i ，j ) ，这 里，厶( f ，j ) 就是最终的图像修复结果。这样，破损图像的修复过程就可描述成如下的 一个迭代过程【1j ： f + 1 ( f ，j ) = ，”( f ，) + 衅( f ，) ，v ( i ，j ) q ( 2 - 1 ) 上述方程中，上标玎表示算法的迭代次数，即图像修复的次数，( f ，j ) 为像素点的 二维坐标，缸是每次迭代的步长，v ( i ，j ) 表示图像f ( i ，j ) 的修正量，整个迭代过程仅 在破损区域q 内进行。随着迭代次数的增加，图像的修复效果应该越来越好。而当疗增 大到一定程度时，”( f ，j ) 改善的效果将会变得不明显，即，”1 ( f ，) ，”( f ，) ，这时算法 将停止。 进一步地，对于迭代方程2 1 中修正量r ( f ，j ) 的描述，可以写成如下形式【1 】： f ( f ，) = 皑( f ，j ) n ”( f ，) ( 2 2 ) 其中g ( i ，) 表示传递的信息，心( f ，j ) 为r ( f ，j ) 变化的度量，n ”( i ，) 是图像信息的扩 散方向。由方程2 1 和方程2 2 可知，当图像修复迭代过程达到平衡状态时，即 ，叶1 ( f ，) ，”( f ，j ) ，则a l ”( i ，j ) on ”( f ，j ) 0 ，也就是说图像信息r ( f ，j ) 已经沿着n ”( f ，j ) 方向传递了。这里我们希望图像信息是平滑传递的，r ( f ，) 就是图像的平滑估计因子， 通过简单的离散拉普拉斯方程就可得到，即r ( f ，j f ) = 乓( f ，歹) + i y y ( ，j ) 。n ”( f ，) 是等照 度线方向，它同图像在该点的梯度方向是垂直的，因此可以通过将梯度矢量旋转9 0 度 获得。 单纯的图像修复迭代过程不能有效地确保方向场的正确演化【1 1 。因此每隔若干步修 复迭代，就要进行几步反复扩散，这样就可以避免曲线的交叉。为了在修复过程中达 到不丢失边缘性的目的，使用各向异性扩散，各向异性的扩散能够保持边缘的光滑； o a l r i ，f ) 2 9 5 ( j | ( 。i ，, ，j ，, ，t ) l a a l q ( i 。，_ ，f ) l ，v ( 瓦) q 。 。2 3 ， 烈“，= ? 凛? 一 巩u 卜l a l ”( i , j ) - 端j | v i n ( i , j ) p 4 ， ， 型：尘丝型坠( 2 - 7 ) 雨调一丽雨而雨萧 五一( j ，) ：一z x l ( i ，j ) 鼎 ( 2 8 ) m 驯- 笛等等等z p 9 ， 西南交通大学硕士研究生学位论文第1 3 页 曼曼曼曼曼曼曼曼曼皇曼曼曼鼍曼曼量曼蔓曼曼曼鼍曼笪曼曼! 曼曼曼曼! 曼! i i ! 曼曼曼曼! 曼量曼曼! 曼曼皇曼! 蔓! 曼曼曼曼曼曼! 曼皇曼曼! 皇曼曼曼量曼量曼曼曼曼曼曼曼曼! 曼曼 其它定义以此类推。 这里采用半点法来求解e ( ，) 、e ( f ，) 、i y ( i ，) 、g ( i ，) 。如图2 - 2 ，采用3 3 的 矩形窗口求解，其中( f 一1 2 ，j ) ，( i + 1 2 ，) ，( f ，j 一1 2 ) ，( f ，j + l 2 ) 为假想像素点( 注：像 素邻域步长为1 ) 。 一。qp l l ，卜1 2 ) ( i - v 2 d ( f + 1 t z 力 一 ( ，力 。( 1 j + l 2 ) - 卜 g ，- ，+ 1 ) 图2 - 2 目标像素临域像素点示意图 这里， e ( f ，j ) = j ”( + 1 2 ，j ) - i ”( f 一1 1 2 ，j ) = 札( ，”( f ，) + i ”( f + l ，埘一( ，”( j 一1 ，) + ，”( f ，川 ( 2 - 1 0 ) 1 = 去( ，”( f + 1 ，) 一i ”( i - 1 ，) ) 二 乓( f ，) = e ( f + 1 2 ，j ) 一e ( f 一1 2 ，) = ( ，”( f + l ，j ) - i “( f ，埘- ( ”( f ，j ) - i ”( i - 1 ，朋( 2 - 1 1 ) = ，”( f + 1 ，) + ，”( i - 1 ，) 一2 1 ”( f ，) 同理可得 1 q ( i ，) = 去( ，”( f ，j + d i ”( f ，j 一1 ) ) ( 2 1 2 ) ，：( f ，) = i n ( f ，j + 1 ) + i n ( f ，j - 1 ) - 2 i ”( f ，) ( 2 - 1 3 ) ( 3 ) 实验结果 本实验结果采用的实验参数是：每次循环，修复次数为1 5 次，扩散次数2 次，迭 代步长取o 1 ，总的循环次数取1 0 0 0 次，根据上文的介绍，现总结b s c b 修复算法【l l 的流程如下： ( 1 ) 读入待修复图像和破损模板图像； ( 2 ) 对于破损区域的待修复像素点，利用周围未受损区域的信息，进行几次修复， 求得像素点的修正值； 西南交通大学硕士研究生学位论文第1 4 页 ( 3 ) 对破损区域内的像素值，利用周围完好的区域信息，进行几次扩散； ( 4 1 如果迭代后的图像与上一次迭代的图像之差小于给定的闽值，则迭代结束，输 出修复后的图像，否则转入( 2 ) 进行新的迭代。 对于彩色图像，针对r ，gb 三个分量，可以进行三通道的修复，然后将修复好的 三个分量进行合成。 实验一：图像大小为3 9 8 x 4 6 2 a ) 有折痕的老照片 b ) 破损掩膜模扳图像 c ) 修复结果 图2 - 3 老照片折痕的修复( 备注：彩色图像) 至里圣塑奎兰至圭2 耋老：兰彗耋篁：! 至 实验二：图像大小为4 3 8 x 2 9 7 曲有文字遮挡的的历史照片b 1 掩膜模扳图像 c ) 修复结果 图2 4 文字遮挡物的去除( 各注：彩色图像) 由上述实验结果，可以粗略的得出：b s c b 修复方法在修复较小尺寸的图像破