（信号与信息处理专业论文）数字图像修复算法研究.pdf

中文摘要 图像修复是数字图像处理领域里的一个重要分支，也是当前计算机图形学和 计算机视觉领域的一个研究热点。数字图像修复就是按照一定的原则，根据原有 数字图像中的有效信息，对其中的信息缺损区域进行信息填充的过程，其目的是 恢复原图像连续、完整、自然的视觉效果。 根据图像修复理论和方法的不同特点，图像修复技术大致可以分为两大类： 一类是基于偏微分方程( p d e ) 的图像修复技术，另一类是基于纹理合成的图像 修复技术。研究表明，基于偏微分方程的图像修复技术适用于对划痕、污渍和文 字等小目标区域的修复，而基于纹理合成的修复算法则在对大面积的破损区域的 修复过程中，取得了良好的效果。 本文首先介绍了数字图像修复技术的背景，并对数字图像修复的数学理论基 础进行了简要的介绍和描述，如最佳猜测原理和贝叶斯框架理论、图像修复的视 觉心理学，以及纹理合成技术等。 本文详细讨论了几种典型的基于p d e 的修复模型( 如b s c b 模型、t v 模型、 c d d 模型、e l a s t i c 模型和m u m f o r d s h a h 等) 及其算法原理，并通过实验仿真， 对上述算法的优缺点进行了分析和对比。 本文重点研究了基于纹理合成的图像修复算法。其中基于样本块的修复算法 同时考虑了图像中的纹理和结构特征，对比较复杂的待修复区域取得了比较理想 的修复效果。针对这种方法固有的缺点，如搜索匹配块的过程比较费时，并且容 易产生误匹配等，本文提出了一种基于边缘的图像修复算法。 首先根据待修复区域周围边缘的特征获得这些边缘的最佳自动匹配，并连接 待修复区域内丢失的边缘，然后沿着这些被连接的曲线，在有效信息区域内的曲 线周围寻找最优匹配块来合成包含边缘的纹理块，以恢复图像中丢失的结构信 息，最后再填充其中丢失的纹理信息。仿真实验表明，对同时存在结构信息和纹 理信息的复杂自然图像，利用本文算法能够取得满意的修复效果。 关键词：图像修复；图像补全；p d e 模型；纹理合成；结构传播； a b s t r a c t d i g i t a li m a g ei n p a i n t i n gi s a ni m p o r t a n tb r a n c hi nt h ef i e l do fd i g i t a li m a g e p r o c e s s i n ga n dah o ts p o ti nc o m p u t e rg r a p h i c sa n dc o m p u t e rv i s i o n d i g i t a li m a g e i n p a i n t t i n gi st of i l li ni n f o r m a t i o nf r o mv a l i di n f o r m a t i o na r e at od a m a g e dp a r ti nt h e i m a g ew i t hc o m p u t e ru n d e rc e r t a i nc o n s t r a i n t ，w h i c hc a l l r e c o v e rt h ei m a g et ot h e e x t e n tt h a tt h ei n p a i n t e di m a g el o o k sc o n t i n u o u s ，i n t a c ta n d n a t u r a lp e r c e p t u a l l y a c c o r d i n gt ot h ed i f f e r e n tf e a t u r e so fi n p a i n t i n gt h e o r i e sa n dm e t h o d s ，t h ei m a g e i n p a i n t i n gt e c h n o l o g yc a n b er o u g h l yd i v i d e di n t ot w oc a t e g o r i e s ，w h i c h a r e p d e b a s e di n p a i n t i n ga n dt e x t u r e b a s e dc o m p l e t i o nt e c h n o l o g y r e s e a r c h e ss h o wt h a t t h ef o r m e rt e c h n o l o g ya p p l i e st ot h er e c o v e r yo fs c r a t c h e s ，b l o t sa n dc h a r a c t e r s h o w e v e r ，t h el a t t e ro n eo b t a i n sg o o de f f e c t sw h e ni tc o m e s t ot h em i s s i n gr e g i o nw i t h l a r g es c a l e f i r s t l y ，t h i st h e s i si n t r o d u c e st h eb a c k g r o u n d ，p u r p o s ea n da p p l i c a t i o n s o ft h e i n p a i n t i n gt e c h n o l o g y , a n dg i v e sab r i e f i n t r o d u c t i o na n dd e s c r i p t i o no ft h ei n p a i n t i n g p r o b l e mi n m a t h e m a t i c s t h ec o r r e l a t i v et h e o r e t i c a lp r i n c i p l e s ，s u c h a so p t i m a l h y p o t h e s i sp r i n c i p l e ，b a y e s i a n a r c h i t e c t u r et h e o r y , v i s i o np s y c h o l o g yo fi m a g e i n p a i n t i n ga n dt e x t u r es y n t h e s i st e c h n o l o g y , a r ei n t r o d u c e di nt h i sp a r t s e c o n d l y ，s e v e r a lc l a s s i cp d e - b a s e di n p a i n t i n gm o d e l s ( s u c h a sb s c b 、t v 、 c d d 、e l a s t i ca n dm u m f o r d s h a h ) a n dt h e i ri n p a i n t i n gp r i n c i p l e sa r ed i s c u s s e di n d e t a i l t h em e r i ta n dd e m e r i to f t h ea b o v ea l g o r i t h m sa r ea n a l y z e dt h r o u g hs i m u l a t i o n e x p e r i m e n t s t h i st h e s i sp l a c e se m p h a s i so n t h er e s e a r c ho ft e x t u r e b a s e dc o m p l e t i o n a l g o r i t h m s 。i nw h i c ht h ee x e m p l a r - b a s e di n p a i n t i n gm e t h o do b t a i n so b v i o u se f f e c tb y c o n s i d e r i n gb o t ht h es t r u c t u r ea n dt e x t u r ei n f o r m a t i o n w i t hr e g a r dt o t h ei n h e r e n t s h o r t c o m i n g so ft h i sm e t h o d ，s u c ha st h et i m e c o n s u m i n gp r o c e s s o fs e a r c h i n g m a t c h i n gp a t c h e sa n dt h el i a b i l i t y o fg e n e r a t i n gm a t c h i n ge r r o r s ，a l le d g e b a s e d c o m p l e t i o na l g o r i t h m i sp r e s e n t e di nt h et h e s i s f i r s t l yt h eb e s tm a t c h i n go fe d g e sa r o u n dt h ei n p a i n t i n gr e g i o ni si m p l e m e n t e d b vt h ee d g ef e a t u r e s ，s e c o n d l yt h em i s s i n ge d g e si ni n p a i n t i n gr e g i o na r ec o n n e c t e d ， t h i r d l yt h et e x t u r ep a t c h e sc o n t a i n i n ge d g e s a r es y n t h e s i z e da l o n gt h ec o n n e c t e de d g e s b ys e a r c h i n gb e s tm a t c h i n gp a t c h e s a r o u n dt h ee d g e si nt h ev a l i di n f o r m a t i o nr e g i o n ， a n dt h e nt h es t r u c t u r ei n f o r m a t i o ni si n p a i n t e d ，f i n a l l yt h et e x t u r ei n f o r m a t i o ni nt h e i n p a i n t i n gr e g i o n i sf i l l e d s i m u l a t i o ne x p e r i m e n t s p r o v e d t h es a t i s f a c t o r y p e r f o r m a n c eo ft h ea l g o r i t h mi nc o m p l e xi m a g e sw i t hb o t ht e x t u r ea n ds t r u c t u r e i n f o r m a t i o n k e yw o r d s ：i n p a i n t i n g ；c o m p l e t i o n ；p d em o d e l ；t e x t u r es y n t h e s i s ；s t r u c t u r e p r o p a g a t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得：丞洼太堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：签字日期： z 护秒7 年多月日 学位论文版权使用授权书 本学位论文作者完全了解丞洼太堂有关保留、使用学位论文的规定。 特授权云洼太堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 聚煞、 签字日期：z 。0 1 年s 月2 ， 签字日期：妒。歹年夕月彳日 第章绪论 1 1 研究的背景及意义 第一章绪论 图像修复是一项古老的艺术，早在欧洲文艺复兴时期，人们就开始对一些因 年代久远和保管不周而破损的中世纪的绘画作品进行人工修复。当时主要是通过 填补图像中的裂缝或划痕来使画面恢复原貌，这项工作被称为“i n p a i n t i n g ”或 “r e t o u c h i n g ”。 随着数字时代的到来，数字图像技术在扫描仪、数码相机、数码摄影机、数 字电视以及其他的数字传输设备中已经得到广泛应用，珍贵的绘画作品可以被扫 描到电脑里，利用计算机软件进行处理。数字图像修复技术已经成为当前计算机 图形学、计算机视觉和图像处理领域的研究热点之一。m b e r t a l m i o 等人【l 】最早把 “l n p a i n t i n g 的概念引入到数字图像处理领域，近年来有许多文献用 “r e s t o r a t i o n 【1 1 加】，。c o m p l e t i o n 1 0 ，4 3 】，c t r e p a i r i n g 3 9 1 ”，i n t e r p o l a t i o n 6 , 2 6 1 ，等术语从 不同的角度来研究图像修复技术。相比古代的人工修复技术，数字图像修复技术 可以在不改变原图像的基础上尝试不同的修复方法，并且能够自动地完成修复过 程，为图像修复提供了更加安全便捷的途径。 数字图像修复技术的应用非常广泛。许多因素都会导致图像上局部信息的缺 损：比如对原本就有划痕或破损的图片扫描后得到的图像；为了某种目的移除数 字图像上的目标物体或覆盖文字后留下的信息空白区；在数字图像的获取、处理、 压缩、传输和解压缩过程中凶信息丢失所留下的信息缺损区域等【2 4 1 。因此，除了 以上提到的珍贵绘画作品的修复外，数字图像修复技术在影视特技制作、目标移 除( 如划痕、文字覆盖、人物等) 、图像缩放、图像有损压缩、视频通信的错误 隐匿等方面都具有重要的应用价值。 1 ) 古文物字画的修复：对于一些陈旧或破损的美术作品或照片等，由于年 代久远或其它一些原因，可能出现裂纹、划痕等破损，利用数字图像修复技术进 行修复，可以恢复良好的视觉效果。 2 ) 老化照片的修复：对于老化的照片、电影胶片等，对其中可能存在折痕、 雪花状的斑痕，也可以用数字修复技术进行简单地修复。 3 ) 覆盖文字去除：有些图像中由于存在过多的文字而妨碍了观察者对图像 本身的观察和认识，利用数字修复技术可以移除其中的文字，恢复图像的完整信 息。 第一章绪论 4 ) 影视特技：图像修复技术还可以广泛应用于影视制作，以产生影视特效。 5 ) 大目标去除：对于许多具有复杂背景的图像，通过数字修复技术，移除 其中的大目标对象，也取得了很好的效果。 6 ) 压缩图像和视频在传输过程中经常会发生数据丢失，解压后就会有块状 图像信息缺失的现象。这个问题的解决方法在图像编码系统中叫做编码纠错 ( e r r o rc o n c e a l m e n t ) 。如果纠错是在解压后进行，即后端纠错，那就是一个地 道的图像修复问题。 7 ) 图像修复的另一个重要应用就是国际上目前正在研究开发的基于对象的 图像压缩标准，又叫感知驱动编码( p e r c e p t u a l l ym o t i v a t e dc o d i n g ) 。其基本思想 就是只对图像中对象的边缘进行编码，包括边缘的位置和强度，这样可以大大地 降低比特率，而在解码时要用插值的方法重构出对象的表面，即边缘所包围的平 滑区。这种插值也是一种图像修复。 由于图像修复算法可以直接应用于这些领域，因此对数字图像修复算法的研 究具有十分重要的意义。 1 2 国内外研究现状 自b e r t a i m i o ，s a p i r o ， c a s e l l e s 和b a l l e s t e r ti j 在2 0 0 0 年首次提出数字图像修 复技术( i m a g ei n p a i n t i n g ) 这一术语以来，数字图像修复技术得到了广泛的研究， 并成为当前图像处理和计算机视觉领域中的一个研究热点。目前在该领域的研 究，国外已经取得了长足的进步，而国内近年来有不少人也开始了这方面的研究， 但还处于起步阶段。目前国内外主要存在以下的三类修复技术： 一类是用于小尺度缺损目标修复的图像修复( i m a g ei n p a i n t i n g ) 技术，其核 心思想是一种基于偏微分方程( p d e ) 的算法，它利用物理学中的热扩散方程将 待修补区域周围的信息传播到待修补区域中，其典型的方法主要包括( 1 ) m b e r t a l m i o 等人提出的基于b s c b 模型l 】的算法，该算法考虑了各项异性的扩 散，保证了边缘的连续。( 2 ) c h a n 等人【2 】提出的基于整体变分( t v ，t o t a lv a r i a t i o n ) 的修复算法和基于曲率驱动扩散模型【4 】( c d d ，c u r v a t u r e d r i v e nd i f f u s i o n ) 的算 法。t v 方法建立了图像的能量泛函模型，通过解欧拉一拉格朗日方程 ( e u l e r - l a g r a n g ee q u a t i o n ) 修复图像：c d d 方法在t v 方法的基础上考虑了轮廓 的几何信息( 曲率) ，改善了修复效果。由于偏微分方程与变分法可以通过变分 原理相互等价推出，因此上述方法可以统称为基于p d e 的图像修复算法。另外， o l i v e i r a l 3 】通过利用高斯卷积核对图像滤波来修复图像：b a l l e s t e r l l 6 】提出了基于图 像灰度和梯度方向插值的修复算法；周廷方i l9 j 提出了种基于径向基函数( r g f ， 2 第一章绪论 r a d i a lb a s i sf u n c t i o n ) 的修复算法。总体来说，这类方法往往假设图像是分段光滑 的，通过将破损区域周围有效信息扩散到破损区域来实现图像的修复，因此也可 以称为基于结构信息的修复算法。该类算法对裂缝、污点、划痕、文字覆盖等小 尺度破损区域的修复取得了良好的效果。但对于大尺度的破损待修复区域，修复 结果则会产生明显的模糊现象。对于包含丰富纹理信息的待修复区域，也难以取 得令人满意的效果。 随着研究的不断深入，研究人员提出了另一类是用于填充图像中大块丢失信 息的图像补全( i m a g ec o m p l e t i o n ) 技术基于纹理合成( t e x t u r es y n t h e s i s ) 的 图像修复技术。d r o r i 等人】在2 0 0 3 年提出了基于碎片( f r a g m e n t b a s e d ) 的图像 修复算法，将图像中的有效信息区域作为一个训练集用以推断未知区域的信息， 迭代地从图像中选择最近似和最频繁出现的样本块来填充图像中的未知区域。同 年c r i m i n i s i 等人【1 4 】提出了一种基于样本块的修复算法，通过计算构造的优先权函 数来确定填充最匹配样本块的顺序，该算法兼顾了图像纹理信息和简单的结构信 息，保持了纹理的自然过渡和主要结构的连贯性，达到了非常震撼的效果。在此 基础上，t a n g 等人1 1 3 】于2 0 0 4 年提出了新的修复算法，针对c r i m i n i s i 方法中存在 的搜索匹配块耗时过长和容易积累错误匹配的缺点，文中提出了一种基于一致性 局部搜索方法( c b l s ，c o h e r e n c e b a s e dl o c a ls e a r c h i n g ) 来填充缺失信息，这 种方法很好的保持了修复区域的纹理和结构信。总体来说，这一类方法非常适用 于对大面积信息缺损区域的修复，大都考虑了图像中的纹理信息和简单的结构信 息，取得了令人满意的效果，并成为当前的修复算法主要研究方向。 还有一类是b e r t a l m i o 等人于2 0 0 3 年提出基于图像分解的修复技术 r l ，其核 心思想是将图像分解为结构和纹理两部分，用基于结构的修复算法修复结构部 分，用纹理合成技术来填充纹理部分，最后将两部分的结果叠加，类似的算法还 有文献【8 l o 】等。该类方法中，图像分解的时间代价比较大，并且在合成后可能 存在不相吻合的地方。 1 3 论文主要研究内容 本文首先讨论了几类基于p d e 的图像修复算法，包括b s c b 模型、t v 模型、 c d d 模型、e l a s t i c 模型碡 和m u m f o r d s h a h 模型【6 】等，对其中的经典算法进行了实 验仿真，并在此基础上分析和总结了该类方法的优缺点。 本文重点研究了当前修复算法的主流基于纹理合成的图像修复算法，该 类算法适用于对大面积的破损区域的修复，其基本思想是在原图像的有效信息区 第一章绪论 域内选取与破损区域边界上的块最匹配的样本块对破损区域由外向内进行填充， 直到整个破损区域被全部修复。 针对基于纹理合成的修复算法中存在的问题，本文提出了一种基于边缘的图 像修复算法，首先检测出输入图像中位于破损区域周围的与破损边界相交的主要 边缘，通过计算整体匹配代价的方法来自动寻找最优匹配组合，实现边缘的自动 连接；然后利用动态规划和置信传播的方法首先完成图像中的结构信息的修复， 之后再对其余的纹理信息区域采用纹理合成的方法进行修复。仿真实验表明，对 于同时存在结构信息和纹理信息的比较复杂的自然图像，利用本文方法能够取得 良好的修复效果。 1 4 论文结构与框架 本文的章节安排如下： 第一章为绪论部分，介绍了图像修复技术的产生的背景及其应用价值，总结 了该技术在国内外的发展历史和研究现状，最后阐明了本文的研究内容和论文的 框架。 第二章为图像修复理论基础，首先由最佳猜测原理、贝叶斯理论和吉布斯准 则引出图像修复模型的建立，然后介绍了图像修复模型的三大原则，最后简单介 绍了图像修复中用到的纹理合成的相关知识。 第三章主要探讨了基于p d e 的图像修复技术，详细讨论了几种修复模型， 包括b s c b 模型、t v 模型、c d d 模型、e l a s t i c 模型和m u m f o r d s h a h 等，对其 中的t v 模型和c d d 模型进行了实验仿真，并对实验结果进行了对比分析。 第四章研究对大尺度破损区域的修复技术，首先介绍了几种纯纹理的修复算 法，主要介绍了基于样本块的补全算法，并进行了实验仿真，仿真结果证明了其 良好的修复效果。 第五章在总结现有方法的优缺点的基础上提出了一种基于边缘的修复算法。 首先修复图像中的结构信息，然后再补全其中缺失的纹理信息。仿真实验证明对 同时存在结构信息和纹理信息的比较复杂的自然图像，该方法能够取得良好的修 复效果。 第六章总结了论文的主要工作，并对图像修复技术未来的发展进行展望。 4 第_ 章图像修复的理论基础 第二章图像修复的理论基础 图像修复就是根据图像中的已知区域的相关信息，恢复信息缺失区域中的信 息，图像修复问题用数学语言可以摘述为：设n 表示整个图像u p 的区域，d 表 示其中的信息缺损区域，图像修复的目的就是根据q ，d 内的有效信息来恢复最 初的理想图像“，如图2 - i 所示。 图2 1 图像修复问题的数学描述 2 1 图像修复模型的建立 图像修复模型的建立一般依赖h e l m h o l t z 最佳猜测原理。在视觉研究中， “h e l m h o l t z 假设”认为，人类视觉系统所感觉到的就是对世界信息形态的晶佳 猜测。晟佳猜测原理是用统计的方法研究问题，它和贝叶斯理论对现实世界的分 析类似在确定性方法论中，最佳猜测原理通过最优化能量泛函来实现，因此它 的研究重点在于提出感觉上有意义的能量泛函。 根据最佳猜测原理，图像修复的问题可以转化为求b a y e s i a n 最大后验概率 的问题，即求使后验概率p 陋i ) 最大的。根据贝叶斯公式： p 扣i ) ；粤4p i 。 p ”oj 若图像给定，即p ( u 。) 是固定常数，设其为1 c 则有 第二章图像修复的理论基础 p ( u l u 。) = c p ( “) p ( u 。i 甜) ( 2 2 ) 因此，图像u 的估计取决于两个条件：p ( u ) 和p ( u 。i “) ，这两个条件分别对 应于修复中的两个物理模型： 1 ) p ( u 1 ：先验模型，即真实的图像应该是什么样子的。 2 ) p ( u 。i “) ：数据模型，即观测到的图像是怎样从真实的图像中获得的， 或真实图像和观测图像存在什么样的关系。 在大多数图像修复的问题中，破损的区域常常丢失了图像中的一些重要的几 何信息，例如人眼十分敏感的边缘。为了能够重构这些几何信息，就需要图像模 型能够很好的解决这些几何问题，然而大多数概率模型无法解决此类问题。g i b b s 规则为我们提供了一种很好的解决方案，根据g i b b s 规则我们能够建立概率公式 和能量或变分公式之间的联系，而根据变分公式，我们能加入图像的曲率，梯度 等一些几何信息，从而控制图像按照一定的几何规律演化，以重建丢失的几何信 息。 1 g i b b s 规账p r o b ( u ) = e x p ( 一肚 ( 2 - 3 ) 其中，e - 】是“的能量，p 表示绝对温度的倒数，z 是分布函数，因此，贝叶斯 公式可以写成为： e ( ul u o ) - - e ( u ) + e ( u o u ) + c o n s t ( 2 - 4 ) 当求最大的概率p ( “i ) 时，即求最小能量- e ( u ) ，因此可以利用变分公式， 此时常数项可以忽略不计。 在图像修复中，数据模型的建立比较简单，可以根据引入的不同噪声建立不 同的模型，一般引入的都是加性噪声，最常见的就是高斯白噪声，即： n 、o = i k 木“。咖，。刀 烈。( 2 - 5 ) 其中，k 是一个线性模糊算子或低通滤波器，以是加性高斯噪声，q d 表示信 息完好的区域，因此数据模型可以建立为： e ( “。i “) = 害、。( k * u - u o ) 2 出 6 ( 2 - 6 ) 第二章图像修复的理论基础 一个有效的修补模型，主要依赖于一个好的先验图像模型研“】。目前有下 面几种方法可以建立先验概率模型，如m a r k o v g i b b s 随机域理论、基于滤波和 熵理论、几何模型方法( 如总体变分、泛函化的弹性模型、m u m f o r d s h a h 模型 等) 。 2 2 图像修复的三大原则5 0 】 人眼是图像的最终接收者，人对图像的认知往往根据图像的整体理解和高层 的模式识别，也依赖于长期积累的经验。例如，将一幅人脸图像遮挡一半，大多 数人往往能根据人脸的对称性猜出被遮挡的半边人脸。这说明，在人的推断中， 已知物体先验的形状和颜色信息是至关重要的：同时，视觉心理也影响人对图像 的理解，例如人们往往习惯连通的、封闭的图形，而拒绝割裂的图形，这种视觉 上的完形特性，也是图像修补需要考虑的因素，因此，图像修补与人类视觉系统 ( h v s ) 军t l 心脑认知机制具有很大的关系。 由于视觉心理学的研究目前尚没有成熟的理论，图像修补目前也只能考虑一 些公认的简单视觉原理。k k o f f k a 等人1 的完形理论中提出，“知觉是按照一定 规律形式组织起来的。图形知觉不是图形各部分简单的相加，而是由各部分有机 组成的。一个图形作为一个整体被感知，其中各部分之间又具有一定的关系。” 在具体认知过程中表现为：我们倾向于将那些相互靠得很近且离其它相似物体较 远的东西组合在一起；或者倾向于将明显具有共同特性( 如颜色、运动、方向等) 的事物组合在一起；或者倾向于把中断的线段看成是连续直线被某个物体遮挡一 部分。想要达到符合视觉心理的图像修复是极其困难的，因为要模拟人的智能行 为，就需要高层的先验知识、全局的模式识别和漫长的统计学习过程。 图像修复的先驱者b e r t a l m i o 和s a p i r o 等人，在着手进行图像修复建模工作 之前也曾经主动咨询明尼阿波利斯艺术研究所的工作人员。他们指出：图像修复 是一个主观过程，依赖于人眼对图像的感知理解，必须遵循一定的方法论。 1 ) 通过图像的整体决定如何填补裂痕，图像修复的目的是恢复艺术品的完 整性； 2 ) 修复区域周围的结构信息必须延伸至裂痕的内部，断裂的轮廓线通过修 复区域周围的轮廓线延长得到： 3 ) 修复区域中像素的灰度或者颜色信息，必须与周围的颜色相协调； 4 ) 细节信息的描绘，即加入纹理进行渲染。 b e r t a l m i o 和s a p i r o 等首次引入p d e 进行图像修复时，己经注意到：原则( 1 ) 7 第二章图像修复的理论基础 是很难操作的，因为它涉及到视觉心理学的问题；原则( 4 ) 也很难借助于确定性 的p d e 或者变分模型实现。因此他们仅仅根据原则( 2 ) 和( 3 ) ，设计了第一个基于 p d e 的修复算法。 2 0 0 2 年，c h a n 等人在b e r t a l m i o 和s a p i r o 等人研究的基础上，针对非纹理 图像开创性地提出了局部修复的概念。他们从数学上的香农定理和视觉上的局部 推断、模式识别与尺度影响等方面，阐述了局部性是降低修复问题复杂性和开展 低层视觉修复研究的一条有效途径，并且为此提出了建立非纹理图像局部修复模 型的三大原则： 1 ) 模型是局部的。待修复区域的信息完全可以由其附近的信息确定。 2 ) 模型能够连接断裂的边缘。人眼对边缘是十分敏感的，因此边缘是物体 识别和图像分割的重要信息。 3 ) 模型对噪声具有鲁棒性。在噪声低于一定程度时，人类视觉能够从含有 噪声的图像中提取出千净的图像，并将它们的结构延伸到修复区域里面。 2 3 纹理合成技术 随着纹理技术的发展，最初提出的图像修复方法论的第4 条原则“细节信息 的描绘，即加入纹理进行渲染”也在一定程度上得到考虑，使图像修复的技术得 到进一步发展。当前图像修复技术的主要研究方向是基于纹理合成的图像修复技 术。因此，有必要深入地了解纹理合成的相关技术。 2 3 1 纹理的定义及特点 一般认为纹理是无限的二维平面上可视的图案，在一定范围内遵循固定的分 布，具有相当的规则性、随机性和方向性。纹理是用来识别目标的重要方法，它 是图像中一个重要而又难于描述的特性。纹理以像素的邻域空间分布为特征，因 此无法用点来定义。有些图像在局部区域内呈现不规则性，而在整体上表现出某 种规律性，习惯上，把这种局部不规则而宏观有规律的特性称之为纹理，以纹理 特性为主导的图像，常称为纹理图像。纹理合成是当前计算机图形学、计算机视 觉和图像处理领域的研究热点之一，在图像的真实感绘制中占有重要的地位。根 据表面纹理生成方法的不同，可分为纹理映射、过程纹理合成和基于样图的纹理 合成。 由于构成纹理的规律可能是规则的，也可能是随机的，纹理通常分为结构性 纹理( 也称为规则纹理) 和随机纹理，规则纹理有可以识别的单元且有一定的排列 规则，现实世界中的纹理多介于两者之间。 8 第二章图像修复的理论基础 纹理和图像是有区别的，对于一般图像，任选两个方形区域，这两个区域差 别很大；而对于纹理而言，任选两个方形区域，这两个区域在视觉上是相似的。 所以可以把纹理看作是具有局部性和稳定性的随机过程的实现，纹理的稳定性是 指：纹理中的每一个像素点都可以由其空间邻域内的像素的集合来表达，并且这 种表达对每个像素都是一样的；纹理的局部性是指：窗口中的任一像素可以由其 周围邻域内的像素预测得到，而与图像中的剩余部分无关。总的来说，纹理图像 的特点主要表现为： 1 ) 某种局部特性在更大的区域内不断的重复； 2 ) 局部特性是由基本组成单元随机或按一定规则组成的； 3 ) 整个区域是均匀的统一体。 2 3 2 纹理合成技术综述 自从7 0 年代中期c a t m u l l 首次采用纹理映射技术生成景物表面的纹理细节以 来，纹理映射技术就得到了广泛的研究和应用。一般说来，纹理合成可以分为基 于像素( p i x e l b a s e d ) 的纹理合成和基于块( p a t c h b a s e d ) 的纹理合成。基于像 素的合成方法主要有e 舶s 和l e u n g 提出的逐像素纹理合成方法【3 2 】，w e i 和l e v o y 提出的邻域最匹配像素合成方法p 3 等。 2 0 0 1 年，e 舶s 等人m 】首次明确提出了基于块的纹理拼合算法( i m a g e q u i l t i n g ) 。算法从输入纹理样图中选取同样大小的正方形小块，按照扫描线顺序 放置，覆盖整个输出图像。这些小块之间有一定重叠，这些重叠区域作为在输入 纹理中查找一下一个正方形小块的约束条件，使得找到的正方形小块与其周围已 合成邻域之间的重叠区域误差尽量小。最后通过动态规划算法在重叠区域找到一 条最小误差边界将当前找到的小块“缝合”到输出图像上。 同年，l i a n g 等a t 3 4 】提出了和e 舶s 相似的纹理合成算法。算法首先在输入纹 理样图中随机选取- d , 块贴在输出图像的左下角，然后在样本纹理中搜索和当前 己合成纹理的边界最匹配的小块并按扫描线顺序贴在当前已合成纹理块的相邻 区域，对于纹理块的边界重叠区域用羽化融合( f e a t h e rb l e n d i n g ) 减少裂痕，如此 反复直到合成整个输出纹理。 针对e 行o s t 3 6 】中通过动态规划算法计算块之间重叠区域的最小误差边界， k w a t r a 等人【4 4 j 于2 0 0 3 年提出了利用g r a p h c u t 方法对上述最小误差边界的计算做 出了重要改进。该方法中纹理块之间的重叠区域可以是任意形状的区域，因此提 高了块合成方法的灵活性。 上述方法能对图像大面积破损的区域做比较好的修补。如果破损的区域是一 块纯纹理的区域，那么可以采用周围的纹理重复地去填补破损的区域，就不会出 9 第二章图像修复的理论基础 现基于扩散方法中提到的模糊现象，而且可以编辑很大面积的区域。但是我们要 修补的来自日常生活的照片，其中往往包含比较复杂的场景，经常存在许多不同 种类的纹理。在用纹理合成方法修补这样的图片时遇到的主要问题在于：如何处 理两中纹理块之间的边界，才能保持图像在结构上的连贯性。这是纹理合成本身 很难解决的问题。 l o 第三章基于p d e 的图像管复算法 第三章基于p d e 的图像修复算法 本章主要研究基于偏微分方程的修复算法，首先讨论了几种经典的修复模型 及其算法原理包括b s c b 模型、丁v 模型和c d d 模型，并通过仿真实验对其 修复效果进行了对比，最后简单介绍了其它几种基于图像几何信息的修复模型 如e l a s t l e a 模型，m u m f o r d s h a h 模型和m u m f o r d s h a h e u l e r 模型。 3 1b s c b 修复模型及算法原理 2 0 0 1 年，b e r t a l m i o s a p i r o ，c a s e l l e s 和b a l l e s t e t l l i - - 起提出了著名的基于偏微 分方程的修复模型b s c b 模型。该模型模拟手工修复的过程通过延伸边界 区域的等照度线不断向修复区域内扩散信息而实现图像的修复。 一般的修复过程就是都足各向同性扩散，因此忽略了等照度线使得边缘结 构失真，而b s c b 模型是各向异性扩散使得等照度线延长时保持了它与边界的 交角，困此修复效果更接近人的视觉感受具体示意图如图3 - 1 。 口【， 乜) 破损图像( b ) 菩向同性扩散修复( c ) 各向异性扩散修复 图3 1 修复效果比较示意图 修复算法的数学模型：假设初始的待修复图像为 l ( z ，j ) ：1 0 ， x o n 】- 胄井且【o ，肘卜 仉n 】c n x n 其c p l o ( f ，) 是二维的灰 度图像。图像的修复过程 z ( i ，n ) ：【o ，m l 【o ，1 o ，m ) - r ， 就是构建一个图像序列， 使得 ，( ，0 ) _ “j ) ，并且 熙1 ( i ， 一) 2 一( 1 ，j ) 。厶“) 是最后的修复结果因此修复过程的数学模型 可以写成如下的迭代方程： “( i ) = ，。( f ) + a 吖( f n v ( i , j ) e q ( 3 1 ) 第三章基于p d e 的图像修复算法 其中，一表示修复的次数“j ) 表示像素点的坐标，f 表示迭代步长，r ( 1 ，j ) 表 示每次对图像，5 f i ，j 1 的修正。当增加时，我们就能得到一步步修复后的图像， 随着 趋向于无穷大，1 ”“，) 趋于稳定，即，”1 ( j ) = ，( 1 ，) ，此时迭代停止， 一般可以设定一个门限，当选代后的，“，) 与，”( f ，) 的差值小于这个门限的 时候，选代停止。假设n 表示铸修复区，0 q 表示特修复区域的边界，m 是破损 区域外围完好的区域，如图3 - 2 所示。 图3 - 2b s c b 修复模型示意图 b s c b 模型原理是使修复区域外的等照度线向内扩散以完成修复，因此假设 f ( 1 ，) 表示将要延伸的信息，而( f ，) 表示延伸的方向因此我们可以写成： f ( 一，j ) = “( ，j ) ”( z ，一 ( 3 2 ) 其中，而6 r ( ，j ) 表示f ，斗变化的度量。该方程表示图像信息r 札n 沿着 “，) 方向变化，当选代稳定时，”1 ( i ) = ，。“j 】，即r ( i ，) = 0 ， 占r ( i ，) n “( i , j ) = 0 此时，表示信息已经沿着 “j ) 方向延伸了。 如果我们选择_ “化，1 方向表示的是等照度线的方向，那么该修复模型就是 b s c b 模型。等照度线是指灰度相同的像素构成的一条曲线，即i ( i ，1 = c ，如果 w ( f i 1 表示图像的离散梯度，即图像灰度变化最大的方向，也就是等照度线的 法线方向，那么垂直于该梯度方向的方向甲1 ，( r ，) 就表示等照度线的方向，即 “( f ，j ) = v 1 l ( i ，) 。同时，由于审1 ( f ，j ) 和w ( i ，j ) 的模一样t 因此我们把它的 方向归一化为n 4 ( ) 7 l “( z ，州以及模卜，( l 州tf ( f ，) 是图像的平滑算子，一 般取拉普拉斯算子，即r ( 1 ，) = e ( f ，) + ，：( f ，j ) 。 为了确保方向场的正确演化，将图像修复过程与扩散过程交叉进行。每隔若 干步的修复，进行几步反复扩散扩教是为避免曲线交叉。为了在修复过程中达 第三章基于p d e 的图像修复算法 到不丢失清晰度的目的，使用各向异性扩散，各向异性的扩散能够保持边缘的光 滑，保证对噪声的鲁棒性。这里使用的各向异性扩散方程为： 豢( 础，) ( ) 后( ，) 1 w ( w ，) m w ) q ( 3 - 3 ) 其中，q 5 是q 以为半径的圆域扩展，k 是等照度曲线的欧几里得曲率，g 。( x ，y ) 是q 5 上的平滑函数，同时满足：g 。( 石，y ) = 0 ，在a q 8 上，g 。( x ，y ) = 1 在q 中。 在进行修复之前，预先对全部图像进行一次各向异性的光滑扩散，以消除噪 声的影响，此后再进入修复循环，每次执行几次修复后就进行几次扩散，保证了 对噪声的鲁棒性。一直到图像趋于稳定后，修复结束。 图像的修复模型为i 肿1 ( f ，j ) = i ”( f ，_ ) + 垃( f ，歹) ，v ( i ，j ) q ，其中： 珊= p 端n “，i 胛， 面( f ，) = ( r ( f + 1 ，_ ，) 一f ( f 一1 ，) ，r ( f ，+ 1 ) 一c ( i 一1 ) ) ( 3 - 5 ) f ( f ，_ ) = 卫( f ，) + 易( f ，) ( 3 - 6 ) 娶鹞：丝墼 ( 3 - 7 ) 雕，刀) i ( e ( f ，川2 + ( 以f ，川2 一 川“腼( f ，小黼 3 2t v 修复模型及算法原理 ( 3 - 8 ) ( 3 9 ) 受到b e r t a l m i o 等人的工作的启发，c h a n 等人在2 0 0 2 年提出了将整体交分 第三章基于p d e 的图像修复算法 模型( t v 模型) 用于图像修复。整体变分算法是一种很好的异向扩散算法，该算 法可以在保持边缘的同时达到去噪的目的，采用该模型可以同时进行图像修复和 去噪。 。 我们假设图像退化模型为：u 。= h 奉“+ ，l ，其中，为退化图像，h 为退化 核，”为原图像，n 为高斯白噪声。如图2 - 1 所示，其中d 为待修复区域，e = q d 为待修复区域的邻域。 若d 内不存在任何信息，且不考虑任何噪声，则待修复区域是不可能从退化 图像中得到原图像“的。这说明，对于待修复区