（信号与信息处理专业论文）基于整体变分法的数字图像修复技术研究.pdf

西北大学工学硕士论文 摘要 数字图像修复是指对数字图像中丢失或破损的部分进行还原修复的过程。通过 对破损的图像进行修复更新，使得图像有更好的视觉效果，达到以假乱真的目的。 目前，数字图像修复技术在图像压缩、图像编码、文物考古、军事保密等方面有着 极为重要的应用。 文章对现有数字图像修复的扩散技术、匹配技术和图像分解技术的发展做了说 明，并对其中有代表意义的算法，比如b s c b 模型算法、c r i i 【l i i l i s i 的图像分解法 等算法进行原理分析。 本文重点以整体变分法和纹理匹配法作为扩散技术、匹配技术的代表进行研究， 并在原有算法的基础上作了一定改进。在整体变分法中加入了相关度系数这一概念， 使图像在扩散修复的同时兼顾了各个参考点对目标点不同的影响程度；在纹理匹配 法中，对纹理模板块大小和匹配块搜索范围进行了改进说明。 两种改进算法在实验中取得了不错的修复效果。改进后的整体变分法修复后的 图像过渡自然，视觉效果有了比较大提高；采用规定了模板大小和匹配块搜索范围 的纹理匹配法修复后的图像与周围图像融合的更加真实，而且修复所需时间明显缩 短。 本文同时对两种算法各自的适用范围进行了概括。在图像信息丢失较少或者图 像边缘信息缺失轻微的情况下，整体变分算法利用边缘扩散技术使得图像更加的平 滑；在图像信息丢失较多或者边缘信息缺失严重的情况下，纹理匹配算法利用剩余 图像中的相似纹理信息填充修复使得图像更加自然，纹理细节保护的比较好。 关键词：数字图像修复；整体变分； 相关度系数；纹理匹配 西北大学工学硕士论文 a b s t l a c t d i g i t a li m a g e m p a i n t i n gi sap r o c e s so f r c s t o r a t i o ni nt h el o s to r 蛐a g e dd o m a i ni n d 酒t a li m a g e mt h ed i g i t a li m a g ep r o c e s s i n g ，t oi n p a i l l ti st 0r e c o v e r t i l eo r i g 删p a i l l t i n g o r i m a g e ，砒嘶t h e i m a g e h a sb e e n 蛐鲈d ，t o h i e v e b e t t e r v i s i o ne 腩c ts o m a tw e e v e nc 跚td i s t i g u i s ht h co r i g i i l a li m a g e 龀i mt h ei n p a i n t e do n e a tp r e s e n t ，t l l ed i g i t a l i n p a i n t i i 培h 船p l a y e da ni m p o r t a m r 0 1 ei nt h ei m a g ec o m p r e s s i n g ，i r n a g ec o d i n g ， a r c h a e o l o g yi nm ec u l t u r a lr e l i c 锄dm a n i a ls e c r e t a mt 1 1 i sp a p e r ，w ee x p l a i l lt h ed e v e l o p m e n to ft h ec u r r e md i g i t a li m a g ei n p a i n 石n g t e c h n i q u e ss l l c h 豁t h ed i 曲s i o nt e c h n i q u e ，t h et e c l l i l i q u eo fm a t c l l i n g 姐dm et e c l l i l i q u e o ft l l ed e c o m p o s i t i o n t l l e n ，w ba n a l y s et h et h c o r e mo fs o m er 印r e s e n t a t i v ea l g o r i t h n l s s u c ha s 1 eb s c bm o d e la n dt h ed e c o m p o s i t i o ni n p a i n t i n gm c t t l o dc r c a t e d b yc r i i i l i n i s i w 色m a i l l l ys t l l d ym et o t a l 谢a t i o nm e t l l o da i l dt h et e x t i l r em a t c l l i n gm e m o d i nt h j s p a p e r 嬲吐l er e p r e s e m a t i v e so ft l l ed i f f l l s i o na i l dm a t c k n gt e c h m l o g yr e s p e c t i v e l y a t m es a m e 血n e ，w em a k cs o m ei m p m v e m e n t so nt h eb a s i so ft l l eo r i g i n a la l g o r i m ma n d “e na d dm ec o n c e p to fr e l a t i v i t yc o e f f i c i e n ti n t ot l l et o t a l v 撕a t i o nm e m o d kt 1 1 a t c 船e ，w ec 锄呻a i mn l ei m a g et h r o u 曲d i 觚s i o nw t l i l ec o n s i d e r i n gt h ee 腩c to fm e r c f e r e n c ep o i mt o 也eo b j e c tp o i m i nt h et e x t u r cm a t c h j n gm e m o d ，廿l es i z ea 1 1 dm e s c a r c h i n ga r e ao f t h et c m p l a t eb l o c k a r ei i i l p r o v e d t h ee x p 甜m e n t ss h o wt h a tw eg e t9 0 0 di n p a i n 血gr e s u l t s 1 1 1 ei n p a i n t e di m a g e c r e a t e db y l eh p r o v c dt o t a lv a r i 撕o na l g o r i t l l l l ls e e m sn a t u r a ji nt l l ee d g ea i l dm ev i s i e 虢c to ft l l ei n p a i m e di i l l a g ei sg r e a t l yi m p r o v e d n l ei n p a i n t e di m a g ec r e a t c db ym e t e x t u r cm 砷c 上l i n gm e t h o d 血a tm a k eu s eo ft h es e to ft h es i z co f t i l et e x t i l r et e m p l a t e 缸l d t h es c 盯c h i n gm n g eo fm em a t c l l i n gb l o c km s eb e t t e r 谢t l ln l es u 肿u n d i n gi m a g e f i u 也e n n o r e ，1 l i ec o s to f t h et i m ei so b v i o u ss h o n e n e d i i la d d i t i o n ，w eg e n e m l i z et h e 印p l i c a b i l i t yo fm et w oa l g o r i t h m s t h ee x p c r i m e m r e s u l t ss h o wt i l a tw h e nl i m ei l a g ei 证0 m l a t i o ni sl o s ta i l dt 1 1 ee d g ei i l f o n i l a t i o ni sn o tl o s t m l a 唱ee x t e m ，w ec a i la p p l y t 1 1 ei m p r o v e dt o t a lv 撕a t i o na l g o r i m ma n dm a k eu s eo ft l l e e d g ed i f 如i o nt e c h n o l o g yt o 锄o o t l lo u tt h ei n l a g ei 1 1o r d e rt og e tb e t t 盯v i s i o ne m 虻t - i i 西北大学工学硕士论文 o c h e r w i s e ，w h e nt b ei m a g eo rt 1 1 ee d g ei n f - o n n a t i o n i s l o s tt oal a r g ee x t e n t ，t 1 1 e t e x t u r em a t c l l i n ga l g o r i t l l i i lc a i lf i l li t h el o s ti n f o r i n a t i o nb ym i l i 五n gt h es i i l l i l a rt c x t u r c i n f - o n n a 廿o ni nt l l er e s i d u a li m a g e t h et e x t u r em 眦l l i n ga l g o r i t h n lm a k et h er e s t o r e d i m a g e 船舶t u r a la s “so r i g i n a lv e r s i o na n dm et e x t i l r ed e t a i l so ft l l ei m a g e a r ea l s o b e t t e rp r o t e c t e d k c y 、o r d s ：d 蜮t a li m a g ei n p 删n g ： t o t a lv 撕a t i o n ；r e l a t i v 畸c o e m d e m ： 缸t u r cm a t c h m g i 西北大学学位论文知识产权声明书 本人完全了解西北大学关于收集、保存、使用学位论文的规定。 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版。 本人允许论文被查阅和借阅。本人授权西北大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。同时授权中国科学技术信息研 究所等机构将本学位论文收录到中国学位论文全文数据库或其它 相关数据库。 篡篡于墅一绺 学位论文作者签名：! 到星l 指导教师签名：乏批 。舻年月6 日 bif dd 年6 月勿日 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究 成果。据我所知，除了文中特别加以标注和致谢的地方外，本论文不包含其他人已经 发表或撰写过的研究成果，也不包含为获得西北大学或其它教育机构的学位或证书而 使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示谢意。 学位论文作者姥，司薪 。1 年5 r6 日 西北大学工学硕士论文 1 1 论文研究背景 第一章绪论 图像是对客观对象相似性、生动性的描述，或者说图像是对客观存在的一种特 征描述，它包含了被描述对象的外部特性信息。根据科学统计，一个人平日获取的 全部信息大约有8 0 左右来自于视觉，因此作为信息主体的图像必将成为2 1 世纪 科学研究的热门领域。 图像修复技术“是一项古老的工艺技术，早在5 0 0 年前的欧洲文艺复兴时期，当 时上流社会的贵族为了恢复美术作品中丢失或损坏部分的同时保持作品的整体效 果，对中世纪流传下来的残破油画作品进行修复，这项工作被称为“r e t o u c l 血g ”或 者“i 印a i m i i l g ”。在当时，艺术家们用画笔修复油画时，一般都会先从破损区域的 最外部开始修复，尽可能的将离破损区域最近的内容逐渐延伸到内部，使整幅画显 得自然协调。 受到这种由外及内，渐进修复思想的启发，在近代，一些创新的数学家利用计 算机模拟人手工修复图画的过程，这样就出现了一门新兴的图像处理实用技术 数字图像修复技术。 经过大批科学家的不断探索，对图像修复算法的完善改进，现在数字图像修复 技术在人们生产、生活的很多领域得到了重要的应用，已经成为当今图像处理领域 的热门研究问题之一。 数字图像修复所要修复的图像是退化后的图像，这样就决定了根据损坏的图像 还原修复是一个典型的病态问题，所以无论采用任何高明的算法也无法从这个退化 的图像得到原始图像信息，因此把图像修复定义为：利用图像待修复区周围相关邻 域的信息或动态视频前后帧的图像信息来估算复原待修复区内缺损信息，逐渐逼近 原始结果的过程。 目前图像修复的实用技术很多，比如：帧问视频修复技术、扩散技术、匹配技 术和图像分解修复技术。这些修复方法在图像编码，图像压缩，目标隐藏，文物修 复，影视广告等方面都有着重要的用途，但所有算法都是基于待修复区域相关区域 或视频前后帧完成修复过程的，最后使修复后的数字图像非常接近原始图像信息， 使其具有良好的视觉效果，从而使观察者无法察觉图像被修复的事实，到达“以假 西北大学工学硕士论文 乱真”的效果。 1 2 图像修复技术的目的与意义 图像修复技术经过不断地发展和创新，现在的用途很广泛，本文就以下几个方 面的成功应用为例进行说明。 1 对陈旧或破损的美术作品、照片、影像资料等进行恢复。由于保存条件、人为或 非人为的其他原因，经常有一些古老的美术作品、照片或影像资料遭到破坏，其中 包括许多极其珍贵具有艺术价值和历史意义的宝贵资料，对这些资料进行修复具有 重要的意义( 图卜l ，图卜2 ) 。 a 林肯老照片b 修复结果 图l - 2l i n h 照片修复 西北大学工学硕士论文 2 需要隐藏其中的某个目标，移走图像中的特定物体。比如：在一些对外公布的 图像资料中，经常由于一些军事、政治原因需要去除部分敏感信息( 图卜3 ) ，或 者风景照中特定建筑物的移除( 图卜4 ) 。 a 原图b 修复结果 图1 3l 蛐j n 身边1 h b 姆的隐藏 黼黼 _ 原图b 修复结果 3 去除图像、照片中的文字、划痕。图像中过多的文字往往影响观察者阅读，通过 修复可以消除这种障碍，如将有很多文字的图片或者严重划痕的相片恢复成原来的 效果( 图卜5 和卜6 ) 。 叠受损图b 修复结果 图1 - 5 图片中文字的去除 西北大学工学硕士论文 a 原图b 修复结果 图l - 6 现代照片修复 除了以上介绍的功能之外，图像修复还经常被用来去除数码相片上的拍摄日期， 擦除影片中的一些标志信息，如电视台的台标等( 图卜7 ) 。 a 原图b 结果图 图1 7 去除电视台台标 目前数字图像修复技术还是一个比较新颖的课题，但是最近几年发展很快，己 经在很多方面有了广泛的应用，相信不久将来会得到更为迅速地发展。 1 3 论文内容安捧 本论文主要研究静态数字图像的修复，对现有的各种比较有代表性的算法进行 研究，同时选取整体变分和纹理匹配两种不同的数字图像修复方法为扩散法和匹配 法的代表进行研究。论文主要内容安排如下： 第一章：绪论。概述了图像修复的目的、意义及其一些在生产、生活中常见的 使用实例。 第二章：对图像修复的特殊性以及图像修复的三大原则作出解释，同时对现有 的视频修复技术、扩散技术、匹配技术以及图像分解修复技术进行重点介绍，并对 西北大学工学硕士论文 其中比较有特点的算法如b s c b 模型算法、c f i i n i n i s i 提出的图像分解法等算法进行 分析。 第三章：以整体变分的图像修复法作为图像扩散修复法的实例，对基于整体变 分的修复算法理论进行研究。另外，详细的阐述自己所提出的改进后的整体变分法 要点，在图像修复中考虑到破损区边缘各个参考点对待修复目标点的影响程度不同， 加入了相关度系数这个概念。同时依据实验数据，对改进后的整体变分法的优点进 行分析，最后对整体变法的适用范围进行说明。 第四章：对匹配修复中的经典算法一纹理匹配法进行阐述，并在实验的基础 上结合实际情况，对原有算法进行部分改进，对纹理模板大小选择以及最佳匹配模 块的搜索范围进行了完善说明，并用实验验证改进后的纹理匹配修复算法的实际效 果，同时对纹理匹配算法的适用范围作了解释。 第五章：全文总结，并对下一步工作进行了展望。 西北大学工学硕士论文 第二章图像修复的原则与现有方法 2 1 图像修复的特殊性和实现原则 由于图像函数的复杂性，图像修复并不仅仅是一个简简单单的函数插值问题。 相对于人类视觉很容易识别的信息，对于计算机而言却是很难把握。比如用镜子遮 住人脸的一半，要对剩余的一半进行修复，对于人类来说可以根据没有遮住的一半 人脸作出最佳猜测，进行想象，但是对于计算机而言则是非常困难的一件事。 2 1 1 图像修复的特殊性 高层次的图像修复方法依赖图像的全局信息、模式识别和图像的特征。而目前 的图像修复研究还只是停留在低层次的图像修复，也就是说目前的图像修复是根据 破损区域周围的图像信息对图像进行修复，所以这种低层次的图像修复中会出现一 些特殊性： ( 1 ) 局部性与全局性 # 待修复区圈 6 图2 1 局部修复与全局修复 局部的修复不依靠于全部图像信息，仅仅依靠局部的信息。图2 1 是一个典型 的例子，对图2 1 中a 图进行修复时，人类根据周围图像的信息判断这是一个黑色 的十字体，根据最佳猜测，自然的在修复时，就对待修复区填充为黑色。 但是全局修复就要关注整幅图像的信息，要考虑整体图像的效果，要有全局意 识。因此当把图2 - 1 中的a 小图插入到b 图这个大环境中，人眼的最佳猜测就发生 了变化，整个b 图像就好像一个规则的围棋盘，这样先前的判断就发生了错误，待 修复区就应该填充为白色。 西北大学工学硕士论文 ( 2 ) 尺度比例 图像处理中比例尺度因素是一个十分普遍而又重要的问题，在图像修复的过 程中也是如此。 z 篓薹鳌釜鞭 镳黼潮燃 图2 2 比侈i 尺度 。_ _ * - _ _ _ ”“_ 。_ _ _ _ _ _ h m _ _ p _ d 在上图2 2 中a 小图，待修复区的长度，相对于图像的总体宽度l 算是比较的 大，因此，在修复时，看起来右边的“e ”和左边“三”并没有什么关系，可以认 为它是由两个不同的、独立的部分组成。但是在b 小图中，待修复区宽度，相对于 图像的总体宽度l 就比较的小，所以在修复时不认为右边的“e ”和左边“三”没 有关系，而是一个整体，在修复过程中，就很自然的把图像断裂的部分连接起来组 成一个完整的大“e ”。 ( 3 ) 图像修复结果不唯一 需要修复的图像是退化后的图像，这决定了根据已损坏的图像还原修复是一 个病态问题，无论采用何种算法也无法从退化了的图像得到原始图像。根据不同的 修复算法、不同的修复模型就会产生不同的修复结果，但是这些修复结果前提是要 满足人类的视觉效果。 2 1 2 图像修复的原则0 2 】 t o n yc l m 等人在文章m a t h e m a t i c a lm o d e l sf o rl o c a ln o n t e x t u r ei n p a i n t i n g 中提出图像修复要注意以下的三个重要原则： ( 1 )局部性。图像的修复要依赖于周围邻域信息，图像修复的信息应该完全由待 修复区域周围已有的信息产生。 西北大学工学硕士论文 ( 2 )必须能够修复、连接断裂的图像边缘。边缘是物体识别和图像分割的重要信 息，是图像中非常重要的组成信息，人眼对于边缘的识别是极其敏感的，可以说人 类对图像的认识就是对图像边缘的提取和识别的过程。 ( 3 ) 对噪声的鲁棒性。从人类的视觉出发，当噪声在一个合理范围内，可以从含 有噪声的图像中识别出于净的图像，并提取出有用的特征信息并将它扩展到待修复 区域内。 2 2 图像修复现有算法 从数学的角度来看，图像修复就是根据空白区域周围的信息将图像中损坏的区 域以一定的方式修复起来，使之成为一幅完整的图像。在进行图像修复时，通常先用 掩码( m a s k ) 确定需要修复的区域，然后根据修复区域周围的信息用图像修复算法自 动恢复区域中的信息。 从2 0 世纪9 0 年代末提出d i g i t a li n p a i n t i n g 的概念到现在已经出现了很多成功 的算法，已经是图像处理领域非常重要的研究课题。 繁多的算法总共可以细分为四大类视频序列修复、扩散修复、匹配修复、 图像分解修复。其中视频序列修复技术应用于视频影像的修复处理，而扩散修复和 匹配修复以及图像分解修复应用于静态的图像修复处理。 2 0 1 视频修复技术脚州 视频序列修复也称为视频修复帧问技术，修复主要是通过视频前后连续的帧问 信息中相同位置的信息填补丢失部分( 图2 3 ) 。 图2 3 视频序列修复技术 视频修复技术成功地应用于视频处理，但算法相对比较固定。 其中r o o s n a l e n 。1 提出的结合自回归模型和马尔科夫随机场的算法是其中非常 西北大学工学硕士论文 典型的方法。lm a d d a l e n a 嘲采用插值算法对连续视频的划痕进行修复，算法适用于 破损比较少的影像。 2 2 2 扩散修复技术 扩散修复技术主要思想是利用数学扩散方程将待修复区域周围的信息传播到待 修复区域中。 b e r t a l m i o ，s a p i r o ，c a s e l l e s 和b a l l e s t e r 1 首先将图像修复作为一个科研课 题正式研究，提出了一个基于偏微分方程( p d e ) 的图像修复模型b s c b ( b e r t a l m i o - s 印i r o - c a s c l l e s - b a l l e s t e r ) 算法，利用待修复区域周围的信息，将待修复区域外的信息 沿梯度的垂直方向扩散到待修复区域内，取得了很好的效果。并在后来提出了一个改 进的修复模型，将图像的灰度信息和梯度信息同时光滑的延伸到区域内。 受到b e r t a l m i o 等人工作的启发，t o n yc h a n 嘲提出了将整体变分( t v ) 模型用 于图像修复，整体变分算法是一种异向扩散算法该算法可以在保持边缘的同时达到 去噪的目的。后来c h a n “3 等针对t v 模型的缺点对图像修复问题作了系统的研究和 分析并加以理论化，并利用整体变分( t v ) 模型和m u m f o r d s h a h 模型修复图像，通过 对修复区域中某些关键点曲率的分析提出了c d d 模型，能对较大破损区域进行修复。 m a s o u 和m o r e l 提出的图像去掩盖模型也可以用于图像修复。 总的来说基于偏微分方程( p d e ) 的算法和整体变分( t v ) 算法是扩散修复技 术的两大类主要算法。基于偏微分方程的图像修复方法，也可以说是微观的方法。 这类方法通过分析像素点间的关系，将待修复区域周围的信息延伸到待修复区域里 面；整体变分模型伽6 川巾”属于最佳猜测原理( b e s tg u e s s ) 模型，在t v 方法中， 最佳猜测通过最小化能量泛函实现。 下面就对扩散修复技术中具有代表性的b s c b 模型算法和整体变分( t v ) 算法 作重点的说明。 ( 1 ) b s c b 模型 b e r t a l m i o 等人受到艺术家由外及内修复油画过程的启发，进而模拟人的手工 修复，并于2 0 0 0 年s i g g r a p h 会议上提出了b s c b 修复模型。 b s c b 修复模型的主要思想是将图像待修复区域的边缘信息按照一定的方向扩 散延伸到待修复图像区域内，如图2 4 所示，q 表示待修复区域，a q 表示待修复区 西北大学工学硕士论文 的边缘。 图2 4b s c b 算法 假设待修复的图像为p ，其大小为肘，修复过程就是不断对受损图像的迭 代的过程。用数学语言描述迭代方程为： p 斛1 ( f ，) = p ”( f ，) + 科( f ，歹) ，v ( f ，) q ( 2 1 ) 其中，聆表示当前修复次数，( j ，) 为像素坐标，出是迭代的步长，( f ，) 表示 图像的修正更新量。迭代方程在计算时随着n 的变大，迭代次数增多，就可以获得 更好的修复图像。 该迭代过程只对待修复区域q 内的像素进行运算，不会改变其它区域的像素。 随着迭代次数的不断增多，当达到一定程度p ”1 ( f ，) 不再有明显的变化，也就是说 p “1 ( f ，_ ，) z 矿( f ，) 时迭代运算就会停止，这样就完成了一次对图像的修复。 此外，还要确定的是传播方向，这是b s c b 模型的重要部分。b s c b 模型中传 播方向取等照度线( i s o p h o t e ) 方向。所谓等照度线就是灰度值在同一等级上的一系 列点所组成的线，在等照度线上所有的点均满足p ( f ，j ) = d c = 常数) 。 一般认为像素p 的梯度方向对应于像素变化最大的方向，那么相反垂直于梯度 的方向则就是变化最小的方向。因此，对梯度方向旋转9 0 度，即可作为等照度线方 向。( 等照度线方向和梯度方向示意图2 5 ) 穗展万同 一，硝照崖线锏 图2 5 等照度线方向和梯度方向 西北大学工学硕士论文 工 cd 图2 - 6b s c b 模型迭代修复 图2 6 中a 小图为待修复图，bcd 小图表示在演化中的不同状态输出结果图像， 可以看出待修复区周围的像素在慢慢的侵蚀，图像不断的演化，最后迭代运算停止， 输出d 图既最终修复结果。 ( 2 ) 整体变分( t v ) t v 算法也是要借助于待修复区的邻域图像信息来修复图像，并使修复后的图 像尽可能的逼真。t v 模型主要是寻找一个能量函数，然后通过最小化该能量函数 来实现对图像的修复。在论文第三章将就它的原理以及本论文提出的改进方法作出 详细的阐述。 2 2 3 匹配修复技术1 1 4 1 【1 5 1 匹配修复( 也称为填充修复) 的主要思想是从纹理块的相似性入手来解决问题，首 先从待修复区域的边缘区域上选取一个像素点，同时以该点为中心确定大小合适的 图像纹理块，最后在待修复区域的周围寻找相似度最大的匹配块来替代该纹理块( 简 单介绍如图2 7 ) 。 图2 7 匹配修复简单介绍 嵩蒸一 一鼢卜睦 西北大学工学硕士论文 e f b s 与l e l l n g 【1 3 】提出了一种无参数的纹理合成方法，随后m i c h a e l a s h i l d l i n i n 【1 5 】 提出的新方法比e 舶s 与l e l l l l g 运算速率提高了很多。 本论文将在第四章对纹理匹配修复具体介绍、研究。 2 2 4 图像分解的修复技术1 1 q - 瑚l 该技术的主要思想是将图像分解为结构部分和纹理部分，分别进行处理，结构 部分用扩散技术处理，纹理部分用匹配方法填充。众多科研人员已经提出了不少相 关的算法，并取得了较好的修复效果。 c r i m i m i s i 1 9 瑚1 等人提出兼顾纹理和结构的修复算法，修复效果很不错。李厚 强“”等提出了一种基于分形学和金字塔算法的纹理合成算法，算法适用于生成随机 纹理。 下面就以c r i r n i n i s i 、p e r e z 等在文章o b j e c tr e m o v a lb ye x e m p l a r _ b a s e d i n p a i n t i n g 中提出的这种图像分解修复算法的中经典算法进行研究说明。 c 血l “s i 的算法是分别进行纹理匹配技术和扩散技术，修复后在重新合并，具 体的算法结合下图2 8 说明。 算法与原有的图像纹理匹配算法流程基本相同，都是在待修复区域的周围寻找 相似度最大的匹配块来替代需要修复的模块，但是最大不同之处在于c r j m i l l j s i 的算 法在图像的修复过程中选择最高优先权修复块时加入了等照度线( i s o p h o t e ) 驱动( 如 图2 - 8 中的b 小图) 。( p ) ：止乏 - ，其中门，表示待修复边缘锄上p 点的法向量， v ，：代表p 点的等照度线( 强度与方向) ，口是一个归一化因子，一般口取2 5 5 ( 灰 度图像中) 。 ab c d 图2 8c r i m i n i s i 提出的图像分解法 月选要竖委互 西北大学工学硕士论文 加入等照度线驱动上) ( p ) ：! ：i - 后，使整个修复图像更加符合视觉连通的 原理，避免修复后出现结构断裂和模糊的现象。 实验的结果证明了这一点，修复图像有很好的效果( 如图2 9 ，图2 1 0 ) 。 监 麓懋 = _ i 一。j 镕， b 修复结果 i 算法修复结果1 巴 a 受损图b 修复结果 图2 1 0c 衄蛐i 算法修复结果2 把图像分解为结构部分和纹理部分，分别进行修复，在对图像修复时的确有很 好的效果( 图2 9 ，2 1 0 ) ，这种修复的效果是其它单一算法所不能达到的。 2 3 本章小结 图像修复是一个退化的病态问题。图像修复的结果不是唯一的，不同的算法、 不同的模型有着不同的结果，但是却有着相同的判别标准既必须符合人的视觉要求。 不同的修复方法有不同的修复特点，扩散的方法利用数学扩散模型把破损区域 周围的信息延伸到破损区域，修复后的图像比较平滑；匹配修复算法采用填充的方 法，保护图像纹理信息；图像分解的修复算法对于由纹理和结构组成的复杂图像有 着非常好的效果。 西北大学工学硕士论文 第三章整体变分算法在图像修复中的应用 如上章所述，图像修复算法种类繁多，各种算法应用于图像修复中会取得了各 自不同的效果。本文采用扩散法中的典型算法一整体变分算法来实现数字图像的 修复。下面就以整体变分修复算法为主要内容，对其进行详细的研究。 3 1 变分法简介 意大利著名科学家伽利略于1 6 3 0 年提出了“最速将线问题”( 一个质点在重 力作用下，从一个给定点到不在它垂直下方的另一个点，如果不计算摩擦力，沿着 什么曲线滑下所需时间最短) ，1 6 9 6 年瑞士数学家约翰贝努力对此问题作出了解 答，此后牛顿，莱布尼茨，洛比达等数学家对此问题也提出了自己的解答，虽然他 们采取的方法不同但是结果却是一致的既摆线。1 7 3 6 年大数学家欧拉提出了著名的 “欧拉方程”，这样变分法( c a l c u l l l so f v 耐a t i o n ) 作为一个独立的数学学科就这 样形成了。 到了现代，站在历史巨人们的肩上，美国人r u d i n p “乜2 3 提出了新的整体变分 理论，简称为t v 算法( t 0 t a l a t i o n ) 。 3 1 1 变分原理嘲1 变分法应用于处理函数的函数( 泛函) 领域的问题，和处理数的函数的普通微 积分相对。它最终寻求的是极值函数，使得泛函取得极大或极小值。 在一维情况下，泛函可能有如下一般形式： m e ( “) = i1 ，( x ，甜，“。) 厦r ( 3 1 ) 其中，函数甜( 戈) 必须满足边界条件“) = 口，“( 鼍) = 6 。 在微积分学中，函数，( j ) 的极值对应于厂= o 的点，与此相类似，e ( “) 所得到 极值时对应于加孔= o 的函数扰( x ) 。为了求出一阶变分f ，考虑对最优解 “( x ) 作一微扰，得“( z ) + v ( 工) ，当v ( x ) 和v ，( x ) 足够小时，有 f ( 圳+ v ，“y ，) ：f ( 础，“，) + 娑v + 罢v ，+ 西北大学工学硕士论文 于是： 脚+ v ) 叫卅( v 鼍“篆胁 ( 3 2 ) 考虑刽函数“+ v 也必须满足上述边界条件，即 “( ) + 1 ，( ) = 口，“( 五) + v ( ) = 6 ， 故有v ( ) = 0 ，v ( x 。) = o ，从而根据部分积分法有 e v = e 争= v 瓢一e v 丢c 出= 一e v 丢争 代入前式得： 砸+ v ) 叫小e v 筹一v 丢篇肋 ， 可见，当e ( ) 达到极值，以致对甜( x ) 的任一足够小的微扰v ( x ) ，e 的值不改 变，则它应满足： 望一旦拦) ：o ( 3 _ 4 ) a “( 坟a “7 此式称为变分问题的e l l l e r 方程。 对于二维情况e = j l f ( x ，y ，甜，畋，2 勺) 出方 采用完全类似的推导过程可得到对应的e u l c r 方程： 鼍一丢c 号曾2 。 从以上讨论可知，求解泛函极值的问题归结为求解相应的e u l e r 方程。 3 1 2 泛函与变分的基本概念 ( 3 5 ) 1 泛函 把具备某种性质的函数的集合记作d 。对于集合q = 烈) 中的任何函数，( x ) 西北大学工学硕士论文 属于d ，变量q 都有唯一确定的值与之相对应，那么变量q 叫做依赖于函数，( x ) 的 泛函，记为q = q ，( 功】或q = g 【厂】。一元函数，( 砷也可换成多元函数，如 q = q k ( x ，y ) 】。 这是泛函概念的一个简单的介绍，另外论文还涉及到连续泛函和线性泛函的 概念。 ( 1 ) 连续泛函 对于泛函q = q 厂( x ) 】，如果当，( x ) 的变分足够小时，q 【，( x ) 的改变可 以无限的小，那么就称泛函q = 研厂( 工) 】是连续泛函。 ( 2 ) 线性泛函 如果泛函q 厂0 ) 】与，( x ) 的关系是线性关系，称q = q 旷( x ) 】为线性泛函，这 样q 满足如下条件： 乱q 矿( x ) 】- 研厂( x ) 】( n 为常数) b q 【石( x ) + 五( x ) 】_ g 【石( 瑚+ q 【正( x ) 】 2 变分 ( 1 ) 泛函q 厂( x ) 】中，( 曲的变分 对于泛函q 【，( 功】，( x ) 是集合d 中任何元素。如果由工( 工) 变成石( 工) ，则 石( z ) 一五( z ) 叫做厂( 工) 在厶( x ) 上的变分，记作： 万厂= 彳( x ) 一五( x ) 常用万厂= 厂( x ) 一( x ) 表示( 砷上的变分。 ( 2 ) 泛函的变分 对于泛函酬厂( 工) 】，给，( x ) 以增量，则泛函q 有增 量q = q 厂( z ) + 6 y 】一q 【，( x ) 】。 如果q 可以表示为： 西北大学工学硕士论文 q = 丁 厂( 曲，】+ 卢 厂( x ) ，6 - 厂】 此时，叫( x ) ，】对占，而言，是线性范式而 帮，。当，。) 固定，m 瓢i d 州。，m a x i 万厂l( 当，( 工) 固定，m a ) 【i d 州。o ) 那么，州，( 工) ，占，】称为泛函的变分，记作占9 。 3 2 整体变分理论及其在图像修复中的应用 3 2 1 基础知识说明 在图像处理领域，常常要用到一些基本概念，下面就做一个简单介绍。 1 退化模型 如下图所示，一个简单的通用图像退化模型。在这个模型中，图像退化过程被 模型化为一个作用在输入图像厂( x ，y ) 上的系统h 。它与一个加性噪声疗( x ，) ) 的联合 作用导致产生退化图像g ( x ，y ) 。 ，( x ， n ( 工，y ) i g ( 五y ) 图3 - 1 简单的图像退化模型 根据退化模型，图像修复像就是要在给定g ( x ，y ) 和某种特殊的h 算法基础上对 厂( 工，y ) 的近似求解过程。 2 邻域 邻域是图像处理中很常用的一个概念，大部分图像的局部处理算法都用到了像 素的周围邻域，根据其邻域像素的值求出该点的值。邻域的获得常用到模板，如下 西北大学工学硕士论文 图所示，中间像素点u 的八邻域就是将3 木3 的模板的中心点放置在需要处理点的位 置，如图3 2 中的八个像素点既待处理点的八邻域点。 s pr ps f pu pr p g pr ps p 3 2 局部处理的八邻域 在对输入图像进行处理时，计算某一输出像素的值由输入图像像素的邻域的像 素值确定，这种处理称为局部处理。 3 梯度 梯度是数学中的一个重要概念，在整体变分算法中也有涉及。 梯度的计算公式如下： v ”= 娑f + 娑，：略f + 甜， ( 3 6 ) 0dv 。 4 图像的变分 设盯和为图像边缘的两端或同一边缘的任意两个像素点，其像素值分别为 材。、“，i v 。“i 、i v 1 分别为口、卢处的变分。 v 。“户 v b 画j 再j ( 3 7 ) 可以看出，两点处的变分是相等的，由于上述两式在零点是不可微的，为使 i v 。l 、i v 口甜i 在零点可微，可以引入 。l v 。“i 。= 爪而 i v f 。= 扣而8 ) s 可取较小的正数，本文中取0 0 0 1 西北大学工学硕士论文 3 2 2 整体变分的基本理论例一【2 5 i 成。 数字图像修复任务就通过t i k o h o n o v 正则化方法构造合适的变分模型得以完 大多数噪声模型基于以下线性模型：( x ) = “( z ) + 刀( x ) 。 其中x = ( 葺，) q 为图像定义域中的二位坐标，“( j ) 为原来图像， “o ( 五，砭) 为噪声污染的图像，其中噪声假设为服从均值为o ，方差为占：的高斯白 噪声。 图像修复中正则化方法有两种常用公式“”。”： ( 1 ) 约束问题 m i n 丢i 卜一z 七1 1 2 + 口r ( 甜) ) 其中口= 为正则化参数，当口选择的大小不同时，对应的去噪程度也相应的不 同。当口选择比较大时，去噪效果好，但相对应的图像的细节也会看起来比较平滑； 当口选择比较小时，去除噪声的能力就会减弱，但是图像的细节信息相对来说就会 保存的比较好。 r ) 称为正则泛函，通常的r ( “) = i i c “n 其中c 为线性算子。不同的r ( “) 有 不同的去噪能力。 ( 2 ) 噪声约束问题 吨n 丑( “) 服从忙一= 占2 ，这里假设已知噪声方差为占2 。 r u d i n ，0 s h e p 川在t 0 t a lv a r i a t i o nb a s c di n l a g er e s t o r a t i o nw i m 疳e el o c a l c o n s 仃血t s 一文中提出用整体变分i v 代替胄( “) ，则有： r ( 甜) = r y ( “) = j 1 v “( x ) 陋 。 其中q 表示图像域，v 表示梯度。 西北大学工学硕士论文 3 - 2 3 整体变分理论在图像修复中的应用 图像修复是要改进输入图像的视觉质量，图像修复认为图像是在某种情况下出 现了退化( 图像品质下降了) ，需要根据相应的退化模型重建或恢复原始的图像。换 句话说，图像修复技术是将图像退化的过程模型化，并据此采取相应得恢复算法， 以得到接近于原始的效果图像。 整体变分法嘞m 州剐州巾”就是其中一种经典的修复算法，下面就对整体变分 在图像修复中的应用进行详细的说明。 l 图像修复中整体变分的应用 本文为简明描述整体变分法在图像修复中的应用，先给出破损区域及其邻域示 意图( 图3 3 ) 。其中b 为图像破损部分( 空信息) ，a 为破损区域的边缘部分， q = 一l j 8 。 图3 - 3 破损区域及其邻域不 在图像修复中，噪声污染的图像大多满足加性关系“。( z ) = “( z ) + 胛( x ) ，其中 九( 砷为均值为o ，方差为艿2 的高斯白噪声。通过正则化方法处理得： r n i n 舯一8 2 + 知) 江9 ， 用= j 1 v “b 咖( 整体变分) 代替r ( “) 得到新的能量函数如下： 出卜鼬刊2 + 害v 慨叶 其中v “表示梯度，丑为拉格朗日乘子。 同时又有约束条件： 西北大学工学硕士论文 细“一心l | 2 ：j 2 ， ( 3 - 1 1 ) 所以整体变分法对图像的修复过程实际上是在约束条件( 3 1 1 ) 限制下，最小 化图像能量函数( 3 1 0 ) 的过程。 在本文中只考虑对破损部分的修复没有加入高斯噪声的干扰，那么最小化式 ( 3 一l o ) g 【u 即求鲁j 1 v “陋咖的最小值。 如果式吾j 1 v “陋砂在u ：u ( x ，y ) 时取极值，则u = u ( x ，y ) 在q 域内满足欧拉公式， 可以得到基于整体变分法的图像修复基本公式： 咖= 。 2 图像修复中整体变分算法实现1 2 4 i 惭l 根据图像修复的整体变分模型( 3 1 2 ) 式，本文采用半点格式法求解梯度。如 下图所示，考虑了待修复像素八邻域的信息，使修复效果更好。 | 1 i1 1 2札 _ 1日 in p 斑 u 吐： _ _ 黑 戛 柚1 - 图3 4 半点格式法求梯度 如上图，点n ，w ，s ，e 分别为点a 1 2 ，a 3 2 ，a 2 1 ，a 2 3 到点u 的中点，其梯度值分别 i v 廿去厄两葡丽 i v 计去厄鬲而丽 v 廿去厄习葡丽 i v 廿去厄鬲丽丽 ( 3