（信号与信息处理专业论文）基于偏微分的图像修复算法研究.pdf

摘要 基于偏微分的图像修复算法研究 作者简介：周雪媛，女，1 9 8 6 年9 月生，师从四川省地震局陈维锋高级工 程师和成都理工大学郭勇教授，2 0 1 1 年6 月毕业于成都理工大学信号与信息处 理专业，获得工学硕士学位 摘要 由于四川处在欧亚地震带上，所以地震频发，而地震所带来的人员和财产损 失又是巨大的，如何在地震后第一时间展开营救成为重中之重。四川省地震局的 “四j l i 省灾情上报接收处理系统平台 项目中对灾情数字图像信息进行采集，根 据这些数字图像评估地震灾区受损严重程度，为展开救援提供了强有力的指导作 用。而数字图像在传输的过程中由于各种干扰，很容易受到污染，表现为破损、 有噪声等，这些破损所造成的问题是不能决策者正确分析得出结论，于是本文针 对图像修复进行了系统的研究。 图像修复是当前计算机图形学和计算机视觉中的研究热点，在学术界和实际 生活中都有着广泛的应用。在学术中，图像修复技术能为其他众多领域中提供清 晰的、完整的图像；同时，在实际应用中，它能够对缺损图像、照片进行修复， 并且对目标物体的遮挡物等信息的去除等。 本文首先介绍了在空域中使用最多的图像修复模型- t v 模型，它是一种 各向异性扩散模型，能够有效地保护图像中的边缘和细节，但是它的缺点是在平 坦区域中仍然使用各向异性扩散，这样就会在平坦区域中造成阶梯效应，即虚假 边缘，使修复效果达不到理想效果。于是，本文针对t v 模型的缺点做了一定的 改进，提出了改进的t v 模型，即引入了半自适应参数p 和梯度范围保护参数k ， p 用于在不同的地区选择性的使用各向同性或各向异性扩散模型。即当破损区域 包含的边缘和细节较多时，p 取值接近于l ，使得改进t v 模型更多的使用接近 于t v 模型的各向异性扩散模型；当破损区域包含的平坦面积较多时，p 取值接 近于0 ，使得改进t v 模型更多的使用接近于热扩散模型的各向同性扩散模型。 k 用于调节扩散速度和控制保护梯度的范围，k 越大，扩散速度越快，但能保护 的边缘就越少，反之则扩散速度越慢、能保护的梯度范围更广。 随后，本文介绍了在小波域中修复小波系数的t v w a v e l e t 模型。t v w a v e l e t 模型实质是在小波域中修复小波系数，但是修复的规则是由空域中的t v 模型来 控制，这样便使得在修复小波系数后的图像仍然能满足是各向异性扩散，即边缘 得到很好的保护，细节得到保留。由于t v w a v e l e t 模型是由空域中的t v 模型引 入到小波域的，而在空域中改进的t v 模型比t v 模型的修复效果要好，即改进 成都理工人学硕+ 学位论文 t v 模型能根据不同的破损区域选择不同的修复模型。于是，在修复小波域中的 小波系数时，本文提出了将改进的t v 模型引入到小波域中，修复的规则是由空 域中的改进t v 模型来控制，建立了改进的t v w a v e l e t 模型。鉴于改进t v 模型 在空域中的优异表现，在小波域中使用改进的t v w a v e l e t 模型，也会使得该模 型在小波域中具有更好的适应性。 通过实验表明，改进t v 模型在同样的迭代修复次数下，其修复效果比t v 模型要好；而改进的t v w a v e l e t 模型较t v w a v e l e t 模型，在修复的效果上也有 较大改进。 关键词：图像修复改进t v 模型改进t v - w a v e l e t 模型偏微分小波 a b s t r a c t i m a g ei n p a i n t i n ga l g o r i t h mr e s e a r c hb a s e do np a r t i a ld i f f e r e n t i a le q u a t i o n i n t r o d u c t i o no ft h ea u t h o r ：z h o u x u e y u a n ，f e m a l e ，w a sb o r ni ns e p19 8 6 ，w h o s e t u t o rw e r es e n i o re n g i n e e rc h e n w e i f e n ga n dp r o f e s s o rg u o y o n g s h eg r a d u a t e df r o m c h e n g d uu n i v e r s i t yo ft e c h n o l o g yi ns i g n a la n di n f o r m a t i o np r o c e s s i n gm a j o ra n d w a s g r a n t e dt h em a s t e rd e g r e ei nj u n e ，2 0 11 a b s t r a c t s i n c es i c h u a ni so nt h ee u r o p ea n da s i ae a r t h q u a k eb e l t ，s ot h e r ea r em a n y e a r t h q u a k e se v e r yy e a r t h ee a r t h q u a k eb r o u g h te n o r m o u sl o s so fp e r s o n n e la n d p r o p e r t y , s oh o wt os t a r tt h ef i r s tt i m er e s c u ea f t e rt h ee a r t h q u a k eh a sb e c o m eav e r y i m p o r t a n tp r o b l e m ! s os e i s m o l o g i c a lb u r e a u so fs i c h u a ns t a r t sap r o j e c t ，i tn a m e s “s i c h u a nd i s a s t e rr e c e i v i n ga n dp r o c e s s i n gs y s t e mp l a t f o r m ”，d i g i t a li m a g eo ft h e d i s a s t e ri n f o r m a t i o na c q u i s i t i o nb e l o n gt h i sp r o j e c t p e o p l ew i l le v a l u a t et h es e v e r i t y o fe a r t h q u a k ed a m a g eb a s e do nt h e s ef i g u r e s ，s ot h i sf i g u r e sp r o v i d e dap o w e r f u l g u i d ef o rt h el a u n c ho ft h er e s c u e t h ed i g i t a li m a g ei nt h et r a n s m i s s i o np r o c e s sd u e t ov a r i o u sd i s t u r b a n c e s ，i ti se a s yt ob ec o n t a m i n a t e d ，i tp e r f o r m sn o i s ea n dd a m a g e e t c ，d e c i s i o n m a k e r se o u l d n ta n a l y z et h er i g h tr e s u l t ，s ot h ep a p e rs t a r t st h es y s t e m r e s e a r c hf o rt h ei m a g ei n p a i n t i n g i m a g ei n p a i n t i n gi sah o tt o p i ci nt h ec u r r e n tc o m p u t e rg r a p h i c sa n dc o m p u t e r v i s i o n ，i ti sa p p l i e dw i d e l yi na c a d e m i aa n dr e a ll i f e i nt h ea c a d e m i c ，t h i st e c h n o l o g y 啪p r o v i d ec l e a ra n dc o m p l e t ei m a g ef o rm a n yo t h e ra r e a s ；a tt h es a m et i m e ，i n p r a c t i c e ，i tc a nr e p a i rt h ed e f e c tp h o t o ，i m a g e ，r e m o v et h eo c c l u d e ro f t a r g e to b j e c t t h i sp a p e rd e s c r i b e st h ec l a s s i cm o d e li np i x e ld o m a i n - - - - - - t vm o d e l ，i ti sa a n i s o t r o p i cd i f f u s i o nm o d e l ，w h i c hc a np r o t e c ti m a g ee d g ea n dd e t a i l se f f e c t i v e l y ，b u t i fw es t i l lu s ea n i s o t r o p i cd i f f u s i o ni nt h ef l a ta r e a s ，i tw i l lm a k ef a l s ee d g ew h i c h l e a d sap o o re f f e c t s ot h i sp a p e rm a k e ss o m ep r o g r e s sf o rt vm o d e l ，a n dp r o p o s ea i m p r o v e dt vm o d e l i ti n t r o d u c e dt w op a r a m e t e r s ，o n ei ss e m i - a d a p t i v ep a r a m e t e rp ， a n o t h e ro n ei sp r o t e c t i o np a r a m e t e ro fg r a d i e n ts c o p e pi su s e dt oc h o s et h ed i f f e r e n t d i f f u s i o nm o d e li nd i f f e r e n ta r e a i tm e a n st h a tpv a l u ec h o s et o1w h e nt h ed a m a g e a r e ac o n t a i nl o t so fe d g e sa n dd e t a i l s ，i tm a k e st h em o d e lc l o s et ot vm o d e lw h i c h l e a daa n i s o t r o p i cd i f f u s i o n ；pv a l u ec h o s et o0w h e nt h ed a m a g ea r e ac o n t a i nl o t so f f i a ta r e a s ，i tm a k e st h em o d e lc l o s et ot h e r m a lm o d e lw h i c hl e a dai s o t r o p i cd i f f u s i o n ! i i ki su s e dt oc o n t r o lt h ed i f f u s i o ns p e e da n dt h es c o p eo fp r o t e c t e dg r a d i e n t t h e b i g g e rk t h ef a s t e rd i f f u s i o ns p e e d ，b u tt h el e s se d g e ；o t h e r w i s et h em o r es l o w l y s p e e da n dt h em o r ew i d e l ys c o p eo fg r a d i e n t t h e n ，t h i sp a p e rd e s c r i b e st h et v w a v e l e tm o d e li nw a v e l e td o m a i n n ef a c to f t h e ，- w a v e l e tm o d e li st or e p a i rt h ew a v e l e tc o e f f i c i e n t si nw a v e l e td o m a i n ，b u tt h e i n p a i n t i n gr e g u l a ri sc o n t r o l l e db yt v m o d e lw h i c hi si nt h ep i x dd o m a i n i tm a k e s t h ei m a g ew h i c hh a sr e p a i r e dt h ew a v e l e tc o e f f i c i e n t ss a t i s f ya n i s o t r o p i cd i f f u s i o n ，i t m e a n st h ee d g e sa n dt h ed e t a i l sg e tt h ew e l lp r o t e c t b e c a u s et h et v w a v e l e tm o d e li s i n t r o d u c e db yt vm o d e lt ow a v e l e td o m a i n ，a n dt h ei m p r o v e dt vm o d e l se f f e c ti s b e t t e rt h a nt h et v m o d e l ，w h i c hc a nc h o s ed i f f e r e n ti n p a i n t i n gm o d e li nd i f f e r e n ta r e a s ow ec o n s i d e rt h a tw h e nr e p a i rw a v e l e tc o e f f i c i e n t si nw a v e l e td o m a i n ，t h i sp a p e r p r o p o s el e a dt h ei m p r o v e dt vm o d e lt ot h ew a v e l e td o m a i n ，t h a t sm e a n st h e i n p a i n t i n gr e g u l a ro fw a v e l e tc o e f f i c i e n t si sc o n t r o l l e db y t h ei m p r o v e dt vm o d e l ，i t n a m e si m p r o v e dt v - w a v e l e tm o d e l d u et ot h ew e l lp e r f o r m a n c eo fi m p r o v e dt v m o d e li n t h ep i x e ld o m a i n , s ot h ei m p r o v e dt v - w a v e l e tm o d e lo w l l st h ew e l l a d a p t a b i l i t y i nt h ew a v e l e td o m a i n 1 1 1 er e s u l to fe x p e r i m e n t ss h o w st h a tt h ee f f e c to fi m p r o v e dt vm o d e li sb e t t e r t h a nt h et vm o d e li nt h es a m en u m b e ro fi t e r a t i o n s ；a n dt h ee f f e c to fi m p r o v e d t v w a v e l e tm o d e li sb e t t e rt h a nt h et v w a v e l e tm o d e l k e y w o r d s ：i m a g ei n p a i n t i n gi m p r o v e dt v m o d e l i m p r o v e dt v - w a v e l e tm o d e l p a r t i a ld i f f e r e n t i a le q u a t i o n w a v e l e t i v 第1 章引言 1 1 课题的来源 第1 章引言 本课题来源于“四川省灾情上报接收处理系统平台 项目，由于四川地处 欧亚地震带，受太平洋板块、印度板块和菲律宾海板块的挤压，地震断裂带中 的地区地震十分活跃，川西地区经常发生地震，特别是发生在2 0 0 8 年5 月1 2 号的“汶川大地震”造成了重大的人员伤亡和财产损失。那么，怎样在第一时 间内，通过数字图像信息评估出地震受灾地区严重程度，是地震发生后重要的 事情。 由于数字图像在传输过程中由于信道的不稳定，图像表现为有噪声或破损， 而用这种降质的图像进行分析，很可能造成分析不准确或无法分析，最后造成 误判或无法判断，给地震后续工作带来极大的难度。而在图像降质中，图像破 损造成的问题可能更为严重，因此鉴于图像修复在本项目中的重要作用，于是 本文以数字图像为基础对图像修复这个问题进行了深入的研究。 1 2 图像修复的意义 1 2 1 图像修复的学术意义 经过长期的实践发展表明，人类在所接触到的信息当中，由图像形成的视 觉信息占了所有信息的大约7 5 - - 8 0 。由此也可以看出图像信息在人类生活中 的重要性，而图像信息又可以笼统的分为模拟图像和数字图像，而随着现代科 学的进步，计算机的发展，人们使用数字图像的几率也越来越大。当然，数字 图像也确实拥有非常多的优点，比如：( 1 ) 应用面很宽；( 2 ) 重现效果好；( 3 ) 处理的精度较高。 但是，无论是现实生活存在的图像，如照片、油画、古代壁画等，还是一 些虚拟图像，如储存在计算机中的数字图像，它们都会因为年代的久远、保存 不善或是在图像的传送、转换中造成图像的污损，即造成图像的降质，它们具 体表现为图像破损、模糊、有噪声、失真等。而在其他众多的科学领域中又由 于对于清晰的、高质量图像的需要，图像修复都是显得非常必要的，在对数字 图像信息的采集过程中，首先就需要清晰、完好的图像，才能对其进行分析， 得到正确的灾情判断。而在图像处理领域中，图像修复技术是近几年来- f j 新 兴的、重要的学科，在理论和实际方面都有着不少的重要的意义。 成都理t 大学硕士学位论文 1 2 2 图像修复的实用意义 图像修复技术实际上是一门非常古老的技术，它最早起源于欧洲的文艺复兴 时期。当时为了修复那些受到损坏的艺术作品，人们开始对那些艺术品进行修复 工作，也就是对那些艺术字画上的裂痕和缝隙进行人工的填补，从而达到翻新的 目的，这就是最初的图像修复技术。当时由于技术有限，主要是依靠的是艺术家 本身，即凭借其自身的艺术经验和技术，用纯手工来完成这项修复工作的。由 于不同的人对于艺术作品有着不同的理解，所以就会造成不同的人修复出来的效 果可能完全不同的情况，因此这项技术在当时来说其难度和工作量都是非常巨大 的。除此之外，由于这种修复技术是直接作用在艺术作品之上的，所以一点点小 小的失误都有可能导致整个艺术作品的报废，所以其修复风险也是相当巨大的。 但是由于随着科学技术的发展，这些古老珍贵的艺术作品得以被扫描进电脑里， 进行数字化储存了，同时又由于现代图像处理技术的发展，我们可以在电脑上对 这些已经被数字化的艺术作品进行图像修复，而完全不用承担被破坏的风险了； 不仅如此，由于现代修复技术是根据一定算法由破损区域周围的像素点信息向破 损区域进行扩散，从而达到填补破损区域的目的，所以该技术是自动的、并且它 是具有一定科学性和客观性的，所以这项技术不仅使得人们从这项繁复的图像修 复工作中解放出来，而且还避免了由于不同人修复出来的效果不一样的问题。很 显然，数字图像修复技术为修补这些古老的艺术作品提供了一种安全方便的途 径。 不仅如此，随着图像修补技术的发展，它已经应用于越来越多的领域了，如 古代文物字画的修复、影视特技的制作、破损老照片的修复、多余目标物体去除 ( 如图像信息中部分人物、文字、标题等的删除) 、在图像的缩放及图像的有损压 缩中的修复等，一些具体的应用如下图1 - 1 “图卜4 所示。 圈1 - 1 古代文物字画的修复 2 第1 章引言 图1 - 2 照片划痕的修复 o o 图1 - 3 覆盖文字的去除 圈1 - 4 图片中多余物体的去除 成都理工大学硕士学位论文 1 3 数字图像修复的国内外研究现状 数字图像修复技术最早是由b e r t a l m i o ，s a p i r o ，c a s e l l e s 和b e l l e s t e r r j i 入到图 像处理中的，也就是著名的b s c b ( b r t a l m i o s a p i r o c a s e l l e s b a l l e ) 算法n 】。该算法 的主要思想是利用待修补区域上的边缘像素的信息，首先估计等照度线 ( i s o p h o t e ) 的方向，然后将领域中的像素通过一定的方式将这些有用信息沿着估 计出来的等照度方向传播到破损的区域中去，直到修复完成。从本质上来说，这 种方法是一种基于偏微分方程( p a r t i a ld i f f e r e n t i a le q u a t i o n , p d e ) 的图像修复 ( i n p a i n t i n g ) 方法，它利用的是物理学中热扩散的思想，即将完好区域中的像素 信息扩散到待修补区域当中去，只不过它这里的扩散不是热扩散方程中的各向同 性扩散，而是沿着等照度线的方向扩散的各向异性扩散，这样扩散的目的是能成 功的保护边缘，达到修复完成之后不失真的效果乜。偏微分方程的修复算法可以 看作是一种基于微观的图像修复算法，而之后又由发展出了从宏观的角度去修复 图像的算法，即通过计算破损图像的能量方程最小化来达到图像修复的目的，于 是提出了基于变分的图像修复算法瞳纠。最著名的是由r u d i n 等人提出的全变分 ( t o t a lv a r i a t i o n ，t v ) 图像修复算法，它首先对破损的图像建立合适的能量方程， 再将该能量方程最小化，最后计算得到的能量最小化的图像就是修复完成后的图 像了阳1 。但是由于t v 模型有着一个固有的缺陷，即不满足人类视觉中的“连接性 准则，所以c h a n s h e n 等人又在t v 模型的基础上提出了一个曲率驱动扩散模型 ( c u r v a t u r ed r i v e nd i f f u s i o n s ，c d d ) ，它在t v 模型的基础上加入了一个曲率扩散 因子，使得在大曲率时加强扩散，于是它能填补破损较大的空洞，弥补了t v 模 型的缺点，满足了“连接性”原则，但是也正是由于该曲率因子的加入，让二阶 偏微分的t v 模型变成了三接偏微分方程，使得c d d 模型的修复时间大大的加长 【2 】。除此之外，还有许多的修复模型，他们都是适用于修复破损区域比较小的情 况，如m u m f o r d s h a h t 4 】、e u l e r se l a s t i c a 模型【5 】都是一种各向异性扩散模型，并且 他们都是二阶偏微分方程【1 0 1 、m u m f o r d s h a h e u l e r 模型6 】将曲线模型引入到了图 像修复模型当中，使得修复的线条不再是生硬的直线，而是光滑的曲线，减少了 其他模型中在修复后存在人为线条【1 1 】，但是也正是由于曲线模型的引入，使得该 修复模型成了一个四阶偏微分模型2 3 1 ，于是让该修复模型的修复时间大大的延长 了。除此之外，近年来还提出一些关于经典模型的快速算法【3 2 1 ，但这些算法的修 复效果往往不是很理想【i 引。 所以从上面的介绍和简要分析来看【i 刀，现存的对于小尺度破损的图像修复算 法来说都是各有利弊的【1 6 】，主要矛盾都集中在修复时间和修复效果上的匹配协调 问题上，即效果好的修复算法往往是以加入不同的参数为代价【2 4 】，导致偏微分阶 数上升，以至修复时间呈指数级的大大增长田】。 4 第1 章引言 除了上面所介绍的用于修复小尺度破损的图像修复算法( i m a g ei n p a i n t i n g ) 以外，还有适用于大尺度破损图像的图像补全算法( i m a g ec o m p l e t i o n ) l 7 一j ，当 然对于能修复这种大尺度破损的原因在于【l9 1 ，这些破损图像是有明显的纹理特征 存在的，如果不是这样的话，即非纹理图像的大面积破损是不能修复成功的 1 2 。1 4 。图像补全算法大致分成两个类别，一种是图像分解修复技术，其主要思 想是，将破损的图像分解成结构部分和纹理部分两份，将结构部分( 非纹理部分) 按照上面我们所介绍的i m a g ei n p a i n t i n g 算法进行修补，纹理部分则利用纹理合成 的方法进行填充，最后达到修复完成的目的。例如，b e r t a l m i o 等人先用最小化能 量方程的思想方法，首先将图像中的结构部分提取出来，然后再对图像的纹理部 分进行建模；将破损的图像分解成两个部分以后，用b s c b 修复模型对其结构部 分进行修复，而剩下的纹理部分则采用非参数采样纹理合成技术来进行填充，最 后，分别把修复好的这两部分的结果叠加在一起，最终就得到了修补好的图像； 除此之外，还有另一种方法是基于块的纹理合成技术，它首先从待修复区域的边 缘上选择一个点，以这个像素点为中心，选择合适的像素个数为半径大小的纹理 块，在破损区域的周围，比较选择与刚刚那个纹理块最为相近的纹理块，来替代 那个破损的纹理块，然后一遍遍的重复，直到最后填充完毕。在上述的这些算法 中，c r i m i n i s i 算法及其改进的算法得到了广泛的应用，原因在于该算法实现起 来简单、修复效果好，并且修复速度快。但是对于这些基于样本的纹理合成的修 复技术，在寻找匹配的纹理块的时候采用的是一种全局找寻的方式，但是这种寻 找方式不仅容易错误匹配，而且还非常的耗时，所以这使得这种算法在应用上受 到了一些限制。不仅如此，图像分解修补技术在实际过程中也存在一些问题，由 于在修补技术中的扩散过程会模糊填充的区域，所以该方法也只能适用于于填补 一些小尺度的裂痕【4 。 但是通过近几年来的研究和发展，利用纹理合成技术，来修复大块丢失信息 的图像补全技术，也还是取得了一定的研究进展。 从上面来看，以上的图像修复算法都是针对空域中的图像存在明显的可以画 出边界的破损图像来进行的修复。但是随着近几年信息技术的不断发展，小波技 术也越来越多的应用在了实际生活中，如图像压缩技术j p e g 2 0 0 0 ( 基于小波变 换) ，它被广泛的应用于图像处理和图像传输的技术当中，但是由于这种技术在 信道中传输的形式都是以小波系数的方式存在的，所以由于信道的不稳定和噪声 的干扰，可能导致收到时的图像降质、失真，而这种降质失真是由于小波系数丢 失和错误造成，而这种破损又往往不能从空域中轻而易举的界定出图像破损的范 围，所以这就给现有的图像修复算法带来了难题。于是在2 0 0 6 年t o n ye c h a n 等人又提出了一种全变分小波图像修复算法( t 0 t a lv a r i a t i o nw a v e l e t l e t i n p a i n t i n g ，t v - w a v e l e t ) ，即在小波域当中修复小波系数，但是在空域中又是满足 5 成都理工大学硕士学位论文 各向异性扩散的规则，使得在小波系数修复完成之后，在空域中的修复效果也是 很好的【如】。该算法也是近年来的一个新兴领域。 所以从上面的介绍来看，空域中的图像修复算法大致分为两类，一个是基于 结构图像的修复算法，一个是基于纹理图像的图像补全算法，他们各自有着不同 的技术去修复图像，且都还存在着修复效果不好，或是修复时间过长的问题：而 针对小波域中的对小波系数的修复方法又主要应用的是变分法，与空域中的 i m a g ei p a i n t i n g 算法有着很密切的联系。所以本文主要讨论的是结构图像的图像 修复算法。 1 4 本文的主要工作及其结构安排 1 4 1 本文的主要工作 本文首先引入了图像修复技术这个概念，然后简要介绍了一下图像修复技 术的发展史，针对近几年图像修复技术的研究成果，如用于修复结构图像的t v 模型，c d d 模型、m s 模型、m s e 模型、e u l e r se l a s t i c a 模型，和用于修复 纹理图像的纹理合成算法等进行了简要的介绍，再对这些算法进行了归纳和总 结，阐述了这些图像修复算法在图像修复效果和图像修复时间上的优缺点。由 于本文重点研究的是基于结构( 非纹理) 图像的修复算法研究，所以本文首先 研究了现有的图像修复算法，并提出一个改进的算法，再将这个改进算法引入 n d , 波域中去，使得能通过更好的图像修复规则来约束小波域中小波系数的修 复，从而达到空域中更好的图像修复的效果。 1 4 2 本文的结构安排 第一章引言。主要介绍了图像修复的意义、图像修复技术的概念、国内外 研究现状、现有算法的优缺点的总结、及本论文的主要内容和章节安排。 第二章图像修复的基础知识。主要介绍关于图像修复算法的基本原则、原 理和一些数学相关知识，如偏微分、泛函、变分、小波等。 第三章t v 模型及其改进1 v 模型。介绍图像修复中的经典模型一模 型，介绍其原理、数值计算、实验步骤；在t v 模型的基础上提出一个改进模 型，同样阐述其原理、数值计算、实验步骤；最后将这两个模型的实验进行对 比，将结果进行分析、比较和总结。 第四章改进的t v - w a v c l c t 模型。首先介绍t v - w a v d e t 模型，介绍其原理， 然后将该模型进行改进，介绍改进模型的实现原理，优越性，之后讲解如何将 该模型进行数值计算，列出它的实验步骤，最后将t v - w a v e l e t 模型和改进的 6 第1 章引言 t v - w a v e l e t 模型的实验进行对比，将结果进行分析、比较和总结。 结论。总结一下本文的主要工作，然后再说明一下今后的研究方向。 7 成都理工大学硕士学位论文 第2 章图像修复的基础知识 2 1 图像修复的原则和原理 2 1 1 图像修复的原则 图像修复技术是指自动的根据破损图像周围像素的信息，以一定的方式向 破损区域进行传播，最后填满整个修复区域，达到恢复受损图像的目的，利用 这种技术修复后的图像，可以使观察者几乎无法察觉有破损的痕迹。图像修复 过程的大致的示意图如图2 一l 所示。2 0 0 2 年，t o n yc h a n 等人提出了低层次图 像修复应该遵循的三个原则【2 0 】： ( 1 ) 局部性。即修复的图像完全由修复区域附近的信息来完成修复。 ( 2 ) 能够连接断裂的边缘。由于人眼对于边缘部分的信息是十分敏感的， 与此同时，边缘在图像的物体识别和图像分割中又占有重要的位置，所以在图 像修复时对于断裂边缘的修复是一个很重要方面。 ( 3 ) 对噪声具有鲁棒性。也就是说当噪声低于某一程度时，人类的视觉能 够从含有这种噪声的图像中提取出干净的图像，并将这些有用的信息延伸到待 修补区完成图像修复。 图2 - 1 图像修复示意图 基于结构图像的图像修复算法主要分为两类，一类是基于微观的偏微分方 程法，一类是基于宏观的变分法，而由于偏微分方程和变分方程可以通过 e u l e r - l a g r a n g e 方程互相转化，所以实质上他们是同一种方法，只不过看问题的 角度不一样而已。从上一章的介绍我们已经知道，偏微分方程法就是从破损的 边缘上通过各向异性扩散向待修复的区域进行填充，达到修复目的的，这是一 个很直观并且可以理解的一个过程，不需要多作解释。但是，变分法又是为什 第2 章图像修复的基础知识 么可以达到图像修复的目的的昵? 这可以从两个方面进行解释，一个是从理性 的、科学的角度来解释，这就需要通过一个叫“贝叶斯理论”的方法来解释了； 另外一个是可以通过感性的角度，即我们平常都熟知的现象来解释。下面在图 像修复的原理这一小节中，我们将分别从科学客观和感性的这两个角度来解释 一下变分法可以达到图像修复目的的原因。 2 1 2 图像修复的原理 “贝叶斯框架 ( b a y e s i a nf r a m e w o r k ) 在图像修复中有着非常广泛的应用， 它与人类视觉以及计算机领域中常常使用的“h e l m h o l t z ”原理也有着非常密切 的联系，因此该理论在图像修复中也扮演着非常重要的角色，下面我们来讲解 一下该原理在图像修复中的具体应用过程【2 7 1 。 在图像修复的过程中，汉密尔顿( h e l m h o l t z ) 的最佳猜测原理一般是建立 修复模型的过程。汉密尔顿假设认为，对世界信息形态的最佳猜测就是人类视 觉系统所感知到的。从统计学观点的角度来看，贝叶斯推断的过程是这种“最 佳猜测表明图像复原的一个过程，这个过程包括了两个部分：一个就是要建 立图像的先验模型，另一个是要建立图像的数据模型。从另外一个角度来说， 能量泛函的最小化的过程也是“最佳猜测 中的一个过程f 2 7 1 ，而能量泛函的最 小化过程就叫做变分法，所以实际上图像修复的过程是一个“最佳猜测 的过 程。因此建立符合“最佳猜测”的能量函数就成为最佳猜测的关键问题。下面我 们用数学语言来描述一下为什么能量泛函的最小值就能达到图像修复的目的。 假设图像修复实际上就是利用破损的图像，。恢复出原图像，的一个过程。 那么，根据汉密尔顿的原理，这个过程就是一个求贝叶斯的最大后验概率的过 程，也就是说求使得p ( ii ，。) 最大化情况下的，根据贝叶斯公式： 删u = 等铲 ( 2 一1 ) 而破损图像，o 是已知的，于是分母就是一个常数，那么这个问题就变成了求数 据模型p ( z 。i ，) 和图像先验模型p ( ，) 的最大乘积了。其中，原始图像，所满足 的情况是先验模型p ( ，) ；而当前的受损图像，o 与原图像，的关系表示的是数据 模型p ( ，oj ) ，即表示从原图像变成受损图像的关系概率。 9 成都理丁大学硕士学位论文 先验模型p ( ，) 中包含的重要的几何结构如果用贝叶斯方法中的能量来处 理，就会使问题变得简单。由g i b b s 4 2 1 公式表示：被观察到原图像川| 勺可能性， 即被察觉的概率与它的能量g ( i ) 有如下关系 州) = e x p ( 一警) ( 2 2 ) 式( 2 2 ) 中的t ，k 分别表示绝对温度、玻尔兹曼( b o l t z m a n n ) 常数，所有允 许结构的分割函数表示的是z ，那么同理可知，能量研，。lj 】也可以用上面的方 式来定义，所以，贝叶斯方法就导出了最小化问题，即最大化后验概率的表示 方法，即 m i n ( e 1 】+ e i oi 功 “ ( 2 3 ) 式( 2 3 ) 中的研，】，研j 。l1 分别是概率公式中的先验模型和数据模型的能量方 程。也就是说，要使得原图像j r 被观察到的可能性最大，那么就要使先验模型 和数据模型的能量方程最小，这也就解释了为什么最小化能量方程就能达到修 复图像的目的了。在实际情况中，由于可以比较容易的建立能量方程模型，所 以，在一般情况下都使用能量模型来求解修复后的图像。 在图像修复问题中，比较容易建立的是数据模型。假设图像受到高斯噪声 的影响，将图像表示为 i o = i + n ( 2 4 ) 式( 2 4 ) 中的n 表示加性高斯白噪声，那么数据模型的能量形式如下式所示 驯耻訾出 ( 2 5 ) 式( 2 5 ) 中的仃2 ( x ) 表示的是区域中像素方差。对于均匀的噪声来说，它就是 l o 第2 章图像修复的基础知识 一个常数。所以，一个好的图像先验模型e ( ，) 可以建立一个有效地贝叶斯或变 分模型。几何模型法、熵理论、m a r k o v g i b b s 随机场理论等许多方法都可以建 立有效的先验模型。由r u d i n 等人在b v 空间中建立的能量模型，对图像中的 边缘特征进行了有效的描述，就计算的有效性、理论的可证性、应用的广泛性 来看，该模型都是最有效的，该模型的有效性已得到了论证。 上面是从理论的角度来说明为什么变分法可以实现图像修复的原因，下面 本论文可以从一个更感性的角度来理解这个问题。众所周知自然界中存在的一 些普遍的原理，如量子物理学中存在的一个普遍的物理现象量子跃迁，它 说的是量子总是从高阶向低阶跃迁，这是因为在高阶中的量子的能量是很高的， 因此是很不稳定；而低阶中的量子能量低，所以是很稳定的。所以从这个原理 可以看出，任何物体如果要想保持稳定的状态，那么其能量就要保持在一个最 低的水平，只有能量最低时物质才是最稳定的。所以当用能量方程来定义一幅 图像后，求其能量方程的最小值也就是求这个图像最稳定的状态，当图像随着 一次次的修复后变的稳定时，说明该修复后的图像将不继续随着时间的推移而 发生改变，表明修复完毕。而能量方程不再随着时间变化，恰好就是变分法的 中心思想，即对泛函求极值。 2 2 图像修复的数学知识 2 2 1 图像的数学表示 l 、图像的定义及其导数表示 设q cr ”是维数为咒的闭合空间。其中q 表示图像、图像中的曲线及其定 义域，刀+ 。对于二维图像而言，n = 2 。所以，二维灰度图像的定义如下 那么，图像“对于变量x 的导数就表示为 锄 “j2 瓦 ( 2 6 ) ( 2 7 ) r o _ 一 尺力 c 以c = “ 成都理工大学硕士学位论文 二维灰度图像“对变量x 和变量y 导数叫做梯度，用v “来表示为 v 吲罢，争帆以) o d l ， 。 那么梯度的模值表示为 v ui - 厢 那么在方向，r 4 上的一阶方向导数表示为如下 虬：塑：一v u 1 ， “v2 _ 2 1 ， d v 那么要是图像是二维的灰度图像的话，其一阶方向导数就表示 ( 2 8 ) ( 2 9 ) ( 2 一l o ) ( 2 一1 1 ) 当然要是需要求对图像u 的二阶偏导数，其自变量为先x 后y 的话表示为 那么在方向1 ，r “上的二阶偏导数就可以表示为 “。：i a 2 了u ：v ( v v ( vo v ) o v “w2 万2 ( 2 一1 2 ) ( 2 一1 3 ) 因此，对于二维灰度图像而言，对于图像”对变量工和变量y 的二阶偏导 数可以表示为 1 2 厂w 川 h h ，。p 望坳 = f m 第2 章图像修复的基础知识 归( v l ，(2-14) 【“。= v ；“搿+ 2 v l v 2 “叫+ v ；“ 那么拉普拉斯算子就可以表示为 a 2 ua 2 “ 幽2 矿+ 矿刮搿枷拶 a x i 如l “ ”。 ( 2 一1 5 ) 2 、泛函和变分的定义 上面介绍的是一些关于图像处理中最基础的数学表达方式，由于在前面一 节已经说到，图像修复中变分法的实质就是首先建立能量方程，在对能量方程 最小化的过程，那么首先要明确什么是构成能量方程中最重要的东西泛函。 泛函定义：泛函通俗的理解就是表示函数的函数。如果用数学语言描述如 下：设沙( x ) ) 为已知的某类函数，如果对于这类函数中的每一个函数y ( x ) ，变 量厂都有一个值与之相对应，那么，变量厂称为这类函数抄( x ) ) 的泛函，记为 f = f l y ( x ) 】。 泛函 j ，( x ) ) 的微小变量y ( x ) 的微小增量就叫做变分，记为缈。掣表示的是 函数y ( x ) 和它很接近的函数y ( x ) 之间的差值，即c r y = y ( 功一y ( x ) ，其中，y ( x ) 是某一类函数中的自变量，所以，哕也就是x 的函数。 于是，泛函v 【y ( z ) 】的变分定义为 西= 导“j ，( x ) + a 4 v l 口：o 口 ( 2 一1 6 ) 在泛函的极值曲线上，它的变分西= 0 。 求泛函极值的变分过程，可以归结为求解偏微分方程的问题，所以变分的 解最后就归结为求解偏微分方程了，那么要如何解得上面的偏微分方程呢? 这 就需要靠下面要介绍的e u l e r - l a g r a n g e 公式了。 3 、e u l e r - l a g r a n g e 公式州 首先介绍一个变分的预备定理【2 5 】：设a 为一个平面区域，那么该平面区域 的边界就为削，如果存在函数f ( x ，y ) 曰( 彳) ，同时对于任意的函数都有 成都理工大学硕士学位论文 善( x ，y )