（电路与系统专业论文）基于非局部约束和样例学习的图像复原.pdf

摘要 m i ii l ll ll li i il ll l ii i i i l u | l m i l l l l l i l l l = = 1 y 2 0 6 78 5 8 人类获取的信息主要来源于视觉，而视觉系统的基础是图像，所以图像质量 的高低直接影响到人类对客观世界认识的准确与否。由于相对运动、大气干扰、 散焦和噪声等诸多因素的存在，导致了所获取图像质量的下降，因此图像复原至 关重要。图像复原的任务是在去除由降质系统引入的模糊和噪声的同时，不丢失 原始图像的细节信息。图像复原是一个病态问题，也是至今尚未很好解决的一个 问题，同时又是一个非常具有挑战性的课题。本文深入分析了图像的退化模型和 恢复模型，详细阐述了常用的降质退化函数、噪声模型、常用的复原方法以及主 客观评价准则。在此基础上，提出了三种图像复原方法，分别如下： ( 1 ) 提出了一种基于非局部约束的全变分图像复原方法。基于全变分模型的图 像复原方法可以较好地恢复图像轮廓信息，但恢复的细节部分往往会产生过平滑 的现象。我们将图像的非局部自相似性作为全变分模型的新约束，采用了非局部 约束策略和局部约束策略相结合的思想，将非局部自相似性与全变分正则性进行 互补，有效地解决了恢复图像过平滑和细节恢复不明显的问题。对比实验表明， 该方法在抑制噪声的同时，又能有效地恢复图像的边缘和纹理细节信息。 ( 2 ) 提出一种基于改进权值的非局部约束的全变分图像复原方法。该方法针对 提出的上一方法中对强噪声抑制不够理想的问题，将非局部均值滤波中的权值计 算方法进行了改进，将原始的非局部权值和贝叶斯非局部权值的计算方法进行结 合，新构造的权值计算方法同时保留了前两种计算方法的优势，使得非局部相似 图像块之间的权值分配更为合理有效。对比实验表明，该方法与改进前的方法相 比，可以更有效地抑制噪声，恢复出更多的图像细节信息，而且在视觉效果上更 好。 ( 3 ) 提出一种基于样例学习的图像复原方法。该方法将样例学习的思想引入图 像复原领域，并构造了一种新颖的三图像块集模型( 模糊图像块集b 、清晰图像块 集c 和高频图像块集h ) 。该方法先利用相似块匹配的策略，通过b c 和b h 之间的 对应关系，分别恢复出低中频复原结果和高频复原结果，再将这两幅中间结果图 像迭加得到最终的图像复原结果，有效地克服了因块重叠和光滑约束产生的二次 模糊问题，保留了从图像块集中学习到的高频细节信息。为了降低该算法复杂性， 采用了多级聚类的方法。实验表明，该方法的复原结果无论在主观视觉效果还是 客观评价指标上，都明显优于对比算法。 本文工作得到了国家自然科学基金( n o 6 11 7 3 0 9 2 ) ，中央高校基本科研业务费 专项资金( n o j y l 0 0 0 0 9 0 2 0 4 5 ) 和高等学校学科创新引智计划( 1 ll 计划) ( n o 基丁非局部约束和样例学习的图像复原 b 0 7 0 4 8 ) 的资助。 关键词：图像复原全变分模型非局部约束样例学习 a b s t r a c t a b s t r a c t a st h em a i nw a yo fg e t t i n gi n f o r m a n t i o no fh u m a ni sv i s u a ls y s t e mw h i c hb a s e do n i m a g e s ，t h ei m a g eq u a l i t yw i l ld i r e c t l ya f f e c t sh u m a n su n d e r s t a n d i n go ft h eo b j e c t i v e w o r l da c c u r a t eo rn o t t h ep r e s e n c eo ft h er e l a t i v em o t i o n , a t m o s p h e r i ci n t e r f e r e n c e , d e f o c u s i n g , n o i s ea n dm a n yo t h e rf a c t o r s ，l e dt oad e c l i n ei ni m a g e s ，s oi m a g e r e s t o r a t i o ni sp a r t i c u l a r l ys i g n i f i c a n t t h i st e c h n i q u ei sa i m e dt or e m o v eb l u ra n dn o i s e s ， w h i l eh o l d i n gt h eo r i g i n a li m a g e sw i t h o u tl o s i n gd e t a i l sa sp o s s i b l ea sw ec a l l i m a g e r e s t o r a t i o ni sa l li l l p o s e di n v e r s ep r o b l e ma n dav e r yc h a l l e n g i n gt a s k t h i sp a p e r s t u d i e st h em o d e l so fd e g r a d a t i o na n dr e s t o r a t i o n ，a n d a n a l y s e s t h ec o m m o n d e g r a d a t i o nf u n c t i o n s ，r e s t o r a t i o nm e t h o d sa n de v a l u a t i o n b a s e do na b o v et h e o r i e s ，w e p r o p o s et h r e en o v e lr e s t o r a t i o na l g o r i t h m sb a s e do nt v ( t o t a lv a r i a t i o n ) m o d e l ，n l ( n o n l o c a l ) m e a n sf i l t e r , a n de x a m p l el e a m i n gm e t h o d s a sf o l l o w s ( 1 ) an o v e lt vb a s e di m a g e r e s t o r a t i o na l g o r i t h mw i t hn ls e l f - s i m i l a r i t y c o n s t r a i n ti sp r o p o s e d t vb a s e di m a g ed e b l u r r i n gm e t h o d sa r ee f f e c t i v ei nr e s t o r i n g i m a g es t r u c t u r e sf r o mb l u r r e di m a g e s h o w e v e r , t h e yt e n dt oo v e rs m o o t ht h el o c a l i m a g ed e t a i l s w eo v e r c o m e t h i sd r a w b a c kb yc o m b i n i n gl o c a lt vr e g u l a r i z e rw i t hn l s e l f - s i m i l a r i t yc o n s t r a i n t , w h i c hh e l p st os h a r p e nt h ei m a g ee d g e sa n dr e s t o r et h ef i n e d e t a i l s t h e1 0 c a lt vm o d e la n dn ls e l f - s i m i l a r i t yc o n s t r a i n ta r ec o m p l e m e n t a r yt o e a c ho t h e r , m a k i n gt h ep r o p o s e da p p r o a c hh i g h l ye f f e c t i v ei nr e m o v i n gt h eb l u rw h i l e p r e s e r v i n gi m a g ee d g e s ( 2 ) at vb a s e di m a g er e s t o r a t i o na l g o r i t h mw i t hn ls e l f - s i m i l a r i t yc o n s t r a i n tw i t h i m p r o v e dw e i g h t si sp r o p o s e d f o rt h ep r o b l e mo f t h ep r e v i o u sm e t h o di sn o ti d e a lf o r n o i s es u p p r e s s i o n ，w ei m p r o v et h ec a l c u l a t i o nm e t h o do fw e i g h t si nn lm e a n sf i l t e rb y c o m b i n i n gt h a t i no r i g i n a ln lm e a n sf i l t e rw i t hb a y e s i a nn lm e a n sf i l t e r t h e i m p r o v e dw e i g h t sc a l c u l a t i o nm e t h o dr e t a i n st h ea d v a n t a g e so fb o t ht w om e t h o d s e x p e r i m e n tr e s u l t ss h o wt h a tt h ei m p r o v e da l g o r i t h mh a sb e t t e rp e r f o r m a n c ea n de f f e c t i ni m a g er e s t o r a t i o ns u p e r i o rt oo t h e r s ( 3 ) a ni m a g er e s t o r a t i o na l g o r i t h mb a s e do ne x a m p l el e a r n i n gi sp r o p o s e d w e i n t r o d u c ee x a m p l el e a r n i n gm e t h o di n t oi m a g er e s t o r a t i o nf i e l du s i n gp r e p r o c e s s i n g t e c h n o l o g ya n dp r o p o s ean o v e lt r i - d a t a b a s em o d e l ：b l u r r e d ( b ) d a t a b a s e ，c l e a n ( c ) d a t a b a s ea n dh i g h f r e q u e n c y ( h ) d a t a b a s e w eu s et h et e c h n o l o g yo fp a t c h e sm a t c h i n g t oe s t i m a t eal o w a n dm i d d l e - f r e q u e n c yi m a g e ，a n dah i g h - f r e q u e n c yi m a g e ，a n dt h e n t h ef i n a lr e s t o r a t i o ni m a g ei so b t a i n e db ya d d i n gu pt h et w oe s t i m a t e di m a g e s t h e p r o p o s e dm e t h o dc a ne f f e c t i v e l yr e s t o r e st h es i g n i f i c a n td e t a i l ss u c ha st e x t u r e so f o b j e c t sa n dt h es t r o n ge d g ec o m p o n e n t si ni m a g e sf r o mt r a i n i n gi m a g e sw h i l er e d u c i n g u n d e s i r a b l ea r t i f a c t sb ya v e r a g i n go v e r l a p p e dr e g i o n sb e t w e e na d j a c e n tp a t c h e s t o r e d u c et h ec o m p u t a t i o n a lc o m p l e x i t y , am u l t i - c l a s s i f i c a t i o nm e t h o di sa l s op r o v i d e df o r b l u r r e dd a t a b a s e t h ee x p e r i m e n t a lr e s u l t sv a l i d a t et h ep e r f o r m a n c eo ft h ep r o p o s e d a p p r o a c hi nb o t he v a l u a t i o ni n d e x e sa n dv i s u a lq u a l i t y t h i sr e s e a r c hi s s u p p o r t e db yt h en a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no fc h i n a ( n o 6 l1 7 3 0 9 2 ) ，t h ef u n d a m e n t a lr e s e a r c hf u n d sf o rt h ec e n t r a lu n i v e r s i t i e s ( n o j ylo o 0 0 9 0 2 0 4 5 ) a n dt h ef u n df o rf o r e i g ns c h o l a r si n u n i v e r s i t yr e s e a r c ha n d t e a c h i n gp r o g r a m s ( t h e1 1lp r o j e c t ) ( n o b 0 7 0 4 8 ) k e y w o r d s ：i m a g er e s t o r a t i o n t o t a lv a r i a t i o nm o d e l n o n - l o c a lc o n s t r a n t e x a m p l el e a r n i n g 第一章绪论 第一章绪论 1 1 研究背景与意义 随着信息化社会地不断发展，信息的获取和利用越来越重要。科学研究表明， 人类获取外界信息的主要途径是视觉【i , 8 3 】，而图像是视觉系统的基础，可见图像是 人类获取外界信息的最重要载体。同时，人们对所获取的各种各样的图像进行人 工的，或者计算机方式的分析与处理，以获取真实世界的重要信息。 在图像在采集、转换和传输过程中，由于成像设备、外部环境及噪声干扰等 影响的存在，使得所获取图像质量产生不同程度的下降，表现为图像模糊、含噪 等，这个过程被称为图像的退化，也称为图像的降质。图像的退化使得所获取的 图像模糊不清、甚至无法辨识，严重影响了信息的获取。图像复原( i m a g er e s t o r a t i o n ) 是指去除或减轻在获取图像过程中发生的图像质量下降。从降质的图像中恢复出 清晰的、内容丰富的、接近真实理想的图像，提高获取信息的真实性和有效性。 从原理上说，图像复原是在研究图像退化原因的基础上，以退化图像为依据，根 据一定的先验知识建立相应的退化模型，针对所建立的退化模型设计一种针对性 的或通用性的图像恢复算法，将降质图像进行重建和复原。 现代的图像复原技术在理论和技术上都已经变得更加系统和成熟，应用领域 也更加广泛。图像复原技术最早应用于天文图像领域，由于太空拍摄器的运动速 度较快，在摄像机快门按下的瞬间，拍摄器可以运动很长一段距离，所以拍摄出 的图像会有比较严重的相对运动模糊，这就需要用到复原技术对所获得的图像进 行处理，以得到更有实用价值的太空信息。在遥感领域，图像复原需要克服大气 湍流造成的图像质量下降，抑制噪声和薄云的干扰，改善空间飞行器所获得的影 像质量等。图像复原技术被广泛地用于农业生产、林业采植、矿产挖掘、环境监 督、气象检测、军事侦察、地质监测、水产调查等 i - 2 , 8 3 】。在医学图像处理领域， 图像复原技术用于抑制x 光、c t 等图像的噪声，提高成像质量，改善清晰度。在 公共安全领域，图像复原技术用于清晰化指纹，头像识别等。在材料学领域，图 像复原技术用于恢复过旧失真的历史照片和人文资料等。随着人们对信息需要的 不断增长，众多领域都将用到图像复原技术。 1 2 图像复原的研究现状 图像复原作为图像处理的重要方面，在过去的几十年间，国内外许多学者对 2 基丁非局部约束和样例学习的图像复原 其进行了广泛而深入的研究。 早在六十年代中期，逆滤波方法开始被广泛地用于图像复原。 n a t h a n 首先使用了限定逆滤波的方法处理由漫游者等宇宙飞船拍摄的外星图 像。同一时期，h a r r i s 在处理模糊望远镜图像时，采用了具有点扩散函数( p o i n t s p r e a df u n c t i o n ，p s f ) 解析模型的逆滤波方法。m e g l a m e r y 先用试验确定出p s f 解析 模型，进而对大气扰动图像进行逆滤波。逆滤波法使用一种无约束复原方法，它 直接从求逆角度求解复原问题，该方法虽然形式简单，但是计算量巨大，而且当 分母等于或者接近零时，复原计算将无法进行，需要人为进行修正【8 3 l 。 1 9 6 7 年h e l s t r o m 对逆滤波复原法进行了改进，采用最小均方误差估计方法， 提出了具有二维传递函数的维纳滤波器1 t , 8 3 】。维纳滤波器使原图像与恢复图像之间 的均方误差在统计意义上最小，所以该滤波器也称最d , - 乘滤维纳滤波器，属于 有约束恢复。由于维纳滤波是对图像在统计平均意义上给出的最佳恢复，所以对 噪声放大有自动抑制作用，且噪声越强，抑制作用越明显，避免了在逆滤波中出 现的对噪声过度放大的问题。 h u n tb 提出了约束最小二乘( c o n s t r a i n e dl e a s ts q u a r e ) 算法【4 】，它引入确定性 先验信息以确保解的二阶导数范数的平方最小，即对解强加了一个平滑限制，认 为大多数图像是相对平滑的，进而得出一个最优解。 l u c y - r i c h a r d s o n 滤波恢复是一种迭代复原方法，能够按照泊松噪声统计标准 恢复图像，恢复出的图像和给定的p s f 卷积后能够与输入的模糊图像尽可能的接 近。当p s f 已知，噪声未知时，可以使用这种方法进行恢复【1 1 。 f f i c d e nb r 于1 9 7 2 年提出利用最大熵法【9 】进行图像复原，基本思想是依据 退化图像和p s f ，在一定的约束条件下，使得信号熵和噪声熵加权和最大，从而求 解复原图像，这种方法主要适用于对被较强的噪声污染的模糊图像的复原。最大 熵复原法要求在满足复原模型的前提下，将熵最大的解做复原的结果，无需假设 过多的先验知识，在抑制噪声的同时，又可以较好的恢复图像的细节。 上述这些传统图像复原方法虽然能在无噪或低噪条件下复原图像，但在噪声 污染较严重时复原结果并不理想，输出图像存在明显噪声和模糊。因此我们需要 研究在强噪声干扰下有效复原图像的技术。近年来，随着控制理论与数字信号处 理技术的迅速发展，复原技术领域出现了一些新的方法。例如：神经网络、小波 分析、全变分图像复原方法等。 神经网络多以与经典复原方法结合的形式出现，在复原中用作参数辨识器和 复原滤波器，神经网络的很多优异特性，使其非常适合在复原算法中应用。c e l e b i 等研究将l y a p u n o v 方程由离散时域扩展到连续时域神经网络的方法，结果证明了 连续时域神经网络是图像复原问题的最佳方法之一【l o 】。z h o u 等于1 9 8 8 年提出神 经网络图像复原方法【! j 】。神经网络的学习是使其能量函数最小化的过程，通过极 第一章绪论 小化误差的方法达到图像复原的目的。 图像复原本身是一个病态的逆问题，需要通过某些约束使其变为良性问题， 这也就是j f 则化方法。正则化的图像复原方法可以用空域迭代法f 7 】求解。正则化的 方法可以与小波变换进行结合，对小波变换后各频带采用不同的j 下则化因子可以 得到具有子频带j 下则性的图像复原方法【8 】。与频域复原方法相比，基于小波域的复 原有更好的边缘保持效果，复原后图像的高频细节更清晰，不失为一种有效的复 原方法。 近年来，基于全变分( t o t a lv a r i a t i o n ，t v ) 的图像复原方法引起了人们广泛的关 注。r u d i n 、o s h e r 和f a t e m i 在t i l d a o n o v 正则化方法【3 】的基础上提出了全变分模型 i s - 6 ，该模型以一次型范数为约束，可以有效地抑制噪声，同时又可以保持图像的 边缘。全变分是一种通过引入能量函数，将逆问题转化为一个求解泛函极小化问 题的方法。全变分复原模型虽然能在保护边缘的同时有效去噪，但是它不完全符 合图像处理的形态学原则，在噪声较大的情况下模型的稳态解中往往有明显的阶 梯( s t a i r c a s e ) 效应【2 9 1 。为了解决全变分模型的不足，一些学者提出了对全变分模型 的改进模型，如空域的自适应t v 模型【1 2 】、约束1 v 模型【1 3 1 和迭代权重t v 模型1 1 4 】 等。 目前，图像复原技术呈现出百花齐放，百家争鸣的状态，往往是多种思想， 多种方法相结合，已经无法进行简单的分类，而且各种新的技术和新的方法正在 不断涌现。 1 3 课题主要研究工作 图像复原是为了获得更准确的信息，而通过多种技术手段提高图像清晰度， 抑制图像模糊和噪声的- - l - i 学科。本论文针对图像复原问题主要做了几下方面的 工作： ( 1 ) 深入分析了图像复原的基本理论知识，包括图像的退化模型，常见的退化 函数和退化过程的噪声模型，详细介绍了图像的复原模型和常见的复原方法及复 原结果的主客观评价准则。 ( 2 ) 介绍了基于全变分的图像复原算法的基本理论和研究现状，提出了一种基 于非局部约束的全变分图像复原方法。基于全变分模型的图像复原方法可以很好 的恢复图像轮廓信息，但恢复的细节部分会产生过平滑的现象。我们将非局部均 值滤波作为全变分模型的新约束，采用了非局部约束策略和局部约束策略相结合 的思想，将全变分j 下则性与非局部自相似性作为一对互补约束，有效地解决了恢 复图像过光滑和细节恢复不明显的问题。对比实验表明，该方法在抑制噪声的同 时，又能有效地恢复图像的边缘和纹理细节信息。 4 基丁1 f 局部约束和样例学习的图像复原 ( 3 ) 介绍了非局部均值滤波方法中相似图像块之间权值分配的计算方法，对现 有的权重的计算方法进行了进改，将原始的非局部权值和贝叶斯非局部权值的计 算方法相结合，新构造的权值计算方法同时保留了前两种计算方法的优势。将改 进的权值计算方法用于图像复原中，提出一种基于改进权值的非局部约束的全变 分图像复原方法，解决了改进前算法中对噪声抑制不明显的问题。对比实验表明， 该方法与改进前的方法相比，可以更有效地去除噪声，恢复出更多的边缘和纹理 细节信息，而且主观视觉效果上更好。 ( 4 ) 介绍了基于样例学习的图像高分辨重建模型，并将样例学习的方法引入到 模糊图像复原领域，提出一种基于样例学习的图像复原方法，构造了一种新颖的 三图像块集模型( 模糊图像块集b 、清晰图像块集c 和高频图像块集h ) 。该方法先 利用块匹配的方法，通过b c 和b h 的相应关系，分别恢复出低中频复原结果和高 频复原结果，再将两幅图像迭加得到最终的图像复原结果，有效地克服了因块重 叠和光滑约束而产生的二次模糊问题，保留了从数据集中学习得到的高频细节信 息。为了降低该算法复杂性，采用了多级聚类的方法。实验表明，该方法复原的 图像无论在主观视觉效果还是客观评价指标上，都明显优于对比算法。 第二章图像复原理论基础 第二章图像复原理论基础 我们在获得图像的时候总会或多或少的受到周围环境的影响，不可避免地造 成图像的退化。图像复原的目的是把对观测到的退化的图像进行恢复，主要的研 究思路是在对图像退化过程了解的基础上，建立相应的退化模型，然后通过逆运 算恢复出原始的图像。 2 1 图像的退化理论 在成像过程中，由于成像系统的非理想特性，使得观测结果不只反映物体本 身的性质，还会附带掺杂了成像系统的一些性质，包括传输线路和记录介质的特 性，这导致得到的观测和记录的图像质量降低，称为图像退化。一般来说，退化 原因主要有【心8 3 1 ：射线辐射和大气湍流造成的模糊、成像系统的误差、摄像机与 目标之间的相对运动、离散失焦、成像系统中始终存在的噪声干扰等。 2 1 1 图像的退化模型 ( 1 ) 连续域退化模型 图像的退化过程可以被模型化为一个含有退化函数日【】和加性噪声刀( z ，y ) 的 退化系统。处理一幅输入图像f ( x ，y ) ，并产生一幅退化图像g ( x ，y ) ，图像退化的 模型通常如图2 1 表示【1 ，8 3 】： 图2 1 图像退化的一般模型 由模型2 1 ，我们可以很容易地得到图像退化的一般数学表示式 g ( x ，y ) = h f ( x ，y ) 】+ n ( x ，y )( 2 - 1 ) 假设退化函数h 是线性空间不变的，图像退化的过程在空间域可以表示为下 式【l 】： 四 6 基丁1 卜局部约束和样例学习的图像复原 f ( x ，y ) - - ，( 口，) 万( x 一口，y p ) d a a p ( 2 - 2 ) 这里万“一口，y 一) 是一个冲击函数，把式( 2 2 ) 带入式( 2 1 ) 中，得到 g ( 五j ，) = 日【( 毛y ) 】= 日【，少( 口，夕) 万( 工一口，y f 1 ) d a a p ( 2 - 3 ) 因为h 是线性空间不变的，则上式可以进一步写为 g ( x ，n = il f ( a ，p 6 b o c 。y 一, a ) d a d p ( 2 - 4 ) 令h ( x ，口，y ，) = h 6 ( x 一口，j ，一) ，那么上式变为 g ( x ，y ) = ，少( 口，p ) h ( x ，口，y ，f 1 ) d a d 夕( 2 - 5 ) 式中，h ( x ，口，y ，) 就是系统日的冲激响应。因为在光学中，冲激为一光点，所以 h ( x ，口，y ，) 往往又被称为点扩散函数( p o i n ts p r e a df u n c t i o n , p s f ) 。 在空间移不变的情况下： h 6 ( x 一口，j ，一) 】= h ( x - t t g ，j ，一)( 2 6 ) 则式( 2 5 ) 可以写为 g ( x ，y ) = i j f ( a ，p ) h ( x - a ，y f 1 ) d a d f l ( 2 - 7 ) 在有加性噪声n ( x ，y ) 的情况下，图像的连续函数退化模型为 粥 g ( x ，y ) = il ( 口，p ) h ( x 一口，y f 1 ) d c t d f l + n ( x ，y ) ( 2 - 8 ) ( 2 ) 离散域退化模型 为了便于计算机处理，我们通常所研究的都是数字图像，所以要对离散图像 做进一步的分析。下面简单介绍二维离散图像退化的数学模型【2 8 3 1 。 假设输入的数字图像f ( x ，y ) 的大小为么b ，均匀采样的大小是c x d ，就有 可能产生交叠误差，为了避免它发生，我们采用填零延拓的方法。把输入图像 f ( x ，y ) 和退化函数日( 五y ) 拓展成周期函数，为了避免重叠，要求m a + c 一1 ， n b + d 一1 。即 丘c x ，j ，= 孑x ，y ：丢 么一1 。y b 一1 c 2 9 ， 第二章图像复原理论基础 7 啪，= 力譬肛1 ，眶庐肛1 仁 于是，式( 2 - 7 ) 的离散形式为 ，一i ，一i g 。( x ，) ，) = 丘( 朋，n ) h ，( x - - i 说，y - n ) ( 2 1 1 ) m = 0 m r 0 这样式( 2 1 1 ) 可以写成矩阵形式 g = n f ( 2 - 1 2 ) 其中，h 和分别是由h ( x ，y ) 和z ( x ，j ，) 扩展而来的二维循环矩阵。 这里将g ( x ，y ) 和f ( x ，y ) 中的元素排列成列向量，那么g 和都形成了m n i 维的列向量，则日是m n x m n 的矩阵，由m m 个nxn 的子矩阵形成，那么 可以表示为如下： h = h q h m h lh o h zh h m 一2 q h d h l h qh ， z 乙一。 0 2h 肘一，凰 ( 2 - 1 3 ) 在上式中，里面的子矩阵q ( = o ，1 ，2 m - 1 ) 为分块循环矩阵，大小是 ，它是由延拓函数的第j f 行构成，表示为下式： h j = h ( j ，o ) h ( j ，n - 1 ) h ( j ，n - 2 ) h ( j ，1 ) h ( j ，1 ) h ( j ，o )( ( ，n - 1 ) h ( j ，2 ) h ( j ，2 ) h ( j ，1 ) h ( j ，o )h ( j ，3 ) h ( j ，n - 1 ) h ( j ，n - 2 ) h ( j ，n - 3 ) h ( j ，0 ) ( 2 1 4 ) 并且考虑了在传输过程中的加性噪声，那么离散图像退化的模型可以写为 肘一l m - i ( z ，y ) = z ( 肌，n ) h ( x - m ，y - n ) + n ( x ，j ，) ( 2 1 5 ) m = 0 m = 0 上式写成矩阵形式为 8 基丁非局部约束和样例学习的图像复原 g = b y + n ( 2 1 6 ) 从推导过程可以看到，假设图像是行和列相等的图像，也就是m = n ，那么厂、 g 和n 都是m 2 + 1 维的向量，但是日则为m 2 x m ：的矩阵。要解出厂需要有m z 个 方程组，计算量非常庞大。 ( 3 ) 频域退化函数 空间域的卷积对应于频域的乘法，傅旱叶变换使两者有了密切的联系。我们将 时域的离散退化模型进行傅罩叶变换，可以得到以下的频域退化模型： g ( u ，d = h ( u ，v ) f ( u ，d + n ( u ，y )( 2 1 7 ) 式中，g ( u ，1 ，) 是g ( x ，y ) 的频域表示，h ( u ，y ) 是h ( x ，y ) 的频域表示，f ( u ，v ) 是 f ( x ，y ) 的频域表示，n ( u ，1 ，) 是n ( x ，y ) 的频域表示。快速傅里叶变换( f a s tf o u r i e r t r a n s f o r i n , f f t ) 的发明，使得很多图像复原的求解过程都可以转化到频域进行计 算，实现加速求解。 2 1 2 常见的退化函数 i , 8 3 1 ( 1 ) 高斯模糊退化函数 在退化因素复杂的成像系统中，高斯退化函数是最常见的退化模型，各种退 化因素的综合结果常常最终趋于高斯点扩散函数，其时域表达式为 地扩脚【- 等】，( w ) c ( 2 - 1 8 ) 式中，k # j 归一化因子，盯为决定模糊程度的方差，c 为( x ，y ) 的圆形支撑域。 ( 2 ) 均匀模糊退化函数 均匀模糊退化函数也是一种常见的退化函数，常用于模拟一些未知的，无法识 别的模糊退化，可用如下的代数式来表示： 佩扩怯 【0 ， ( 3 ) 相机失焦模糊退化函数 一兰x ，y 兰 。2 一。9 ， 其它 在使用相机对景物进行拍摄时，如果相机的物距和像距没有匹配好，会导致光 学系统散焦，与此对应的失焦模糊退化函数是一个均匀分布的圆形光斑，其时域 表达式为 第二章图像复原理论基础 9 l 土，c - i - y - r o ，p = ( 刀尺) 2 ( 2 2 0 ) l0 ，其它 式中，r 表示模糊光圈半径。 ( 4 ) 大气湍流模糊退化函数 大气湍流是大气中的一种重要运动形式，它的存在使大气中的动量、热量、 水气和污染物的垂直和水平交换作用明显增强，这将严重影响成像质量，大气湍 流模糊退化函数的时域表达式为 揪，y ) = k e x p ( 等) 陋2 t ， 式中，k 是一个规范化常数，仃用来决定模糊的程度。 ( 5 ) 匀速直线运动模糊退化函数 由于相机和目标之间常存在匀速直线运动，使得拍摄出的图像中会有直线状的 模糊，匀速直线运动模糊退化函数的时域表达式为 m ：1 1 ，厢考且 ( 2 - 2 2 ) 10 ，其它 式中，三为目标图像在曝光期间移动的像素距离，为目标运动方向与水平方向之 间的夹角，当= 0 时，即当目标做水平方向上的匀速直线运动时，退化函数可简 化为 r1 11 j i l ( d ： z 一- - 上_ x _ - - 三( 2 - 2 3 ) l0 ， 其它 2 1 3 噪声模型8 3 】 几乎在图像处理的所有过程中，都会出现抑制噪声的问题。按噪声模型可以 分为加性噪声和乘性噪声；按统计特征可以分为高斯噪声、脉冲( 椒盐) 噪声、均匀 噪声、指数噪声和瑞利噪声等f 1 1 。一般情况下，主要考虑以下两种噪声： ( 1 ) 高斯白噪声 高斯白噪声的功率谱通常为一常量，是一种最常用的噪声模型。一维高斯白 噪声的概率密度函数( p r o b a b i l i t yd e n s i t yf u n c t i o n ，p d f ) 的表达式为 l o 基丁非局部约束和样例学习的图像复原 ( 例= 丽1 唧f - 譬】 陋2 4 ， 式中，甩为图像的灰度值，为n 的均值，仃2 为噪声方差，口2 越大噪声越强烈。 ( 2 ) 脉冲噪声 当图像只有个别像素上有噪声，并呈现奇异色的点状特征，这种情况一般采 用椒赫噪声来描述。一维的椒盐噪声的概率密度函数表示如下： 1 只， x = 口 p ( z ) = 咒，x = b( 2 2 5 ) 【0 ，其它 式中，e 和只分别表示灰度值x = 口和x = b 的概率，满足+ = 1 。若或者为 0 ，则此时的脉冲噪声也称为单极噪声；若和近似相等，则此时的脉冲噪声也 称为椒盐噪声。 2 2 图像的复原理论 图像在形成、传输、存贮、记录和显示过程中不可避免地会存在不同程度的 质量退化，而人们总是在不断追求高质量的图像，因此图像复原几乎是伴随着数 字图像处理产生的，并成为图像处理领域中一个非常重要的分支。 2 2 1 图像的复原模型 从图像的退化模型( 图2 1 ) ，我们可以看出，图像主要是经过退化系统h 【】后 造成图像质量下降的，那么针对此退化模型，我们可以得出图像复原的一般模型， 如下图所示。 | 咖) 隆一h 一- 翳啄：五一囱 | g ( z ，y ) 静一一一一【】缭一：尹( 五y ) 翰 、豳婴互趟磁鍪琵趟、瑟凌缓趟 图2 2 图像复原的一般模型 图2 2 中，h 。1 【】是对造成图像退化过程的逆过程，即h - 1 【】的作用是消除退化 系统日【】对图像的损害，使图像可以恢复原来的面貌。然而，在实际的图像复原 工作中，会遇到各种各样的具体情况，针对各种不同的情况，需要使用特定的复 原方法。 - 第二章图像复原理论基础 2 2 2 常见的复原方法 ( 1 ) 逆滤波法 基于滤波的方法是在统计信号处理的基础上，取反滤波模式，通过选择合适 的滤波器，从而获得图像复原的结果。基于滤波的方法是图像复原中最常使用的 方法，而逆滤波方法又是最为经典的滤波复原方法f 8 3 】。 对式( 2 1 7 ) 所示的频域退化模型进行变形可得 m 咖器一羰 ( 2 - 2 6 ) 在噪声未知和不可分离的情况下，式( 2 2 6 ) 可以近似为 脚加嬲 ( 2 - 2 7 ) 式( 2 2 6 ) 和式( 2 2 7 ) 都是逆滤波复原法的公式。从式( 2 2 7 ) 中可以看出，当 h ( u ，v ) 为零或接近于零时，整个式子呈现病态特性，需要人为地进行修正。特别 是在噪声较大的情况下，这种恢复方法的效果很差。特别是对于运动模糊图像， 由于其传输函数存在零点，所以用逆滤波恢复方法时，无法精确复原图像 9 1 。逆滤 波复原算法虽然形式简单，但计算量很大，需要根据循环分块矩阵条件进行简化。 ( 2 ) 维纳( w i e n e r ) 滤波法 综合考虑了退化函数和噪声统计特征，w i e n e r n 【州于1 9 4 2 年提出w i e n e r 滤波。 w i e n e r 滤波建立在认为图像和噪声是随机过程的基础上，以均方误差为度量准则， 期望找到一个估计值厂，使其与原图像厂的均方误差最小，其统计误差函数为 e 2 = e ( 厂一夕) 2 ( 2 2 8 ) 其中e 表示求期望。这个表达式在频域可以写为 f ( u ，y ) = - ( u ，y ) 1 2 h “v 1 日( “，d1 2 + 岛“夕 ( “，y ) g ( u ，力( 2 2 9 ) 式中，1 日( “，v ) 1 2 ；h ( “，v ) h ( u ，v ) ，& ( “，v ) 表示噪声的功率谱，巳( ，v ) 表示原始 图像的功率谱，岛 乡( “，v ) 叫做噪信功率比。我们注意到，如果噪声功率谱为 零，那么这个比率就为零。维纳滤波器就退化为直接逆滤波器。 维纳滤波器使原图像与恢复图像之问的均方误差在统计意义上最小，所以该 1 2 基丁1 卜局部约束和样例学习的图像复原 滤波器也称为最小二乘滤维纳滤波器，属于有约束恢复。由于维纳滤波是对图像 在统计平均意义上给出的最佳恢复，所以对噪声放大有自动抑制作用，且噪声越 强，作用越明显，避免了在逆滤波中出现的对噪声的过度放大的问题。另外，它 不存在病态性质，当h ( u ，v ) 很小或变为零时，公式的分母仍不为零。但维纳滤波 以最小均方误差( n m s e ) y 白准则，并非是一种最适合人眼的处理方式。此外，维纳 滤波的前提是假设图像和噪声为广义平稳过程，而这一要求在实际中很难满足。 ( 3 ) 约束最, j , - - 乘法【4 8 3 1 由于大多数运动图像恢复问题不具有唯一解，或者说是具有病态特征，就要 对运算施加某种约束。人们引入确定性先验信息以确保解的二阶导数的范数平方 最小，即对解强加了一个平滑限制，认为大多数图像相对平滑，高频能量有限【4 1 。 假设对原图像施加一线性算子q ，并给定约束条件 峥巧| | z = l 卅 ( 2 _ 3 0 ) 使得| | 谚旷最小。利用拉格朗r 乘数法，构造一个辅助函数 ，( 训= 2 一a 限一硎2 - - 2 ) ( 2 - 3 1 ) a f 月、l 令j 掣= 0 ，可得 彩 2 q7 ( 莎) 一2 2 h rg 一谚) = 0( 2 - 3 2 ) 令，= ，恻1 2 为，的单调递增函数，求出，夕，并不断对其进行修正，直 到恬一谚= 恻1 2 充分满足，就可以得到最佳估计夕。 我们还可直接从空间域的约束最d , - 乘恢复式( 2 3 2 ) 中得到夕的频域解 即2 南d 篙一 亿3 3 ， 应用有约束最d x - - 乘恢复方法时，只需要知道噪声均值和方差就可求出最佳 恢复结果。当图像中既有模糊又有噪声时，约束最d , - 乘复原法的恢复效果较好， 但是对于噪声较大的模糊图像来说，其恢复效果不是很好。 ( 4 ) l u c y - r i c h a r d s o n ( l r ) 复原法 l u c y - r i c h a r d s o n 复原法能够按照泊松噪声统计标准恢复图像，这种方法恢复 出的图像和给定的p s f 卷积后能够与输入的模糊图像尽可能的接近。当p s f 已知， 噪声未知时，也可以使用此方法【8 3 1 。 假充噪声服从泊松分布，且各像素相互独立，当已知原图像厂时，退化图像g 的条件概率函数为 第二章图像复原理论基础 础i 班骢学 陋3 4 ， 式中，a ( x , y ) = ( x ，y ) 宰f ( x , y ) 。对式( 2 3 4 ) 求偏导( 最大似然估计) ，有 笔等y - o 彭( x ，) 、7 求解上式可以得到图像复原结果。 为了求解简便，通常假设h 满足归一化，对式( 2 3 5 ) 的求解常用以下乘性迭代 算法 z ，五【、壳叫 ( 2 - 3 6 ) 式中，以和五+ 。分别表示第k 步和