（信号与信息处理专业论文）数字图像模糊检测与恢复.pdf

主里! ! 兰垫查查兰堡主兰竺丝苎 一i 堕 摘要 模糊是数字图像中经常出现的一种退化现象。近几十年来，研究人员一直在寻找能够从退化 图像中获知原始图像的恢复方法。这类技术被统称为图像模糊恢复技术，它主要包含模糊辨识和 去卷积两种技术。尽管人们已经在图像模糊恢复问题上取得了很大进展，目前这类技术仍然没有 得到普遍应用，其主要原因有两个：首先现实情况中的图像模糊原因可能非常复杂而很难被恢复， 比如空问可变的模糊系统，耳前的图像恢复技术还不能较好的处理这种情况；此外，即使在可以 进行恢复的情况下，恢复算法的计算复杂度也非常高，尤其是在图像尺寸较大的情况下，人们无 法忍受用半个小时以上的时间去恢复一幅不很重要的图像。而且可能得到的恢复结果还不够理 想。 在数码相机越来越普及的今天，图像恢复领域叉产生了新的问题：即如何从大量的图像中找 到需要进行处理的模糊图像，我们称之为模糊图像检测。由于模糊图像检测是进行恢复之前的准 备工作，因此本文的工作首先从模糊图像检测技术开始展开。目前还没有人在模糊图像检测技术 上作过系统研究我们在一些相关技术的调研基础之上提出了一种适合大数据量下的快速模糊图 像检测技术。我们对实际中可能遇到的情况进行了分类研究，并形成了一套基于不同尺度下的边 缘分析的层次检测方案。实验结果证明我们提出的方法是很有效的。除了用作寻找模糊图像，我 们还讨论了该技术的其他应用。 接下去本文对模糊辨识技术做了详细地调研和比较，提出并实现了一种基于图像倒谱分析和 不变矩分析的方法，该方法能够有效的提取出直线运动模糊和散焦模糊的参数，与其他的方法相 比，该方法具有快速，准确，自动化程度高，稳定性好的特点。我们用这种方法对实际图像进行 了测试结果表明提取出来的参数是相当可靠的。 本文中我们还对图像去卷积的技术进行了系统的介绍。为了解决目前迭代去卷积技术的速度 问题，我们提出了一种普适的加速方案，理论和实验都证明该方案能够在保证图像质量只略微下 降的情况下很好的提高迭代算法的恢复速度。在图像恢复质量不能得到很大提高的情况下，也许 快速r 的去卷积技术更受欢迎。 此外，我们还概括介绍了比较新的仍在研究中的盲去卷积技术。最後的结束语部分在总结我 们本文工作的同时分析和展望了今后的工作 n 中国科学技术大学硕士学位论文a b s t r a c t a b s t r a c t b l u ri sac o l d l l o nd e g r a d a t i o ni nd i g i t a li m a g e s f o rs e v e r a id e c a d e s r e s e a r c h e r sh a v e b e e ns e e k i n gf o rt h er e s t o r a t i o nm e t h o d st oo b t a i nt h e o r i g i n a li m a g ef r o mt h e d e g r a d e do n e s u c ht e c h n i q u e sa r ee a l l e di m a g er e s t o r a t i o nw h i c hi n e l u d e st w om a i n t e c h n i q u e s ：b l u ri d e n t i f i c a t i o na n di m a g ed e c o n v o l u t i o n a l t h o u g hm a n yp r o g r e s s e s h a v eb e e nm a d ei nt h i sa r e a , t h ei m a g er e s t o r a t i o n t e c h n i q u er e m a i n s i t sa p p l i c a t i o nj n f e wl i m i t e df i e l d st i l ln o wf o rt h ef o l l o w i n gt w o r e a s o n s ：f i r s t ，i nm a n ya p p l i c a t i o n s ， t h ec o r r u p t e di m a g em a yw e l lb eb e y o n dr e s t o r a t i o nf o rt h e c o m p l e x i t yo fi m a g e f o r m a t i o n ，s u c ha sn o ns p a t i a li n v a r i a n tb l u r , e t c ；s e c o n d ，e v e ni nt h ea p p l i c a b l e s i t u a t i o n s ，t h ec o m p u t a t i o nc o s t so f r e s t o r a t i o na l g o r i t h m sm a yb et o oh i g h ，e s p e c i a l l y i np r o c e s s i n gl a r g ei m a g e s f e w p e o p l ew o u l d l i k et ow a i tf o rm o r et h a nh a l f a nh o u r i no r d e rt od e b l u ra n u n i m p o r t a n tp i c t u r e ，w h o s er e s u l t sm a yb eu n s a t i s f i e d w i t ht h e p r e v a l e n c e o fd i g i t a l c a m e r a s ，an e wp r o b l e ma r i s e sf r o mt h e i m a g e r e s t o r a t i o nf i e l d ，t h a ti sh o wt os e l e c tt h eb l u r r e do n e sf r o ma l a r g en u m b e ri m a 2 e s ， w h i c hw ec a l l i m a g eb l u rd e t e c t i o n f o ri m a g eb l u rd e t e c t i o ni st h ep r i o rt oi m a g e r e s t o r a t i o n ，w eb e g i no u rw o r kf r o mt h i s p r o b l e mi nt h i sp a t ：i e r f o ri ti san e w p r o b l e m ，t h e r ea l en os y s t e m a t i c a lw o r k st h a th a v eb e e nd o n eo nt h i sp r o b l e m t i l jn o w l nt h i sp a p e r , w ep r e s e n taf a s td e t e c t i o nt e c h n i q u ea f t e rab r o a ds u r v e yo f r e l a t e d r e s e a r c hw o r k w ed i v i d et h ea c t u a ls i t u a t i o n s i n t os e v e r a l g r o u p st os t u d ya n d p r o p o s e ah i e r a r c h i c a ls c h e m e b a s e do n e d g ea n a l y s i si nd i f f e r e n ts e a l e s e x p e r i m e n t s s h o wt h ee f f i c i e n c yo fo u r m e t h o d e x c e p tf o rb l u ri m a g es e l e c t i o n ，w ea l s od i s c u s s o t h e r a p p l i c a t i o n so f o u r m e t h o d a s y s t e m a t i ci n t r o d u c t i o no f i m a g ed e c o n v o l u t i o nt e c h n i q u e si sa l s op r e s e n t e di nt h i s p a p e r t oa c c e l e r a t et h ei t e r a t i v ed e c o n v o l u t i o na l g o r i t h m s ，w ep r e s e n ta n dd i s c u s sa g e n e r a la c c e l e r a t i o ns c h e m et oi t e r a t i v ea l g o r i t h m s t h e o r ya n a l y s i sa n de x p e r i m e n t r e s u l t sb o t hs h o wt h es i g n i f i c a n ti m p r o v e m e n t t oc o m p u t i n gt i m ew i t hl i a l er e d u c t i o n i nr e s t o r a t i o nq u a l i t y o nt h ec o n d i t i o nt h a tt h e q u a l i t yc o u l dn o tb es i g n i f i e a n t l y i m p r o v e d ，t h ef a s t e rm e t h o dm a yb ep r e f e r r e d 。 i na d d i t i o nt oa b o v e ，w ea l s oi n t r o d u c es o m e b l i n dd e c o n v o l u t i o nt e c l l l l i 口u e sw 1 i c h a r es t i l lu n d e r s t u d y i n g f i n a l l y , w ec o n c l u d eo u rw o r ka 1 1 dd i s c u s sm ef u t ：r e 、v o r ki n t h el a s tc h a p t e r , l i t 讲稿 封面：首先欢迎各位老师和同学光l 摇我的硕士论文答辩会，我的论文题目是数字图象模糊检测与恢复，我的指导老 师是刘政凯教授 1 。图象恢复技术是图象处理领域研究的重要内容之一。我们生q 道在实际成像过程中由于物理成像系统的不完善和不理想 的成像条件常常使得获取图象蒙受某种失真，造成图像的质量和所含的信息量下降这种失真有时代价巨大，比如在5 ， 6 0 年代获取的太空图象，由于图象的失真造成的其科学价值的损失是不可估量的。因此人们寄希望于图象处理技术进行 修复。于是图象恢复技术应运而生。 总的说来，图像恢复技术( i m a g er e s t o r a t i o n ) 就是要对已经获取的图像进行处理，消除或降低在成像过程中各种因 素造成的降质问题，从而提高图像的质量。 除r 在天文，遥感成像领域的应用，图象技 成像设备的普及，新的图象恢复的需求产生了。 2 。 由于 使用 模糊 3 。4 糊。 进行 了重要作用。今天由于便携 我们将在下面继续讨论。 真情况。 系统的模型如图所示：这里我们 恢复技术称为去卷积技术，或去 第l 页 缈一， 卵、 每唠 缸 固渺 叫扎，淑棚魂砌础蜥 鸸 e 喜蚋她胞 生璺型堂垫查查堂堡主堂焦堡苎一j 鱼堕 致谢 首先，要衷心感谢我的导师刘政凯教授。在科大学习期间，刘老师对我的学 习、工作和生活给予了无微不至的关怀和帮助。他严谨的治学态度，渊博的专业 知识，勤奋的工作精神和正直宽容的为人对我教益匪浅，给我留下了极其深刻的 印象，特此表示最衷心的感谢和敬意。 同时，我还要感谢信息处理中心的俞能海老师、张荣老师、史杏荣老师、陈 学诠老师的帮助和支持，感谢肖锦玉老师对我的照顾和关怀。感谢李厚强老师、 张迁博士，以及博士生陈羽中同学，李学龙同学，邵肖伟同学，庞彦伟同学和硕 士生孙玮同学，钮峰同学，徐东同学，单列同学，胡文同学，宋璧同学等以及其 他同学对我的鼓励和支持，是他们真挚的友谊和无私的帮助才使得本论文能够顺 利完成。 本文的主要工作是在微软亚洲研究院做的。在那里，李明镜博士是我工作的 直接指导和管理者，真诚感谢他对我的科研和生活提供了很多无私的帮助。并在 此对研究院的张宏江老师，张磊博士，以及在研究院认识的各位同学和朋友对我 在研究以及其它方面的帮助表示感谢。 尤其要特别感谢我的家人和朋友，他们对我的支持和关爱是我完成学业和继 续前进的动力。最后，感谢信息中心这个集体，感谢科大给予我的八年培养。她 活跃的学术气氛与和睦的学习环境，使得本人能够顺利、愉快的完成学业。在这 里的学习和生活将令我终生难忘。 吴皓 2 0 0 2 6 4 里型兰垫查查兰堡主堂堡丝主 一一：! ! 坠 第一章绪论 1 1 背景 图像是使用各种观测系统以不同形式和手段观测客观世界而获得的，可以直 接或间接作用于人眼并进而产生视知觉的实体，它是一种三维世界的二维表示 章毓晋，1 9 9 9 。通常图像都带有大量的信息，人类从外界获得的信息约有7 5 来自视觉系统，也就是从图像中获得的。但是在成像过程中有很多不确定的因素 会造成图像中的信息缺损。物理成像系统的不完善，不理想的成像条件常常使得 所获得的图像只是原始场景的一个退化的表示，造成图像的质量和所含的信息量 下降。图像恢复技术( i m a g er e s t o r a t i o n ) 就是要对已经获取的图像进行处理， 消除或降低在成像过程中各种因素造成的降质问题，从而提高图像的质量。 图像恢复也称图像复原，是图像处理中的一大类技术。图像恢复的目的是从 退化的观测图像中恢复出原始的场景。图像恢复技术发展得较早，它的发展主要 是受到2 0 世纪5 0 年代以及6 0 年代初期的美国和前苏联的太空计划的推动。尽 管那时人类的太空技术取得了长足的进步，早期的传回的太空图像仍然有很大的 失真。而这种失真的代价是巨大的，例如，在1 9 6 4 年m a r i n e ri v 对火星进行探 测所拍的2 2 幅图片，经事后的评估，其总耗价约为1 0 0 0 万美元，而由于这些图 片的失真造成了其科学价值的重大损失。由于拍摄条件的耗资昂贵及不可重复 性，科研人员寄希望于使用图像恢复技术来修复这些图片所缺损的信息，在这之 后，图像恢复技术就很快发展起来了 b a n h a m ，1 9 9 7 。 图像恢复的技术不仅仅应用在天文遥感成像领域，在其他很多领域也有很重 要的应用。目前图像恢复技术主要应用在医学成像和遥感图像上，但随着数码相 机的普及，普通家庭可以获得的数字图像越来越多，这使得普通用户对降质图像 的修复的要求也迅速增加。不管是以何种方式获得的图像，其受损原因主要都可 以归集为以下几类：模糊，噪声和几何失真。这些退化可以分别借助不同的图像 处理技术分别来解决，一般来说，狭义的图像恢复技术指的是消除成像过程中带 ! 旦型兰垫查查兰堡主兰垡丝塞! ! 堡 来的模糊问题 r e e v e s ，1 9 9 0 。 图像恢复技术和常用的图像增强技术是两种不同的技术。图像增强的目的在 - y 改善m q 像的清晰度，以适应于人眼的观察和机器的自动分析。在图像增强中不 涉及图像的变质模型，增强后的图像和原图像相比，实际上并没有增加新的信息， 只是变换了一种显示方式。而图像恢复要涉及到特定的变质模型，其目的是采用 各种方法来尽量恢复图像中缺损的信息。图像恢复必须首先建立图像的变质模 型，也就是说首先必须了解，分析图像变质的机理并用数学模型表示出来。由于 图像变质的原因很多，变质的机理比较复杂，因此，要提供一个完善的数学模型 是非常复杂和困难的 刘政凯，1 9 8 9 ， b a n h a m ，1 9 9 7 。 现有的图像恢复技术主要包含两类技术。通常，当拿到一幅模糊的图像之后， 应该先对其模糊的成因进行识别，并得到准确的类型和参数，这类技术称为模糊 辨识技术( b l u ri d e n t i f i c a t i o n ) ，然后可以进行去模糊的处理( i f n a g ed e b l u r ) ， 由于观测图像是原图像和成像系统点扩展函数的卷积结果，所以这一步处理也常 称作是去卷积处理( i m a g ed e c o n v 0 1 u t i o n ) ，由于去卷积技术是早期图像恢复领 域研究的主流，所以有时图像恢复技术常常指的是图像的去卷积技术。 到目前为止，这两类技术是图像恢复领域的两个主要研究方向。然而，随着 时间的发展，在实际应用中，一些新的需要产生了，其中模糊图像检测技术( b l u r d e t e c t i o n ) 和快速恢复技术( f a s tr e s t o r a t i o n ) 亟待发展。模糊图像检测的目 的是从大量的图像中找出模糊变质的图像以供后续的处理。这个问题之所以在图 像恢复的早期没有发展起来，主要是因为早期的数字图像较少，通常是由人眼来 判断图像是否模糊，是否需要恢复，但是在各种便携的成像仪器已经得到广泛普 及的今天，在人们的日常生活中出现了大量的数字图像，由计算机来自动检测出 模糊的图像并进行恢复，已经成为图像恢复技术新的研究课题。另外由于数码相 机的分辩率和存储能力得到很大的提高，目前的数码相片的尺寸也越来越大，而 传统的恢复方法的速度还不能达到要求，所以需要研究新的快速方法以满足现实 需求。 2 生璺型兰垫查查兰堡主堂垡笙兰! ! 坠 1 2 论文内容与安排 本文跟踪了图像恢复领域一些主要技术的发展历史，并研究了在新的背景下 亟待发展的一些新技术和方法，主要包括模糊图像检测和模糊辨识技术以及快速 的图像恢复技术。按照实际处理顺序的先后，我们将主要介绍下面三类技术： 1 模糊图像检测技术 这类技术是在新的应用背景下产生的，在文献中尚没有人做过比较系统的研 究。对此我们做了大量的研究，成功提出并实现了一个层次化的检测算法， 并且进行了大量的实验及测试分析。 2 模糊辨识技术 模糊辨识技术的准确性在相当程度上决定了恢复结果的好坏程度。然而由于 一些历史原因，在早期的研究中，这类技术并没有收到足够的重视，这也 是目前图像恢复技术在实际运用中遇到的主要的障碍。但是由于这个问题 自身的复杂性，目前并没有新的更好的方法出现。本文研究并实现了一些 主要的经典算法，加以改进并将其成功地运用到实际问题的求解上。 3 去卷积技术 由于去卷积技术在历史上已得到了充分的研究和发展，这类技术目前已趋成 熟。然而由于这类技术多采用迭代逼近的方法，在实际运用中，其速度一直 是个问题。本文追踪并回顾了去卷积技术的发展历史，实现了多种算法，研 究并提出了一种新的对迭代算法普适的加速算法，得到了成功的运用。 本文内容的安排如下：第一章是绪论部分，主要介绍了图像恢复技术的产生 历史及背景，目的及其主要相关技术和一些新的应用的特点和需求。在此背景下， 介绍了本文的主要研究内容；第二章将具体讨论模糊图像的成像过程建模，以及 一些常见的模糊类型；第三章详细介绍我们提出的模糊图像检测技术，首先分析 了该技术产生的必然性及其可应用领域，然后介绍了一些相关领域的研究内容， 并提出和详细讨论了我们的算法；第四章将详细介绍目前的模糊辨识技术和方 3 中国科学技术大学硕士学位论文 法。我们在经典的方法基础之上，提出了改进的算法，实现并解决了在实际运用 中的一些问题：第五章首先对现有的去卷积方法作了一个回顾和比较，在此基础 上提出了我们的加速算法，实验表明我们的算法快速而有效；最后的结束语对本 文的工作做了总结并对将来的工作目标进行了分析和展望。 4 中国科学技术大学硕士学位论文 模糊成像系统建模 第二章模糊成像系统建模 2 1 降质成像系统建模 r e e v e s ，1 9 9 0 图像的产生过程也就是三维场景向二维空间映射的过程。图2 1 简单的示意 了这个过程。成像系统和记录过程都可能引进各式各样的失真。这些失真总体上 可分为两类：确定性的和随机性的。确定性的失真可能来自：太阳辐射，大气湍 流，散焦，相机与景物之间的相对运动等。尽管这些失真原因可能非常复杂，但 在视觉效果上通常都表现为记录下来的图像变得模糊，如图2 2 所示。 o r i g i n a ls e e n o o b m o r v e di m a g e 图2 1 图像成像过程( r e e v e s 1 9 9 0 ) ( a ) 散焦模糊图像 ( b ) 运动模糊图像 图2 2 不同类型的模糊图像 薯 进一步的图像的确定性失真还可能来自成像系统感知器响应的非线性特性， 例如，底片对光强度的响应的非线性。然而，在实际情况中，很多时候可以认为 图像是在感知器的近似线性响应部分被记录下来的。这样的假设很大程度上简化 了图像恢复问题的复杂性。这样，仅考虑到确定性失真的成像过程一般形式可以 写成： g ( l y ) = d ( x ，y ；v l ，v 2 ) ，( v l ，v 2 x 以疥t ( 2 1 ) 其中函数，( - ) 表示理想情况下场景在成像平面上二维映射的结果，d ( ) 代表 了系统的冲激响应，在非理想情况下，通常称作点扩展函数( p s f ：p o i n ts p r e a d f u n c t i o n ) ，函数g ( t ) 代表实际观测到的退化图像。点扩展函数描述了成像系统 的特性，严格说来，一般情况下，它不具有空间平移不变性。但是点扩展函数空 问平移可变的图像恢复任务相当困难，所以实际应用中将很多近似于空间平移不 变的成像系统当作空间平移不变系统来处理，这样，上述的成像方程可写为： g ( ) = ee d ( x 邯y - v 2 ) f ( v t ，v o a v ，d v ： = d ( x ，y ) 圆f ( x ，y ) ( 2 2 ) 其中。是卷积符号。 随机性失真是造成图像失真的另一类原因。成像系统、传输介质和记录介质 的随机变化，短时间的大气湍流，胶卷的颗粒噪声，电子成像设备中的热噪声等， 都可能是造成图像的随机性失真的原因。更进一步，当模拟图像进行数字量化时， 也会引进量化噪声。某种程度上说，随机性失真在实际中总是存在的。通常我们 将这种随机性的失真以加性噪声的形式在图像的产生过程中表示出来由于在本 论文中我们讨论的都是离散的数字图像，所以考虑到随机性失真的离散形式的图 像形成过程可以写为： g ( i ，) = d ( k ，1 ) f ( i k ，j - 1 ) + n ( i ，) ( 女，k r = d ( i ，) o 厂( f ，_ ，) + n ( i ) ( 2 3 ) 如图2 3 所示，其中离散求和代替了积分，r 是点扩展函数的支撑域。通常 情况下加性噪声n ( ) 被认为是独立正态分布的随机过程，例如高斯白噪声昌然 主里型兰垫查查兰堡主堂焦堡壅 一j 型塑型墅墅壅! ! 垦 这个假设不总符合实际的情况，但是采用其他的噪声模型所能得到的恢复效果的 改善也很有限。 图2 3图像失真系统空间域表示 2 2 其他表示形式 l a g e n d ij k ，1 9 9 9 上式是图像降质过程在空间域的表示形式，在图像恢复技术的研究中，还常 用到其他两种形式的表示，即频率域表示和矩阵一矢量形式的表示。 频率域的表示形式可以从空间域的表示经离散富利叶变换得到，如图2 4 所示，系统方程可写为： g ( u ，v ) = d ( u ，v ) f ( u ，v ) + n ( u ，v ) ( 2 4 ) g ( ) ，d ( ) ，f ( ) ，( ) 分别是观测图像，点扩展函数，理想图像和噪声的富利叶 变换。其中d ( u ，v ) 又被称为光学传输函数( o t f ：o p t i c a lt r a n s f e rf u n c t i o n ) 。 尔： 图2 4 图像失真系统频率域表示 有时为了进一步简化表达和方便理论上的分析，常常用矩阵一矢量形式来表 g = 巧+ 月 ( 2 5 ) 其中g ，f ，”分别是g ( i ，n f ( i ，n n ( i ，_ ，) 逐行或列顺序排列成的一维矢量，矩阵d 的构成比较复杂，涉及到我们对边界问题的不同处理，我们将在后续的章节中详 细讨论。 2 3 常见的模糊类型建模 l a g e n d i j k ，1 9 9 9 本论文中讨论的是符合平移不变性假设的模糊类型，这意味着观测图像每一 点的模糊规律都是一样的。现实中有很多情况不符合这个假设，例如旋转模糊( 比 如滚动的轮子) ，又比如拍摄对象主体模糊而背景清晰，这类空间可变的模糊不 在本文的主要讨论范围之内，事实上这类模糊问题一直都没有得到解决。 在很多情况下，模糊的点扩展函数是个连续函数，但是由于我们的处理都是 在数字图像上进行的，所以必须对连续的点扩展函数进行采样以得到离散形式的 点扩展函数。从物理角度来讲，一个空间连续的点扩展函数d ( x ，y ) 必须满足一下 三点限制： d ( x ，y ) 必须是非负的 对于实数图像来说，d ( x ，y ) 也是实数的 如果成像过程是被动的，即没有能量被吸收掉或新产生出来，因此，连续 形式的点扩展函数须满足： d ( x ，y ) e g v d y = 1 ( 2 6 ) 相应的对于离散形式的点扩展函数d ( i ，j ) 须满足： 姒，) = 1 ( 2 7 ) i = o j = o v ，m 为采样后点扩展函数的取值范围。 本小节介绍一些常见的模糊类型，并分别给出它们的空域，频域表示。 2 3 1 无模糊情况 如果成像过程是理想的，这里的理想情况指的是在数字图像中没有明显的模 糊，则连续的点扩展函数可用冲激函数来表示： d ( x ，y ) = 8 ( x ，y ) 离散形式的点扩展函数则为单位冲激函数： 8 中国科学技术大学硕士学位论文 模糊成像系统建模 删脚“加仨2 搿 ( 2 s ) 2 3 2 匀速直线运动模糊( u n i f o r m1 i n e a rm o t i o nb l u r ) 运动模糊是一种常见的模糊类型，通常是由于相机和被拍摄对象之间的相对 运动造成的。匀速直线的相对运动造成的模糊相对来说比较简单，假设相机在拍 摄时间t 内，相对于拍摄场景以速率v 作匀速直线运动，方向与水平轴成角， 令上= v r ，则其连续情况下的点扩展函数为： m 眦舻怯厢扣d 么= 一t a n 驴 ( 2 9 ) 1 0 ， e l s e w h e r e 上式的离散形式没有一个闭合的通用表达式，当庐= o 时，一个比较合适的近 似为： a ( i ，；上) = z 1 fi = 0 , 州刽 抖川一z l 等j ) 肛吖- 爿 眨 0e l s e w h e r e 图2 5 分别显示了空间域的匀速线性与动模糊的点扩展函数及其在频域相 应的幅度谱。可以看出运动模糊是一个低通滤波器，在频域上有规律的零点。 ( a ) 点扩展函数 里! ! 兰垫查盔兰堡主望竺堕苎垦塑壁堡墨! ! ! ! 堡 ( b ) 光传输函数 图2 5 匀速直线运动模糊的点扩展函数和光传输函数的幅值图 2 3 3 均匀散焦模糊( u n i f o r mo u t o f f o c u sb l u r ) 当相机拍摄三维场景时，由于景深的关系，总是只能聚焦在部分场景上，而 另外的部分则由于散焦的关系不会被清晰成像，如果相机的光圈是圆形的，那么 图像中的每一点的成像都是一个小光点，被称为散光圈( c i r c l eo fc o n f u s i o n ) 。 而散焦的程度即散光圈的半径由焦距，镜头的光圈数，拍摄物体的物距等决定。 一个准确的散光圈的模型不仅要描述其大小，还要给出散光圈内的亮度分布。当 散焦的程度相对于光波波长来说足够大的时候，可以认为散光圈内的亮度是均匀 分布的。一个散焦半径为r 的连续的点扩展函数p s f 为： m 艄：嘉矿厢鲥 ( 21 1 ) ioe l s e w h e r e 离散形式的p s f 并不容易得到，一个比较粗糙的近似为： 枷| r ) ：拮矿厨鲫2 ( 2 1 2 ) 【0 e l s e w h e r e 其中c 是满足式( 2 7 ) 的一个常数。由于用图像的像素来近似圆，总是不可避免 的会出现误差，实际应用中可以考虑更加精确的模型。散焦模糊的点扩展函数的 空域和频域的形状如图2 6 所示，容易看出，散焦模糊也是一个低通滤波器，其 在频域上也有规律分布的零点。 l o 主曼型兰垫查查堂堡主兰垡堕壅一一墅墅墅塑型! ! ! ! 蓬 ( b ) 光传输函数 图2 6 散焦模糊的点扩展函数和光传输函数的幅值图 2 3 4 大气湍流模糊( a t m o s p h e r i ct u r b u l e n c eb l u r ) 大气湍流对于遥感成像是一个很大的影响因素。尽管由大气湍流产生的模糊 现象和很多因素都有关系，比如温度，风速，曝光时间，但对于长时间的曝光， 其模糊的点扩展函数可以用高斯函数很好的近似，所以又称为高斯模糊： m 川，= c 唧 一可x 2 + y 2 ) c z - 这里靠的大小决定了模糊的程度，常数c 的选择根据式( 2 7 ) 来决定。从上 是可以看出高斯模糊坐标是可分离的，所以常常先构造一维的离散高斯模糊的点 扩展展函数d ( i ；c r a ) ： 中国科学技术大学硕士学位论文模糊成像系统建模 孑( f ；) = c 似p ( _ j x 万2 ) 出 ( 2 1 4 ) 离散形式的二维高斯模糊可由下式给出： d ( i ，j ；o - c ：) = d ( t o a ) d ( j ；o - o ) ( 2 1 5 ) 高斯模糊在空间域是无限扩展的，实际应用中需要作合适的截断。截断后的空域 和频域的高斯模糊如图2 7 所示。 ( b ) 光传输函数 图2 7 高斯模糊的点扩展函数和光传输函数的幅值图 第三章模糊图像检测 3 1 背景 模糊图像检测是近年来新产生的技术需求，从系统处理角度来讲，模糊图像 检测是进行图像恢复的预处理，但是这个问题在以前并没有得到重视，其主要原 因是以前图像恢复技术的主要应用是在遥感图像和医学图像上，而普通用户很少 需要进行图像恢复。在遥感和医学应用领域，一来由于图像的数量不是很多，而 来这些图像都比较重要，所以通常是由人工挑选出模糊的图像来决定近一步进行 处理。然而随着数码相机等大众化的成像设备的普及，在我们身边出现了越来越 多的数字图像，普通用户常常发现他们个人的电子相簿里的图片已经以百千计 了，而这其中有很多图片是有各种失真的，模糊失真是其中重要的一类，因此， 目前人们期望能够由计算机在大量的图片库中自动找出模糊的图片并进行处理， 这已成为图像恢复过程中一个重要环节。 在实际应用中，我们知道，虽然目前的大部分相机都有自动聚焦的功能，但 这仍然不能完全避免模糊图像的产生。而且图像恢复的技术目前还远远不能解决 所有模糊图像的恢复问题，即使在可以修复的情况下，恢复出来的图像也不会像 原图像一样清晰。在这种情况下，模糊图像检测技术就显得尤为重要。如果将模 糊图像检测技术集成到数码相机里，当人们拍摄了模糊的图像后，相机可以提醒 用户出现了模糊情况，是否需要重新拍摄一次，这样可以在很大程度上使得用户 不至于错失一些重要的场景。更进一步的，如果将该技术直接用在相机的自动调 焦系统中作为自动调焦的辅助，则可以进一步的降低模糊情况的发生概率。 目前的文献中还没关于模糊图像检测的专门研究，本文我们通过大量的实验 和分析，提出了一种层次结构的模糊图像检测算法，实验结果表明本文的算法具 有速度快，检测范围广，可扩展性好等特点。在详细介绍我们的算法之前，我们 有必要先对一些领域中的相关知识和技术作一个简单的介绍。 13 3 2 自动聚焦系统简介( 黄剑琪，2 0 0 1 ， 关文俊，1 9 9 9 木斌，1 9 9 7 ) 目前相机业已发展到相当规模，而且相机的生产数量也十分惊人，过去商家 把销售的重点放在专业摄影人员方面，但由于相机生产数量不断增加，仅靠专业 人员使用，必竞有限，所以商家就把相机销售市场集中在广大摄影爱好者上。但 为了解决业余爱好者抓拍难等特点，相机生产厂家各自推出自动聚焦式相机，来 满足广大摄影爱好者的需求。自从1 9 7 7 年世界上第一台自动聚焦a f ( a u t of o c u s ) 相机问世以来( 柯尼卡c 3 5 a f ) ，自动聚焦技术发展迅猛，己在高、中、低各档次 相机上应用，并且不断更新和完善，a f 的形式也日趋多样化。 自动对焦的前提是自动测距，按测距的方式不同，a f 分为主动式和被动式 两大类：主动式a f ( a c t i v ea f ) 与被动式a f ( p a s s i v ea f ) 。由相机发出并接收反 射回来的信号来测距和对焦的，叫做主动式a f ；通过判断影像的清晰度测距来 对焦的，称为被动式a f 。在绝大部分现代的摄相机中，自动聚焦已成为其一系 列自动化特性之一。首先，我们先看一下，相机的成像系统，如图3 1 所示。 图3 1 相机成像系统示意图( t o n g ，1 9 9 6 ) 3 2 1 主动式自动聚焦( a c t i v ea u t of o c u s ) 主动式自动对焦( a c t i v ea f ) 是由相机发射红外线或超声波，再根据反射回 相机的红外线、超声波的状态对焦，应用较多的是发射红外线的主动对焦。主动 式自动对焦目前仅局限于轻便型3 5 册相机上。这类相机上通过红外线发光二极 管发出红外线，经过聚光镜片汇聚以后投影到被摄体上。所射出的红外线碰到拍 摄物体后反射回来，通过受光聚光镜被a f 感受光敏元件所接收。距离不同的拍 l4 ! 里型兰垫查查兰堡主堂垡堕窒壁塑里! ! 丝塑 摄物体反射回来的红外线入射角度不同，会被不同的光敏元件所接收。而不同的 光敏元件所放出的电压不同，相机就利用这种不同的电压去控制镜头达到对焦的 目的。比较典型的是按下快门钮，红外发光二极管发射红外光束的同时，镜头开 始从最近对焦点向无限远位置移动，一旦光敏元件上接收到红外线，镜头的聚焦 移动即停止。 主动式a f 具有在光线较暗的拍摄环境下也能自动聚焦的优点，即使在夜间 拍摄也能正确聚焦。但存在着有效聚焦距离短的不足，超过了一定范围就不起作 用了，而一律以“无限远”处理。此外，如相机和被摄体之间隔着玻璃等透明物 体，主动式a f 会误将聚焦点调到透明体表面上。由于水既能反射红外线又能吸 收红外线，因此在拍摄雨中景物及水里流动的鱼时，主动式a f 将失灵。此外发 生以下情况也难以对焦： 如果场景中有闪动的光源的话，比如生日蜡烛的火焰、霓虹灯、电视屏幕 等，以及由这些光源照射的景物，通常会引起相机的红外传感器发生混淆， 引起误判。 毛发等不能反射红外光的或低反射率的物体，如镜面、汽车车身等： 拍摄主体之前的可能有纹理密集的物体，比如网、篱笆或栏杆等，红外光 束可能被先反射回去，而不是被拍摄主体反射回去； 高速移动的物体，如行驶中的火车、汽车： 无固定形状的物体，如水注、水面、火、烟花等； 太亮的物体，或者光线太强，会使得反射的红外光束较难检测； 主动式红外线a f 分为单束自动聚焦与多束自动聚焦两种类型。早期的以及 低档的相机上都采用单束自动聚焦，即只发出一束与镜头光轴基本上平行的红外 线，聚焦时只有被摄主体处于画面正中部位时才能准确聚焦，为了解决偏离画面 中央的主体准确聚焦问题，拍摄之前必须先将主体处于画面中央部位，半按快门 钮自动聚焦，待聚焦准确后在继续半按快门钮的情况下进行重新构图，并将快门按 到底开启相机快门拍摄。现在绝大多数单束红外线a f ，具有半按快门钮锁定焦 点的功能，但使用起来较为麻烦，在拍摄动体瞬间变化的物体时，往往会错过拍 摄时机，故这种单束红外线a f 方式已被新开发的中高档a f 相机所抛弃，而多采 用多柬红外线a f ，这样主体即使不处于画面中央，多数情况下也能准确对焦。 但多束a f 一般也只有三束，因此当主体过分处于画面边缘时，或主体很小 恰巧位于两束之间，或主体位置过低，也都不能准确聚焦。在使用时要把握两点： ( 1 ) 注意取景器中的聚焦标记，只有主体处于聚焦区内，才能聚焦准确；( 2 ) 如主 体在构图中仍处于聚焦标记之外，必须先将主体处于聚焦区内半按快门钮聚焦， 然后在持续半按快门钮的情况下将主体置于合适位置构图拍摄。有些a f 相机是 单束a f 与多束a f 并存，可让拍摄者根据需要加以选择。 3 2 2 被动式自动聚焦( p a s s i v ea u t of o c u s ) 被动式自动聚焦系统是通过对图像本身进行分析来判断拍摄物体的距离的。 一个典型的被动式自动聚焦系统是利用电荷耦合器件c c d ( c h a r g e c o u p e d d e v i c e ) 来获取部分预示图像，并提供给微处理器来判断图像的对比度。一个 c c d 通常是一个1 0 0 2 0 0 个像素的条状感知器，相机的微处理系统观察c c d 中的 相邻像素之间的亮度差别，如果是在散焦情况下，相邻像素间的亮度差别很小， 如图3 2 所示。微处理器驱动透镜前后反复移动，当相邻间像素的亮度差别达到 最大的时候，也就是最佳的焦距的位置了，如图3 3 所示。 图3 2 散焦情况下的成像和c c d 中的像素分布 l6 里型兰垫查查兰堡主兰竺兰塞堕塑里堡丝盟 图3 3 准确聚焦情况下的成像和c c d 中的像素分布 ( h t t p ：w w w h o w s t u f f w o r k s c o m a u t o f o c u s h t m ) 被动式a f 是对无穷远的被摄物体也能测距对焦的a f 方式，由于更换不同的 镜头也能够准确对焦，多数被用在a f 单反镜头相机上，高档相机应用被动式a f 的也越来越多。被动式自动聚焦系统对拍摄物体的距离没有限制，而且当相机与 被拍摄物体之间有透明的玻璃阻挡的话，也不影响相机准确的聚焦。 被动式a f 在一些拍摄场合下也会失灵。譬如，当被摄环境很暗，或遇到形 状重复雷同的被摄体时( 如草地、百页窗、铁丝网等) ；或自动对焦区对着反差低 的不能反射光线的物体；主体移动太快；自动对焦区内同时包含了前景与背景上 的景物；自动对焦区对着逆光下的主体且背光线极强等等，都可能发生测距困难。 被动式自动焦距系统必须在在有光的情况下使用，并且图像要有对比度，因此场 景本身必须有一定的细节来提供所需的对比度。如果拍摄一个空白的墙壁或者均 匀颜色的物体，相机则无法比较相邻像素从而不能聚焦。 由于c c d 通常被水平放置，所以被动式自动聚焦系统仅对垂直细节比较敏 感。如果水平持相机拍摄，则需对着垂直边缘位置进行聚焦，反之，则相反。更 新更昂贵的相机常常被设计为同时拥有垂直和水平的感知器，来解决这个问题， 但是用户仍然需要避免使用颜色均匀的物体来进行聚焦。 3 2 3 我们的想法 l7 生里型兰垫查奎兰堕主兰丝丝苎一竖塑里! ! 丝型 由上面的分析可知，目前被动式自动聚焦系统中存在的一些问题主要是由于 仅采用部分图像进行判断引起的。我们在上节中提到的几个问题，如果采用全图 来判断，将可以不同程度的避免。我们设想，如果可以判断出一幅图中那些边缘 是模糊的，那些边缘是清晰的，那么我们则有可能分离出图像的前景和背景，用 户就可以更好的判断当前的成像是否符合自己的需要，是否聚焦在了想要拍摄的 物体上。这样做还有一个附带的好处是，当需要拍摄一些特殊效果时，比如刻意 虚化场景中的某一部分，可以更加方便判断是否达到了要求。我们在下面提出来 的模糊图像检测的技术刚好可以用来实现这种功能。我们将在后面详细讨论。 3 3 一些前人的工作 3 3 1 利用焦距测景深的技术 我们先看一下现有的一些相关技术。我们知道由散焦引起的图像模糊问题一 直都是计算机视觉研究人员所关心的研究对象。图像是由三维场景在二维平面上 投影所形成的，一些有用的三维场景信息在投影过程中被丢失了，但也有一些信 息转换形式保留下来了，而散焦模糊现象就是场景深度的一种暗示。因此从散焦 引起的图像模糊现象来实现单目感知深度，是计算机视觉的一个重要研究方向。 虽然这类技术的某些原理值得借鉴，比如它们建立了很好的相机模型，但是 这类方法并不适合用作单幅图像的模糊检测方法。目前用焦距测景深的方法虽然 能够计算出场景中每点的大致深度，但是这是附加了很多限制换来的，比如( 1 ) 不能采用结构化的光源，以免难以分析真实场景的特征；( 2 ) 认为场景中的边缘 都是阶跃性的；( 3 ) 这些方法通常使用高斯模型来进行散焦的建模。( 4 ) 需要同 一场景的两幅或更多的有一定条件限制的观测图像数据，比如要求其中幅使用 针孔光圈来拍摄；( 5 ) 假定场景中各点的景深是缓慢变化的等等( n a y a r ，1 9 9 4 ， e n s ，1 9 9 3 ， k i