（机械电子工程专业论文）基于编码光圈的全焦距成像方法研究.pdf

摘要 本文将编码光圈技术加入到对失焦图像的复原技术当中，研究基于编码光圈的全 焦距图像成像方法。通过本文研究的算法对失焦的图像进行复原处理，可以使图像中 因为失焦而造成模糊的区域变得清晰。本文主要研究的内容包括： ( 1 ) 研究学习了编码光圈的相关理论。主要研究了编码光圈的理论由来以及应 用特性，并且研究了散焦图案与物体深度之间的内在关系。 ( 2 ) 研究了编码光圈图案的选择方法。本文首先运用统计模型对图像进行统计， 然后根据统计模型，结合相对熵中的一个典型算法k u l l b a c k l e i b l e r 散度来计算不同 深度图像之间的相似度。最后，再根据本文提出的比较方法，选出相对最优的光圈图 案。 ( 3 ) 获取光圈过滤器。在选定了光圈图案之后，相对此光圈要获取一组过滤器， 即在几个由远及近的深度距离上分别提取出散焦图像，然后经过截取、图像分割、缩 放、归一化等操作之后得到所需要的过滤器。 ( 4 ) 图像复原方法的研究。本文通过理论推导得出一个通过模糊图像和过滤器 来求解复原图像的方法。并且在对众多的求解方法进行比较之后，最终采用了基于稀 疏分布图像的求解方法来作为本文的图像复原方法。它的主要思想是迭代加权最小二 乘法以及共轭梯度法等方法混合嵌套的计算方法。 ( 5 ) 硬件系统和软件系统的设计。根据本研究的基本需求，选取了适当的设备， 完成了硬件系统的设计与构建；设计并编译实现了软件系统的各个功能模块，并进行 了集成；最后，将软硬件设备进行了集成，各项性能达到了本研究的目的与要求。 本文研发的基于编码光圈的全焦距成像系统可用于由于失焦现象所产生的模糊 图像的复原工作。测试结果表明，本系统能有效地将特定失焦图像进行复原，图像效 果基本满足要求。 关键词：编码光圈技术；全焦距图像；图像的统计模型：k u l l b a c k l e i b l e r 散度；迭代 加权最小二乘法；共轭梯度法 a b s t r a c t t h i sp a p e rf o c u s eo nt h er e s e a r c ho fa l l f o c u si m a g i n gm e t h o db a s e do nc o d e d a p e r t u r et e c h n o l o g y , w h i c hu s e d t h ed e f o c u s i m a g er e s t o r a t i o na n d c o d e da p e r t u r e t e c h n o l o g y i tc a nm a k et h eb l u r r yr e g i o n a lo fi m a g e ，w h i c hc a u s e dd e f o c u s ，g e tc l e a r e rb y t h ea l g o r i t h mi nt h i sp a p e r t h em a j o rw o r kd o n ec a nb es u m m a r i z e da sf o l l o w s ： ( 1 ) s t u d i e do nt h er e l e v a n tt h e o r y so fc o d e da p e r t u r e ，i n c l u d i n gt h eo r i g i na n d a p p l i a t i o no ft h ec o d e da p e r t u r et h e o r y , a n dt h ep o t e n t i a lr e l a t i o n s h i pb a t w e e nt h ed e f o c u s p a t t e ma n dt h ed e p t ho fo b j e c t ( 2 ) r e s e a r c h e dt h es e l e c t i o nm e t h o do fa p e r t u r ep a t t e m f i r s t ，t h eb l u r r e di m a g eb e c o m p u t e db ys t a t i s t i c a lm o d e l ，t h e nt h es i m i l a r i t yb e t w e e nt h ei m a g e sa td i f f e r e n td e p t h s c a l lb ec o m p u t e db yt h i ss t a t i s t i c sa n dav e r yc l a s s i c a la l g o r i t h mt h a ti sk u l l b a c k l e i b l e r ( k l ) d i v e r g e n c e f i n a l l y ，u s e dt h ec o m p a r i s o nm e t h o dp r o p o s e di nt h i sp a p e rc a ns e l e c tt h e r e l a t i v eo p t i m a lp a t t e m ( 3 ) o b t a i n e da p e r t u r ef i l t e r s a f t e ra p e r t u r ep a t t e r nw a ss e l e c t e d ，i tm u s te x t r a c ta g r o u po ft h ef i l t e r s ，w h i c hc a l lb eg o tt h r o u g hs e v e r a ls t e p s ，i n c l u d i n ge x t r a c t i o no ft h e d e f o c u si m a g e sa td e p t h sf r o mn e a rt of a r , i n t e r c e p t i o n ，s e g m e n t a t i o n ，s c a l i n g ，n o r m a l i z e d a n ds oo n ( 4 ) r e s e a r c h e dt h ei m a g er e s t o r a t i o nm e t h o d t h r o u g ht h et h e o r e t i c a la n a l y s i s ，t h i s p a p e rg o ta ne q u a t i o nt os o l v et h ec l e a ri m a g ef r o mb l u r r yi m a g ea n dt h ef i l t e r a f t e r c o m p a r ew i t hs e v e r a ls o l v i n gm e t h o d s ，i tw a ss e l e c t e d ，w h i c ht h em e t h o db a s e do nt h e i m a g eo fs p a r s ed i s t r i b u t i o n i ti st h em i x e da n dn e s t e dc a l c u l a t i o na b o u tt h ei t e r a t i v e r e w e i g h t e dl e a s ts q u a r e sp r o c e s s ( i r l s ) a n dt h ec o n j u g a t eg r a d i e n ta l g o r i t h m ( 5 ) d e s i g n e dt h eh a r d w a r ea n ds o f t w a r es y s t e m s a c c o r d i n gt ot h eb a s i cn e e do ft h i s r e s e a r c h ，t h ea p p r o p r i a t ee q u i p m e n tw a ss e l e c t e da n dt h ed e s i g na n ds e l e c t i o no fh a r d w a r e s y s t e mw e r ec o m p l e t e d c o m p i l e dt h ev a r i o u sf u n c t i o nm o d u l e so fs o f t w a r es y s t e ma n d i n t e g r a t e dt h e m f i n a l l y , t h eh a r d w a r ea n ds o f t w a r es y s t e m sw e r ei n t e g r a t e d ，a n dt h e p e r f o r m a n c er e a c h e dt ot h ep u r p o s ea n dr e q u i r e m e n to ft h i sr e s e a r c h t h i sp a p e rr e s e a r c ht h ea l l - f o c u si m a g i n gs y s t e mb a s e do nc o d e da p e r t u r e ，w h i c hb e u s e d s u c c e s s f u l l y i nt h er e s t o r a t i o nw o r ko ft h eb l u r r yi m a g ew h i c hc a u s e dd e f o c u s p h e n o m e n o n t h er e s u l ts h o w nt h a tt h i ss y s t e me f f e c t i v e l yr e s t o r a t i o nt h ed e f o c u si m a g e ， a n dt h ee f f e c to fi m a g ec a nb a s i c a l l ym e e tt h er e q u i r e m e n t k e yw o r d s ：c o d e da p e r t u r et e c h n o l o g y ，a l l - f o c u si m a g e ，s t a t i s t i c a lm o d e lo fi m a g e ， k u l l b a c k - l e i b e rd i v e r g e n c ea l g o r i t h m ，i t e r a t i v er e - w e i g h t e dl e a s t s q u a r e s p r o c e s s ，c o n j u g a t eg r a d i e n ta l g o r i t h m 天津科技人学硕：】：学位论文 1 前言 1 1 课题背景及其研究意义 伴随着小孔成像现象的原理的发现以及成像装置的研制成功，图像这个事物就产： 生了，并且随着电子技术以及计算机科学的不断发展，图像也逐渐分成了模拟图像和 数字图像两类。以“荧光屏胶片”来采集和储存的图像，属于模拟图像，而且它 的范畴很广泛，其中还包括图片、海报、广告画等：而以数字格式存放的图像则称之 为数字图像，其主要储存在计算机中。在图像不断发展的过程中，它也逐渐走入了人 们的，生活，成为了人们保存生活中的美好时刻的载体和j 具，更重要的是它成为了医 学、计算机科学、图形学等很多研究领域不可或缺的工具。例如，在天文星系的研究 中，正是有了图像的帮助，人们才直观上地了解到各个行星、星云等的样子，并为科 学家们的进一步深入研究提供了基础。对于任何一位宇宙天体学家而言，在他们发现 新的天体时，如果没有图像作为证据，那么他们的话是没有人会相信的。再者，在医 学领域，通过拍摄人体的c t 数字图像，医生町以诊断出病人患的什么疾病，两儿利 用c t 图像和相关软件可以进行人体的三维重建，建出的模犁对于医学t 作者对人体 的深入研究提供了很大的帮助。当然，在勘探、遗迹探秘、监控等众多领域，图像郡 起到了很大的作用。 而图像作为一种重要的现代信息的载体，是这个时代中最重要的社会要素之一， 其基本功能就是以图像的形式记录信息。而图像的清晰度与否意味着图像承载的信息 量的多少。具有了足够信息量的图像，自然就可认定为是清晰精确的图像。而清晰的 图像一直就是许多以图像为基础的许多领域所追求的目标。例如，在监控上，图像质 量的好坏，也就是图像是否清晰直接关系到能台清楚地看剑场景中人们的切i j ：动以 及人们的面容，而一旦有不法事件发生，图像能否对缉拿不法分子有所帮助。然i f u ， 有的时候，会因为如传感器噪声、摄像设备之间的相对移动、大气对流、成像光源及 射线散射、光学系统相差等各种外界因素造成图像的清晰度下降，导致图像小能提供 准确的信息，其表现的形式为图像模糊、图像干扰等，通常称之为图像退化。假设在 处理图像时，对造成退化的原因以及过程都十分了解，那么就可以利用其反过程来复 原退化的图像。当然，这想法是非常简单的，但要实现则会很复杂，而且需要很多数 字图像处理技术的知识为基础。 数# 图像处理技术是一门迅速发展的学科，在诸多领域里都有着极其广泛的应 用，而在科学研究、工业生产、医疗卫生、教育、管理和通信等大型应用中也起着举 足轻重的作用，尤其是随着数字图像处理技术的快速发展，图像与人类生活变得更加 密不可分。此外，计算机科学的飞速发展以及图像数字化和图像显示设备的普及，也 为图像处理的发展提供了良好的条件，并成为推动其发展的主要动力。根抓 ，l ：多i 外先前的研究成果，了解到在获取图像的过程中，许多俐素都会导敛恻像质酣卜- 阶即 i 前言 模糊退化，例如光学系统的像差、大气扰动、散焦、离散采样和系统噪声等等，它们 都会造成图像的模糊及变形。因此，如何找到对应的正确的方法来使模糊图像变得清 晰就尤其重要了，这就需要用到图像复原技术了。图像复原技术是数字图像处理技术 中一个非常重要的领域，图像复原的研究很多都是基于数字图像处理的，包括算法的 研究和针对特定问题的图像处理程序的设计。例如，早在二十世纪五十年代美国及前 苏联的太空计划，当时由于客观条件限制，得到的图像质量严重退化。而这种退化并 不是一个小问题，因为图片中包含了大量的重要信息，为得到这些图片中的有用信息， 美罔曾投入了大量的人力、物力和财力。任何退化都将降低图片的科学价值，并意味 着要复原它会需要更多的投入。因此，能否将得到的退化图像复原成满意的清晰图像， 从而获取更多的有用信息是至关重要的。数字图像复原技术之所以在数字图像处理中 。i 据着非常重要的地位，同时受到越来越多的关注，正是离不开其广泛的应用背景的。 在众多的造成图像退化的原因之中，因为失焦而产生的模糊图像一直是光学成像 发展到现在都无法彻底解决的问题。所谓失焦模糊，简单的说，就是由于传统的光学 成像设备的基本原理都是利用了凸凹透镜的光线变向性的特性来设计的，因此被拍摄 的物体到物镜之间的距离是具有选择性的，而其选择性则主要体现在如果被拍摄物体 在光学系统的焦点上时，那么像平面上的的图像是最清晰的，相反如果物体与光学系 统的焦点有一定的距离，则得到的图像将变得模糊。 凼此，如何通过分析并处理失焦的模糊图像进而得到全焦距图像的方法研究逐渐 成为了全世界图像研究者所关注、所研究的热门。所谓全焦距图像，就是场景中的所 f j 不同深度的物体在像平面上所成的像都跟物体在光学系统的焦点上所成的像样 的清晰。尽管，随着光学照相技术，对这个问题进行各种尝试性的改善处理。但是， 单单从硬件的角度去改善失焦的现象，是根本无法得到全焦距图像的，而且往往不得 4 i 舀j 提高某个性能的同时却可能牺牲了其他方面的性能。 本文所叙述的基于编码光圈的全焦距成像系统的方法研究就是针对失焦的模糊图 像进行复原处理，进而得到全焦距图像的一种有效方法。要实现这个想法需要对光圈 的形状进行改变，再使用一些图像复原的相关算法。 1 2 国内外现状及其发展趋势 对于如何通过分析失焦的图像进而复原得到全焦距图像的方法，国内外的研究学 存郝进ij 二j ，深入的研究，也都分别提出了各自的些方法。 1 2 1 图像的盲复原技术 图像的盲复原技术是数字图像复原的一个重要领域，即在图像系统的退化过程全 部或部分未知的情况下，通过退化图像( 即拍摄得到的图像) 的特征来估计真实图像 和模糊算子( 也可以称为点扩散函数) 的过程。根据对点扩散函数( p o i n ts p r e a d f u n c t i o n ，p s f ) 估计的不同，可以分两种情况：第一种情况是将点扩散函数的估计同 斟像复原分离j i ：来进行，而第：种情况是将点扩散函数和对原始图像的f i i l 计结合起来 进行。 2 天津科技人学硕i ：学位论义 点扩散函数的物理含义是在不考虑加权观测噪声影响的情况下，一个点源通过该 成像系统后所形成的散焦图像。从点扩散函数的定义可以知道，对于每一个点源，它 通常是一个有限冲激响应滤波器。由点扩散函数的卷积机制造成的图像退化称为模 糊，它的直观表现是图像分辨率的降低。但是，点扩散函数的估计仅仅是盲复原技术 的基础，如何利用点扩散函数对模糊图像进行复原处理才是关键。 其中的一种方法便是在估计除了点扩散函数的具体类型情况下，利用常规的复原 算法( 如维纳滤波算法) 进行图像复原。更先进的方法是结合维纳滤波和约束最小二 乘滤波，进行改进得到的迭代滤波盲复原算法。 另一种算法是n a s r i f 盲图像复原算法。由k u n d u r 和h a t z i n a k o s 提出了非负支撑 域约束递归逆滤波( n o n n e g a t i v i t ya n ds u p p o r tc o n s t r a i n sr e c u r s i v ei n v e r s ef i l t e r i n g ， n a s r i f ) l ij 自适应算法，该算法仅仅以原始图像的支撑域范围作为先验条件，算法结 构简单，所需迭代次数较少。并且由于算法是在一个凸集上进行迭代的，所以可以有 效地保证解的唯一性和算法的收敛性。国内就有关于这方面的研究，如全焦距图像藿 建技术l j 所研究出的方法就是这种方法的改进。 此类方法的特点是它们都是仅仅以模糊图像为先决条件的，而没有考虑硬件，即 没有涉及光学成像系统的改进，而且处理效果有时也不是很好。 1 2 2 图像深度信息提取补偿法 由于传统的成像方法只是简单的将三维世界的物体映射到二维图像上，所以场景 中物体的深度信息往往无法体现。不过，失焦的现象则恰恰与物体的深度( 即物体j 成像系统中焦平面的距离) 有着密切的关系。原因很简单，比如，如果被扪摄物体存 光学系统的焦点上，那么像平面上得到的图像是最清晰的，相反如果物体足l j 离光学系 统的焦点的位置有一定的距离，而且这个距离也远远大于景深，则得至0 的图像就会足 模糊的。因此，被拍摄的物体与焦平面的距离直接关系到物体在像平面上的像是否清 晰。 基于以上观点，从理论上讲，如果能够分析得出图像中物体的深度信息，然后再 根据这个深度信息来对图像中的物体进行补偿处理，这样就能得到全焦距的图像了。 实现这种想法方法有很多，而且作法不尽相同。例如，在深度提墩的方嘶，i 】j 以 分为主动和被动两方面的方法。而利用光学的方法的属于前者，它主要包括：激光t j 描法1 3 j 和结构光法【4 5 】。尽管这些方法能产生高质量的深度估计，但是它们都使用了额 外的照明装置。相比之下，被动的方法则是在不需要额外装置介入的条件下拍摄图像， 随后通过分析图像中的观察角度或者焦点的改变来提取深度信息。但是，不管通过多 角度，还是通过不同焦点的散焦图像来分析，他们的共同点都是需要拍摄大馘的图像。 前者需要借助大馒不同角度的图像来分析角度，而后者则足通过没置人毓f in i jf 门熊 点，从单角度拍摄大量场景中的图像，并通过分析散焦i ：的变化来求出深度f ；息。 此类方法的特点是，尽管能得到很好的深度估计并进行图像复原，但是需要拍摄 大量的图像是很复杂的，而且工作量很大，并且这些方法很难准确地定位物体边缘。 i 前苦 1 2 3 基于编码光圈的全焦距复原法 此方法j 下是本文所要研究的方法，它与以上两种方法都有一定的联系。首先，它 也是基于深度信息的提取补偿这想法的，但是，它既不需要额外装置，也不需要拍 摄大量的图像用于分析。仅仅需要对常规照相机系统进行很小的改变在镜头中加 入个有特殊图案的薄片来代替原有的光圈以及一幅图像，就能分析出深度信 息。利用的是光圈编码技术以及图像的散焦来实现的。事实上，光圈编码技术早已被 应用于天文学和医学领域上，它有助于x 或) ，射线在成像时能收集到更多得入射光线， 而传统的镜头光圈是不能做到这点的。 综上所述，为了能得到全清晰图像就需要从图像中对物体真实的深度信息进行区 分提取，然后再根据所得的深度信息对图像进行复原等处理。而之前的一些方法大多 数是存拍摄大最的不同焦点的图像或者使用额外的装置的情况下完成的。而光圈编码 技术是将光圈设计成一些特殊的图案而不是现在普遍使用的圆形或者f 六面形光圈， 这就是所谓的光圈被编码了，然后在借助编码光圈图像技术【6 】和波前编码技术l7 驯等相 关知识以及通过点源的散焦图案所提取出的点扩散函数，来对一幅标准自然图像中物 体的深度信息进行提取并对其中的模糊部分进行修复。 在本文中，通过对模糊图像的复原处理算法进行比较分析，最后选择的是迭代加 权最小二乘法以及共轭梯度法等方法相结合的方法。这个算法与n a s r i f 盲图像复原 算法有密切的关联。后面将详细介绍这一方法。 1 3 本文主要的研究工作 本研究需要利用基于编码光圈的图像复原算法研究丌发图像复原处理的软件，利 用该软件叮以对失焦的模糊图像进行复原处理，进而得到较理想的全焦距图像。本文 的研究：r 作主要经历的过程是从基于编码光圈的失焦图像复原算法的研究到硬件系 统的选择弓设计，再到软件系统的设计及系统的集成。研究工作流程如图l l 所示。 4 灭津科技人学硕 ：学位论义 l 原理及方法研究 上 l 硬件的选择与设计 土 i 软什系统结构改计 上 i 系统集成 土 l 实际幽像处理应川 上 i 功能进一步完善 图l - 1 研究工作流程 f i g 1 - 1f l o wo fr e s e a r c hw o r k s 1 3 1 主要研究内容 ( 1 ) 原理：所谓的编码光圈，就是要把光圈设计成其它特殊的形状( 即不是传 统的圆形或者正六边形) ，由于通过点源的散焦图像可知，不管何种光圈图案对深度 信息都是有一定的敏感度的，都能反映出一定得深度信息，那么什么样的光圈图案对 深度信息有史好的敏感度，这是本文首先要研究的问题，最后本文所选择的疗法魁蛙 于图像的统计模型以及相对熵中的一种典型算法：k u l l b a c k l e i b e r 散度来对刁i 同光圈 图案进行评价与选择。再者，本文中要用到的光圈过滤器矩阵( 即前面提到的点扩散 函数，在本文后面的论述中会统称为光圈过滤器) ，要通过拍摄的点光源的散焦图像 来获得，而矩阵要在对图像进行截取、缩放、图像分割、归一化等处理后才能得剑： 最后，对于模糊图像的复原处理算法，选择的是迭代加权最小：乘法以及j 匕轭梯皮法 等混合使用的方法。 ( 2 ) 硬件的选择与设计：本文的硬件二 三要就是一台教学刚的彩色摄像机( 包括 一个图像采集卡) ，以及一些其他的辅助硬件，再有就是光圈图案的设计并最终从几 种图案中选择相对最好的一个图案的光圈来使用，这也是本论文中很重要的一部分， 以及其他一些辅助的部件。 ( 3 ) 软件系统设计：应用v i s u a lc + + 编程软件进行软件操作系统设计。依据算法 l 前言 及原理的需求，设计了图像读取模块，彩色空间转换模块，人机交互模块，图像复原 模块，图像保存模块等。 ( 4 ) 系统集成：将软件系统中的各个模块进行集成，最后，将软件与硬件进行 集成。 ( 5 ) 实际应用：利用装有自制光圈的彩色摄像机拍摄图像，然后用软件对该图 像进行图像处理，并查看效果，并进行误差分析。 ( 6 ) 改善系统：根据应用情况，对软件的性能进行进一步的改善。 1 3 2 需要解决的关键性技术问题 ( 1 ) 不论是在选择区分深度信息相对最优的光圈图案的研究，还是在提取光圈 过滤器矩阵的阶段，都要拍摄一组点光源在不同深度距离上的图像，进而获得点光源 的散焦( 俗称弥散圆) 图像。而为了避免引入不必要的噪声干扰以及更加突出散焦图 案，存拍摄图像时也应该在比较暗的环境下进行，并且点光源四周的背景最好是均匀 的。 ( 2 ) 扫：提取光圈过滤器矩阵时，需要通过截取拍摄的点光源的散焦图像来软得， 然后要进行一系列的处理j 能得到用于复原处理的矩阵掩码，在保证散焦图案不失真 和矩阵维数限制的条件下，要对截取的图像进行图像分割、缩放，归一化等处理，必 要时还要进行一些去噪、滤波等操作，这个必须进行许多次的尝试，才能找到最好的 处理方案。 本文的创新点在于：提出了一种基于编码光圈技术的失焦图像的复原办法。 1 4 本文的结构安排 第1 章简要介绍了基于编码光圈的全焦距图像复原方法的课题背景和研究的意 义，国内外对于失焦图像的各种复原处理方法的发展现状及发展趋势，以及本文的主 要研究内容。 第2 章详细的介绍本研究所需要的基本原理，其中主要包括光圈图案的选择方 0 ：，即订：儿种一定义图案的光圈中选择区分深度信息相对最优的方法；基，编码光刚 的i 纠像复原技术，介绍本研究采用的图像复原的推导方法，以及对最后得到的图像复 原的求解方程的几种求解方法的比较，并最终确定迭代加权最d - - 乘法以及共轭梯度 法等混合使用的方法；以及r g b 和h s i 彩色空间之间转换的基本理论和转换方法。 第3 章详细的介绍了本研究所需要的硬件，其中主要包括选择各个硬件的用途与 选择理由，以及通过实验选出了最优的光圈，并且完成了软件实现前所需的些前期 1 ：作包括包括光圈过滤器的提取及算法处理时需要的数据参数九。 第4 章介绍本文的软件系统设计，主要介绍软件系统编译的思路。例如，图像的 读入模块，彩色空问转换模块，人机交互模块，图像复原模块，图像的保存模块等的 实现方法。 第5 章软件的实际应用。利用装有选择光圈的彩色摄像机拍摄图像，然后用软件 对该图像进行图像处理，验证了基于编码光圈的全焦距复原方法的技术的可行性和实 天：；1 1 科技人学坝卜似论义 用性，并且说明了本软件的整个图像处理的过程。最后，根据实验效果以及相关计算， 对本软件进行了必要的误差分析。 第6 章总结全文，提出改进建议。 第7 章对未来本研究所能达到的高度进行展望。 2 系统构成原理的概述 2 系统构成原理的概述 本系统构成的原理主要包括光圈图案的选择方法，基于编码光圈的图像复原技术 以及其他一些相关的知识，如彩色空间的转换问题等。 首先，利用光圈编码技术先将光圈设计成一些特殊的图案而不是现在普遍使用的 圆形或者正六面形光圈，对光圈进行编码，然后再借助编码光圈图像技术和波前编码 技术等相关理论以及通过点源的散焦图案所提取出的点扩散函数，来对一幅标准自然 图像中物体的深度信息进行提取并对其中的模糊部分进行修复。但是，到底什么样图 案的光圈的效果相对最好是个值得讨论的问题，需要找到合适的方法对不同的图案进 行评定进而选择出相对最优的光圈。下面介绍光圈图案的选择方法。 2 1 光圈图案的选择方法 本研究的重点是利用光圈图案本身对于物体深度的敏感度来对失焦的图像进行 复原处理，进而得到全焦距图像的。而在此之前，需要选择出一个光圈图案，因为无 论什么图案的光圈，它本身都对深度信息有一定的敏感度的，只是有好坏之分而已。 那么，在众多的图案中，到底什么样的图案相对最优呢? 运用什么方法来进行分析区 分呢? 这j 下是本小节要研究的问题。 首先看一个简单的薄透镜成像模型，它表示了光线从场景中一点映射到照相机像 平面上的过程。如图2 一l 所示，当场景中焦平面上点e 上的光线通过镜头后将会聚焦 于像平面上的唯一一点，而从距离焦平面有一定距离毋上点的光线通过镜头将会散落 在像平面j ：的个区域内，这样就产生了模糊的图像。而这个模糊的图案是光线通过 镜头光圈的横截面所得到的，也就是我们通常说的弥散圆。而弥散圆的直径大小则取 决十物体剑焦平面的距离。 物平面 镜头光圈像平面 瓜 一 i 二 p 7 鬯 图2 1 薄透镜成像模型示意图 f i g 2 一ls c h e m a t i cd i a g r a mo f t h i nl e n si m a g i n gm o d e l 散圆 天津科技大学颂：j ：学位论文 通过对上述的模型进行分析，可以得出对于在距离岛平面上的物体，成像过程町 以用下面的卷积来表示： y = 石宰x 式( 2 一1 ) 其中水是卷积操作的符号，y 是拍摄得到的模糊图像，x 是真实的清晰图像，舷则称为 光圈过滤器，它是将点光源在图像中所得到的弥散圆图案量化处理后得到的卷积矩 阵，与光圈图案本身是成比例的，并且与距离西有一定关系。以数学的角度看，公 式( 2 一1 ) 所表示意义就是模糊图像y 是清晰图像x 与光圈过滤器兀卷积后的结果。 如果场景中的一点从焦平面丌始逐渐向远离像平面的方向移动，那么它在像平面 f ：的像，将会从一个清晰点逐渐变大变模糊，进而形成弥散圆，而弥散圆的直径也会 逐渐变大，直到距离足够大时，才不会继续变大，而在这一过程当中，会得到不同直 径大小的弥散圆图像，将其量化后，就会得到对应于距离毋的光圈过滤器舷 ( k = l ，z 3 一，门) ，这样也就建立了光圈过滤器与距离之间的关系，即在一个深度距离 ： 对应了一个光圈过滤器，也可以说是距离标定，如图2 2 所示。 铹平面 镜关7 己圈像平面 1 l ： 2 3 ” j 图2 2 过滤器向距离e 的关系 f i g 2 2r e l a t i o n s h i pb e t w e e nf i l t e r f a n dd e p t he 由于光圈过滤器是从点源的弥散圆图像中获取来的，所以光圈过滤器也与光圈图 案成比例的，那它同样对深度信息具有敏感度，所以下面将从光圈过滤器入手，介绍 选择光圈图案的方法。 对于一个好的光圈过滤器需要满足两个关键条件：( 1 ) 能够正确的区分出由不同 尺寸大小的过滤器模型所引起的模糊；( 2 ) 过滤器能够很容易地进行倒转，这样有助 于对图像进行修复。给于给定的大量待定的不同图案的过滤器，根据这两个标准选择 出相对最优的过滤器并不是一项简单的工作。在讵式讨论统计方法之前，先考虑个 简单的例子，将有助于理解并构建这个问题的直观概念。 2 系统构成原理的概述 l l r f 1 1 2 盯 1 广 f 2 i ；l ； i5 i ：t 乜 广 iii | f 3 ；- - l i 4 jj ；, j e j 、j i ，、 ，、 i o ，、i ! i i 、f 、 埘一：、： ：蛐 ，、； ： 。!，弋、 ， i 、 i 。 o ，? i ji _ l _ t i ii 7 以 一 ， 州u ：顷? 簪城 图2 31 维编码过滤器的3 个不同尺寸的示意图 f i g 2 3s c h e m a t i cd i a g r a mo fid c o d e df i l t e ra t3d i f f e r e n ts c a l e s 图2 3 表示的是一个一维编码过滤器的三个不同尺寸在空间域的曲线图形以及与 它们相对应的经过傅里叶变换后得到的曲线图。这样做的目的是为了考虑过滤器在傅 艰叶变换后，值为零的地方的特点【9 1 。例如，尺寸l 中的过滤器 在频域o ) 1 上有一 个零，i 。这就表示，如果已矢l l 图像y 是通过石的影响后得到的模糊陶像，则傅罩叶变 换肝得剑的y 在o ) 1 上必有一个零点，即y ( i ) = o 。因此，通过所得图像的频域零点， 能确定f ：使图像变模糊的是过滤器的哪个尺寸，进而确定出物体的深度。 这个论点在空间域是同样成立的。如果y ( i ) = 0 ，那就意味着y 可能不再仅仅是 一个任意的n 维向量( n 是图像像素的数量) ，而是它必须还要满足一定的线性约束 条件。由于过滤器是成比例的，所以频域上零点的位置是移动的。例如，空问域图形 从尺寸l 变动到尺寸2 时，则频域中的第一个零点的位置从l 变动到0 ) 2 。冈此，过 滤器的每个尺寸都各自定义了用于对模糊图像进行模糊的一个不同于其他的线性 子空削。对于给定的一幅n 维的图像，通过图像被模糊的地方识别出过滤器的尺寸， 进而识别出物体的深度的问题，就简化到了识别子空间所处的位置的问题上了。 在理论上，识别出频率的零值，或者等价于寻找出j 下确的子空间是很简单的，但 是，存实践上，这个问题的情况是非常复杂的。首先，在成像过程中，噪声的影响会 使得布! 频域中找不到准确的零值，因此，图像y 将不会准确的落在任何一个子窄i 自jj _ ：。 i 耳行，和j i 纠像y 中的所有频域零值可能仅仅是由原始的清晰图像( 即所求图像) x 的 个零频率内容所产生的。这一点是特别重要的，因为它能说明深度的变化，并且应 用小区域图像窗口的知识，我们就能确定出深度。这些结论表明有些光圈过滤器要比 其它的要好。例如，在噪声的问题上，在低频中出现零值的过滤器比在高频中出现零 值的过滤器要更好，因为一个典型图像的大部分能量是聚集在低频上的。由此，如果 i 是而的一个零频率点，则希望过滤器在其他的尺寸正，石等在0 0 1 上有重要的频率 值，以至于可以很容易地将它们区分出来。值得注意的是，当能够对一个清晰图案的 i 0 天津科技人学颂i ：学位论义 每一个尺寸上的零值轻易地做出深度区分时，倒转过滤器矩阵会很困难，因为在进行 去模糊复原处理时，这些频率对噪声是十分的敏感的。因此，为了取回深度信息，过 滤器就必须牺牲掉一些图像内容。如果能够牺牲适度数量的频率，则图像处理时能减 少对噪声的敏感度，能使得我们准确的得到过滤器的合适大小。 为了通过计算的方式找出选择光圈图案的方法，本文将引入一个关于真实世界图 像的统计模型。利用这个模型就能对模糊图像进行统计计算。而后再得出一个准则， 这个准则是用于衡量光圈在不同深度上的光圈过滤器对深度信息的区分能力，进而帮 助本文从几个任意的光圈图案中选择出相对最好的一个。下面进行详细地介绍。 2 1 1 图像的统计模型 真实世界的图像是具有统计性的，它主要体现在图像的导数是一一个稀疏分布i l o i 。 然而，由于稀疏分布不便于统计计算而且是非连续的，所以假设这个导数的分斫i 遵循 高斯分布i i 。也就是说，假设公式( 2 1 ) 中真实的清晰图像x 的导数遵循均值为零的 高斯分布。 ，1、 d ( i ) o o e x p l 一寺扳7 o il = n ( o ，o ) o = a ( c 黟t 巳+ 勺) - l 式( 2 2 ) 其中( 0 ，c 0 是导数卷积矩阵，与梯度过滤器g ，= 【l l 】和g ，= 1 一l 】7 等价。标鞋a 是分布的方差，它与自然图像的导数分布的方差相匹配，是一个定值，在本文i f l 墩 a = 2 5 0 。通过这样的假设就使得图像x 的分布是平滑连续的而且它的导数非常接近于 零。上述的分布也可以用频域的形式来表述，并且因为对图像求导是卷秘操作，而h 一个卷积矩阵通过傅里叶变换后得到的是一个对角线矩阵，所以在频域中图像x 的导 数分布是对角线化的( 在忽略边界影响的情况下) ： 。( x ) e x p ( 一i o x7 石x ) 石= a ( q r q + q 7 9 ) 1 式( 2 3 ) 其中以g ，g ，分别是x ，c k ，c 0 的傅里叶变换。 当物体在场景中的深度为定值时，拍摄得到的一幅有噪声影响的模糊图像，可以 用模型y = 石木x + 刀来表示。假设这个噪声影响在图像邻域中相互独立的，而儿遵循 高斯分布模型刀n ( 0 ，叩2 d ，在本文中取r = o 0 0 5 。用符号仇) 表示在光刚过滤器 五作用下拍摄到的图像的分布( 也就是来自在深度日上物体的图像的分布) 。 i n ：光 斟过滤器石与真实清晰图像x 的分布的卷积操作是线性的，所以仇陟) 也足遵循商斯 分布的：q ( y ) n ( o ，a 。) 。这个方差矩阵a 七等于先前的方差与过滤器五卷积后冉加 2 系统构成原理的概述 一卜噪声的方差，如下所示： 厶k = c f k o c , t + r 1 2 i 式( 2 4 ) 傅罩叶变换后得到： a = o c l ：k7 + r 1 2 ， 式( 2 5 ) 其中c a , 被定义与卷积矩阵相等价( 即c # x 量石宰z ) ，c f k 则是它在频域中的卷积矩阵。 这旱同样可以用频域表示图像y 的分布，而且它的分布也是对角线化的，则模糊 图像在频域中的分布是： q ( r ) o o e x p i - i 1 】，7 仃】，l 仃= e r 否只+ r 2 ， 式( 2 - - 6 ) j 中f k ( v ，甜) 是光圈过滤器舷的傅罩叶变换。公式( 2 - - 6 ) 是上面提到的零频率检测的 个等价的版本。也就是说，如果过滤器屈在频域中的( v ，) 点上值为零，则有 a ( v ，) = r 2 ，而叩2 是一个非常小的数值。因此，如果得到的图像信号y ( v ，c o ) 的频率值 是一个比零大很多的数，则y 来自于分布仇的可能性是很低的。换句话说，如果发 现过滤器的频率域中有一个零值点，那么我们找到模糊的j 下确尺寸也将是不可能的。 j 司时，本文也注意到对于每一个频率的协方差值不仅仅取决于f ( v ，c o ) ，同样也与所假 设的分布有关。因此，可以在高频上加一个较小的权重值，则这些频率在自然图像上 会有更小的通性。 2 i 2 光圈过滤器的选择标准 在了解了统计模型之后，就需要找到一个评价特别图案的光圈过滤器在识别f 确 模糊尺寸，f ：能力的方法。直观上讲，如果分别在深度距离j 和距离2 上的模糊图像分 和d ，) 和伪) 是相似的，那么我们将很难区分出深度信息。因此，可以说不同深 度距离1 - 的模糊图像分布之间的相似度是衡量光圈过滤器区分深度信息能力的一个 依据。为此，本文使用相对熵理论中的一个非常典型的算法- k u l l b a c k l e i b l e r 散度， 简称k l 散度，来实现这个想法，因为它本身是计算两个不同分布之间距离的算法， 所以可以用它来计算各模糊图像分布之间的距离，即它们之间的相似度。原始的公式 如下所示： 肌( 纠 z ) = 勰圳。g 篇 式( 2 刊 - j e f iz l ( k = l ，2 ，r 1 ) 是随机变量z 的。组数值，p i 和另分别是在假设场和1 - 6 条件下 的分布，而且p l 是先验分布而尸2 是待验分布。而在本文中将公式( 2 7 ) 改变为如下 的形式： 天津科技大学硕士学位论文 引吣) 一( 川= 工吣) 1 0 9 粥方北_ 8 ) f ，_ ，【l ，叫； i 将公式( 2 6 ) 代入公式( 2 8 ) ，这时k l 散度的计算公式将简化为： 叱( 鹕) = 莓( 糕山g ( 捌 ( 2 - - 9 ) 公式( 2 9 ) 说明当两个不同深度上的的光圈过滤器计算得剑的盯( v ，c d ) 的比值f 艮 高时，k l 散度的值越大，他们的分布之间的距离差异将会很大，而其相似度会很小。 也就是说，k l 散度的值越大，模糊图像分布历) 和口的差异就越大，就越容易 将深度距离f 和距离，上的深度信息区分出来。如果在频率( v , o g t ) 上有厅( v ，c o ) - - 0 并且 e ( v ，) 的值很大时，这个比率将会最大。这就对先前的理论进行了有力的回应，也就 是过滤器的零点对于区分过滤器的不同尺寸是非常有用的。为了能特别分辨出个尺 寸卜的零点。那么其他尺寸应该在相同的频率点上具有很重要的信息内容，即不是零 值。事实上，由公式( 2 6 ) 可以看出以( v ，) 也承载着过滤器屈的频率信息，这也就 表明了零值在低频的区域上更加容易被区分，因此在这低频区域上就希单陶像具仃蓖 要的信息内容，而非零值。 2 1 3 光圈过滤器的选择方法 利用公式( 2 9 ) 就可以对任意一种光圈图案在不同深度距离所得到的f ind 尺、j 等级的过滤器之间进行计算，计算出任意两个深度上图像的分布之问的k l 散度，这 样便会得到不同尺寸之间两两相计算的一组k l 散度值。在此，要说明的一点是：存 通过多次实验计算后我们发现深度距离越近的光圈过滤器计算出来的a ( v ，c o ) 就具有 越多的高频分量，所以在计算k l 散度值d t c l ( d i ，跏时，本文规定要满足条件f q ，这 样计算出的一组k l 散度值更具有可比性也更统一，而且数值很大容易比较。 通过分析，本文认为取以上一组k l 散度值中的最小值来作为评价一种光圈图案 对深度信息的敏感度的表征值，用这个表征值来表征光圈区分深度信息的综合能力。 因此，随后在多个光圈图案进行比较时，本文也认为其中数值最大的那个光隘i 图案足 相对最优的，它的过滤器能更好地对深度信息进行区分。 2 2 基于编码光圈的图像复原技术 图像复原技术是数字图像处理技术中一个非常重要的领域，它最终的目的就足改 善给定