（光学工程专业论文）数字自动对焦技术的理论及实现方法研究.pdf

浙江大学博士学位论文 摘要 作为数字成像系统的关键技术之一，自动对焦技术对于提升我国数字成像产品的竞 争力具有十分重要的作用。本文结合教育部高校骨干教师计划“c c d 成像频谱分析与 对焦算法研究”，针对现有对焦方法存在的问题，主要就自动对焦理论与方法、对焦评 价函数及算法、对焦窗口的智能规划等理论问题进行深入研究，并设计制作了基于计算 机和d s p 的自动对焦系统样机。本论文的主要成果有如下几点。 首先，本文研究了基于数字图像处理自动对焦的基本理论与方法对焦深度法和 离焦深度法。首次提出用维纳滤波和图像亮度归一化对图像做预处理，使对焦深度法的 评价曲线形状得到明显的改善。离焦深度法估计离焦距离或者进行图像恢复的依据是成 像系统的点扩散函数及它所产生的模糊圆。通过仿真实验，探讨并证实了用模糊图像恢 复清晰图像和计算准焦位置的可行性。利用单幅图像，用图像恢复的手段得到了准焦位 置图像的最佳恢复；利用在两个位置所得图像，用模糊圆半径估计出准确对焦位置，对 焦误差小于5 。同时，本文提出一种逐渐逼近的离焦深度法，先通过少量对焦位置不 同的图像计算出近似准焦位置，再用小步长在其附近搜索最佳位置。本方法具有离焦深 度法的速度优势，同时保持对焦深度法的高精度优点，对于具有直边特征的成像目标具 有很好的性能。 其次，本文从频谱函数、梯度函数、熵函数等方面详细分析了对焦深度法中常用的 对焦评价函数。提出用交流分量到直流分量的距离作为加权因子对频谱评价函数进行改 进，有效地提高了对焦评价曲线的灵敏度。同时本文深入分析了图像探测器的插值机制， 提出两种对焦分析法。其一是基于绿色分量的对焦分析法，其二是考虑颜色滤波阵列的 以原始绿色分量作为对焦评价函数的计算依据的对焦法。二者在保持对焦评价曲线灵敏 度的同时，可以有效地降低计算量，加快对焦速度。 再次，本文研究了智能化的对焦窗口规划技术。对焦窗口选取得是否合适是对焦成 败的重要因素。其关键是在对焦窗口中包含尽可能多的成像主体，使背景的影响尽可能 小。我们从多方面进行探讨，提出用统计手段分析成像主体最可能被放置的区域，有效 地减少了成像主体不在中心时引起的误对焦；提出用分辨率空间变化的手段对图像进行 非均匀采样，达到分辨率与视场的协调：提出通过颜色、形状和细节三方面进行人脸探 测，有效地克服了单纯靠皮肤进行探测的局限：提出基于光流场的方法分割图像中的人 脸，适用于监控场合。大量的实验证实了本文提出的几种方案的可行性。 然后，本文用两种自动对焦系统基于p c 机的自动对焦系统和基于d s p 的自动 对焦系统设数字成像自动对焦技术得以实现。通过分析不同成像位置所得图像的清 浙江大学博士学位论文 晰度，控制镜头电机移动，搜索最佳成像位置。实现自动对焦。一系列的对焦实验表明， 两种系统对于透过玻璃窗的物体以及对于主要是横向或纵向栅格状的物体( 百叶窗) 均 可以准确对焦，证实了我们设计制作的对焦系统的准确性和可靠性。 最后，总结本论文研究工作的主要结论，并对后续工作的研究进行了展望。 关键词：自动对焦，对焦深度法，离焦深度法，对焦评价函数，颜色滤波阵列，对焦窗 口规划，非均匀采样，人脸探测，数字信号处理器( d s p ) 塑垩查堂堕主堂垡兰苎 a b s t r a c t a sak e yt e c h n o l o g yi nd i g i t a li m a g i n gs y s t e m ，a u t o f o c u sp l a y sa ni m p o r t a n tr o l e i n t e r m so fi m p r o v i n gp e r f o r m a n c eo fd i g i t a li m a g i n gp r o d u c t s i no r d e r t os o l v ec u r r e n t p r o b l e m s i na u t o f o c u sf i e l d ，t h i sd i s s e r t a t i o nf u l f i l l e ds o m ei m p o r t a n tt h e o r e t i c a ls t u d i e s ，s u c h a sa u t o f o c u st h e o r i e sa n dm e t h o d s ，f o c u sm e a s u r e s ，f o c u sa l g o r i t h m sa n df o c u sf r a m i n g t e c h n o l o g i e s f u r t h e r m o r e ，w eh a v ed e s i g n e da n dc o n s t r u c tt w o a u t o f o c r ss y s t e m sb a s e do n p ca n dd s p r e s p e c t i v e l y f u n d e db yt h ef i n a n c i a la i d sf o rc a d r ec o l l e g et e a c h e r so f t h e e d u c a t i o nm i n i s t r y , t h i sd i s s e r t a t i o na c h i e v e dan u m b e r so f o u t c o m e s f i r s t l y , b a s i ct h e o r i e sa n dm e t h o d s o fa u t o f o c u sb a s e do n i m a g ep r o c e s s i n ga r es t u d i e d i n d e t a i l i nt h em e t h o dd f f ( d e p t hf r o mf o c u s ) ，a i m i n ga tt h ec h a r a c t e r i s t i co ft h ei m a g e s ，w e p r o p o s e d t h a tw i e n e rf i l t e ra n di m a g eb r i g h t n e s sn o r m a l i z a t i o nc a nb ea p p l ya sp r e p r o c e s s i n g t o o l s a sar e s u l t ，s m o o t h n e s sa n da c u i t yo ff o c u sm e a s u r ec u r v eh a v eb e e ni m p r o v e d r e m a r k a b l y i nt b em e t h o dd f d ( d e p t hf r o md e f o c u s ) ，f e a s i b i l i t i e so fr e s t o r i n gi m a g e sf r o m d e f o c u si m a g e sa n d e s t i m a t i n gt h ef o c u s e dp o s i t i o n a r cd i s c u s s e da n dc o n f i r m e d w e a c q u i r e d b e s tr e s t o r a t i o no fd e f o c u si m a g e su s i n go n eb l u r r e di m a g e ，a n de s t i m a t e dt h ef o c u s e d p o s i t i o na c c o r d i n gt or a d i u so fb l u r r e dc i r c l e sa tt w od i f f e r e n tl e n sp o s i t i o n s ，t h ef o c u se r r o r w a sl e s st h a n5 f u r t h e r m o r e ，an e wd f dm e t h o dw a s p u tf o r w a r d t h em e t h o de s t i m a t e d t h ef o c u s e df i e l dt h r o u g ha n a l y z i n gt h r e ei m a g e sa td i f f e r e n tl e n sp o s i t i o n sa n dt h e nf o u n d b e s ti m a g i n gp o s i t i o nw i t h i nt h ef i e l di ns m a l ls t e p s o u rm e t h o dh a ss o m ea d v a n t a g e so f r a p i dr e a c t i o n ，h i g ha c c u r a c ya n dg o o dp e r f o r m a n c ef o rt h eo b j e c t sw i t he d g ef e a t u r e s s e c o n d l y , f o c u sm e a s u r e sa n d f o c u s a l g o r i t h m s a r es t u d i e d f o rf o c u sm e a s u r e s ， f r e q u e n c ys p e c t r u mf u n c t i o n s ，g r a d i e n tf u n c t i o n sa n de n t r o p yf u n c t i o na r ea n a l y z e di nd e t a i l w cr e v i s e df r e q u e n c ys p e c t r u mf u n c t i o n sb y u s i n gw e i g h t i n gf a c t o r t h ed i s t a n c eb e t w e e n d i r e c tc o m p o n e n ta n d a l t e r n a t i n gc o m p o n e n t ，a n di m p r o v e d t h ea c u i t yo ff o c u sm e a s u r ec u r v e i na d d i t i o n ，t h ed i s s e r t a t i o ns t u d i e dc o l o ri n t e r p o l a t i o na l g o r i t h m so fi m a g i n gs e n s o r , a n d p r o p o s e dt w o n e w a p p r o a c h e s t h ef i r s to n ew a s b a s e do ng r e e n c o m p o n e n t s ，t h es e c o n do n e w a st a k e nc o l o rf i l t e ra r r a y ( c f a ) i n t o a c c o u n t k e e p i n ga c u i t yo f f o c u sm e a s u r ec n r v e ，n e w a p p r o a c h e sr e d u c e d r u n - t i m ea n di m p r o v e dt h e s p e e do f f o c u s t h i r d l y , i n t e l l i g e n tf o c u sf r a m i n gt e c h n o l o g i e sa r es t u d i e d a p p r o p r i a t ef o c u sw i n d o w s e l e c t i o ni sa ni m p o r t a n tf a c t o rf o rf o c u s w e p r o b e di n t of o u rs c h e m e s s t a t i s t i c a lt o o l sw e r e a p p l i e d t oa n a l y z i n g p o s s i b l ef i e l d so fi m a g i n go b j e c t s ，a n dp o s s i b i l i t i e so fw r o n g f o c u sw e r e r e d u c e d g r e a t l y v a r i a t i o n a li m a g es a m p l i n gw a se m p l o y e df o rf o c u sw i n d o w ss e l e c t i o n ，a n d 浙江大学博士学位论文 t h eh a r m o n yb e t w e e nr e s o l u t i o na n df i e l do f v i e w w a s i m p l e m e n t e d a h u m a nf a c ee x t r a c t i n g m e t h o db a s e d0 1 1 c o l o r , s h a p ea n d d e t a i lf e a t u r e sw a sp r o p o s e d ，i no r d e rt o o v e r c o m e 他s t f i c t i o no fr n e m o db a s e do ns 姑nd e t e c t i o n am e t h o du s i n go p t i c a lf l o w w a si n t r o d u c e dt o s e g m e n t i n gm o v i n gh u m a n f a c ei nf o c u si m a g e s ，a n dh a sb e u e rp e r s p e c t i v ei ns u r v e i l l a n c e s i t u a t i o n t h ef e a s i b i l i t yo f a b o v es c h e m e sw a sp r o v e db yl a r g en u m b e r so f e x p e r i m e n t s t h e n ，t w oa u t o f o c u ss y s t e m sb a s e d o np ca n dd s p r e s p e c t i v e l yh a v e b e e nd e s i g n e da n d c o n s t r u c t t h es y s t e m sp e r f o r mt h ea u t o f o c u sa c t i o nw i t ht h ef o l l o w i n gs t e p s ：a n a l y z i n g i m a g eb l u r r e dd e g r e e ，m o v i n gm o t o r i z e dl e n s ，f i n d i n g b e s t i m a g i n gp o s i t i o na n df m i s h a u t o f o c u s as e r i e so ff o c u se x p e r i m e n t sh a v eb e e np e r f o r m e do nt h ea b o v et w oa u t o f o c b s s y s t e m s ，t h e i rv e r a c i t ya n dr e l i a b i l i t yh a v ep r o b e t ob ee x c e l l e n t f i n a l l y ，m a i nc o n c l u s i o n so f t h i sd i s s e r t a t i o nh a v eb e e ns u m m a r i z e d ，a n dt h ep r o s p e c t s a n d s t u d ye m p h a s e so f f u r t h e rw o r kh a v eb e e nf o r e c a s t k e y w o r d s ：a u t o f o c u s ，d e p t hf r o mf o c u s ，d e p t hf r o md e f o c u s ，f o c u sm e a s u r e ，c o l o r f i l t e ra r r a y , f o c u sw i n d o w sl a y o u t ，v a r i a t i o n a ls a m p l i n g ，h u m a nf a c ed e t e c t i o n ，d i g i t a ls i g n a l p r o c e s s o r 塑垩盔堂堡主堂垡兰苎 1 1 课题意义 第一章绪论 成像是通过一个成像光学系统将客观三维世界中的景物变换到二维成像平面的过 程。在成像平面上用光化学材料作为图像的接收媒介就成为传统照相系统，该系统的特 点是用像平面的光强分布和色度分布控制胶片上光化学反映的进程，以胶片曝光的方式 记录影像。在成像平面上用c c d 或c m o s 等光电面阵器件接收图像信息就成为数字成 像系统。c c d 或c m o s 由数十万、数百万甚至数千万的光电像素列阵组成成像平面， 将图像光强分布和色度分布转化为以空间像素为取样单位的离散电信号，然后通过a d 转换将电信号数字化，并用数字图像的方式压缩和存储图像信息。数字成像技术彻底取 消了传统的照相系统中的化学处理步骤，使摄影过程更为便捷，与计算机系统的信息交 换更为方便迅速。 自二十世纪八十年代以来，随着微电子技术、超大规模集成电路技术、电子计算机 技术的进一步发展，数字成像技术的发展日新月异，其前景普遍为人们所看好。与此同 时，数字相机、数字摄像机已越来越接近人们的日常生活，市场中随处可见这类产品， 已逐渐成为销售热点之一。然而，无论是数字相机，还是数字摄像机，却极少出自中国 大陆及香港的设计，台湾也仅能设计这类产品中的最低档的产品。市场几乎一律是日本、 美国产品的天下，或是他们在中国的独资厂或是挂着国产品牌的外国货，我们所能见到 的国产品牌基本上是引进全套生产线生产出来的，或干脆是国外现成产品贴牌销售。之 所以出现这样的情况，主要原因是我们没有掌握其中的关键技术。自动对焦技术、非球 面生产及检测技术、大规模集成电路制造技术等方面的落后造成了我国企业市场应变能 力相当薄弱，一旦市场出现变化，如随着技术成熟，国际市场上同类产品价格大幅下降， 我们缺乏关键技术导致产品成本无法降低，因此在市场上缺乏竞争力。 本课题意在以c c d 或c m o s 作为成像器件的光电综合产品中，通过对所获得图像 进行处理及分析，探求成像镜头参数、成像位置对图像清晰度的影响，发展完善自动对 焦手段和算法，为数字相机、数字摄像机等数字成像产品的自动对焦做理论及实验研究， 并通过建立基于p c 机和d s p 的自动对焦系统样机，为这一技术的实用化作初步探索， 以带动这一产业及民族工业的发展。 1 2 自动对焦技术综述 作为成像系统的一项关键技术，自动对焦技术于2 0 世纪7 0 年代最初应用于照相系 统，传统的对焦技术大部分是基于测距原理的1 ，如超声波测距法、反射能量法2 ，3 和一些 浙江大学博士学位论文 基于三角测距原理的方法4 ：随着电子技术和信号处理技术的发展，人们找到了一些手 段对准确对焦图像的信号和离焦图像的信号进行鉴别，由此产生了基于视频信号分析的 自动对焦技术，并应用于摄像系统5 ，6 ：进入2 0 世纪9 0 年代后，以c c d ( 或c m o s ) 获 取的图像作为对焦的基本信息，以图像分析与处理为基础的智能化自动对焦技术蓬勃发 展，在以数字相机为代表的现代数字成像系统中广泛采用7 。 1 2 。1 传统的对焦技术 1 像偏移法 像偏移法应用三角测量原理，如图1 - 1 所示。 固定反 光镜 光电器件 图i - l 像偏移法对焦系统 扫描反 光镜 f i g 卜lf o c u ss y s t e mb a s e d o ni m a g e d i s p l a c e m e n t 由被摄物体所发出的光线，同时进入颚9 距器的左、右两端，右端为可动扫描反光镜， 左端为固定反光镜。从近距离到远距离，反光镜作大约l 。扫描运动，测距计上左、右 两光束，分别成像在两组各由五个硅光二极管组成的线阵接收元件上，通过两组间的信 号比较，求得合适的对焦位置。用c c d 代替硅光二极管作为接收元件可形成固态三角 测距自动对焦系统。它的两侧光路中的反光镜均为固定方式，被摄物体的距离信息通过 在c c d 上的成像位置的差异反映出来，可直接由c c d 元件进行检测和分辨。这种反光 镜固定方式结构简单、可靠。但c c d 元件与光电转换、运算系统的电路技术要求较高， 成本也高。采用c c d 作为对焦检测的方式。经过发展和改进被广泛应用在单镜头反光 照相机自动对焦系统中。 2 p s d 测距法 p s d 测距系统是另一种基于三角测距原理的自动对焦技术8 一。如图1 - 2 所示，由红 外发光管经准直透镜向被摄目标发射红外辐射，用接收透镜收集经物体漫反射后的辐 射，并汇聚在位置检测器件p s d 上。图中厶为被摄物距，毛为接收和发射光轴的间距， 浙江大学博士学位论文 f - 为接收透镜的焦距，d 为p s d 受光部分的长度。 光管 图1 - 2 p s dt j 动对焦原理 f i g 1 2p s d f o c u sp r i n c i p l e 根据p s d ( p o s i t i o ns e n s i t i v ed e v i c e ) 器件结构特点，光线入射后产生光电子，使 电阻层内的光电流与入射光强成正比，并与入射光束到各电极间的距离成正比。因此在 电极a 与电极b 处，产生与入射点到相应电极间隔距离有关的对应电流，。，。设光束 激发后的总光电流为厶，入射光束到p s d 中心的距离为缸，则各量值之间的关系为 输出光电流的比值p ( 最= 。i 。) 与被摄物距f 0 有如下关系 ( 1 2 ) ，0 = 型d 糟11 = 型d 筹1 ( 1 _ 3 ) ” 一日只一 ” 因此系统完全可以通过对电流比值最的探测和运算得到被摄物距f 0 ，从而通过镜头 控制系统达到自动对焦的目的。 3 对比度法 通过分析正确对焦的图像和离焦图像，有如下规律：当正确对焦时，对比度最强， 3 v l v 一 d 一2 d 2 血 k d 一2 d 一2 芘 l k 塑翌查堂竖主兰垡兰苎 一 越偏离这个位置，对比度就越低。应用一维c c d 元件作对比度检测时，假使将第n 个 光接收元件的输出设为l ，则对比度的评价函数e = 芝i n + l j 。1 。式中埘为一维c c d 的总像素数。e 在正确对焦的位置上为最大，e 斗e 。；在焦前、焦后位置t 将会随着 离焦量的增大而减小。若离焦偏移特别大时则e o 。 对比度法自动对焦系统结构如图1 - 3 所示，取景半透反光镜后端有一小尺寸辅助反 光镜，它将光束转向照相机的底部，进入检测组件内a 经红外滤光片后，在分像棱镜内 分成相应两组像，一组相当于焦前等价面两，另一组相当于焦后等价面，岛与岛和 成像平面相距，。在、岛位置上分别安置两组一维c c d 元件。 图l - 3 对比度法对焦系统 f i g 1 3f o c u ss y s t e mb a s e d o nc o n t r a s t 当改变镜头位置时，分别由是和s 得出相应的对比度变化曲线e l 和e ：a 如镜头最 初位置处于焦前点，对焦时向焦后方向移动，那么先是对比度曲线e l 达到极大值，继续 向焦后方向移动后，使对比度曲线疋达到极大值。相反，当镜头最初处于焦后位置， 先是对比度曲线e 2 、继后e 达到最大值。相应处于准确对焦位置时，在焦前与焦后的 中间，对比度曲线五和e z 相同，如图1 4 所示。巨 e z 为焦前位置，e l v ，r 为正值，这意味着图像探测器位于准焦位置后方：若s _ 1 ，( 6 1 ) ，则删去区间( 6 i ，b 。) ：如果厂( 口。) 上式表明，模糊圆半径和成像物距的倒数在l ，蜘左右两侧都成线性关系，而且是对 称的，如图2 - 1 3 所示。 浙江大学博士学位论文 又由( 2 - 4 5 ) 和( 2 4 6 ) 式又可得 德方物甩倒披与弥散斑的* 幕 ， 、， 、， 、， 7 ， ， 、 7 v 图2 - 1 3l 儿与r 的关系 f i g 2 - 1 3r e l a t i o nb e t w e e nl l ua n dr “0 = ! ! ：! 塑! 丛 2搿易当-当”uo-u。j-2fu f 。0 ( 2 - 4 8 ) ，皿一2 当一 ” 2 f u l r 一厂2 因此，在计算出模糊圆半径的情况下。如果已知焦距工光圈e 且知道“l 与蛳的 大小关系，就可以算出d o ，由此可以驱动镜头移动到理想成像位置完成对焦。 2 讨论 分析( 2 - 4 8 ) 式，可以得出以下推论： ( 1 ) 当已知“o 与“i 的大小关系，只要获取1 幅离焦图像，就可以计算出正确对焦距 离u o ，也就是物体的深度。事实上，成像系统在对焦过程中，我们并不明确地知道对焦 开始方向，所以只通过一幅对焦图像来完成对焦的过程往往是行不通的。 ( 2 ) 当不知道蜘与材l 的关系则只要得到2 幅离焦图像，分别设u o 甜l ，”o 群lg ( 2 4 8 ) 式计算出两组共4 个珈，设这两组值分别是：“，”1 2 ；地i ，啦2 ，取在这四个值中取最 接近的两个数，两者平均就是所求的加值。这是因为，在保证一定精度的情况下，这四 个值中必有两个是正确的估算蛳值，所以它们必然是相近的为了让最终计算结果更合 理所以把这两个值取平均。 ( 3 ) 前述分析中的计算过程都需要知道焦距光圈f 。但是如果记录离焦图像时没 有记录以上两个参数，这时如果知道3 幅离焦图像，就可以这样来计算珈。 设三组数据分别是“i ，r i ；，也；3 ，r 3 。且有“i 狮，则计算 以下两个式子： 僻七状霉群越靛 浙江大学博士学位论文 k i = k 2 = ( 2 - 4 9 ) ( 2 - 5 0 ) 记k - - m a x ( k t ，& ) ，则k 为图2 - 1 3 中所示的以i 0 为对称轴的直线的斜率。若k i k 2 ， 则1 1 2 ，h 1 在u 0 轴的同侧，若k i k 2 则得 舞= 鲁r p s t ， “l 一”0 一li - 。1 ， 于是 铲篙 任s z ， 同理：k 1 k 2 时 ：u 3 r 3 u = - 2 - u 2 r = _ 2 u 一3 ( 2 - 5 3 ) r r 。 3 一2 “2 当k 1 约等于k 2 时，表明三个点同在1 o - - 侧，( 2 5 2 ) ，( 2 5 3 ) 式任取一式或把两式结 果平均都可以算出蛳。 3 实验 为了验证本文提出的自动对焦方法，以分辨率标板( 图2 - 1 4 ) 为目标物体，采用s o n y d s c - 7 0 7 数字像机，令u o = 1 0 0 c m ，然后调整成像物距，得到一组图像，通过图像分析， 计算模糊圆半径，列表如下( 此时f = - 2 4 ，产8 6 c m ) ： 表2 - 2 实验测得的物距与模糊圆半径之间的关系 t a b l e 2 - 2r e l a t i o nb e t w e e nm e a s u r e d a n dr a d i u so f b l u r c i r c l e i 成像物距“c m ) 7 08 09 0 1 0 01 1 0 1 2 01 3 0 模糊圆r ( 像素点) 3 8 2 685 1 32 33 2 寺寺咫|_：如i一_j量粤虬 塑坚查堂竖主堂垡兰苎 图2 】4 用于对焦的分辨率标板 f i g 2 - 1 4f o c u st a r g e t ( r e s o l u t i o nb o a r d ) 下面取实验中的两组数据( 甜l = 8 0 ，r i - - 2 6 ，u 2 = 1 1 0 ，r 2 = 1 3 ) 进行计算。经过定标， 将用像素点数表示的模糊圆半径转变为以厘米为单位，有r l = 0 0 3 9 c m ，r 2 = 0 0 1 9 5