（光学工程专业论文）数字成像系统的自动对焦算法研究.pdf

浙江大学硕耋学位论文摘要 摘要 自动对焦技术是计算机视觉、成像系统和各种精密仪器中的关键按术之一。 菠蓉数字或豫器终酶实翅 乏，遥卡年来人镪怼娶动对焦技术酌疆究集中在数字圈 像处理的方法上，并取得了大艇成果。但是，由于成像目标和成像条件的复杂慨， 魂有数字戎像系统中鼹叁动对燕技术傻存在冬释各榉灼缺点。在翅留选择对焦溽 价函数和对照区域、如何进行反馈控制和如何提高对焦速度等方面，还有诸多问 题青特解浃。本文惑结了作袭过去两年中对“数字残像系统的鸯动对焦算法”进 行研究的成果。 j 本文蓄党黠数字戚缘系统鹃基动对焦豹爨理窝磷究理状进行7 籀攀熬分绍。 在此基础上，详细介绍了作者在这一领域进行的工作，主要悬：( 1 ) 在对焦评价 彝数中弓 入了基于彩愈嚣豫r g b 分橱懿方法，改进了对焦评价函数，扶丽能够对 传统对焦评价函数失效静灰魔变化穰小的彩色闰像避行处理。( 2 ) 提密了基于小 波分掇靛对焦谮价鹈数，用以区分只有微小离焦量的图像。( 3 ) 提如了一个简单 实用的光学成像模羹。在诧蕊蕊上分拆了对焦窑日选择缒瑟罄往，撂密了传统方 法只对特定成像目标才能取得较好的效果，然后对不同成像目标的对焦窗口选择 策醛进行了搽诲。( 4 ) 将模式谖剩鲍方法弓 入囊动辩焦技术中。锌对成像圭侮逶 人旦成像主体不在图像中心区域的情况，提出了探测图像的中的皮肤区域来选择 对焦鬻西静方法。掇撬人类度获颜鬯分毒豹褥薤，对彩色巨檬避霉麓革躲颜色空 间转换后再使用简单的形态举操作，遮一方、泱即可实现。对于成像主体容易从图 像中攫取出来翡清况，整寄类觳嚣方法。( s ) 针对致图豫串提取藏橡主体比较困 难的情况，撼出了跟踪拍摄者瞳孔寒选择对焦窗口的方法。这一方法中初步解决 了魏下离题：羧窭人魏建我在鼹薅审静搜鐾每入翦渡寒送翅救关系；改进7 戚像 系统结构，使之能够对拍摄者的眼睛成像：椴据拍摄者眼蒲的图像确定其陵= 予l 在 疆黪中鲮位餮。( 勖对数字成像系绕自动对焦的反馈控制算法和软硬传结构避行 了讨论。 关镶词：自动对焦，数字图像处理，主成像翻标，对焦评价函数ir g b 分析；灰 凄分褥，小波分辑，露焦滚翻，皮肤搽测，蘧强鼹黥，f i b o n a c c i 搜索，。 数字信号处理器y 塑坚奎兰熊主堂堡披苎 缝! ! 坠! ! a b s t r a c t a u t o - f o c l l 8i so n eo ft h ek e y p r o b l e m si nc o m p u t e rv i s i o n i m a g i n gs y s t e m sa n d v a r i o u s p r e c i s i o ni n s t n m l e n t s 。i nt h e l a s tt e n y e a r s , r e s e a r c ho na u t o - f o c u s i n g t e c h n i q u e s h a sb e e nf o c u s e do nm e t h o d sr e l a t e dt o d i 西t a li m a g ep r o c e s s i n go n a c c o u n to ft h em a t u r i n go f d i g i t s li m a g i n gd e v i c e s a n dal o to fa c l l i e v e m e n t sh a v e b e e n a c c o m p l i s h e d h o w e v e r , a tp r e s e n tt h e r e a r es t i l l m a n ys h o r t c o m i n g s i n a u t o f o c u s i n gt e c h n i q u e su s e di nd i g i t a li m a g i n gs y s t e m sb e c a u s eo f t h ec o m p l e x i t y o fi m a g i n go b j e c t sa n dc o n d i t i o n s m a n yp r o b l e m ss u c ha sh o wt os e l e c tf o c u s m e a s u r e sa n df o c u s 璃5 n d o w s ，h o wt op e r f o r mf e e d b a c kc o n t r o l 。a n dh o wt oi m p r o v e t h e a u t o - f o c u s i n gv e l o c i t y e t c 。a r ef a rf r o m c o m p l e t e l y s o l v e d t h j s p a p e r s u m m a r i z e st h ea u t h o r sr e s e a r c ha c c o m p l i s h m e n t so nt h ep r o j e c to f a u t o f o c u s i n g a l g o r i t h m i nd i g i t a li m a g i n g s y s t e m s i nt h el a s tt w oy e a r s f i r s t ，t h ep a p e rb r i e f st h ep r i n c i ；) l e sa n dr e s e a r c hs t a t u sq u oo fa u t o - f o c u si n d i g i t a li m a g i n gs y s t e m s 。 k n ，t h ea u t h o r so r i g i n a lw o r k i sd i s c u s s e di nd e t a i l ：( 1 ) f o c u sm e a s u r eb a s e d0 1 1r g b a n a l y s i si sp r o p o s e dt op r o c e s sc o l o ri m a g e sw h e r e g r a yl e v e l sa r ea l m o s tu n i f o r ma n dt h et r a d i t i o n a la p p r o a c hf a i l s ( 2 ) f o c u sm e a s u r 哿 b a s e do nw a v e l e ta n a l y s i si si n t r o d u c e dt od i f f e r e n t i a t et h o s ei m a g e st a k e ns l i g h t l y d e f o c u s e d ；( 3 ) as i m p l ea n df i m c t i o n a lo p t i c a li m a g i n gm o d e l i sp r e s e n t e d o nt h e b a s i so ft h em o d e lt h en e c e s s i t yt os e l e c tf o c u sw i n d o w - si se x p a t i a t e d 。a n dt h el i m i t s o ft h et r a d i t i o n a lm e t h o d sa r es h o w n t h e nt h eg e n e r a ls t r a t e g i e st oc h o o s ef o c u s w i n d o w sa r eb r o u g h tf o r w a r d f 4 ) p a t t e mr e c o g n i t i o nm e 也o d sa r eu s h e r e di n t o a u t o f o c u s + s e l e c t i n gs k i n a r e a si ni r a n g e sa sf o c u sw i n d o w si sp u tf o r w a r df o ri m a g e s w h e r ei m a g i n go b j e c t sa r em e n t or e a l i z et h i sh o v e lm e t h o d ，as i m p l ec o l o rs p a c e c o n v e r t i n gi sp e r f o r m e d t od i s t i n c ts k i np i x e l sf r o mn o n s k i no n e s 。w h i c hu t i l i z e s 也e c h a r a c t e r i s t i c so fh u m a ns k i nc o l o rd i s t r i b u t i o n 。a 靛rt h a t m o r p h o l o g i c a lo p e r a t i o n s a r eu s e d s i m i l a ra p p r o a c hi sp o s s i b l ef o ri m a g e sw h e r ei m a g i n go b j e c t sa r ee a s yt o b ee x t r a c t e d f 5 1 t r a c k i n gp u p i l so fp h o t o g r a p h e r s t os e l e c tf o c u sw i n d o w si s p r o p o s e df o ri m a g e sw h e r ei t s d i f f i c u l tt oe x t r a c ti m a g i n go b j e c t s n 壕f o l l o w i n g p r o b l e m sa r ep r e l i m i n a r i l ys o l v e d ：d e t e r m i n i n gt h er e l a t i o n sb e t w e e n t h ep o s i t i o n so f o n e sp u p i l sa n dh i si n t e r e s t e da r e a s ；m o d i l y i n gt h ea r c h i t e c t u r eo fc u r r e n ti m a g i n g s y s t e m st ot a k ei m a g e so fp h o t o g r a p h e r s e y e s ；d e c i d i n gt h ep o s i t i o n so fp u p i l sb y p r o c e s s i n gt h ee y e s i m a g e st a k e n ( 6 ) 硼婶f e e d b a c kc o n t r o li na u t o - f o c u sa n dt h e h a r d w a r ea n ds o 最龋| a 袋a r c h i t e c t u r ea r ea t s o 文s c u s s e d k e y w o r d s ：a u t o - f o c u s , d i g i t a li m a g ep r o c e s s i n g , m a i ni m a g i n go b j e c t , f o c u sm e a s t l l e ， r g ba n a l y s i s ，g r a y a n a l y s i s ，w a v e l e ta n a l y s i s ，f o c u sw i n d o w , s k i n d e t e c t i o n ，p u p i lt r a c k i n g , f i b o n a c c is e a r c h ，d s e i i 浙江大学硕士学位论文 第一章数字成像系统和自动对焦概述 第一章数字成像系统和自动对焦概述 1 1 光学成像系统原理 光学成像是人们获取图像最常用、最重要的手段。与视觉在人类获取外界 信息中的主导地位相对应，光学成像在信息获取中占据着不可替代的地位。在光 学成像系统中，成像目标通过光学镜头的作用变换成图像接收器件上的二维图 像，这一过程可表示为 = f ( d ) 其中。是成像目标，f ( 。) 表示光学镜头的作用，是成像目标经过光学镜头作用 后所成的像。通常情况下，f ( 。) 的作用可表示为 7 - - i “” r 2 lf 2 2 ( 1 2 ) 也就是说，( 。) 将三维空间的成像目标变换到二维空间的像。如果用( z ，：) 表示成像目标中的点，( “，v ) 表示相应的像点，则上述变换可以表示为 1 t 1 2 ，2 2 2 + 。， 图1 i 显示了光学成像的基本原理。理想成像时有 三。三：上 “v ， ( 1 4 ) 在实际应用中，图像探测器通常会在某种程度上偏离理想成像位置，此时理 想点所成的像表现为一个半径为r 的模糊斑。 浙江大学硕士学位论文 第一章数字成像系统和自动对焦概述 旺 孓、 i 、 口 h 。a 川 、 j 口 卜、之 、 _ | | p 心心 _。一。1。“。一 l ：透镜0 ：光心d ：透镜直径p ：成像目标p ：理想像 p ”：模糊圆i d ：图像探测器f ：焦距r ：模糊圆半径 图t ，l 光学成像基本原理 为了使尺变小，可以有三种方法：( 1 ) 调节成像目标的位置，即改变“；( 2 ) 调节图像探测器的位置，即改变j ，使之趋近于v ；( 3 ) 调节镜头焦距，即改变厂。 当然也可以同时改变其中的两个量或三个量。在早期的光学成像系统中，这个调 节过程是依靠手动完成的。现在常用的光学成像系统中，一般已经装备了能自动 进行调节的自动对焦装置。 1 2 自动对焦 所谓自动对焦，就是用某种手段使光学成像系统成像时进行自动调节使图像 探测器位于理想成像位置上。尽管手动对焦可以获某些特定的效果，由于手动控 制的非精确性，普通光学成像系统的使用者不愿意使用手动对焦，自动对焦技术 对光学成像系统的普及功不可没。 浙江大学硕士学位论文 第一章数字成像系统和自动对焦概述 1 2 1 自动对焦的基本方法 1 通常可以把自动对焦方法分为两大类：主动式自动对焦和被动式自动对焦。 、主动式自动对焦 主动式对焦装置中，由成像系统向成像目标发出某种形式的波( 红外、激光 或超声) ，然后用相应的器件接收成像目标反射回来的波，按照一定的算法计算 当前物距“，再用式( 1 4 ) 确定“、，或s 的调节量，并由执行机构完成。 二、被动式自动对焦 被动式自动对焦装置中，对焦过程直接利用成像目标的亮度或图像进行， 不依赖于成像系统上的波源。有两种典型的被动式自动对焦方法： 1 像偏移法自动对焦 光电器件 图1 2 像偏移法自动对焦原理 像偏移法自动对焦利用的是图1 2 所示的三角基线测量原理。反光镜进行 小角度扫描，比较光电器件上的两路信号可以求得自动对焦的位置。 2 基于数字图像处理的自动对焦( 简称数字式自动对焦) 随着固体数字成像器件分辨率逐渐提高和成本逐渐下降，光学成像系统正逐 渐由传统的模拟方式向数字化方式过渡，数字成像系统必然会成为光学成像系统 中的主力军。 浙江大学硕士学位论文 第一章数字成像系统和自动对焦概述 在数字成像系统中，可以通过数字图像处理的方式实现自动对焦。由于数字 式自动对焦可以充分利用数字成像系统中的现有装置和数字化所带来的优越性， 这方法在通常情况下比上述几种方法有更好的效果。 1 2 2 数字式自动对焦的原理 数字式自动对焦装置中，计算机采集图像探测器所获得的成像目标( 包括背 景) 经过镜头所成的图像，在图像中选择部分区域作为对焦区域并用一个对焦评 价函数对图像清晰度进行评价，并根据评价结果控制和驱动成像目标移动、变焦 镜头变焦或者图像探测器移动，以获取准确对焦的图像( 正焦图像) 。 数字式自动对焦的三个核心问题是：1 、图像清晰度的评价；1 、对焦窗口的 选择；3 、对成像目标变焦镜头图像探测器的反馈控制 2 。 1 、图像的清晰度的评价 对特定的成像系统，图像的清晰度反映了系统的离焦正焦程度。当图像比 较清晰( 即对焦比较好) 时，图像细节丰富，在空域表现为相邻像素的特征值( 如 灰度，颜色等) 变化较大，在频域表现为频谱的高频分量多。利用这一特点可以 构造各种对焦评价函数对图像的清晰度进行评价。对对焦评价函数的要求是：( 1 ) 单峰函数，且对同一成像目标的一系列图像求其曲线，其最大值恰好对应最清晰 的图像；( 2 ) 函数在峰值两侧分别单调上升和单调下降；( 3 ) 函数在峰值两侧的斜 率绝对值应该比较大。 2 、对焦窗口的选择 进行对焦区域选择有两个原因：( 1 ) 由于对图像运用对焦评价函数进行的运 算基本上与图像的像素数量成正比，为了达到实时性的要求，必须减少参加运算 的像素的数量；( 2 ) ；如果对整幅图像运用对焦评价函数，图像中不重要的部分 ( 背景) 会对评价结果产生负面的影响，导致图像中的重要部分( 成像主目标) 无法准确对焦。第一个原因是显而易见的，第二个原因将在第三章中进行深入的 分析。 3 、对成像目标变焦镜头图像探测器的反馈控制 4 浙江大学硕士学位论文 第一章数字成像系统和自动对焦概述 自动对焦系统中的反馈控制关键是确定对焦评价函数的峰值位置，从而通 过电机驱动成像目标移动、变焦镜头变焦或者图像探测器移动。 1 3 数字成像系统和数码相机 在数字化浪潮的猛烈冲击下，数字成像系统成为最近几年学术界、工业界和 各种媒体的宠儿。数码相机是最常用的数字成像系统，目前已经在高端影像市场 中占据了重要的地位，并保持良好的增长势头 3 。可以预见，随着微电子和光 电子技术的进一步发展，c c d c m o s 图像传感器的分辨率会进一步提高，而成本 却会进一步降低。与此同时，家用电脑的普及使广大摄影爱好者能够方便地对数 码相机获取的数字图像进行处理。因此，数码相机完全可能在不远的将来成为照 相机市场的主力军。 1 3 1 数字图像传感器 常用的数字图像传感器有c c d ( c h a r g e c o u p l e dd e v i c e ) 和 c m o s ( c o m p l e m e n t a r ym e t a l - o x i d es e m i c o n d u c t o r ) 两种。c c d c m o s 图像传感器 通常是由规则排列的感光单元构成的平面阵列。c c d 数码相机在现有数码相机市 场中占据主要地位。 c c d 图像传感器( 简称c c d ) 最初是为摄像机设计的，随着技术的不断进步， 其分辨率逐步提高，色彩还原日渐逼真，现已广泛用于各种数字成像系统。目前， 数百万像素的c c d 已经成为数码相机图像传感器的主流产品，上千万像素c c d 的数码相机已经投入市场。 c c d 中记录的主体是c c d 光敏元件。面阵型彩色c c d 器件上有规则排列的分 别对r g b 三色敏感的感光单元。物体经照相机镜头成像在c c d 表面，感光单元根 据其所受光照度强弱产生不同的电信号。经过放大、去噪声和a d 变换，空间分 布的物体光强和颜色变化就转换成按时间序列分布的数字值。所得到的数字值构 成了数字图像，可送入计算机后就可进行变换、数字滤波、分割、特征提取等各 种处理。 浙江大学硕士学位论文第一章数字成像系统和自动对焦概述 1 3 2 数字成像系统的特点 从传统成像系统到数字成像系统的核心变化是用数字化的c c d c m o s 图像传 感器取代了传统的光化学胶片。这种图像传感方式的变化导致了相应的成像系统 的一系列改变，如为了对图像进行处理和存储增加了图像压缩机构和与计算机的 接口，自动对焦机构通常采用基于数字图像处理的新技术等。 概括地说，相对于传统相机而言，数字成像系统有以下优点 1 ： ( 1 ) 实时显示获取的图像并允许重拍；( 2 ) 更大的曝光控制范围；( 3 ) 色彩更饱和； ( 4 ) 便于图像的处理、传输和存储；( 5 ) 减少环境污染。 1 3 3 数字成像系统的自动对焦 为了充分利用数字成像系统中图像传感器的数字化带来的好处，其自动对 焦系统也向数字化方向演变。目前质量较好的数字成像系统大多采用了1 2 中介 绍的数字式自动对焦技术。 自动对焦采用数字图像处理技术的优点是显而易见的：使用对焦评价函数 可以科学而准确地判断图像清晰度；可以合理选择图像的一部分作为对焦区域； 充分利用数字成像系统中已有的图像传感器和专用计算机( 通常是d s p ) 而不增 加硬件成本。 1 4 数字式自动对焦的研究现状 人们的对数字式自动对焦技术的研究主要集中在三个方面：( 1 ) 为了判断图 像的清晰度，提出了多种对焦评价函数，并对它们的效果进行了比较研究：( 2 ) 提出了几种获取成像目标边缘、深度和形状等信息的方法；( 3 ) 对离焦图像的形 成进行了深入的理论分析，并提出了用软件方法将离焦的模糊图像恢复成清晰的 正焦图像的方法。 1 4 1 对焦评价函数 浙江大学硕士学位论文 第一章数字成像系统和自动对焦概述 要进行自动对焦，首先要能判断所获取的图像是否为清晰的正焦图像。因此 图像清晰度的评判是自动对焦的首要问题。正因为如此，这个问题也是数字式自 动对焦技术中人们研究得最多的问题。人们提出了各种各样的对焦评价函数 4 。早期的对焦评价函数大多是经验型的，尽管它们都能满足对对焦评价函数 的三个要求，但没有充分的理论依据。功率谱分析是物理意义最明确的对焦评价 函数。遗憾的是，要得到图像的功率谱必须对图像进行f o u r i e r 变换，即使是使 用时间效率较高的f f t 算法，求图像的功率谱也是相当费时的。因此人们期望找 到物理意义明确、效果好且运算时间少的对焦评价函数。 1 4 2 对焦离焦过程中获取物体空间信息 从对焦离焦( f o c u s i n g d e f o c u s i n g ) 过程中获取物体的边缘、深度和形状 等空间信息在计算机视觉中具有重要意义，人们对此进行了大量研究，发展了三 种方法：对焦深度法、离焦深度法和对焦离焦综合分析法 6 ，7 。 l 、对焦深度法( d e p t hf r o mf o c u s i n g ，o ri m a g ef o c u sa n a l y s i s ) 对焦深度法通过获取一系列对焦状况逐渐变好的图像来确定成像目标上各 点到镜头的距离，整个过程的主要计算是求一系列图像的对焦评价函数值。这种 方法精度较高，但是需获取的图像数量大，需要大量的处理时间，所以实时性差。 2 、离焦深度法( d e p t hf r o md e f o c u s i n g ，o ri m a g ed e f o c u sa n a l y s i s ) 离焦深度法获取少量不同镜头参数条件下的离焦图像，通过对图像的分析和 计算来确定成像目标上各点到镜头的距离，整个过程主要计算是求几幅图像的 f o u r i e r 变换并进行相关分析。由于所需图像数量小，大大减少了驱动电机等机 械机构来获取图像的次数，所以离焦深度法速度较快，但是精度比对焦深度法低。 3 、对焦离焦综合分析法( u n i f i e df o c u sa n dd e f o c u sa n a l y s i s ) 当成像目标的深度变化很大时，对焦深度法和离焦深度法的精度都会大大降 低。为了解决这一问题，m u r a l i 提出了对焦离焦综合分析法，先用对焦深度法 和或离焦深度法得到一个初步的近似结果，然后再用迭代优化的方法获取精确 的最终结果。这一方法可以有效减小三维空间信息获取的相对误差。 浙江大学硕士学位论文 第一章数字成像系统和自动对焦概述 1 4 3 离焦图像的理论分析和恢复 有些情况下，获取图像时无法控制硬件参数，或者控制硬件参数过于复杂， 只能依靠软件方法来将离焦的模糊图像恢复成清晰图像。人们对离焦图像的形成 进行了理论分析并提出了一些将离焦图像恢复成清晰图像的方法 7 - 9 ，其中物 理意义最明确的是利用光学传递函数( o t f ) 分析恢复离焦图像的方法。 光学传递函数分析法的基本思想是：从离焦的模糊图像中选择频谱d ( ，) 已 知的特殊物体( 如建筑物边缘、机场跑道等) 并对其进行f o u r i e r 变换可得离焦图 像的频谱，( 厂) ，根据式( 1 5 ) 可以得到离焦成像系统的光学传递函数日( ) 。在 此基础上可求出表征成像系统离焦程度的一个精确数值，并以此为依据选择适当 的数值滤波方法将图像恢复成正焦的清晰图像。由于有像差的光学系统的光学传 递函数有零点，数值滤波方法不可能对图像完全恢复，所以软件恢复的精确度不 如控制硬件参数实现的自动对焦。 叫) 2 器 ( 1 5 ) i ，i ，i，1c 、 1 5 数字式自动对焦存在的问题和本文的工作 1 5 1 数字式自动对焦存在的问题 数字式自动对焦技术除了在数码相机中应用外，还可广泛应用于同样采用 c c d 或c m o s 作为图像传感器件的摄像机、望远镜、显微镜、内窥镜和计算机视 觉系统。近十年来国际上在这一领域投入了大量的人力和物力，并取得了丰硕的 成果，其中很多成果已经在现有数字成像系统中广泛应用。但是，这一领域的问 题还没有很好地解决，主要表现在： ( 1 ) 现有各种对焦评价函数在某些特殊情况下会失效，目前还没有可以通用的对 焦评价函数，也不能完全克服系统噪声带来的影响； ( 2 ) 现有的对焦窗口选择方法过于简单，没有考虑到背景对成像目标的影响，也 没有考虑到成像目标在图像中的位置的多样性： 浙江大学硕士学位论文 第一章数字成像系统和自动对焦概述 ( 3 ) 现有自动对焦技术的智能化程度太低 ( 4 ) 对于有些应用，现有自动对焦技术的实时性还有待提高。 1 5 2 本文的主要工作 由于成像条件本身的复杂性，数字式自动对焦技术还没有形成通用性较好 的解决方案。现有技术各有优缺点，应用场合受到限制，对焦精度和可靠性不高， 因此还有较大的发展空间。特别值得注意的是，国内在这一领域尽管有很大的市 场需求，却没有大规模的投入，基础理论和应用的研究均远远滞后于发达国家。 本文所开展的工作是教育部高等学校骨干教师资助计划项目“c c d 成像频谱 分析与对焦算法研究”中的一部分，主要包括以下内容： ( 1 ) 对国内外现有研究成果的总结和分析； ( 2 ) 在对焦评价函数方面，提出了对彩色图像的r g b 分析方法和提高对焦精度 的小波分析方法，为了晓服现有方法的缺点； ( 3 ) 在对焦窗口的选择方面，提出了一个简单而实用的分析模型，在此基础上 详细讨论了对焦窗口的选择的必要性和在不同成像条件下选择对焦窗口 的一般策略； ( 4 ) 首次将模式识别的方法引入自动对焦系统中，针对成像主目标是人的情况 提出了用皮肤探测来选择对焦窗口的方法；针对成像主目标不是人的情 况，提出了用图像处理的方式进行瞳孔跟踪来选择对焦窗口的方法； ( 5 ) 分析了自动对焦系统中的反馈控制算法： ( 6 ) 对数字式自动对焦系统的硬件和软件结构进行了简要讨论： ( 7 ) 进行了大量的实验，对以上算法中的大部分进行了验证。 9 浙江大学硕士学位论文 第二章基于r g b 分析和小波分析的对焦评价函数 第二章基于r g b 分析和小波 分析的对焦评价函数 图像的清晰度反映了系统的离焦正焦程度。当图像比较清晰( 即对焦比较 好) 时，图像细节丰富，在空域表现为相邻像素的特征值( 如灰度，颜色等) 变化 较大，在频域表现为频谱的高频分量多，低频分量少；当图像比较模糊( 即对焦 比较差) 时，图像细节损失，在空域表现为相邻像素的特征值变化较小，在频域 表现为频谱的高频分量少，低频分量多。利用这一特点可以构造各种对焦评价函 数对图像的清晰度进行评价。 人们已经提出了多种用于自动对焦系统的对焦评价函数。当对焦目标图像是 彩色时，这些对焦评价函数将目标图像转化为灰度图像再计算评价值，本文称之 为灰度分析。一般情况下，灰度分析能够获得较好的结果。然而，当目标图像各 部分颜色各异而灰度基本相同时，灰度分析方法将失效。本文提出一种简单可行 的r g b 分析方法来克服这一缺点。参照人眼的特点，将传统的对焦评价函数分别 作用于目标图像的r g b 分量得到三个数值，然后由这三个值计算出一个新的评价 值。对一般对焦目标，r g b 分析能增强传统对焦评价函数的效果。对颜色各异而 灰度基本相同的对焦目标，灰度分析无能为力，而r g b 分析却特别有效 8 。 现有对焦评价函数要么没有明确的物理意义，要么是基于f o u r i e r 变换或与 f o u r i e r 变换等价。遗憾的是，f o u r i e r 分析对微弱的信号变化无能为力，因而 基于f o u r i e r 变换的对焦评价函数有时难以区分轻微离焦的图像和正焦图像。为 了解决这一问题，本文提出了利用小波分析的对焦评价函数。 2 1 对焦评价函数 要进行自动对焦，首先要能判断所获取的图像是否为清晰的正焦图像。因此 图像清晰度的评判是自动对焦的首要问题。正因为如此，这个问题也是数字式自 动对焦技术中人们研究得最多的问题。 l o 浙江大学硕士学位论文第二章基于r g b 分析和小波分析的对焦评价函数 对对焦评价函数的基本要求是：( 1 ) 单峰函数，且对同一成像目标的一系列 图像求其曲线，其最大值恰好对应最清晰的图像；( 2 ) 函数在峰值两侧分别单调 上升和单调下降；( 3 ) 函数在峰值两侧的斜率绝对值应该比较大。人们提出了各 种各样的对焦评价函数，如t e n e n g r a d ，、s m l f ( s u m - m o d i f i e dl a p l a c i a nf o c u s m e a s u r e ) ，、v a r i a n c e ，、e i g ( e n e r g y o f i m a g eg r a d i e n t ) 、e l i ( e n e r g y o f l a p l a c i a n o fi m a g e ) 和功率谱分析等 4 。早期的对焦评价函数大多是经验型的， 尽管它们都能满足对对焦评价函数的三个要求，但没有充分的理论依据。当图像 比较清晰( 即对焦比较好) 时图像细节丰富，其频谱的高频分量多，低频分量少； 当图像比较模糊( 即对焦比较差) 时，图像细节损失，其频谱的高频分量少，低 频分量多。从理论的角度说，在图像功率谱的评价函数是物理意义最明确的对焦 评价函数。遗憾的是，要得到图像的功率谱必须对图像进行f o u r i e r 变换，即使 是使用时间效率较高的f f t 算法，求图像的功率谱的评价函数也是相当费时的。 因此人们期望找到物理意义明确，同时运算时间较少的对焦评价函数。m u r a l i s u b b a r a o 对对焦评价函数进行了比较系统的理论分析，并给出了e i g 和e l i 这 两个空域的评价函数在频域的等价形式 4 。 图像ot 2 ，j j 的e i g 评价函数定义为 e i g ( 1 ) = 孵( ，- ，) + r ( ，- ，) 】 t 其中，( f ，- ，) ；i ( i + 1 ，) 一州，力，l j ( f ，) 2 i ( i ，+ 1 ) 一( i ，力。 式( 2 1 ) 在频域中的等价形式为 e i g ( 1 ) = ( 2 + v 2 ) l ( u ，v ) 1 2 t 其中( u ，v ) 是川，) 的f o u r i e r 变换，“和v 为空间频率。 图像l ( x ，y ) 的e i g 评价函数是式( 2 1 ) 的积分形式 e 1 g ( j ) = j lv l ( x , _ y ) 1 2 出方 ( f y ) ( 2 1 ) ( 2 2 ) ( 2 3 ) 1 1 浙江大学硕士学位论文第二章基于r g b 分析和小波分析的对焦评价函数 图像，( f ，_ ，) 的e l i 评价函数定义为 e l i ( 1 ) = ( ，+ l j ：) 2 其中，“+ ，w2 2 0 i ( i ，) 一i ( i - 1 , ，一1 ) 一4 1 ( i 一1 ，) 一( i - 1 , ，十1 ) - 4 1 ( f ，一1 ) 一4 1 ( i ，+ 1 ) 一( f + 1 ，一1 ) 一4 i ( i + 1 ，) 一i ( i + l ，+ 1 ) 。 式( 2 4 ) 在频域中的等价形式为 e l l ( 1 ) = ( 甜2 + v 2 ) 2i i i ( u ，v ) 1 2 其中i i ( u ，v ) 是) 的f o u r i e r 变换，“和v 为空间频率。 图像，( x ，y ) 的e l i 评价函数是式( 2 4 ) 的积分形式 皿，( ，) = 办v 2 ，( 工，y ) 1 2a x d y ( j ，y ) ( 2 4 ) ( 2 5 ) ( 2 6 ) 从式( 2 2 ) 和( 2 5 ) 可以看出，e i g 和e l i 这两个对焦评价函数在频域正是 图像功率谱的函数，其中式( 2 2 ) 中的系数02 + v 2 ) 和式( 2 5 ) 中的系数 ( “2 + v 2 ) 2 正好使高频分量有较大的权重，可以使对焦评价函数曲线斜率更大， 曲线更加陡峭。由此可见，这两个函数既有明确的物理意义，又可以在空域完成 运算，具有良好的时间性能。因此，e i g 和e l i 是比较好的对焦评价函数，在本 文的实验中大量使用。 除了以上两个对焦评价函数外，早期的一个简单对焦评价函数一方差评 价函数v a r 一在本文中也会用到。 图像，( f ，) 的v a r 评价函数定义为 v a r ( d = 击军莩叭) 一彳】2 = 击军莩7 2 ( “) 一 ( 2 7 ) 浙江大学硕士学位论文 第二章基于r g b 分析和小波分析的对焦评价函数 其中肚杰军p 力是图像的平均值。 图像l ( x ，y ) 的v a r 评价函数是式( 2 7 ) 的积分形式 v a r ( ，) = m ，y ) 1 2 蛐一a “ ( x , y ) 其中a 。是图像的平均值。 2 2 基于彩色图像r g b 分析的对焦评价函数 2 2 1 灰度分析和r g b 分析的理论比较 ( 2 8 ) 在现有的自动对焦方法中，人们运用2 1 中介绍的各种对焦评价函数时评价 的对象都是图像的灰度值，因而彩色图像要首先转换成灰度图像才能运用对焦评 价函数，这一方法称为灰度分析。 生理学和心理学的研究表明，人眼在分辨物体和调节对焦的过程中，颜色起 着重要的作用。虽然目前还不能透彻理解人眼彩色视觉的生理和心理过程，但是 根据实际生活中人的感知结果和理论分析，人们提出了一些模型来说明人类视觉 对颜色的处理特点。图2 1 所示为f r e i 的彩色视觉模型 1 3 。 图2 1f r e i 彩色视觉模型 号 实验表明，人眼感光细胞对不同颜色的敏感程度是不一样的。图2 2 所示为 浙江凡学硕士学位论文 第一章基于r g b 分析和小波分析的对焦评价函数 三种锥细胞的灵敏度函数，其中s ( 们、s ：( 五) 和s ，( 五) 分别是吸红、吸绿和吸蓝 三种感光细胞的谱灵敏度函数。 图2 2 锥细胞的灵敏度函数 由于人眼对相同强度单色光的主观亮度感觉不同，用相同亮度的r g b 三基色 混合时，人的主观感觉是r g b 三基色中绿光g 最亮，红光r 次之，蓝光b 最弱。 如果用y 表示白光亮度，它和r g b 三色的关系可以表示为公式( 2 3 ) 。这是常用 的根据n t s c ( 美国国家电视制式委员会) 的电视制式所得的亮度公式 1 3 。 y = 0 2 9 9 r + o 5 8 7 g + o 1 1 4 b ( 2 9 ) 研究表明，人眼在进行自动对焦的过程中利用了景物中的彩色信息。例如， 图2 3 ( 1 ) 是用公式( 2 g ) 从一幅彩色图像转化而来的灰度图像。显然，人眼很 难对这幅灰度图像准确对焦。但是，正常人眼却很容易对彩色图像本身( 由于黑 白打印的原因没有显示) 进行正确对焦 2 。 图2 3 ( 1 ) 灰度图像图2 3 ( 2 ) 彩色图像的r 分量 浙江大学硕士学位论文第二章基于r g b 分析和小波分析的对焦评价函数 图2 3 ( 3 ) 彩色图像的g 分量图2 3 ( 4 ) 彩色图像的b 分量 如果这样的彩色图像是自动对焦系统处理的目标图像，则灰度分析的方法将 失效，因为所有的对焦评价函数都是利用图像中的一系列变化和细节来得到一个 评价值，而这样的彩色图像的灰度图像中却只有很微弱的变化。 但是，如果仿照人眼的工作机理，分别对这样的彩色图像的r g b 三分量分别 运用对焦评价函数，则各分量中的变化是非常明显的。图2 3 ( 2 4 ) 分别显示 了图2 3 ( 1 ) 所示的图像的r 、g 和b 三分量。显然，这些分量中的细节和变化 已经大大增加，因而对焦评价函数可以对各分量有效。 可以证明，即使是对普通的彩色图像，对r g b 三分量分别处理也能够使对焦 评价函数曲线有更大的斜率，在保持曲线单调性和平滑性的同时形状变得更加陡 峭，从而增加对焦评价函数的区分度。 下面以2 1 中介绍的三个对焦评价函数为例进行分析。为了简洁起见，用式 ( 2 1 0 ) 近似式( 2 9 ) 。 i = 0 3 0 1 r + 0 5 9 1 9 十o 1 l l b ( 2 1 0 ) 按灰度分析的方法，将v a r 对焦评价函数运用到灰度图像上有 v a r ( i ) = v a r ( o 3 0 1 r + 0 5 9 1 9 + 0 1l b ) ( 2 ii ) 根据方差的性质有 v a r ( a x + b y ) = a 2 v a r ( x ) + b 2 9 a r ( y ) ( 2 1 2 ) 将式( 2 1 2 ) 运用到式( 2 i i ) 中得到灰度分析时v a r 的表达式 v a r ( 1 ) = o 0 9 0 0 v a r ( i r ) + 0 3 4 8 1 v a r ( i g ) + o 0 1 2 1 v a r ( i b ) ( 2 1 3 ) 1 5 _ 燮兰塑主主焦堡苎 苎三童苎主! 鱼! 坌堑塑! ：垫坌堑竺翌生堡堕里塾 将公式( 2 1 0 ) 代入公式( 2 3 ) 中可以得到灰度分析中e i g 的表示式 e i g ( 1 ) = 巾( o 3 0 i r + 0 5 9 i g + 0 1i b ) 2d x d y = o 0 9 0 0 i j | | v i r 2 d x d y + 0 3 4 8 1 1 f i w g l2 d x d y + o 0 1 2 1 1 i v l b 2 出砂 2 o 0 9 0 0 e i g ( i r ) + 0 3 4 8 i e i g ( i g ) + o 0 1 2 1 e i g ( i b ) ( 2 1 4 ) 类似地可以得到灰度分析中e l i 的表示式 e l i ( i ) 2o 0 9 0 0 e l i ( i r ) + 0 3 4 8 1 e l i ( i g ) + 0 0 1 2 1 e l i ( f o ) ( 2 1 5 ) 根据式( 2 1 3 ) 、式( 2 1 4 ) 和式( 2 1 5 ) ，可以将灰度分析中的对焦评价函 数统一表示为 f m ( i ) 20 0 9 0 0 f m ( r ) + 0 3 4 8 1 f m ( i g ) + 0 0 1 2 1 f m ( b ) ( 2 1 6 ) 其中f m ( + ) 表示对焦评价函数。 在r g b 分析中，先分别对r g b 三分量运用对焦评价函数，再按相应的权重合 成，则最终的对焦评价函数结果可以表示为 f m n ( i ) 。0 3 0 f m ( r ) + 0 5 9 f m ( 1 9 ) + 0 t 1 f m ( i b ) ( 2 1 7 ) 因此，灰度分析和r g b 分析两种方法所得的结果之差可以表示为 a f m ( 1 ) = f m n ( i ) 一f m ( 1 ) 2 0 2 i o o f m ( i r ) + 0 2 4 1 9 f m ( i g ) + 0 0 9 7 9 f m ( b ) ( 2 1 8 ) 由于蹦( 一) 、删( 磨) 和用彳( 乃) 随着图像离焦度的减小而增加，从式( 2 1 8 ) 可知，图像离焦度越小，a i m ( i ) 越大。因此，在r g b 分析中对焦评价函数瞎线 比灰度分析中对焦评价函数曲线更加陡峭。显然，f m n ( 1 ) 不但满足对对焦评价 函数的三条要求。而且在对焦评价函数曲线的形状方面比传统方法更好，所以即 使是对普通彩色图像r g b 分析的效果也比灰度分析更好。 2 2 2 灰度分析和r g b 分析的实验比较 实验中使用的是带变焦