（微电子学与固体电子学专业论文）基于cis芯片的自动曝光电路设计.pdf

摘要 目前，c m o s 图像传感器的应用领域很广，从可视电话、指纹识别、数码相 机、汽车到医疗电子，甚至是航空领域。c m o s 图像传感器的发展趋势为集成化、 超微型化、智能化、高分辨率、宽动态范围、高帧频。特别是l s o c ( 图像传感 器片上系统) 是近几年最新的研究方向。自动曝光功能是根据场景的变化调整曝 光参数，进而调节拍摄图片的亮度。图片亮度的适合与否是对图像最直观的认识， 对图像的质量起到了至关重要的作用，所以自动曝光对于c m o s 图像传感器系 统来说是最重要的功能之一。 本论文主要论述了基于c m o s 图像传感器系统的自动曝光电路的设计和硬 件实现。在介绍了最新国内外研究进展和曝光的原理的基础上，从测光的方式、 颜色空间的选择、自动曝光模块处于系统工作流水线的位置、目标值的确定等方 面的详细地阐述了自动曝光算法的确定过程，详细探讨了基于目标值的动态步长 迭代算法的硬件实现。改进的迭代步长可以更加准确快速的实现曝光调整，并给 出了m a t l a b 软件验证结果。并且为了改善成像效果，针对这类算法容易出现 的高对比度场景时曝光过度和曝光不足的问题增加了曝光补偿模块，采用模糊逻 辑的检测方法。还增加了针对室内灯光经常发生的f l i c k e r 现象的检测模块，采 用两帧差值计算振幅的方法，使图像传感器在室内灯光下也可以工作良好。采用 v e r i l o g 硬件描述语言进行了设计、仿真和调试，模块主要分为自动曝光主模块、 曝光补偿模块、f l i c k e r 检测模块。使用q u a r n j s 进行f p g a 综合，共消耗了2 7 7 8 个逻辑单元和8 1 9 2 个存储单元。在c m o s 图像传感器图像处理系统进行了测试。 系统主要包括一片a l t e r a 公司的f p g a 芯片e p l c l 2 q 2 4 0 c 8 ，一片1 2 8 m b i t s 的 s d r a m ，一片2 m b i t s 的异步s r a m 和一片c y p r e s s 的u s b 2 0 控制芯片 c y 7 c 6 8 0 1 3 。在测试系统中，整体模块以及各个予功能模块工作稳定正常，可以 根据场景的变化快速准确的调整曝光参数，使图像达到适当的亮度值。对于室内 灯光下和高对比度的场景也可使主体的曝光效果得到改善，达到了设计要求。 关键词：c m o s 图像传感器自动曝光曝光补偿f l i c k e r 检测图像处理 a b s t r a c t c u 门r e n t l y ，c m o si m a g es e n s o r 印p l i c a t i o n sa r ev e 拶b r o a d ，6 o mt h ev i d e op h o n e ， f i n g e r p r i n ti d e n t i f i c a t i o n ，d i g i t a lc a m e m s ，a u t o m o t i v et om e d i c a le l e c t r o n i c s ，a n de v e n a v i a t i o n t h en e n do fc m o s i m a g es e n s o r si si n t e g r a t i o n ，u l t r a - m i n i a t u r e ，i n t e l l i g e n t ， h i 曲- r e s o l u t i o n ，w i d ed y n 锄i cr a n g e ，a n dh i g hh - a m er a t e i np a r t i c u l a r ，l s o c ( t h e i m a g es e n s o rs y s t e mo nc h i p ) i san e wr e s e a r c hd i r e c t i o ni nr e c e n ty e a r s a u t o m a t i c e x p o s u r ef u n c t i o nc h a n g e de x p o s u r ep a r a m e t e r sa c c o r d i n gt ot h es c e n e ，t a k ep i c t u r e s a n dt h e na d j u s tt h eb r i g h t n e s s 1 m a g eb r i g h t n e s si st h em o s ti n t u i t i v eu n d e r s t a n d i n go f i m a g ew h i c hp l a y sav i t a lr o l ei nt h eq u a l i t yo ft h ei m a g e ，i tf e a t u r e sa u t o m a t i c e x p o s u r ef o rt h ec m o si m a g es e n s o rs y s t e mo n eo ft h em o s ti m p o n 锄tf u n c t i o n s t h i s p a p e rm a i n l yd i s c u s s e st h ed e s i g n 卸dh a r d w a r ei m p l e m e n t a t i o no ft h e a u t o m a t i ce x p o s u r ec o n t r o lc i r c u i tb a s e do nt h ec m o si m a g es e n s o rs y s t e m i n t r o d u c i n gt h el a t e s tr e s e a r c hp r o g r e s s 卸dt h ep r i n c i p l eo fe x p o s u r e ，舶mt h e m e t e r i n gm e a n s ，t h ec h o i c e0 fc o l o rs p a c e ，t h ep o s i t i o no fa u t oe x p o s u r em o d u i ei n t h ep i p e l i n e ，t a 唱e ti d e n t i f i c a t i o n ，e t c d i s c u s s e di nd e t a i lt h ea l g o r i t h ma n dh a r d w a r e i m p l e m e n t a t i o no ft h ea u t oe x p o s u r ew h i c hb a s e do nd y n a m i cs t e pc o n s i d e r i n gt h e t a r g e ti t e r a t i v ea l g o r i t h m i m p r 0 v e di t e r a t i v es t e pc a nq u i c k l ya c h i e v em o r ea c c u r a t e e x p o s u r ea d j u s t m e n t s ，a n dg i v e st h em a t l a bs o 觚a r ev e r i f i c a t i o nr e s u l t s a n di i l o r d e rt oi m p r o v et h ei m a g i n gr e s u l t s ，i n c r e a s et h ee x p o s u r cc o m p e n s a t i o nm o d u l ef o r h i 曲c o n t m s ts c e n e sw h e na r i s et h eo v e r e x p o s u r ea n du n d e r e x p o s u r e ，t h ed e t e c t i o n m e t h o du s i n g 如z z yl o g i c a i s oi n c l e a s e df l i c k e rd e t e c t i o nm o d u l ef 0 ri n d o o r1 i g h t j n g p h e n o m e n aw h e no f t e n o c c u rf l i c k e r ，u s i n gt 、o a m p l i t u d ed i f r e r e n c ec a l c u l a t j o n m e t h o d ，t h ei m a g es e n s o ri nt h ei n d 0 0 ri i g h t i n gc a na l s ow o r kw e l l u s i n gv e r i l o g h a r d w a r ed e s c r i p t i o nl a n g u a g ed e s i g n ，s i m u l a t i o na n d d e b u g g i n 岛a u t o m a t i ce x p o s u r e m o d u l ei sd i v i d e di n t ot h em a i nm o d u l e ，e x p o s u r ec o m p e n s a t i o nm o d u l ea n df l i c k e r d e t e c t i o nm o d u l e u s i n gq u a r t u sf p g ai n t e g r a t e df o rat o t a lc o n s u m p t j o no f2 7 7 8 l o g i ce l e m e n t sa n d8 19 2m e m o r yu n i t s t e s ti nt h ec m o si m a g es e n s o ri m a g e p i 。o c e s s i n gs y s t e m s y s t e mi n c l u d e s a na l t e r a f p ( b c h i pe p lcl2 q 2 4 0 c 8 ，a 12 8 m b i t so fs d r a m ，a2 m b i t sa s y n c h r o n o u ss r a ma n dac y p r e s so fu s b 2 0 c o n t r o l l e rc h i pc y 7 c 6 8 0 l3 i nt h es y s t e m ，t h ew h o l em o d u l e 卸dt h es u b m o d u l e s w o r kc o r r e c t l y ，c a nq u i c k i ya n da c c u l a t e l ya d j u s tt h ee x p o s u r ep 绷帅e t e r sa c c o r d i n g t ot h es c e n es ot h a tt h eb r i g h t n e s so ft h ei n l a g et ot h ea p p r o p r i a t ev a l u e i nt h ei n t e r i o r l i g h t i n ga n dh i 曲一c o n t r a s ts c e n e st h ee x p o s u r ee f 梵c tc a na l s ob ei m p r o v e dt oa c h i e v e t h ed e s i g nr e q u i r e m e n t s k e yw o r ds ：c m o si m a g es e n s o r ，a u t o m a t i ce x p o s u r e ，e x p o s u r ec o m p e n s a t i o n ， i m a g ep r o c e s s 第一章绪论 第一章绪论 1 1 选题的背景和意义 、 1 1 1c m o s 图像传感器的发展 图像传感器作为视觉信息获取的一种基础器件在现代社会生活中得到了广 泛的应用。当今的图像传感器主要分为两类，电荷耦合器件( c c d ) 和互补金属氧 化物场效应管( c m o s ) 图像传感器。 c c d 图像传感器和c m o s 图像传感器读取图像的方式有所不同。在c c d 图像 传感器上，感光像素组成的阵列覆盖在其表面。曝光时，光敏二极管把光转化为 电荷，之后电荷被c c d 传感器的一个端口读出，通过一个专用的模数转换芯片进 行a d 转换。而c m o s 图像传感器则有所不同，它每个像素都具有一个放大器， 能够直接对每个像素的信号进行放大，这也是c m o s 图像传感器比c c d 图像传感 器读出速度快的原因【2 j 。 c c d 图像传感器和c m o s 图像传感器的研究早在上世纪6 0 年代就已经开始 了【3 】。但由于工艺水平比较低，所以那时的c m o s 图像传感器灵敏度低、分辨率 低、信噪比低，没有得到大规模的应用。但那时c c d 图像传感器可以在较大面积 上有效、均匀地收集、低噪声地测量和转移产生的电荷。因此在过去几十年间， c c d 器件在市场上一直处于主宰地位。最近十几年，随着集成电路工艺水平以及 设计技术的提高，以前的暗电流、动态范围、噪声、填充系数等问题都已得到解 决【4 】，实现了产品化。并且，c m o s 图像传感器具有低成本、低功耗、读出速度 快、响应范围大、易于集成、可靠性高等c c d 无法比拟的优点。而且，c c d 的制 造工艺非常特殊【5 1 ，目前掌握这一工艺的公司很少，而c m o s 采用的是通用的工 艺，和其他工艺易于集成，所以芯片厂商基本上都可以生产【6 j 。在这种情况下， c m o s 图像传感器市场快速增长起来，c m o s 图像传感器技术成为了研究的热点 l 7 1 。至今已研制出三大类c m o s 图像传感器：c m o s 有源像素传感器，c m o s 无 源像素传感器和c m o s 数字像素传感器1 8 】【9 】。 目前，c m o s 图像传感器的发展趋势为多功能、集成化、超微型化、智能化、 数字化、高分辨率、宽动态范围、高帧频、低噪声、强抗辐射能力【1 0 】。现在， c m o s 图像传感器应用领域很广【l l 】l l 到，不仅在安防监控系统、指纹识别、汽车以 及工业、医疗电子等领域中大出风头，而且在如航空这类对功耗、质量、体积、 第一章绪论 抗辐射能力非常关注的领域也占有一定份额。据i ci n s 迢h t s 估计，在未来的几年 时间里，c m o s 将继续保持强劲的增长势头，从c c d 手中争夺更多的市场。 2 0 0 7 年的i s s c c 会议上，美国的m i c r o n 科技公司的k w a n g b oc h o 等人报道 了一1 种采用0 1 3 岬标准c m o s 工艺的8 1 m 像素大小的c m o s 图像传感器【：1 3 】 m t 9 e 0 0 1 。它采用像素共享技术，实现了1 7 5 个( 晶体管像素) 的像素结构， 像素大小为1 7 5 岬1 7 5 p m ，最高分辨率可达到3 2 6 4 x 2 4 4 8 。此外，m t 9 e 0 0 1 还可以支持3 0 印s 分辨率为1 6 0 0 1 2 0 0 像素的动态短片拍摄，连拍性能也大大提 高，可以在最高分辨率下达到1 0 张秒的连拍速度。 图1 1m i c r o n 公司发布的m t 9 e 0 0 1 同时，c m o s 图像传感器的发展趋势是单片集成化，如果能将自动曝光功能 和其他功能与c m o s 图像传感器集成在一起，组成c m o s 图像传感器片上的系统 【1 4 】，将是很有前景的课题。研究人员致力于改善c m o s 图像传感器的综合性能， 缩小像素单元的尺寸，调整c m o s 工艺参数，将钟控逻辑电路、a d 、图像压缩、 信号处理电路等与图像传感器阵列完全集成在一起，再加上c f a 和微透镜阵列， 以实现高集成度、低成本、低功耗的单芯片成像微系统1 1 川。2 0 0 9 年的国际顶级 图像传感器会议“i n t e m a t i o n a li m a g es e n s o rw o r k s h o p ”征稿时就已经把i m a g i n g s y s t e m o n a c h i p ( i s o c ) ，即单芯片图像处理系统，作为一项专门的研究方向来 征稿，这说明随着工艺尺寸的缩小，c m o s 集成电路的发展趋势是模拟处理电路 和数字图像处理电路的结合。 1 1 2 自动曝光国内外发展现状及选题意义 自动曝光是在场景改变时，通过调整曝光参数达到调节所拍图片亮度值的目 的。它是所有使用者最直接感受到的效果，冈而是涉及数字图像处理的产品都要 解决的问题。如果自动曝光处理的不好，输入的图像质量就得不到保证，之后的 第一章绪论 图像处理功能都将受到影响。所以，研究自动曝光是非常有必要的。目前，国内 关于自动曝光控制的研究相对于国外较晚，水平相对也比国外的低。下面叙述一 下最近十几年来国内外的研究进展。 1 9 9 2 年索尼公司的s u j is h i m i z u 等人提出了基于模糊逻辑的自动曝光控制算 法【】，指出在强背光或者正面强光下的曝光补偿问题。论文通过增加一个新的h 函数来判断图像的光照条件，从而实现正确的曝光补偿。 1 9 9 8 年t e t s u y ak u n o 等人提出一种直接利用图像亮度来设置参数从而调节 曝光时间的方法f 1 7 j 。该方法要求在实验的基础上列出图像亮度，曝光增益和快门 速度等之间的一个对照表，这样就可以直接根据图像的亮度来得到曝光时间和增 益。查表法的优点就是速度快，但消耗的资源较大。 2 0 0 0 年y u nh oj u n g 详细论述了图像增强处理的整体流程【1 8 】，自动曝光控 制是图像增强处理过程中的重要环节。文中提出通过的比较输入图像的亮度与亮 度阈值，来确定下一帧图像的曝光时间的自动曝光方法，还提出了该方法的硬件 实现。 2 0 0 1 年， j u n e s o kl e e 提出一种新的自动曝光控制方、法【1 9 】，该方法将图像 分为五个部分，在计算图像的平均亮度时，给这五个部分赋予不同的权重。这种 方法可以有效地改善了背光条件下仅靠图像整体亮度来进行调节所造成的整体 曝光不足。 2 0 0 3 年o r l yy a d i d p e c h t 发表论文【2 0 】提出一种新的像素结构。每个像素都 比原来增加一个晶体管，在超过闽值后，每个像素能够实现单独的复位，通过读 出的实时反馈，就能保证每个像素根据自己的光照强度来设定独立的曝光时间， 以此来获取高质量的图像。 2 0 0 4 年复旦大学周荣正在他的博士论文中提出利用动态步长来调节曝光时 间的自动曝光算法1 2 。该算法中采用动态步长来确定曝光时间的调整比例，根据 亮度差值的不同来确定迭代步长以此来提高曝光时间调整的速度和精度。 2 0 0 5 年m i t s u h i t om a s e 发表的论文吲中，提出了多重曝光时间信号输出的 理论，在这种结构中，每一帧图像最多可以有四个曝光时间。为了实现最高速度 的读出，提出了可以消除噪声的环形a d c ，并且将其整合到像素阵列中。 2 0 0 7 年，杨海涛，常义林等人研究出了一种基于亮度直方图的自动曝光控 制方法1 23 l 。该算法引入人类视觉系统( h v s ) 中的视觉注意机制，认为图像的直方 图中大而陡峭的峰值区域对应于图像中不感兴趣的区域。算法在直方图中寻找最 大的两个峰值区域，并依据峰值区域的大小来确定它们的像素亮度加权值，从而 计算出图像最终的亮度均值。 2 0 0 8 年复旦大学梁佳毅在他的硕士论文1 2 4 】中分析讨论了自动曝光算法的原 理，对现有自动曝光算法进行了评估，并提出了两种新型的自动曝光算法：一种 第一章绪论 是直接设置的自动曝光算法；另一种是采用动态分区的自动曝光算法，该方法是 将图像窗口分割成m n 块，利用大动态范围场景中主体与背景之间所具有的较 大的对比度，采用一个主动搜索的过程将主体鉴别出来，并且在计算图像整体亮 度水平时赋予主体与背景相应的权重达到提高动态范围的目的。 2 0 0 9 年王雷斌，张爱武，叶泽田等人提出一种自适应快速曝光控制方法1 2 引。 通过对初始图像的评估，确定当前景物亮度下的最佳光圈大小，进而获得此光圈 下不同亮度景物的曝光时间，从而建立了物体亮度与曝光时间的关系模型。在实 际运用中，通过跟踪当前景物亮度，根据关系模型动态调整曝光时间，从而获取 最佳的曝光量。 同年，甘玉泉，高伟等人研究出一种基于图像分区的自动曝光算法【26 | 。该算 法将图像分为若干个区域。在统计时，对每一个区域赋予不同的权值，从而计算 图像的加权亮度均值。这种算法可以改善一些高对比度光照条件下的图像质量。 总之，自动曝光向着更快速、针对性更强、大动态范围的方向发展。 1 2 课题主要研究的内容 本论文的研究课题是天津市科技创新专项资金项目“c m o s 图像传感器产品 设计与开发”( 项目号：0 5 f z z d g x 0 0 2 0 0 ) 的重要组成部分。本论文研究的课题为 该项目提供了c m o s 图像传感器自动曝光功能。它不仅能够在c m o s 图像传感 器变换拍摄场景时快速稳定的改变曝光参数，使得拍摄出的图片满足应用需要， 有良好的视觉效果，为图像传感器流水线的其他模块做好准备。可检测一些特殊 的光线条件，在高对比度场景时进行曝光补偿，以避免主体的曝光不足和曝光过 度。可进行f l i c k e r 噪声检测，提高了在光源为室内灯光时的成像质量。 1 3 论文内容安排 本论文主要研究适用于c m o s 图像传感器的可实现曝光补偿和f l i c k e r 噪声 检测的变步长自动曝光算法。从c m o s 图像传感器的成像特点出发，主要介绍了 基于目标值的动态变步长迭代法，f l i c k e r 现象的检测和消除方法，以及基于模糊 逻辑曝光补偿算法。详细说明了各个模块的硬件实现过程【27 1 ，最后通过f p g a 开 发板在c m o s 图像传感器图像处理系统进行了测试。具体章节安排如下： 第一章介绍了c m o s 图像传感器的发展和应用，以及国内外对c m o s 图像 传感器的研究现状和课题的研究背景。并论述了近年来国内外自动曝光的研究情 况和发展趋势。 第一章绪论 第二章对自动曝光模块中的各个关键模块、关键技术以及关键参数的确定进 行了详细的讨论。详细介绍了基于目标值的动态变步长迭代法的自动曝光算法。 详细叙述了硬件实现过程，给出了软件仿真结果。 第三章从一些特殊的光照条件出发，说明了改进自动曝光效果的两种方法。 首先介绍了模糊逻辑曝光补偿的方法。之后介绍了一种基于帧间差值求幅度的 f l i c k e r 检测方法，并提出了一种适用于硬件实现的空间转换方法。 第四章对c m o s 图像传感器的采集评测系统进行了介绍，并给出了各个模 块在系统上的f p g a 综合结果，验证了各个模块在系统中的工作情况，以及对结 果的分析和讨论。 第五章对本论文的内容进行了总结，并对本课题的发展方向和本文中提出的 模块和系统的改进做了展望。 第- 二章自动曝光模块设计 第二章自动曝光模块设计 自动曝光是图像的获取中重要的功能。因为c m o s 图像传感器与人眼不同， 人眼可以通过虹膜调整入射到眼睛的光量，从而达到调节曝光的目的，但c m o s 图像传感器则不能。如果不进行曝光的调整，曝光就会出现差错，这就需要通过 一定的摔制电路来达到自动曝光的效果。本文的自动曝光算法采用基于目标值的 动态变步长的迭代法，通过b a y e r 格式图片模拟的r g b 色彩空间转换到y u v 色 彩空间中进行操作实现。 2 1 自动曝光有关的概念和理论 在介绍自动曝光的相关理论之前，首先介绍一下c m o s 图像传感器成像系 统，因为自动曝光功能是成像系统的一部分。 c m o s 图像传感器的成像系统1 2 8 j 一般是由以下几个部分构成的：图像的获取 部分是由图像传感器和其他辅助电路以及光学器件共同实现，这些部件工作其间 可能会出现图像亮度偏暗或偏亮，图像模糊，色调有所偏离等问题，这就需要对 其进行自动曝光，自动聚焦，自动白平衡，并实时调整，使其输出正常的图片。 图像的预处理和图像处理部分对捕获的图像进行调整使之达到满意的图像质鼍。 如由于c m o s 图像传感器制作时出现的不对称和匹配性等问题和其实现原理本 身存在的问题使得直接从图像传感器中输出的图像存在着许多问题，如颜色失 真，存在坏点等，这就要对图像进行如颜色校正，边界增强，伽玛校正，坏点检 测，去噪声等处理。图像的压缩部分是为了便于图像数据的储存和移动，将图像 信息中的有用信息进行重构和组合，使之具有更小的体积。图像的压缩主要分为 有损压缩和无损压缩。图像的显示和输出部分，即将经过图像处理后的最终图像 显示在荧光屏等外部设备上所进行的一系列操作。c m o s 图像传感器成像和图像 处理系统的组成如图2 1 所示： 第二章自动曝光模块设计 函7 蝌嚏三回函 图2 1c m o s 图像传感器成像采集系统组成【2 9 】 如图中可以看到，c m o s 图像传感器是整个系统的核心，由微透镜、滤光 片、光传感器、集成的模数转换器组成。并且可以看到，c m o s 图像传感器只能 记录光线的强弱，即光线的灰度。而要实现彩色图像的拍摄，就需要在象素单元 上分别覆盖上红、绿、蓝三色滤光片阵列，即c f a ( c o l o rf i l t e ra t l r a y ) ，使与之 对应的光电二极管只记录相应的单色光，这样出来的图像文件是b a y e r 格式的， 之后可将b a y e r 格式的图像进行颜色插补便可以将其还原为r g b 彩色图像。 2 1 1 自动曝光的原理 曝光是指胶卷或者数码感光部件接收外部光线形成影像的过程。现在应用较 多的是数码感光部件，即图像传感器，主要有c c d 图像传感器和c m o s 图像传 感器。 图像传感器由许多光电探测器构成一个m n 的阵列，每一个光电探测器单 元都对应了图像上的一个像素点。图像传感器成像的过程是：首先，传感器将接 收到的光能转换成为模拟电信号，由读出电路输出。随后这个模拟信号通过一个 模数转换器( a d c ) 转换成数字信号，传输到之后的处理模块。光电二极管是最 常见的光电探测器，它包含一个m o s 管和一个反向偏置的p n 结。光电转换的原 理为光生伏特效应【3 。受激发而产生的光电流i “由三部分组成：在耗尽层中的 产生一个电子一空穴对，在这部分里几乎所有的载流子都被强电场作用形成电流 ，：，n 区中部分窄穴漂移到耗尽层后被强电场收集而成为电流i 幺；p 区中部分电 子漂移到耗尽层后被电场收集后形成电流匕。 第_ 章自动曝光模块设计 柳i ! 一中 n k 耗j 0 | x 滞- p p 区 图2 2 光电二极管内部结构和像素结构 由于光电流很微弱，所以一般要将它积累成为电荷或电压后再读出。在曝光 过程中，光电二极管首先被复位到反向偏置状态，随后由光生伏特现象产生的电 流在一定时间内在二极管的寄生电容上进行充电，由此产生的电荷或电压将被控 制电路读出。完成光电的转换需要三个步骤：入射光子在感光材料中产生电子一 空穴对；产生的电子、空穴对被转换成光电流；光电流通过积累成为一定量的电 荷。从光子到电荷的转换的过程同时涉及到了对光谱、空间及时间的三维积分， 如式2 1 所利引j ： 。 q = ge “fr e i m g 以q p 矧衍( 2 1 ) ”五岫 其中，q 是单个光探测器最终获得的总电荷，q 是电子电荷，a d 是光电探测 器的面积，t i n t 是曝光时间( 即光电流积分时间) ，e i m 。( 九) 是入射光在波长为九处 的能量，f ( 九) 是传感器光谱反应系数，它描述了在波长九处的光子对于光电流 的贡献分量。 在以电压形式输出的情况下，假设光电流在光电探测器的寄生电容c d 上进行 充电，则最终得到的输出电压为 = 号 ( 2 - 2 ) 此模拟电压被放大并转换为数字信号。在8 位数字图像系统中，每一个像素 将会有2 8 ，即2 5 6 个数字信号量级，分别对应灰度级别为从黑到白，即对应的光 能量从最低( o ) 到最高( 2 5 5 ) 。 至此详细讨论了图像传感器获取图像信号的整个过程。光信号进入镜头，最 终被光电传感器转换成相应的电信号。图像上的每一个像素点都有与之对应的电 信号值，这个值表征了该点的光能量的大小，而这个值也就是图像灰度中的亮度 信息。由此可以得到，图像的亮度是与图像传感器接收到的光的总能量成正比的， 由式2 1 也可以得到相同的结论。同时，由于图像传感器的曝光过程中涉及到了 对光谱、空间及时间的三维积分，所以影响曝光的主要参数有光强，曝光时间等。 第二章自动曝光模块设计 实际拍照时场景变换是很常见的。例如，在黑暗的室内突然打开灯，从较暗 的室内到晴天的室外等。和图像传感器不同，人的眼睛可以调整瞳孔的大小，控 制眼睛中的入射光量，达到自我调节的效果。然而c m o s 传感器却不能感应光线 条件的变化，如果仍然按照较暗环境的曝光参数来对明亮的室外物体进行曝光， 就使整个图像画面过曝。所以，当场景发生改变时，也要对曝光参数进行相应的 调整，以使输出的图像亮度在合适的范围内，这就是所谓的曝光控制。曝光控制 包括手动控制和自动控制。前者是人根据周围光强的变化，手动设定曝光参数， 如相机光圈和快门的大小等，这种方法具备很高的灵活性，但是需要使用者有很 丰富的经验，能够对光强进行合理的判断。自动曝光控制则是通过测光来判断此 时是台存在光线条件的变化，如果_ i 变则保持现在的曝光参数，如果改变了就依 照某种算法测定变化量，并给出新的曝光参数【3 2 j 传给图像传感器。本文中讨论的 为自动曝光控制，应用在c m o s 图像传感器图像处理系统中。 在此需要重点说明几个和曝光有关的概念，并且区分一些容易混淆的概念。 曝光时间：感光部件接收光的时间。在相同的光强下，曝光时间越长，图像 越亮；反之，图像越暗。 像素增益：是指放大器对像素信号放大的倍数。 光圈：可以调节通过镜头的光线强弱。光圈开的大，入射光量就多，光强就 大，反之光强就小。 快门：快门速度的简称。它控制了感光器件感光时间的长短。快门开启的时 间越长，作用于感光元件的光量越多，图像就越亮；反之就越暗。 感光度：是指图像传感器的感光元件或者胶片对光的灵敏程度。对于感光元 件，也存在与光线反应快慢的问题。感光度的大小是由相应的国际标准i s o 值来 规定的。数值越大，表明感光元件的光线灵敏度就越高，从而需要的曝光量就越 少；反之则需要的曝光就越多。 曝光量：是由光强和曝光的乘积构成的。光强度越大，曝光时间越长，曝光 量越大；反之，曝光量就越少。数码相机感光元件上曝光量的多少，是由光圈和 快门控制的，光圈控制光线强度，快门控制曝光时间。 曝光值：也称为e v 值，它描述胶片曝光量的一个数值。它的计算公式如下： 曝光值= 光圈系数基数+ 快门速度基数 ( 2 3 ) 在某一种光线下，光圈和快门的不同组合可以获得相同的曝光量。曝光值的 引用主要是为了简化有关曝光量的描述。对于同一个曝光量有许多曝光组合，而 它们的曝光值是确定的，所以用曝光值来描述曝光量比直接用光圈和快门的数据 要简便多了。并且，曝光值不足一个绝对的光度值。因此，以曝光值说明光强度， 必须说明感光度。在同一个照明下，如果使用不同的i s o 拍摄，便会有不同的曝 光值需求。 第章自动曝光模块设计 需要说明的是，c m o s 图像传感器的图像信号处理和数码相机的成像有所区 别。数码相机中有机械快门和光圈，快门控制曝光时间的长短，而光圈控制光强 的大小。换言之，曝光参数是通过机械来调节的，所以对于应用在数码相机中的 自动曝光算法，需要调节的曝光参数为光圈的大小和快门的多少。而在图像信号 处理器中，没有像数码相机中的光圈和快门，应用于它的自动曝光算法调节的参 数就为曝光时间和像素增益。尤其主要是通过曝光时间来调节曝光量的大小。 2 1 2 自动曝光的测光 既然要根据场景的变化进行曝光参数的调整，就要感知环境的光强，即测光。 测光原理就是假设所测光区域的反光率均为1 8 来给出曝光参数。“1 8 ”这个数 值来源是根据自然景物中中间调( 灰色调) 的反光表现而定，一般白色表面可以 反射近9 0 的光线，而黑色则接近于o 。标准灰卡是一张8 1 0 英寸大小的卡 片，将这张灰卡放置于主景同一测光处，则所得之测光区域的整体反光率就是 1 8 ，之后按相机测光所给出的光圈快门组合去拍摄，得到的照片就会是准确之 曝光。但是如果测光区域的整体反光率大于1 8 ，例如对着一张白纸测光，按相 机自动测光所给出的光圈快门组合去拍摄，得到的照片会是曝光不足的情形，白 纸会被在照片上看来是灰纸。所以，拍摄反光率大于1 8 的场景，需要增加曝光。 同理，如果测光区域的整体反光率低于l8 ，例如对着一张黑纸测光，则得到的 照片将会是曝光过度，黑纸也会被拍成灰纸( 深灰) 。所以，拍摄反光率低于1 8 的场景，需要减少曝光。 测光1 3 3 j 一般可以分为入射式测光和反射式测光。入射式测光测量的是入射 光，一般外置的测光表通常采取这一方式：反射式测光测量的是反射光，即光线 射到物体上反射回来的光，一般数码相机人多采用反射式测光。 测光方式按测光元件的安放位置不同一般可分为外测光和内测光两种方式。 外测光方式中测光元件与镜头的光路是各自独立的。这种测光方式广泛应用于平 视取景镜头快门照相机中，它具有足够的灵敏度和准确度。单镜头反光照相机一 般不使用这种测光方式；内测光方式是通过镜头来进行测光，即所谓t t l 测光， 与摄影条件一致，在更换相镜头或摄影距离变化、加滤色镜时均能进行自动校正。 目前几乎所有的单镜头反光相机都采用这种测光方式。 下面说明测光模式的种类1 3 4 】【3 5 1 ，图例中红色包围的区域为统计区域。 平均测光测量整个画面的平均光亮度，适合于光强适中，画面光强差别不大 的情况。这种方法对光线条件要求较高，适应性较差，所以一般的自动曝光控制 不采用这种模式。 第二章自动曝光模块设计 图2 3 平均测光 中央重点测光以中间拍摄的内容为主要测光对象。测光的感光元件重点对中 间部分进行测量，并对整体的测光值进行分析，中央部分的测光数据占数据分析 中的绝大比例。相对于其他测光模式而言，它的数据统计量是比较大的。 以n i k o n 系列的相机来说，其著名的中央重点测光模式，以中央部位占7 5 ， 其余占了2 5 逐渐延伸至边缘。在一般正常拍摄条件下，中央重点测光是一种 非常实用的测光模式，但是果画面主题不在中央或是逆光拍摄，中央重点测光就 不适用了。其统计范围如图2 4 所示： 图2 4 中央重点测光 局部测光也称中央部分测光，是只对画面的一块区域进行测光，周围的背景 是明是暗都不会对局部的光亮产生影响。它的测光范围约为3 1 2 。中央部 分测光模式是适合要求比较高的专业摄影人士的需求而设计的，可针对一些特殊 的恶劣的拍摄环境应用之，能更加确保算出画面中主要表现对象部分所需要的曝 光量。应用范围包括：舞台、逆光等场景中这种模式最为合适，不过由于区域测 光( 矩阵测光) 模式的兴起，这种模式现在已经较少了二相机中出现了。如图2 5 。 第一章自动曝光模块设计 图2 5 局部曝光 点测光是测量画面中央很小范围内景物的亮度值，以此作为相机曝光模式和 指数设定的依据。测光区域约为1 3 。厂商是为了克服中央平均测光的不 足之处而研发出此种测光模式来避免逆光状态下对主体测光的影响。点测光的 范同是以。极小范围区域作为曝光基准点，根据这个区域测得的光线，作为曝光 数据。这是一种相当准确的测光方式，但对于新手来说，怎样去区别一个测光点， 变成了一个需要学刊的技巧，错误的测光点会造成严重的曝光误差。如图2 6 。 图2 6 点测光 矩阵测光又称区域测光，是将取景画面分割成若干个测光区域，如图2 7 所 示。每个区域独立测光后，再整合计算出一个整体的曝光值。它在多数情况下可 以准确曝光。早期的n i k o n 机种将测光区域分成八个测光区域，每个测光区域各 自独立运算所得的数值与相机内建的数据库作为曝光值的综合判断。目前， n i k o n 不管是传统相机或是数码相机多配备有2 5 6 区域测光功能。区域测光的准 确性，不仪在于硬件能力，还在于数据库大小与辨别能力。这种模式适合用于拍 摄风景、团体照片等，特别是在拍摄顺光、前侧光，或者大面积亮度均匀的场景 时最为有效。 -一，_，-1掣 季i ， _ 掣孽， 一 第_ 章自动曝光模块设计 0 匾习l 蚕 珊：驾 图2 7 矩阵曝光 基于系统和应用范围的综合考虑，本文选择中央重点曝光为主的方式，统计 范围根据主体位置的可能性有所改进3 6 1 ，具体的统计模块的实现将在后续章节详 细讨论。 2 2 自动曝光关键参数的选择 自然界白色的阳光是由红色光、绿色光、蓝色光j 种主要色光等量混合构成 的。这三种主要色光又被称为三原色光，如图2 8 所示。 图2 8 三原色示意图 这三利，光通过不同的比例混合，可以得到自然界中的任何颜色，这就是色度 学中最基本的三基色原理。当然，三基色的选择并不唯一，也可选择其它三种相 互独立的颜色为三基色，即任何一种颜色都不能由其它两种颜色合成。例如图 2 8 中所示的三原色相交后的三种颜色：洋红、黄、青。由于人眼对红、绿、蓝 三种色光最敏感，因此南这三种颜色相配所得的彩色范围也最j 、，所以一般都选 这三种颜色作为基色。 当光线照射在某一物体上面时，此物体会将光线中不同波长的光波吸收或反 射，从而使人的眼睛看到了不同的色彩。换言之，人的眼睛之所以能够看到一朵 红色的花，是因为阳光照射在花朵上，光线中的红色光波从花朵上反射到人的眼 第章自动曝光模块设计 中，而蓝色和绿色的光波则被花朵吸收。花朵吸收的绿色和蓝色越多，花朵的颜 色就会越红艳。可见光的连续光谱如图2 9 所示。 图2 9 可见光连续光谱 由此可以看到有关于颜色的一些选择与人眼的结构和特点有很大的关系，下 面介绍一下有关人的视觉系统的知识。 人类的视觉系统是由神经系统、眼球和大脑的视觉中枢构成。眼球的构造很 复杂，在接收光线时，眼球通过虹膜的收缩和扩张来控制瞳孔的大小，进而控制 进入眼内的光量，晶状体内的蛋白质能够吸收多余的红外光和紫外光，光线经过 聚焦在视网膜上成像。视网膜上的视觉细胞是主要的光接收器。视觉细胞包括锥 状体和杆状体。锥状体只有在光线明亮的情况下才起作用，具有辨别光波波长的 能力。杆状体的灵敏度比锥状体要高，在较暗的光线下也能起作用，但是没有辨 别颜色的能力。这样的构造就决定了人眼主观上对图像的色度差别不那么敏感， 而对于亮度很敏感，所以可见曝光的好坏对于图像质量的影响是非常大的。 2 2 1 颜色空间的选择 本文中处理的是彩色图像，与灰度图像相比，彩色图像携带了更多的口j 视化 信息，同时彩色图像也有比灰度图像更复杂的属性。在说明颜色空间前，需要强 调一些关于彩色图像的基本概念。 亮度：亮度表示某彩色光的明亮程度，也称灰度。彩色图像中每个像素点的 亮度是用o 一2 5 5 的灰度值表示的。如图2 1 0 所示，0 表示最小值，2 5 5 表示最 大值，1 2 8 表示中间灰度。彩色图像中每个像素点都有一个相应的灰度值和颜色 与之相对应。 一= 一 i 一： 图2 1 0 灰度级别示意图 第_ 奄自动曝光模块设计 色调：某物体在曰光照射下所反射的各光谱成分作用于人眼的综合效果，对 于透射物体则是透过该物体的光谱综合作用的结果。色调表明了颜色的类别。如 粉色、黄色等都指的是色调。 饱和度：是指颜色的纯度，或者说颜色的深浅程度，即掺入白光的程度。对 于同一色调的彩色光，饱和度越深颜色越鲜明或说越纯。例如，当绿色加进白光 之后，冲淡为浅绿色，其基木色调还是绿色，但饱和度降低了。换句话说，淡颜 色的饱和度比深颜色低一些。通常把色调和饱和度通称为色度。 色域：又被称为色彩空间，它代表一个色彩影像所能表现的色彩的具体情况。 它是随着计算机图像处理技术的发展而出现的新概念，其实际意义是指在不同的 色彩模式或色彩模型下，分别处理色彩数据及关系的一种软件算法或者管理模 式。经常用到的色彩空间主要有r g b 、y u v 、c m y k 、h s v 等。 下面分别介绍一下各个色彩空间。 1 r g b 色彩空间 r g b ( r e d ，g r e e n ，b l u e ) 最常用的用途就是显示器系统。彩色阴极射线管， 彩色光栅图形的显示器都使用r 、g 、b 数值来驱动r 、g 、b 电子枪发射电子， 并分别激发荧光屏上的r 、g 、b 三种颜色的荧光粉发出不同亮度的光线，并通 过相加混合产生各种颜色；扫描仪也是通过吸收原稿经反射或透射而发送来的光 线中的r 、g 、b 成分，并用它来表示原稿的颜色。r g b 色彩空间称为与设备相 关的色彩卒间，因为不同的扫描仪扫描同幅图像，会得到不同色彩的图像数据； 不同型号的显示器显示同一幅图像，也会有不同的色彩显示结果。 2 c m y k 颜色空间 c m y k ( c y a n ，m a g e n t a ，y e l l o w ) 颜色空间应用于印刷工业。印刷业通过青( c ) 、 品红( m ) 、