（光学工程专业论文）利用图像融合提高ccd的动态范围进行激光光斑检测.pdf

利用图像融合提高c c d 的动态范围进行激光光斑检测 中文提要 利用图像融合提高c c d 的动态范围进行激光光斑检测 中文提要 激光光斑的采集和分析在激光应用领域是一个具有重要实践意义的课题。随着 c c d 在图像采集和光电测量的广泛应用，以面阵c c d 为探测器的参数测量方法具有其 他方法无法比拟的优势，如可快速测量激光光斑的二维光场分布，可适用于测量脉 冲激光器的光束参数等。然而c c d 的固有动态范围不能满足实际应用，如何提高c c d 的测量动态范围已成为进一步扩展c c d 应用领域的关键所在。 针对激光光斑能量高和动态范围大的特点，本论文介绍利用曝光量控制和图像 融合处理技术扩大c c d 测量动态范围的原理与方法。用电子快门控制曝光时间， 得到强度范围不同的图像，即用低曝光量得到高强度信息，用高曝光量得到同一场 景中低强度信息。利用最小二乘法求解c c d 响应曲线，引入权重因子融合多幅图 像中的有效像素值得到动态范围扩展的图像。在实验中用c c d 对小孔的夫朗和费 衍射图像进行测量，利用图像融合技术得到了能全面反映衍射效应细节的高动态范 围图像；进一步，通过对激光光束测量和高斯曲线拟合，验证了所提出方法的有效 性。 本论文综合运用两种编程语言把光斑图像的采集与光斑参数的处理分析结合 起来。利用v i s u a lc + + 的高效快速实现图像数据的实时采集、显示与控制，用m a t l a b 强大的数据处理能力进行图像融合等图像处理分析，以充分发挥其优势，取得了很 好的效果。 关键词：高动态范围；响应曲线；图像融合；c c d ；激光 作者：周建康 指导教师：沈为民 型旦璺塑壁鱼堡壹堡里堕垫查蔓璺鲞笪塑塑查墅塑 一茎奎i ! 兰一 i m p r o v e m e n t o fc c d d y n a m i cr a n g ew i t hi m a g e f u s i o n f o rl a s e rs p o td e t e c t i o n a b s t r a c t c o l l e c t i o na n da n a l y s i so fl a s e rs p o t si sap r a c t i c a lt a s ki nl a s e ra p p l i c a t i o n s w i t h t h ew i d eu s eo fc c di ni m a g ec a p t u r ea n dp h o t o e l e c t r i cm e a s i l r e m e m ，t h el a s e r p a r a m e t e r t e s tm e t h o du s i n gt w o - d i m e n s i o n a lc c dd e t e c t o r s h a s m a n ys p e c i a l a d v a n t a g e s f o re x a m p l e ，i tc a nq w c l ( 1 yd e t e c ts p a t i a li r r a d i a n c em a p o fl a s e rs p o t sa n d p u l s e l a s e rb e a m sp a r a m e t e r s b u ti t si n t r i n s i cd y n a m i cr a n g ec a n n o tm e e tm a n y p r a c t i c e s i n c r e a s i n gc c dd y n a m i cr a n g ei s o n ek e yt oe x t e n dt h ef i e l do fc c d a p p l i c a t i o n t h ec h a r a c t e r i s t i c so fal a s e rs p o ta r eh i g hp o w e ra n d i i 曲d y n a m i cr a n g e t h e p r i n c i p l ea n dm e t h o do fe x t e n d i n gd y n a m i cr a n g eo fc c db ym e a n so ft a k i n ga n d t h e n f u s i n gm u l t i p l ep i c t u r e so ft h es a m es c e n ew i t hv a r i o u se x p o s u r el i m e si sp r e s e n t e di n t h i sp a p e r b o t hh i g ha n dl o wi n t e n s i t yi n f o r m a t i o na r eo b t a i n e dr e s p e c t i v e l yw i t hs h o r t a n dl o n ge x p o s u r et i m e t h ec o m b i n e dr e s p o n s ec u r v ei sg o t t e nw i t hl e a s ts q u a r em e t h o d t h e nt h ee f f e c t i v ep i x e | v a l u e so ft h e s em u l t i p l ei m a g ea r ef u s e du s i n gw e i g h t i n g f u n c t i o na n dt h ee x t e n d e dh i g hd y n a m i cr a n g ei m a g ei sa c h i e v e d w et e s tt h em e n t i o n e d m e t h o dt h r o u g ht h em e a s u r e m e n to ft h ef r a a n h o f e rd i f f r a c f i o np a t t e mo fa1 0 0 i i m d i a m e t e rp i n h o l ei l l u m i n a t e db yh e - n el a s e ra n ds u c c e s s f u l l yg e ti t sh i g he f f e c t i v e d y n a m i cr a n g ei m a g ew i t hd i f f r a c t i o nd e t a i l s f u r t h e r , t h r o u g ht h e m e a s u r e m e n to f h e - n el a s e rb e a ma n dg a u s s i a nf i t t i n g , t h em e n t i o n e dm e t h o di sv a l i d a t e d t h i sp a p e ru t i l i z e st w op r o g r a m m i n gl a n g u a g e ss y n t h e t i c a l l yt oc a r r yo u tt h es p o t i m a g e sc o l l e c t i o na n dt h es p o tp a r a m e t e ra n a l y s i s v i s u a lc + + i su s e df o ri m a g e c a p t u r i n g ，d i s p l a y i n ga n dc o n t r o l l i n gf o r i t sh i 曲e f f i c i e n c ya n dw o r ks p e e d , w h i l e m a t l a bi su s e df o ri m a g ef u s i o na n dp r o c e s s i n gf o ri t sp o w e r f u ld a t ap r o c e s s i n ga b i l i t y , s ot h a tt h e i rs u p e r i o r i t ya r ef u l l yu s e d a n dg o o dr e s u l t sa r eo b t a i n e d k e yw o r d s ：h i g hd y n a m i cr a n g e ；r e s p o n s ec u r v e ；i m a g ef u s i o n ；c c d ；l a s e r i l w r i t t e nb yz h o uj i a n k a n g s u p e r v i s e db ys h e nw e i m i n 苏州大学学位论文独创性声明及使用授权声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作 所取得的成果。除文中已经注明引用的内容外，本论文不含其他个人或集体已经发 表或撰写过的研究成果，也不含为获得苏州大学或其它教育机构的学位证书而使用 过的材料。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。 本人承担本声明的法律责任。 研究生签名：生氢数目 学位论文使用授权声明 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文合作部、中 国社科院文献信息情报中心有权保留本人所送交学位论文的复印件和电子文档，可 以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内 容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括 刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权苏州大学学位办办理。 研究生签名：廛i 丝 日期： 妻竺! 12 导师签名：1 知舻i l _ 昏。日 期：生堑垒型 利用图像融合提高c c d 的动态范围进行激光光斑检测 第一章引言 1 1 背景介绍 第一章引言 激光是2 0 世纪6 0 年代发展起来的高新技术，它具有方向性好、亮度高、单色 性和相干性好等优点。激光已经在测距、制导、加工、医疗、军事等领域获得了广 泛应用。在这些应用中，激光的光束参数，如光强分布、光束宽度，能量集中度、 光斑形状、发散角等，是影响其应用效果的重要因素，因此测定激光光束或光斑参 数在近年来引起人们的广泛关注。各种激光光束或光斑的测量方法中，如空心探针 o - q 、光学纤维探针【1 圳、热电探测器1 1 圳、刀1 ：3 法1 14 1 、狭缝扫描法等1 5 l ，以面阵c c d 为探测器的参数测量方法具有其他方法无法比拟的优势，如可快速测量激光光束或 光斑的二维光强分布，可适用于测量脉冲激光器的光束参数等。 因为激光光束或光斑是高反差高强度日标，c c d 的固有动态范围有限，光束或 光斑中心的高强度会使得c c d 饱和，而边缘的低强度会淹没在c c d 噪声之中。为了 能够用c c d 进行测量，目前很多的做法是衰减掉光斑的低强度信息【1 “，只对光斑中 心的高强度信号进行测量，这样就不能得到光斑的精确完整信息。在很多情况下， 如利用激光医疗诊断、进行光学镜头点扩散函数的测量等，对激光光束或光斑的质 量要求会更高，这就需要知道激光边缘的低强度信息。由此c c d 有限的固有动态范 围限制了c c d 进行激光光斑测量的进一步应用。 1 2 选题意义 c c d 传感器广泛应用于图像采集和光电测量，其固有动态范围有时不能满足实 际应用，例如激光光束诊断、光学镜头点扩散函数( p s f ) 测量和高反差高强度目标图 像的摄取等。虽然可以采用多模式输出，如双斜率输出、对数输出、y 校正模式等， 也无法满足对这种高反差高强度图像的摄取，而且c c d 相机的这些输出模式是和人 眼响应相对应的，不宜用来测量。而选取可制冷和低噪声的较高动态范围的器件l l 。l ， 必然使成本大幅增加，并且在一些对重量和尺寸有要求的情况下温度控制则是不可行 利用图像融合提高c c d 的动态范围进行激光光斑检测 第一章引言 的，如微小卫星所载摄像机等。如何扩展c c d 的测量动态范围已成为进一步扩展c c d 应用领域的关键所在。 1 3 国内外状况 用c c d 探测器进行激光光束的测量在国内目前报道的只有两家单位在研究开 发，并有产品供应。北京光电技术研究所的b g s 6 3 1 4 型激光光束分析仪，如图1 - 1 所示，这是2 0 0 4 年度国家重点新产品，可以对大、中、小功率( 能量) 的激光进 行诊断与评价。中国科学院物理研究所与美国s e n s o r p h y s i c s 公司联合开发研制的 l s 2 0 0 0 激光光束分析仪可用于分析激光光束强度( 功率、能量) 的二维分布、测 量光束直径等参数。在国外有以色列d u i r t ao p t r o n i c s 的b e a m o n 光束分析仪，美 国p h o t o n 公司的b e a r n s e a n 和n a n o s c a n 光束分析仪【l _ 8 】，美国s p i r i c o n 公司的 l b a p c 系列光束分析仪l ，加拿大g e n t e c e o 公司激光光束分析仪0 1 。 图l - 1b g s 6 3 1 4 型激光光束分析仪 这些国内外的激光光束分析仪均是对激光进行衰减后，测量高斯光束尖峰部分 的光强分布，对激光衍射等复杂图像测量却无能为力。国外的一些研究机构和人员 己注意到这种状况，开始用多幅图像来扩展c c d 探测器测量激光光斑时的有限动 态范围，如西班牙的c o m p l u t e n s e d em a d r i d 大学光学研究所正在进行这方面的研究 3 - 1 。国内还未见有相关的报道。 利用图像融台提高c c d 的动态范围进行激光光斑检测 第一章引言 1 4 本文研究内容 本文阐述利用图像融合技术提高c c d 的动态范围，使c c d 的测量应用得到拓展。 用电子快门控制曝光时间，得到强度范围不同的图像，即用低曝光量得到高强度信 息，用高曝光量得到同一场景中低强度信息，然后融合有效像素值得到动态范围扩 展的图像。此种方法用普通c c d 相机便可实现，方法简单灵活、易于操作。在进行 图像采集与处理时，运用了v c + + 和m a t l a b 的联合编程，把v c + + 的高效快速、友好界 面与m a n a b 强大的数据、图像处理结合使用，取得了很好的效果。 本章介绍本课题的发展及国内外技术现状，阐明本课题的研究意义。 第二章主要介绍c c d 图像数据采集流程及其动态范围扩展的方法与技术，对 采用多图像融合提高c c d 的动态范围进行了原理说明。 第三章说明用不同曝光时间的多幅图像融合扩展c c d 的测量动态范围的方法 与实验结果。介绍c c d 响应曲线求取，多幅图像融合技术，给出对小孔的夫琅和 费衍射图像和h e n c 激光束光斑实验测量结果。 第四章介绍激光光斑检测软件设计，包括c c d 数据采集软件设计、c c d 图像 处理软件设计和软件的合成。 第五章对本课题进行总结，概括本论文的创新和不足之处，指出进一步研究的 方向。 利用图像融合提高c c d 的动态范围进行激光光斑检测第二章c c d 数据采集流程及其动态范围 2 1 引言 第二章c o d 数据采集流程及其动态范围 c c d ( 电荷耦合器件，c h a r g ec o u p l e dd e v i c e ) 是7 0 年代初发展起来的半导体成 像器件。美国贝尔实验室的w s b o y l e 和g e s m i t h 于1 9 7 0 年提出了c c d 的概念， 随后建立了以一维势阱模型为基础的非稳态c c d 的基本理论。3 0 多年来随着新型 半导体材料的不断涌现和器件微细化技术的日趋完备，c c d 技术得到了较快的发 展。目前c c d 技术已广泛应用于信号处理、数字存贮及影像传感等领域。其中， c c d 技术在影像传感中的应用最为广泛，已成为现代光电子学和测试技术中最为活 跃、最富有成果的领域之一。然而，在一些高亮度高动态范围的应用中，因为c c d 有限的动态范围限制了它的进一步应用，如何提高c c d 的动态范围成为其进一步 应用的关键。现在有些新技术已经能够提高c c d 的动态范围【2 _ “，如多模式输出， 但这些新技术是基于非线性的，对于测量来说难以适用。而用采用不同积分时间的 多幅图像进行有效像素的融合可以有效提高c c d 的动态范围，并可应用于激光光 斑测量。 2 2c c d 的数据采集流程 利用c c d 测量激光光斑的原理如图2 1 所示。待测激光直接或经过透镜后投射到 c c d 表面上，电子快门对曝光时间进行控制，决定c c d 感受到的曝光量，c c d 将光 信号转换成电信号，经a d 量化后输入计算机，得到数字图像。 激光 图2 1c c d 的数据采集流程 鲴 ， 、-厂翊，豳幽 利用图像融合提高c c d 的动态范围进行激光光斑捡测第二章c c d 数据采集流程及其动态范萤 多数情况下，被测激光光斑大小与c c d 探测面大小不匹配，因此，需要加入像 差校正的透镜进行光束变换。压缩或扩大光束截面，以适应c c d 的光敏面大小。 电子快门用于控制每个像素的电荷积累时间，进而控制入射光在c c d 芯片上 的作用时间，即在每一场正程期间将某一时间产生的电荷作为图像信号输出，而其 余时间产生的电荷被排放掉。这样就等于缩短了存储电荷的时间，相当于缩短了光 线照射在c c d 芯片上的时间，如同加了机械快门一样。采用电子快门之后，可以 防止曝光饱和，减小光晕、减小图像模糊、摄取运动目标图像等。实验中采用的 c c d 相机设置电子快门速度档次有：1 6 0 s ，1 l o o s ，1 2 5 0 s ，1 5 0 0 s ，1 1 0 0 0 s ，1 2 0 0 0 s ， 1 1 0 0 0 0 s 等。设置较短的曝光时间可以防止高亮度图像造成的c c d 像素的饱和； 设置较长的曝光时间可以提高c c d 像素的有效摄光量，获取低强度图像信息。 c c d 的首要功能是完成光电转换，即产生与入射的光谱辐射度成线形关系的光 生电荷。当光入射至t j c c d 的光敏面时，便产生光生电荷，c c d 在某一时刻所获得光 生电荷与前期所产生的光生电荷进行累加。入射光越强，单位时间内激发出来的光 生电荷就越多，通过电荷积分所得到的电荷量越大，获得同等光生电荷所需要的积 分时间越短。 光生电荷量可用c c d 的光谱辐射度响应表示，即 q 口= ，7 9 如。么疋 ( 2 1 ) 式中，刁为材料的量子效率；g 为电子电荷量：z 3 n 。为入射光的光子流速率：a 为 光敏单元的受光面积；兀为光入射时间或光注入时间。 由( 2 - 1 ) 式可以看出，当c c d 确定以后7 、q 及a 均为常数，注入到c c d 势阱 中的信号电荷q 炉与入射光的光子流速率厶n 。及注入时间兀成正比：注入时间死 由c c d 驱动器的转移脉冲周期决定。当所设计的驱动器能够保证其注入时间稳定不 变时，注入到c c d 势阱中的信号电荷只与入射辐射的光子流速率, n 。成正比。 面阵c c d 是由一维线型c c d 的光敏单元和移位寄存器按一定方式排列而成的 二维阵列。面阵c c d 通常有帧转移、全帧转移、行间转移等转移方式。在本论文 实验中选用全帧转移工作方式的m t v 1 8 8 1 e h 型c c d 摄像机。c c d 的光敏面结构 如图2 2 所示【2 埘，它由光敏区( p h o t o s i t e s ) 和水平移位寄存器( h c r i z o n t a lr e g i s t o r ) 两部分组成。光敏区有并行排列的若干电荷耦合沟道组成，各沟道之间用沟阻隔开， 利用图像融合提高c c d 的动态范围进行激光光斑检测第二章c c d 数据采集流程及其动态范围 水平电极横贯各沟道。水平电极加上适当偏压时，光生电荷被收集到电极下方的势 阱里，将被摄光学图像转移为光积分电极下的电荷包图像。在驱动脉冲的作用下光 生电荷沿着如图2 2 所示的箭头方向向下转移到水平移位寄存器。因为光敏面占据 了全帧c c d 的绝大部分，在进行光生电荷转移时，需要通过电子快门屏蔽入射光， 把光生电荷转移期间产生的光生电荷泄放到c c d 芯片的衬底。当垂直移位脉冲把 光生电荷从光敏区的一行转移到水平移位寄存器，在水平移位脉冲的控制下把水平 移位寄存器的光电荷以水平方向移动到输出电路，然后水平移位寄存器再接受光敏 区的下一行光电荷。水平移位寄存器是遮光屏蔽的，只起到存储转移的作用，不需 要电子快门的控制。 图2 - 2 全帧c c d 结构 c c d 的输出为周期性的时序电压信号，在这种情况下需要进行视频信号的量化 处理，即进行a d 转换把模拟量转换成数字量。a i d 转换的主要特征包括分辨率、 转换时间和转换精度。 分辨率可以表示成器件量化单位与满量程电压之比，也可以用器件的位数表 示： 分辨率= q = 1 2 ” ( 2 - 2 ) 其中q 为量化单位，为参考电压源，n 为器件位数。器件的分辨率越高，量化误 差越小。目前很多图像采集卡的a d 器件位数有8 、1 0 、1 2 等。 利用圈像融合提高c c d 的动态范围进行激光光斑检测第二章c c d 数据采集流程及其动态范围 a d 转换时间应根据c c d 信号的传输速率合理选择。 a d 转换精度可表示为输入模拟信号与被转换成数字量的理论电压值之间的差 值。高的转换精度可以真实反映光强信号，提高测量精度。 2 3c c d 的动态范围 2 3 1c c d 动态范围的定义 c c d 图像传感器的动态范围定义为像敏单元的势阱中可存储的最大电荷量和 噪声决定的最小电荷量之比。 c c d 势阱中可容纳的最大信号电荷量取决于c c d 的电极面积及器件结构( 表面 沟道s c c d 或体沟道b c c d ) ，时钟驱动方式及驱动脉冲电压的幅度等因素。 s c c d 势阱所存储的电荷量q s c c 。可近似地表示为： q s c c o = c o x u c , a ( 2 - 3 ) 式中，c o x 是氧化膜单位面积的电容量；c ，g 为栅极电压。 在b c c d 中电荷的存储容量的计算比较复杂，随着沟道深度的增加，势阱中可 以容纳的电荷量减少。对于与表面沟道s c c d 条件相同的b c c d ，若氧化膜厚 0 1 呻，相当于沟道深度的外延层厚度为2 l 岬，则q s c c o 0 2 c c d 约为4 5 倍。 对 于二相驱动情况，实际能容纳电荷的电极面积是整个电极面积的一半，比三相交叠 转移电极结构的c c d 存储的电荷容量少一半。 在c c d 图像传感器中，噪声主要来源于：电荷注入过程中，由电荷量起伏引 起的噪声：电荷转移过程中，电荷量变化引起的噪声；检测电荷时，复位脉冲导致 的噪声。 在电荷注入过程中，由于光予发射是随机过程，势阱中收集的光生电荷也是随 机的，这称为光子噪声。这种噪声与c c d 传感器无关，取决于光子的性质，因而 是摄像器件的基本限制因素，主要对低光强下的摄像有影响。与光子发射一样，暗 电流也是一个随机过程，称为暗电流噪声。通常每个c c d 单元的暗电流不一样， 会产生图形噪声。胖零噪声包括光学胖零噪声和电子胖零噪声。光学胖零噪声由使 用时的偏置光的大小决定，电子胖零噪声由电子注入胖零机构决定。 利用图像融合提高c c d 的动态范围进行激光光斑检测 第二章c c d 数据采集流程及其动态范围 在电荷转移过程中，s c c d 的界面缺陷或界面能态和b c c d 的体缺陷或体内 能态会俘获传输过程中的电荷，然后随机地释放它们，产生俘获噪声。由于半导体 体内的能态总是小于半导体表面的能态，所以b c c d 的俘获噪声小于s c c d 的俘获 噪声。 检测( 输出) 噪声起园于输出电路复位过程中产生的热噪声。该噪声若换算成 均方根值就可以与c c d 的噪声相比较。此外，器件的单元尺寸不同或间隔不同也 会成为噪声源，这种噪声源可以通过改进光刻技术而减少。 势阱可存储的晟大信号电荷量决定了c c d 的饱和输出电压c k ”各种噪声决 定了没有光照时的c c d 电压输出瓜暗信号电压) 。c c d 的动态范围d r 可以表 示为： d r = u s e r u d a p x f 2 - 4 ) 可以看出，提高c c d 动态范围的从本质上讲只能提高势阱可存储信号电荷的 最大容量或降低噪声，这要求提高技术与工艺，或增加致冷设备，这些措旋会增加 成本或使系统复杂和体积增大。 2 3 2c c d 动态范围扩展方法 2 3 2 1 冷却降噪提高c o d 的动态范围 在像感应用中，如果环境温度高以及元器件散发的热量使c c d 温度升高，都 会使暗电流增加，使c c d 的信噪比降低，减小动态范围。降低温度是减小暗电流 的有效途径，因此在要求噪声很低的应用中，通常要对c c d 芯片进行冷却。 c c d 始终工作在非平衡状态，加在各个转移电极上的电压使下面的半导体表面 处于深耗尽层状态，c c d 中各个m o s 电容器可以容纳和存储电荷。但是深耗尽 层并非一种稳态，即使没有信号电荷自外部注入，深耗尽势阱也会被内部的电荷逐 渐填满。这是由c c d 的暗电流造成的，这些暗电流来自于：耗尽层内通过复合产 生中心的热产生；通过表面态的热产生；通过本征跃迁过程的热产生；在耗尽区边 界的扩散电流。由此可以看出暗电流的几个成分都与温度有密切的关系。随着温度 的升高或降低，暗电流数值将指数地增加或减小。在要求积分时间很长的低照度应 用中，暗电流噪声是主要的限制因素。除了工艺上采取措施以外，冷却是降低暗电 8 利用图像融合提高c c d 的动态范国进行激光光斑捡铡第二章c c d 数据采集流程及其动态范围 流的最后手段【2 。“。 2 3 2 2 采用多模式输出提高c c d 的动态范围 现代c c d 相机具有多种输出模式，以适应不同的动态范围要求。主要有线性 模式、双斜率模式、对数模式和r 校正模式。图2 - 3 显示出了这四种输出模式曲线 2 - q 。 图2 3 四种输出模式曲线 从图中可以看出线性输出模式下，曝光量和信号响应里正比，而对于后三种输 出模式在高曝光量下信号响应变化缓慢，而在低曝光量下信号响应增加较快。后三 种输出模式能够抑制同一场景中高亮度物体过早饱和，同时提高暗物体的信噪比， 从而能够看清整个场景。 1 ) 线性模式 线性模式的输出与光强成正比，它适用于要求进行连续测量的场合。这种模式 的动态范围最小；同时，在线性范围的最高端信噪比最大，而在小信号时因噪声的 影响增大，信噪比很低。图2 4 【2 _ 3 堤在线性输出模式下，经过高曝光量和低曝光量 下的图像。从图2 - - 4 ( a ) 可看出高曝光量下图像中窗口部分已经曝光过量，窗外的 景物分辨不清；而低曝光量下的图像中窗外景物清晰可见，而室内物体由于曝光不 足而不能看清，如图2 - 4 ( b ) 所示。 2 ) 双斜率模式 利用图像融合提高c c d 的动态范围进行激光光斑检测第二章c c d 数据采集流程及其动态范国 双斜率模式采用两种曝光时间，当光强很弱时采用长时间的曝光，输出信号曲 线的斜率很大，而当光强很强后，改用短时间曝光，曲线斜率便会降低，从而扩大 动态范围。双斜率输出模式的动态范围可为几个数量级，使得无需对相机的曝光时 间进行控制，也无需对相机的光圈进行调节。但这种模式在电路实现上较为复杂。 图2 5 2 - 3 1 是采用双斜率输出模式的图像，整个场景清晰可辨。 3 ) 对数模式 当信号光强变化很大时，c c d 可以采用对数特性的电路以满足动态范围的要 求。对数输出模式和人眼对光的响应接近，因此这种输出模式具有良好的使用性能， 而且对数特性电路实现起来较容易。图2 - 6 是采用对数输出模式的c c d 相机得到 的图像，除了整个场景清晰可辨，其色彩也更逼真，更能满足视觉效果。 ( a ) 高曝光量 ( b ) 低曝光量 图2 - 4 线性输出模式下的图像 图2 - 5 双斜率输出模式下的图像图2 - 6 对数输出模式下的图像 利用图像融合提高c c d 的动态范围进行激光光斑检测第二章c c d 数据采集流程及其动态范围 4 ) r 校正模式 r 校正模式的输出规律为： v = k o r e ( 2 5 ) 式中v 是输出信号电压，e 是输入光强，足是常数，而，是校正因子，其值小于1 ， 这种模式也可使输出信号的增长速度逐渐减缓。 2 3 2 3 利用多图像提高c o d 的动态范围 利用多模式输出尽管能够提高c c d 的动态范围，但其是非线性输出，不适用于 测量，并且动态范围增加也有限。冷却降噪能从器件本身提高c c d 的动态范围降 低噪声，但动态范围提高较小，且在一些对体积或重量有要求的场合无法适用。利 用多幅图像融合可以很大程度上提高c c d 的动态范围，在普通的商业相机上即可 操作，其方法灵活，适用性广。 在c c d 的线性模型条件下，输出电压为 v ( m ，n ) = k e ( m ，1 ) = k j ( m ，n ) t( 2 6 ) 其中，v ( m ，砂是像元产生的输出电压，e ( m ，p 是像元接收的光照度，j ( m ，妒为像元接 收的光辐射率，r 是c c d 的积分时间，阳，砂是像元位置坐标，七是一定的比例系数。 设信号饱和电平对应的饱和照度和饱和辐射率分别为五和以，噪声电平对应的 门限阈值照度和门限阈值辐射率分别为玩和厶，则有 厶= e s r , ( 2 - 7 ) ，f f = e , h i ( 2 - 8 ) 其中的下标f 表示不同的积分时间。假设积分时间正和矗i 下，c c d 可准确测量得 到的饱和辐射率和门限阈值辐射率范围如图2 7 虚线所示，利用无畸变衰减器衰减 激光束的绝对强度，以达到上述辐射率测量范围。如果图像采集卡的a d 有位， 则可表示2 - 1 个灰度等级。因此，以f 一 f 、矗i 厶f - l 最多可与2 1 个灰度等级相 对应，另外，从图2 7 中还可见，两个测量段有一个重叠范围以- l 以i ，可以用下 式定义重叠比艮这个量来描述，即 屈= ( 以f - l 一厶，) ( 以，一 f t h i - i )( 2 9 ) b ；越大，相邻积分时间档所得到辐射率范围重叠越多，达到相同的动态范围所需 l l 利用图像融合提高c c d 的动态范围进行激光光斑检测 第- 章c c d 数据采集流程及其动态范嗣 要的积分时间数量i 越大：而b ，过小，便会降低图像融合的精确性，并最终影响测 量精度。 两幅图像进行融合扩展后，测量范围如果以单位灰度来考量：从2 1 个灰度等 级扩展到白一j , h 1 ) g 白山 1 ) + ( - 1 ) 个灰度等级。图像测量的动态范围提高为： 珊2 ：争( d r - 1 ) 小争伽( 2 - l o ) j f 这里用2 标注是两幅图像的扩展，d r = 最e 矗是c c d 的固有动态范围。同理， 幅图像测量与融合扩展处理后，动态范围提高为： 伽= 争( 舢一1 ) + l 。 珊 ( 2 1 1 ) n n 其中n 是最长的积分时间，n 是最小的积分时间，动态范围会增大r i 霸倍，由此 利用积分时间的变化，来获取不同的图像，其中每个图像的有效部分处于c c d 的 饱和曝光量( 晶) 和门限阈值曝光量( 既) 之间。 由此可见利用不同积分时间下获得的图像经过一定的融合，动态范围最大会增 大n 而倍，其中n 是最长的积分时间，n 是最小的积分时间。在下一章会详细阐 述图像的融合。 目 等 图2 7 光斑能量分布图 利用图像融合提高c c d 的动态范围进行激光光斑检测第二章c c d 数据采集流程及其动态范围 2 4 小结 本章首先介绍了c c d 数据采集的流程，透镜调整光斑与c c d 尺寸大小匹配， 电子快门决定c c d 接受的曝光时间，c c d 把光信号转换成电信号，a d 把视频信 号转换为计算机可以识别的数字信号：接着分析了决定影响c c d 动态范围的因素， 冷却降噪能从器件本身提高c c d 的动态范围降低噪声，但动态范围提高较小且在 一些对体积或重量有要求的场合无法适用，利用多模式输出尽管能够提高c c d 的 动态范围，但其是非线性输出，不适用于光测量并且动态范围增加有限：最后分析了 利用不同积分时间下获得的图像可以有效提高c c d 的动态范围。 利用图像融合提高c c d 的动态范围进行激光光斑检测第三章c c d 测量动态范围的扩展技术 第三章c o d 测量动态范围的扩展技术 3 1 引言 上章介绍了提高c c d 动态范围的各种方法，多模式输出不宜用于测量，冷却降 噪受场合的限制且提高有限，而利用多幅图像可以在很大程度上提高c c d 的动态范 围。文献【3 1 】在线性模型下计算测量的重叠范围，然后通过累加的形式组成一幅同 时包括高低强度信息的图像，虽然这种方法直观简单但灵活性较差。也没有考虑噪声 影响。文献【3 2 】是基于人眼灰度识别特性下用加权的方法融合两幅不同的曝光图像， 不宜用于测量。文献 3 3 】中考虑了噪声的影响并引入了迭代算法，因需要选择合理 的初始值而使计算较为复杂。 本章介绍利用不同曝光下的多幅图像来扩展c c d 的动态范围，即用最小二乘 法求出c c d 响应曲线，引入权重因子灵活简便地把这些图像中的有效信息融合成 一幅高动态范围的图像，能够真实反映光信号的空间分布。下文首先用响应函数描 述c c d 图像传感器把光学图像转换到数字图像的过程：然后通过最小二乘法求解 响应曲线，并给出了求解示意图：接着在响应曲线的基础上用权重因子把各曝光时 间下的图像进行融合，构建包含高低强度信息的高动态范围图像；最后用c c d 摄 像机对小孔的夫朗和费衍射和激光光柬进行探测，以验证所介绍方法的正确性。 3 2c c d 图像传感器的响应曲线 c c d 图像传感器将光信号转换成电信号，再经图像采集卡将此电信号转换成数 字图像，此转变过程可用响应函数，描述： z = f ( 1 ) = f ( r f ) ( 3 - 1 ) 这里，z 为像元灰度值，= e t 表示曝光量，e 和f 为c c d 像元接受的照度和积分 时间。 c c d 图像传感器像敏单元的势阱可存储的最大电荷量和噪声决定的最小电荷 量之比决定了图像传感器的动态范围，通常c c d 图像传感器的动态范围是一个定 值。噪声决定的最小电荷量对应着门限阈值曝光量，当光生电荷低于噪声决定的最 1 4 利用图像融合提高c c d 的动态范围进行激光光斑检测第三章c c d 测盘动态范围的扩展技术 小电荷量时，信号电荷被淹没在噪声之中；可存储的最大电荷量对应着饱和曝光量， 随着光生电荷量不断地注入，势阱被填满，如果曝光量继续增加电荷会外溢，由于 很多c c d 传感器电路设计了“抗晕”( a n t i b l o o m i n g ) 技术，使外溢电荷流入衬底 口“，因此不考虑饱和像元外溢带来的影响。在a d 量化为位时，考虑到门限阈 值曝光量和饱和曝光量的情况，( 3 1 ) 式可表示为 f 0 如夥【o ，舶 z = ，( d = 埘如果，( l ，l “】，m = 1 ，2 ”- 1 ( 3 - 2 ) 1 2 ”一l如殿( j 2 n - i ，0 0 ) 式中，i i 为门限阈值曝光量，为饱和曝光量。可见，响应函数厂把曝光量i r 十= 0 ，c o 映射到z 0 t 0 1 2 - 1 ) ，每个灰度值z 对应曝光量，的一个区间， 低于门限阈值曝光量对应的灰度值为0 ，高于饱和曝光量对应的灰度值为2 - l 。灰度 值m 对应着一段曝光量范围，理想情况下这一范围是等距离的，因受非线性效应的 影响，使这些范围出现不等。 t - 响应函数一旦知道，可通过，= e f = f - 刃获取相对曝光量，再通过e = i t 就可计算出相对照度，这样就能获得光信号的空间分布图像。在多数情况下c c d 的响应函数是未知的，少数一些c c d 厂家也仅提供一定曝光量下的近似线性响应， 而在很多实际应用中这种响应并不是线性的。 假定面阵c c d 的每个像元接受的照度具有时间不变性，即静态的场景。采取 不同的曝光时间t ，这里的户1 ，2 p ，即有p 种不同的曝光图像，这样像元i ( i - l ，2 n ) 在积分时间为t j 、接受的照度为e f 下的灰度值为： z f ，= ，( 巨t ，) ( 3 - 3 ) 用对数简化计算，并以g 表示l r 旷，( 3 - 3 ) 式化为 g ( 磊) = i n e l + i n t ， ( 3 - 4 ) 于是求取响应函数转换为求函数g ，因能同样表示曝光量与灰度值间的关系并且是 在离散量下的表示，故这里不求响应函数的公式表示，而是建立g 的曲线表示，后 续称之为响应曲线。 从( 3 4 ) 式可看出，由各个不同的像元可构成一系列的方程式，在这些方程式中 只有灰度值z “和积分时间o ，是已知的。因为每个像元间的相对照度未知，所以不 利用图像融合提高c c d 的动态范围进行激光光斑检测第三章c c d 测量动态范围的扩展技术 能用一幅图像求出响应曲线，同样，由于c c d 摄像机厂家仅提供几档固定的积分 时间，而不能用单个或少数几个像元来给出响应曲线，我们用最小二乘法使g 的平 方误差d 达到最小来求解， mp 2 d = g ( z 口) 也日一t n t j ( 3 - 5 ) 1 = 1 ，- l 式( 3 - 5 ) 通过曝光时间把p 档曝光时间下的图像联系起来，从而就可用不同曝光图像 的相同像元有相同的照度而不同像元会出现相同的灰度值这一特征来求解响应曲 线。可是，从( 3 2 ) 式看出超过饱和曝光量对应的灰度值全部为2 1 ，而低于门限阈 值曝光量对应的灰度值全部为零，这就使得饱和灰度值及零灰度值在计算中失去了 意义。在实际测量中还要考虑背景光造成的影响，信号光高于背景光才能被探测出。 同时我们设定中间灰度值最为精确，最高和最低灰度值最为失真，于是进引进类似 高斯函数的权重因子【3 埘， w ( z ) ：e x p ( 4 蝉) ( 3 - 6 ) 厶m 其中，z 。旷1 ，2 ( 乙。+ z 。m ) 是中间灰度值，z 、z m i l l 是测量得到的最大和最小灰度 值，z = zm i d 时w ( j 沪1 z = z 。和z = zm l a 时w 丘) ：o ，用权重因子说明在z 。和zm i n 是失真的灰度值，而在z i n i d 最准确，从z j d 到z 。、z 曲失真逐渐增大。把式( 3 6 ) 代入式( 3 - 5 ) 得到， d = 似z f ) g ( z ) 也局一i n t j 2 ( 3 7 ) i = 1l = l 求解满足o 最小时的g ，就能使响应曲线在全局和实际响应曲线最接近，这 里的困难是c c d 像元接受的光照度也是个未知量。这里认为每个像元的响应都是 一致的，即相同的曝光量在每个像元上产生相同的灰度值。用最t j 、- - 乘法的求解过 程就如图3 - 1 所描述的那样找出曲线上点的合理位置，在图3 - 1 ( a ) 中用一、o 、+ 显示了接受不同照度的三个像元在依次改变曝光时间下的轨迹变化，横坐标代表灰 度值，纵坐标代表曝光量的对数，因为相对照度未知，这里首先假设所有e ，= l ， 这样实际上( a ) 图的每个轨迹给出的仅为灰度值和曝光时间的关系。随着曝光时间的 增加，4 和一o 、一o 和+ 出现灰度值相同部分，由于相同灰度值对应相同曝光 利用图像融合提高c c d 的动态范围进行激光光斑检测第三章c c d 测量动态范围的扩展技术 量，所以轨迹应该重新定位，使一0 轨迹不变，上下移动一和+ 轨迹使三段轨迹合一， 这样就勾画出曝光量和灰度值间的对应关系曲线，如图3 1 ( b ) 所示，这里的曝光量 是相对曝光量，而不是实际的曝光量。在确定哪段轨迹不动，而其他轨迹相对于此 轨迹上下移动，这时可以增加一个约束条件g = o ，也就是定义某点饱光量的对数 值为零：l o g 0 - - o 。图3 - 1 ( 0 是把3 - l 的纵横坐标交换，虚线描绘出所求响应曲 线的形状，可以清楚看出在曲线的上端和下端变得很平坦，即高于饱和曝光量和低 于门限阈值曝光量对应的灰度值不变的，同时也是失真的，这是图像融合时应该考 虑的问题。 ( b ) 图3 - 1 响应曲线求解示意图 3 3 通过图像融合构建高动态范围图像 甘 蛋 焉 巨 当求解出响应曲线g 时，就可以把c c d 的每个像元接受的相对照度求出，因 为积分时间是已知量，由( 3 1 ) 式得到， i ne i = g ( z ) 一l n f ， ( 3 - 8 ) 这样就可以把g 曲线应用于每幅图像使灰度值转化为相对照度，由于失真而在最小 和最大灰度的转化是不正确的，只有把不同积分时间下的各个图像的有效像元值提 取出来【3 4 】，才能构建高动态范围的图像，用以真实地反映出光信号的空间分布信息， 雌= 号鬃产 p ， 式( 3 - 9 ) 用权重因子提高准确灰度值、降低失真灰度值在计算中所占的比例：某 像元在短曝光时间下具有较高灰度值而在长曝光时间下可能已饱和，通过w ( z m百jg搴罟一 利用图像融合提高c c d 的动态范围进行激光光斑检测第三章c c d 测量动态范围