（光学工程专业论文）基于空间光调制器的大动态范围图像采集系统研究.pdf

浙江大学博士学位论文 基于空间光调制器的大动态范围图像采集系统研究 摘要 图像信息技术是信息领域包含信息量最大最重要的分支之一，在许多重要的应用领 域，固体图像传感器的动态范围起着至关重要的作用，所以扩展固体传感器的动态范围 是获取更多图像信息的重要手段之一。 本课题研究一种大动态范围的成像( h d r i ) 技术，它采用空间光调制器和固体图 像传感器相结合，根据固体图像传感器的输出信号调节空间光调制器的调制深度，组成 一个负反馈闭环控制系统，达到扩展固体成像器件动态范围的目的。论文的主要工作有： ( 1 ) 总结分析了现有扩展固体图像传感器动态范围扩展的基础上，提出了基于空 间光调制器( u 功s ) 扩展固体图像传感器动态范围的方法，并设计完成了实验系统。现 有系统可将原图像传感器的动态范围扩展4 2 3 d b 。 ( 2 ) 对系统的反馈过程进行分析及数学描述后，确定了系统反馈的初始条件、稳 定反馈的条件和无灰度倒置条件。通过实验及理论计算，设计了鲁棒p i d 控制器，获得 了较好的实验结果；研究了直接反馈控制的可行性，通过数值计算发现在一定反馈深度 范围内，直接反馈可以使输出图像达到收敛。 ( 3 ) 讨论了h d r i 系统中莫尔条纹的产生以及消除系统中莫尔条纹的方法。分别 使用基于快速傅立叶变换的切口滤波器的方法、模板插值法和柔化法来消除莫尔条纹， 达到了目的。 ( 4 ) 提出基于硬件系统c l u t 表的自适应调整成像对比度方法和基于液晶调制电 压自适应调整成像对比度的方法，提高了h d r i 系统输出图像的质量。 ( 5 ) 分析了系统脱机的可能性后，根据h d r i 系统需求及f p g a 的特点，设计了 系统脱机方案，并对方案中各个模块进行了规划。设计了f p g a 的嵌入式程序，分析了 f p g a 的工作时序。 关键词：动态范围：图像传感器；空间光调制器；反馈方法； 浙江大学博卜学位论文 s t u d i e so nt h eh i g hd y n a m i cr a n g ei m a g i n gs y s t e mb a s e do n s p a t i a ll i g h tm o d u l a t o r a b s t r a c t i m a g ei n f o r m a t i o ni so n eo ft h ei n f o r m a t i o nt e c h n o l o g yb r a n c h e sw h i c hi n c l u d et h em o s t p a r to fi n f o r m a t i o nf i e l d i nm a n yi m p o r t a n ta p p l i c a t i o n s ，t h ed y n a m i cr a n g eo fs o l i d - s t a t e i m a g i n gs e n s o r s i sc r i t i c a l a sar e s u l t ，t h ee x t e n s i o no fd y n a m i c r a n g eo fs o l i d - s t a t ei m a g i n g s e n s o r si so n eo ft h ek e ym e t h o d st oe x t r a c tm o r ei n f o r m a t i o nf r o mi m a g i n g t h i sp r o j e c td e v e l o p e dah i g hd y n a m i cr a n g ei m a g i n g ( h d r i ) s y s t e mb a s e do ns p a t i a l l i g h tm o d u l a t o ra n ds o l i d - s t a t ei m a g i n gs e n s o r s t h ed e p t ho fm o d u l a t i o no fs p a t i a ll i g h t m o d u l a t o ri sd e t e r m i n e db yt h eo u t p u to fs o l i d - s t a t ei m a g i n gs e n s o r s h e n c e ，an e g a t i v e l o o p c o n t r o ls y s t e mi sc o n s t i t u t e dt oe x t e n dt h ed y n a m i cr a n g eo fs o l i d - s t a t es e n s o r s t h i st h e s i s i n c l u d e st h ef o l l o w i n gp a r t s ： ( 1 ) a no v e r v i e wo fc u r r e n tt e c h n o l o g i e sf o rt h ee n h a n c e m e n to fd y n a m i cr a n g eo f s o l i d - s t a t ei m a g i n gs e n s o r s an e wm e t h o db a s e do nl c o s s p a t i a ll i g h tm o d u l a t o ri s d e v e l o p e da n dt h ee x p e r i m e n t a ls y s t e mi sd e s i g n e d t h ee x p e c t a t i o no fd y n a m i cr a n g eo f s o l i d - s t a t ei m a g i n gs e n s o r se x t e n s i o ni s4 2 3 d b ( 2 ) t h en e g a t i v e l o o pf e e d b a c kc o n t r o li sa n a l y z e da n df o r m u l a t e d t h ei n i t i a l c o n d i t i o n s ，s t a b i l i t yc o n d i t i o n sa n d ( n o n g r a yi n v e r s i o n ) c o n d i t i o n so ff e e d b a c ks y s t e ma x e d e t e r m i n e d r o b u s tp i dc o n t r o l l e ri sd e s i g n e d t h ef e a s i b i l i t yo fd i r e c tf e e d b a c kc o n t r o li s s t u d i e dw i t hs i m u l a t i o n t h er a n g eo ff e e d b a c kd e p t hi sd i s c o v e r e df o rt h ec o n v e r g e n c eo f o u t p u ti m a g e s ( 3 ) t h ea p p e a r a n c eo fm o i r ef r i n g e si sd e s c r i b e da n da n a l y z e d t h em e t h o dt oe l i m i n a t e m o i r ef r i n g e si sa c h i e v e db yt h r e em e t h o d s ：f a s tf o u r i e rt r a n s f o r m a t i o n ( f f d ，i n t e r p o l a t i o n ， a n ds m o o t h ( 4 ) t w oc o n t r a s ta d j u s t m e n t sm e t h o d s ：b a s e do na d a p t i v ec l u t t a b l ea n db a s e do n a d a p t i v el c o sd r i v e rv o l t a g ea d j u s t m e n td e s i g n e dt oi m p r o v eh d r io u t p u t i i i 浙江人学博 ：学位论文 ( 5 ) w i t h t h ea n a l y s i so ft h ep o s s i b i l i t yo fo f f - l i n eo p e r a t i o n ，a c c o r d i n gt oh d r ia n d f p g a , o f f - l i n eo p e r a t i o nm e t h o di sd e s i g n e d e m b e d d e df p g a p r o g r a mi sd e v e l o p e da n d t i m es e q u e n c ei sa n a l y z e d k e y w o r d s ：d y n a m i cr a n g e ；i m a g i n gs e n s o r s ；s p a t i a ll i g h tm o d u l a t o r ；f e e d b a c kc o n t r o l i v 浙江大学博j j 学位论文 第一章绪论 1 1 图像获取技术的发展 图像信息技术是信息领域包含信息量最大最重要的分支之一，图像信息的记录 技术发展经历了漫长的阶段。 在宋代沈括( 1 0 3 1 至1 0 9 5 年) 所著的梦溪笔谈一书中，详细叙述了“小 孔成像匣”的原理【。1 6 世纪文艺复兴时期，欧洲出现了供绘画用的“成像暗箱 ， 可以称为照相机的雏形。1 8 世纪初中期，人们发现了感光材料，特别是达孟尔发现 的感光材料碘化银，给照相机的问世注入极有效的催产剂。于是，在“摄影暗箱 上装上达孟尔的银版感光片，就诞生了人类历史上第一架真正的照相机。一般，称 这种使用胶片来记录图像信息的技术为传统摄影技术【2 1 。1 9 4 6 年，兰德和宝利金发 明了新型照相机，这种照相机可以“一次成像 。具体地说，拍摄以后，只需要短 短的几十秒钟时间，一张照片就会从照相机内慢慢地“吐 出来。这种使用胶片来 记录图像信息的技术一般被称为传统摄影技术【3 】。 6 0 年代后期，随着半导体集成电路技术，特别是m o s 集成电路工艺的成熟， 各种固体图像传感器得到迅速发展。1 9 6 9 年，美国贝尔实验室发明了c c d ( c h a r g e c o u p l e dd e v i c e ) 。电荷耦合器件c c d 是7 0 年代发展起来的新型半导体器件，它 是在m o s 集成电路技术基础上发展起来的。由于它具有光电转换，信息存储和延 时等功能，而且集成度高，功耗较小，故在固体图像传感、信息存储和处理等方面 得到了广泛的应用【引。1 9 7 5 年，在美国纽约罗彻斯特的柯达实验室中，一个孩子与 小狗的黑自图像被c c d 传感器所获取，记录在盒式音频磁带上，这是世界上第一 台数码相机获取的第一张数码照片。c c d 图像传感器件是由大量独立的感光二极管 组成，一般这些感光二极管按照矩阵形式排列，目前大多数数码相机采用的图像传 感器都是c c d l 5 1 。当然，c c d 也有一些缺点：c c d 光敏单元阵列难与驱动电路及 信号处理电路单片集成，不易处理一些模拟与数字功能，这些功能包括：a d 转换 器、精密放大器、存储器、运算单元等元件的功能。c c d 阵列驱动脉冲复杂，需要 使用相对高的工作电压【6 】【7 】。 c m o s 技术到现在已发展了数十年，c p u 和内存便是由c m o s 组成。直到1 9 9 8 浙江大学博 ：学位论文 年它才被用于制作图像传感器【8 】【9 1 。出于两种不同的原因促进了c m o s 图像传感器 的发展，一是在价格成为决定因素时，需要一种价格低廉、成像质量良好的图像传 感器；二是n a s a 需要一种超小型、低功耗的成像系统作为新一代宇宙探测器的配 置【n 1 3 1 。正是上述动机使c m o s 图像传感器具备以下优点：集成度高，可将图像传 感器阵列、驱动和控制电路、信号处理电路、a d 转换电路、全数字接口电路等集 成在一起，可实现单芯片成像系统；工作电压低，功耗小；更低的系统代价。c m o s 的优点是结构比c c d 简单，耗电量只有普通c c d 的1 3 左右，而且制造成本比c c d 要低i 体1 6 1 。自从佳能公司在专业数码单反相机e o sd 3 0 中采用了c m o s 以来，已 经有越来越多的数码单反相机使用它，目前数码单反相机中几乎有一半采用c m o s 作为图像传感器。这种使用电子器件来记录图像信息的技术一般被称为数码摄影技 术。 数码摄影技术和传统相机的最大区别就是其使用c c d 或c m o s 等固体图像 传感器作为图像的记录器件，取代了传统照相机成像物镜焦平面上的胶片，被摄图 像被c c d c m o s 面阵上各感光单元像素所记录，通过对像素阵列上电荷的扫 描读取、信号放大和a d 转换，得到用像素矩阵描述的数字图像。 1 2 图像的动态范围 在许多重要的应用领域，固体图像传感器( c c d c m o s ) 的动态范围起着至关 重要的作用，动态范围越大，可探测的照度范围越宽，产生的图像细节越丰富【1 7 1 1 8 】。 从光能接收的角度出发，c c d c m o s 图像探测传感器的动态范围d r 可以使用 对数函数定义为： d r 乾。甙净 m d 也可以使用比例函数定义为： d r ；i v ( 1 2 ) ，i i l i n 其中，一和，晌为可以被c c d c m o s 线性检测到的入射光的最大和最小光 强，其单位为流明( 1 m ) 【1 9 】【2 0 1 。 浙江人学博 ：学位论文 关于动态范围，可以用图( i - i ) 来表示。这是一个1 英寸规格2 0 0 万像素的 c c d 传感器【2 1 】，其饱和信号电荷大约在5 0 0 ，0 0 0 个电子，总噪声大约3 0 个电子， 因此可以得到其动态范围为8 4 d b 。 王伊 王0 5 王 1 0 a 1 0 2 王o o k2 0 0 k5 0 0 k王瑟2 m n u m b e ro fp i x e l s 图1 1c c d 器件动态范围示意图 f i g i - id y n a m i cr a n g eo fc c d 在医学影像诊断( c t 、m r i 等) 中，要能准确获得图像的亮度和对比度信息， c c d 的动态范围必须高达2 1 2 甚至2 1 6 1 2 2 1 ；在生物分子成像如彗星试验中，图像的动 态范围可高达2 2 0 以上【2 3 】；在日常摄影中，阳光下景物的动态范围应达2 1 6 以上【2 4 1 。 人眼的动态范围依赖于视网膜感光细胞的感光能力，一般为3 x 1 0 5 。而目前昂 贵的科学级c c d 常温下的动态范围仅为2 1 2 左右，在冷却条件下，其动态范围也只 能扩展至2 1 4 一- 2 1 6 ，但其成本却大大增加。普通型c c d 和c m o s 图像传感器的动态 范围就更小了，仅为2 8 2 1 0 。因此，在大动态范围成像要求的领域，为了获取真实、 准确的图像信息，国内外学者进行了许多动态范围扩展技术的研究。 3 譬okood篮铀。钿警。篷l_艺 浙江大学博士学位论文 1 3 图像动态范围扩展的方法 1 3 1 图像动态范围的硬件扩展 对于数码相机而言，其获得的图像动态范围首先是由接收器件c c d j f c m o s 来 决定。就目前的制造工艺而言，固体图像传感器的动态范围受制于器件的电荷存储 能力、信号处理能力和噪声电平【2 5 1 【2 6 1 。通常使用致冷来降低固体图像传感器的工作 温度，从而降低噪声电平来提高其动态范围【2 7 1 。但这种方法对于动态范围的提高有 限，并且在一些有特殊要求的情况下温度控制是不可行的【捌。 英国牛津大学o t i m 等人将c m o s 图像传感器每个像元的输出电压进行对数编 码，使光电流电压转换呈对数关系，以压缩成像器件的转换曲线，可以获得比较大 的动态范围1 2 9 1 。天津大学徐江涛等人提出了一种新型的双采样结构大动态范围 c m o s 图像传感器的像素阵列结构。该结构如图1 2 所示，可对信号进行两次采样， 两次采样场景信息组合可以大幅度地提高动态范围到与场景动态范围相持平 3 0 - 3 引。 等 图1 - - 2 新型双采样结构大动态范围c m o s 图像传感器像素阵列示意图 f i g 1 - 2n e wd o u b l es a m p l es t r u c t u r eo fh i g nd y n a m i cr a n g ec m o si m a g es e n s o ra r r a y 日本富士公司k u b o 等人将每个c c d 像元都设计成一对差分光敏二极管结构 ( 如图1 3 所示) ，以获得大动态范围图像【3 4 1 ，通常被称作超级c c d 技术。这几种 通过改变像素结构来提高图像动态范围的方法都具有结构复杂、成本高的缺点，给 提高图像分辨率带来了很大的难度【3 5 。3 9 1 。 4 浙江大学博士学位论文 图1 3 超级c c d 像素结构 f i g 1 - 3s u p e rc c d p i x e la r r a y 1 3 2 图像动态范围的软件扩展 由于硬件扩展固体图像传感器在技术上具有局限性，开发成本高，所以很多的 研究人员将工作重点放在了软件算法的扩展上。 美国圣玛利亚大学r o b e r t s o n 等人研究采用c c d 图像传感器多次曝光方法获得 大动态范围图像，每次曝光c c d 像元阵列的积分时间长短不同。从理论上说，短 积分时间采样的图像在阱饱和前捕获了高照度区域，长积分时间采样的图像在足够 的积分时间后，捕获了低照度区域，因此所采样的多幅图像可组合成一幅大动态范 围的图像。且曝光次数越多，信号变化范围越均匀，动态范围越大i 删。 美国s a r n o r f f 公司视觉科技实验室的l u c ab o g o n i 曾使用“l a p l a c e 金字塔算 法 来提高黑白和彩色图像的动态范围，通过模式识别将不同光圈快门下得到的图 像合成一幅具有大动态范围的新图像1 4 1 1 。 浙江大学何烽等人也研究基于数字图像合成的扩展动态范围技术，分别采用线 型和非线性方法进行研究。对相同景物二次不同曝光图像进行软件合成，并且使用 图像质量评价体系对所得的结果进行了量化评价，获取了大动态范围图像【4 2 4 3 1 。 此时图像组合( 非线性或级连) 处理需在外部计算机上执行，算法复杂，实时 性差，不适合嵌入式应用要求【4 4 4 7 】。同时，由于高亮度区域在高曝光量情况下呈现 5 浙江大学博卜学位论文 完全饱和状态，所以多次曝光后的合成结果无法真实反映高亮度区域图像细节的情 况。 1 3 3 基于空间光调制器的图像动态范围扩展 通常把能在时间变化的电驱动信号或其他信号的控制下，改变空间上光分布的 振幅或强度、相位、偏振态以及波长，或者把非相干光转化成相干光的器件称作空 间光调制器。 常见的空间光调制器主要有： 液晶空间光调制器。例如：液晶光阀( l c l v ，l i q u i dc r y s t a ll i g h tv a l u e ) 【耜1 ， 铁电液晶空间光调制器( f l c s l m ，f e r r o e l e t r i cl i q u i dc r y s t a ll i g h tm o d u l a t o r ) 4 9 1 ， 液晶显示器( l c d ，l i q u i dc r y s t a ld i s p l a y ) ，薄膜晶体管液晶显示器( t f t - l c d ， n i n f i l mt r a n s i s t o rl i q u i dc r y s t a ld i s p l a y ) s o l ， 硅基液晶( l c o s ，l i q u i dc r y s t a lo n s i l i c o n ) 。 微通道板空间光调制器( m s l m ，m i c r oc h a n n e ls p a t i a ll i g h tm o d u l a t o r ) 。 光折变空间光调制器( p h o t o r e f r a c t i v es p a t i a ll i g h tm o d u l a t o r ) 。 变形反射镜空间光调制器( d m d s ，d e f o r m a b l em i r r o rd e v i c e s ) 。 其中，液晶空间光调制器和变形反射镜空间光调制器已经被广泛的应用电视 机、显示器、投影仪等民用产品的生产制造中。 美国哥伦比亚大学计算机科学系的s h r e ekn a y a r 使用空间光调制器进行了自 适应扩展图像传感器动态范围的研究，制作了如图1 4 所示的实验系统【5 1 】。 6 m 江 学博1 论i i _ ( de e c t r 1 1 1 l f 】c da t h , l ! u a t n r 图1 4 美国哥伦比亚人学使川的白适应动态范围扩腱装置 f i g1 4 a d a p t i v e h i g h d y n a m i c r a n g e i m a g es y s t e mo f c o l o m b i a u n i v e r s i t y 该实验系统主要由液晶空间光调制器( l c d ) 、成像镜头和固体图像传感器组 成，目标图像经过l c d 自适应衰减后，由成像镜头将衰减后的图像成像于c c d 的 感光面上。图像的采集和l c d 衰减的信号源均由计算机来完成，该实验系统取得了 如图1 5 所示的结果。 罔1 5 - h n a y a r 对拿着有字白纸的个人这个目标场景进行了动态范罔扩展 的实验，左列是未打展动态范围的场景图像，中问一列足进行动态范围扩展后的场 强图像，右列是l c d 的衰减图像。 m f 学博i 论z e m 、e n t k n a ic aj l l l | i a c a m e r a w i t h a d a p t i v ef r az n n d l t a n c e ：u n c t i o n ( w i t h o u ta i ) r ) d y n a m i cr a n g e ( a d r ) ( l c di n p u t ) 图15 对一张高亮度白纸进行的实验结果 f i g1 - 5 t h e r e s u lo f l i g h ip a p e ； 1 4 论文的立项依据、研究内容 如自h 所述，无论在fl 常生活还是在科学研究采集图像信息的过程c ，都希望获 得更多的图像信息，而现有同体传感器的动态范围并不能满足需求。扩展同体传感 回口口口口图一恻口图囵圈圈 浙江人学博上学位论文 器的动态范围是获取更多图像信息的重要手段之一【5 2 】。在1 - 3 中，介绍了现有扩 展固体图像传感器的几种方法，一是对传感器本身硬件进行重新设计和优化，但复 杂的设计带来了高昂的开发和生产成本，以及复杂的制造工艺，给提高图像传感器 的分辨率带来了困难；二是使用多次曝光后软件合成来获得大动态范围图像，这两 种方法的主要缺点在于：算法复杂，实时性差，依赖外部计算机，不适合应用于嵌 入式系统。 1 3 3 所述之方法不失为一种较为经济实用的扩展图像传感器动态范围的方法， 但该方法取得的实验结果存在比较大的缺陷，主要体现在：( 1 ) 获得的图像存在灰 度倒置。如被衰减的白纸区域，尽管可以看出白纸上打印的字，但白纸的灰度变的 不均匀，而且在实际目标中自纸的亮度要比背景高，在该结果中却比部分背景低， 出现了灰度倒置，从而采集的图像亮度信息失真。( 2 ) 系统为非实时反馈。观察图 1 5 的中间列和右边列，右边列所示的反馈区域与中间列的获取图像并不能完全对 应，以第二行图像最为明显。( 3 ) 反馈算法具有缺陷。如图中圆圈所示饱和点，在 整个过程中并未获得任何反馈，一直处于饱和状态。 为解决上述问题，本项目研究一种大动态范围的成像技术。它采用空间光调制 器和固体图像传感器相结合，根据固体图像传感器的输出信号调节空间光调制器的 调制深度，这样组成一个负反馈闭环控制系统，负反馈控制既可以由计算机实现， 也可以由高速信号处理器件实现。 本论文研究一种基于空间光调制器的、高分辨率的、智能的大动态范围图像 ( h i g hd y n a m i cr a n g ei m a g e ，h d r i ) 采集技术及其系统。空间光调制器根据固体图 像传感器的输出信号由反馈控制系统自动调节空间光调制器的反馈，使系统获得大 动态范围高分辨率的图像。掌握使用空间光调制器来扩展固体图像传感器动态范围 的高分辨率成像技术，该技术能够根据目标像素的亮度及其与周围像素的关系进行 智能反馈，自动调节成像系统中空间光调制器对应像素或区域的透射率或反射率， 实现大动态范围图像采集的系统；研究莫尔条纹处理技术，消除空间光调制器件与 固体图像传感器两种阵列器件在空间叠加时产生的莫尔条纹，达到提高图像质量的 目的；研究自适应提高输出图像对比的方法，使系统输出的图像质量有所提高。 论文的研究内容包括： ( 1 ) 研究获取大动态范围图像反馈算法，解决反馈后灰度倒置使信息失真的 9 浙江大学博j ：学位论文 问题。 ( 2 ) 智能反馈算法的速度及稳定性的研究。 ( 3 ) 空间光调制器c l u t 表曲线的调整方法及其对成像结果影响的研究。 ( 4 ) 消除空间光调制器与固体图像传感器两种阵列器件在空间叠加时产生的 莫尔条纹对系统成像质量的影响。 针对以上研究内容，论文取得以下创新性进展： ( 1 ) 设计研制了基于反射式液晶微显示器( l c o s ) 的自适应动态范围扩展装 置，并在该装置上进行实验，取得了实验结果。 ( 2 ) 研究并确定了获取大动态范围图像系统反馈的初始条件、稳定反馈的条 件和无灰度倒置的条件。 ( 3 ) 设计实现了基于鲁棒p i d 控制器的h d r i 系统，实现了图像大动态范围、 稳定且无灰度倒置的输出。实现了无反馈算法的直接反馈方法，实现了图像快速、 稳定输出既无灰度倒置，又不损失系统的动态范围。 ( 4 ) 对消除系统中莫尔条纹的方法进行研究，提出了三种解决方案。 ( 5 ) 研究了提高h d r i 系统输出图像对比度的方法。提出了使用基于硬件 c l u t 表和液晶调制电压的两种自适应调节方法，提高了系统的图像输出质量。 1 5 论文的总体结构 第一章，首先介绍了论文的研究背景，理论依据，包括图像获取技术的发展， 图像动态范围的概念，动态范围扩展技术目前的研究状况及存在的问题，特别针对 使用空间光调制器的动态范围扩展技术进行了分析，并在此基础上介绍了论文的主 要研究方向。 第二章，介绍了本论文所采用的h d r i 系统，在初次采集实验后，分析了系统 反馈原理，确定了系统反馈的初始条件、稳定反馈条件及灰度无倒置条件。根据系 统反馈的条件及初步实验结果，设计实现了鲁棒p i d 控制和直接反馈控制两种方法。 介绍了鲁棒p i d 控制器的模型，并在此基础上进行了p i d 参数的整定及简化，得到 了实验结果，并对系统的响应速度、稳定时间和可扩展的动态范围大小进行了分析 和测试；研究了直接反馈控制的方法，通过数值计算，获得了直接反馈的稳定区间； 1 0 浙江大学博士学位论文 设计l c o s 动态范围测试系统，并使用系统获得了h d r i 系统可扩展c m o s 图像传 感器动态范围的值。 第三章，介绍了由于h d r i 系统中采用的图像传感器及空间光调制器均为阵列 器件所产生的莫尔条纹对图像质量有很大影响。通过使用多点高斯滤波器法、差值 法以及光学柔化法来减小莫尔条纹对图像质量的影响，取得实验结果后分析了柔化 法对于h d r i 系统动态范围扩展的影响。 第四章，介绍了提高h d r i 系统输出图像质量的研究。提高图像质量主要依靠 对直方图评价后，对直方图采用均衡的方法来实现的。介绍了空间光调制器的驱动 芯片具有多条c l u t 表存储功能，对寄存器进行设置可以在多条预设的c l u t 表之 间进行切换，从而进行自适应对比度调节；介绍了空间光调制器调制电压对其光电 曲线的影响，设计了基于空间光调制器调制电压进行自适应对比度调节的方法。 第五章，分析了系统脱机的可行性，选择f p g a 做为脱机系统的主控芯片，设 计了脱机系统的工作方案。对f p g a 各个模块进行分别编程模拟，并将控制算法和 调节算法嵌入f p g a 中进行了设计。 第六章，总结论文的主要工作，取得的进展及今后的工作方向。 浙江大学博：i ：学位论文 2 1 1 系统组成 第二章h d r i 系统控制器的研究 2 1h d r i 系统介绍 h d r i 系统如图2 1 所示，包括l 1 成像光学系统、分光系统、l 2 成像光学系统、 c m o s 图像传感器、图像信号处理单元、图像信号存储单元、空间光调制器( l c o s ) 和 显示单元，分光系统设置在l 1 成像光学系统与空间光调制器之间的光路上，l 2 成像光 学系统位于图2 1 空间光调制器与c m o s 图像传感器的物像共轭光路之间，c m o s 图 像传感器的输出端与图像信号处理单元的输入端连接，图像信号处理单元的控制信号输 出端与空间光调制器的输入端相连，图像信号处理单元的图像数据和参数输出端与图像 信号存储单元的输入端相连，图像信号处理单元的显示信号输出端与显示单元的输入端 相连，空间光调制器的输出端与图像显示器件的输入端相连。 3 。pl i g h t 图2 1h d r i 系统组成 1 、l 1 成像光学系统2 、p b s3 、空间光调制器( l c o s ) 4 、l 2 成像光学系统5 、c m o s 图像传感器6 、图像信号处理单元 7 、图像信号储存单元8 、显示单元 1 3 浙江人学博十：学位论文 f i g 2 - 1b u i l d u po fh d r is y s t e m 1 、l 1i m a g es y s t e m2 、p b s3 、s p a t i a ll i g h tm o d u l a t o r ( l c o s ) 4 、l 2i m a g es y s t e m5 、c m o si m a g es e n s o r6 、i m a g ep r o c e s s i n gu n i t 7 、i m a g es t o r a g eu n i t8 、d i s p l a yu n i t 2 1 2 系统工作过程 本系统的工作过程如下：物平面上的目标经l 1 成像光学系统成像至空间光调制器 的工作面上，位于l 1 成像光学系统与空间光调制器( l c o s ) 光路之间的分光系统，用 来分离入射到空间光调制器( u 功s ) 的光线和入射到c m o s 图像传感器的光线。空间 光调制器( l c o s ) 工作面上的图像再经l 2 成像光学系统成像于c m o s 图像传感器的工 作面，c m o s 图像传感器将其工作面上的光信号转换为电信号，并输出到图像信号处理 单元，由图像信号处理单元对c m o s 图像传感器输出的图像进行分析判断，计算c m o s 图像传感器与空间光调制器( l c o s ) 的像素位置对应关系，并将判断信息及计算结果输 出给空间光调制器( l c o s ) ，进行调制。因此，固体图像传感器每个像素的输出信号与 空间光调制器( u s ) 相应像素的反射率构成了一个负反馈闭环控制系统，负反馈控制 由图像信号处理单元与空间光调制器( l c o s ) 共同实现，可智能化、自适应地调节成像 系统的动态范围。 图2 2h d r l 系统工作状态机 f i g s t a t u sm a c h i n eo fi - i d r is y s t e m 在系统工作的起始阶段，所有空间光调制器( l c o s ) 像素的反射率保持一致，c m o s 图像传感器获得目标物图像后，由图像信号处理单元输出反馈信号给空间光调制器 ( l c o s ) ，完成第一次反馈：反馈图像输出至空间光调制器( l c o s ) 后，对l 1 成像光 学系统成像于其工作面的目标物进行了调制，使得成像于c m o s 图像传感器工作面的图 像光强产生变化，完成第二次反馈；由于空间光调制器( l c o s ) 对目标图像进行了调制， 1 4 浙江大学博士学位论文 扩展了系统的动态范围，使更多的景物细节可以为c m o s 图像传感器所获取，原有的反 馈图像不能满足系统需求，需要进行再次的反馈；经过多次反馈后，系统达到平衡状态。 空间光调制器( l c o s ) 的分辨率与c m o s 图像传感器的分辨率不相同时，图像信 号处理单元需计算得到的c m o s 图像传感器与空间光调制器( l c o s ) 的像素位置对应 关系为比例对应关系，以使反馈图像与目标图像重叠，避免出现错位反馈。 2 1 3l c o s 空间光调制器 l c o s 是一种新型的基于液晶技术的微型显示器件，相比于t f t - - l c d 技术，其特 点是采用反射式结构，具有分辨率高、阻挡光源的强热不易灼伤、光源利用率高、亮度 高、响应速度快、对比度高、图像细腻和像素开口率高等优点，而且器件直接制作在硅 片上，有利于提高芯片本身的集成度【5 3 删。近些年来，l c o s 技术已渐渐成熟，成品率 也在不断提高之中，被广泛地应用于背投电视的生产中，比如j v c 公司出品的光硅晶电 视，就是使用三片式结构的l c o s 微显示器【6 1 1 ；浙江金成科技发展公司与国家光学仪器 工程技术研究中心合作，使用单片式结构，将l c o s 微显示器用于数码彩扩机的光学引 擎中，成功研发出新一代彩扩机的数码转化器，取得了良好的市场业绩【6 2 1 。 l c o s 的工作原理如图2 3 所示： l i g h ts o u r c e p b sl c o s ( a ) o n s t a t e l i g h ts o u r c e o f fs t a t e l c o s 图2 - - 3l c o s 工作原理 f i g 2 - 3p r i n c i p l eo fl c o s 入射光经过p b s 起偏后的偏振态( 相对于p b s 器件) 为s 态。暗态时，l c o s 器件 对入射光的偏振态没有调制作用，出射光返回p b s 时再次被反射，光线不能在被调制后 出射至像面；而亮态时，入射光在l c o s 器件的调制下，由s 态偏振光转变为p 偏振光， 因而出射光返回p b s 时发生透射，光线得到调制而到达像面；而根据调制深度的不同， 1 s 浙江火学博l ：学位论文 到达像面的光能也不同，从而产生了灰度图像。 系统选用的l c o s 是美国a u r o r as y s t e m ，i n c 公司出品的a s l 5 0 0 1 型l c o s ，其器 件参数为： ( 1 ) 分辨率：1 2 8 0 x 7 6 8 ( 有效像素) ( 2 ) 屏幕对角线尺寸：0 7 英寸( 1 7 7 8 m m ) ( 3 ) 像素大小：1 2 微米 ( 4 ) 有效面积：1 5 4 x 9 2 m m ( 5 ) 屏幕刷新频率：6 0 h z ( 6 ) 理想动态范围：3 0 0 0 ：1 图像信号由计算机输出至l c o s 驱动电路板的d v i 接口，经过解码器处理后得到标 准图像信号，包括同步信号以及图像数据信号。标准图像信号由l c o s 驱动芯片使用乒 乓方式进行处理，输出至l ( 乃s 工作面进行显示。该驱动系统中，使用单片机串行口与 计算机进行通讯，单片机使用加口模拟i i c 总线对l c o s 驱动芯片的初始化及控制。该 系统框图如图2 4 所示： 图2 4l c o s 驱动电路板原理框图 f i g 2 - 4p r i n c i p l eo fl c o sd r i v e rb o a r d 图2 5 是为本实验系统设计的l c o s 驱动电路实物照片： 该驱动电路具有以下功能： 1 6 浙人学博学怔论文 ( 1 ) 图像信号通过d v i 传输，实时显示； ( 2 ) 町通过串口对图像各参数进行实时调节。例如：图像的黑甲衡、白平衡，图 像c l u t 表的切换等； ( 3 ) 具有四组八位图像c l u t 表预存储功能； ( 4 ) 自动图像伽马线反向功能它可将输入图像自动执行倒置满足 d a t a = 2 5 5 一d a t a ： 图2 5l c o s 驱动电路板实物烈片 f i g2 - 5l c o s d r i v e r b o a r d 2 1 4c m o s 图像传感器 c m o s 图像传感器一般由光敏像元阵列、行选通逻辑、列选通逻辑、定时和控制电 路，在片模拟信号处理器( a p s ) 【”6 5 l 构成，数宁式c m o s 图像传感器还集成有片内模 ，数转换器( a d c ) ，可以分成芯片级a d c 【】、列级a d 0 6 9 - 7 3 1 和像素级a d c l 7 7 9 1 。 c m o s 图像传感器主要有光敏二极管型【舯】和光栅型川两种，其他特殊结构类型还 包括对数传输型、钉扎光敏二二极管型、浮栅放大器型等。行选通逻辑和列选通逻辑可| 三i 是移位寄存器也可“是译码器。定时和控制电路决定信号的读出模式、设置积分时间、 控制数据输出速率等。片内模拟信号处理器完成信号积分、放大、取样和保持、相关双 取样、双a 取样等功能。片内模拟数字转换器是片内数字成像系统所必需的，c m o s 圈 浙江火学博十学位论文 像传感器可以是整个成像阵列有一个a d c 或几个a d c ( 每种一个颜色) ，也可以是成像 阵列每列各有一个a d c 。c m o s 图像传感器的图像信号除了有整个阵列逐行扫描读出的 普通模式外，还包括窗口读出模式仅读出感兴趣窗口内像素的图像信息、跳跃读出模式 每隔一个( 或两个或更多) 像素读出图像信号等方式。 r e a d o u tc o n t r o l 图2 6c m o s 图像传感器示意图 f i g p r i n c i p l eo fc m o si m a g es e n s o r 系统中使用的固体图像传感器是o m n i v i s i o n 公司出品的o v 9 1 2 1 型c m o s 固体图 像传感器，其技术指标如表2 1 所示1 8 2 1 ： 表2 1c m o s 图像传感器的技术参数 t a b 2 - 1p a r a m e t e ro fc m o si m a g es e n s o r 1 8 浙江大学博士学位论文 a r r a ye l e m e n t ( s x g a ) 1 2 8 饭1 0 2 4 ( v g a ) 6 4 0 x 4 8 0 p i x e ls i z e 5 。2 p m 5 2 i m i m a g ea r e a 6 6 6 m mx5 3 2 m m l e n ss i 7 e 1 ，2 ” o u t p u t l o - b i td i g i t a lr g br a wd a t a m a xf r a m e s l s e c s x g a ) 1 5 f p s ( v g a ) 3 0 f p s e l e c t r o n i c se x p o s u r e ( s x g a ) u p t o1 0 5 0 ：1 ( v g a u p t o5 0 0 ：1 s c a nm o d ep r o g r e s s i v e g a m m ac o r r e c t i o n n ，a s e n s i t i v i t y 1 v i l u x - s e c ( b n v ) s nr a t i o 5 4d b f p n0 。0 3 v 胂 d a r kc u r r e n t2 8 m v s d y n a mi cr a n g e 6 0d b ( d u et oa d cl i m i t a t i o n s p o w e r s u p p l y 3 。3 v d ca n d2 5 v d c ( + 厶5 ) p o w e rr e q u i r e m e n t s 5 0 m aa c t i v e 1 0 t l as t a n d b y p a c k a g e 4 8p i nl c c c m o s 图像传感器通过c y p r e s s 的u s b 接e l 芯片c y 6 8 0 1 3 将其输出的并行