（电子科学与技术专业论文）高分辨率cmos成像系统研制.pdf

d e v e l o p m e n to fh i g h r e s o l u t i o nc m o si m a g i n gs y s t e m at h e s i ss u b m i t t e dt o d a l i a nm a r i t i m eu n i v e r s i t y i np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t sf o r t h ed e g r e eo f m a s t e r0 fe n g i n e e r i n g b y c h e n g j i n l i e l e c t r o n i cs c i e n c ea n dt e c h n o l o g y t h e s i ss u p e r v i s o r ：p r o f e s s o rx uw e n h a i j u n e2 0 1 1 大连海事大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果， 撰写成博硕士学位论文 = =直分趁奎g 丛q 墨盛速丕统婴剑= = 。除论文中已经 注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均已在文中以明 确方式标明。本论文中不包含任何未加明确注明的其他个人或集体已经公开发表 或未公开发表的成果。本声明的法律责任由本人承担。 学位论文作者签名：j 邈 学位论文版权使用授权书 本学位论文作者及指导教师完全了解大连海事大学有关保留、使用研究生学 位论文的规定，即：大连海事大学有权保留并向国家有关部门或机构送交学位论 文的复印件和电子版，允许论文被查阅和借阅。本人授权大连海事大学可以将本 学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫 描等复制手段保存和汇编学位论文。同意将本学位论文收录到中国优秀博硕士 学位论文全文数据库( 中国学术期刊( 光盘版) 电子杂志社) 、中国学位论文全 文数据库( 中国科学技术信息研究所) 等数据库中，并以电子出版物形式出版发 行和提供信息服务。保密的论文在解密后遵守此规定。 本学位论文属于：保密口在年解密后适用本授权书。 不保密口( 请在以上方框内打“) 论文作者虢獬翘导师躲 诈傀 日期：伽f f 年7 月f 日 摘要 c m o s 图像传感器近年来发展迅速，无论是性能的大幅提高带来的赶超c c d 图像传感器的趋势，还是一直保持的低功耗、高集成度、高成品率的优点为产品 设计带来的便捷，都使得c m o s 图像传感器在成像系统应用领域得到越来越广泛 的应用。本课题研制了基于c m o s 图像传感器的高分辨率成像系统，以实现对水 下遇险目标以及周边环境的高清晰观测，是国家科技支撑计划课题“海上遇险目 标快速接近技术的一部分。“海上遇险目标快速接近技术 课题组采用声学与光 学技术相结合的方法搜寻水下遇险目标，其中光学成像技术就是本系统采用的基 于c m o s 图像传感器的高分辨率成像技术。 本课题完成了c m o s 高分辨率成像系统的研制，实现水下高清晰成像，并提 供了用户感兴趣区域提取的功能。该成像系统分为上位机和下位机两个部分：上 位机在p c 机上以v c + + 作为开发平台，提供人机交互界面，对成像系统进行工作 模式设定和动作控制，并对图像数据进行简单的处理和存储；下位机通过r s 4 2 2 接口接收上位机的控制命令，以f p g a 为控制核心，以i s e8 2 为开发平台，为 c m o s 芯片和a d 芯片提供驱动，并对图像进行缓存、上传。 本课题还完成了成像系统设计中需要的关键技术的研究：自动曝光和自动增 益控制、感兴趣区域提取、高速数据传输。自动曝光和自动增益控制技术可以帮 助成像系统获得亮度合适的图像，感兴趣区域提取可以使成像系统在满足用户观 测范围要求的情况下提高帧速，高速数据传输技术以l v d s 和r s 4 2 2 为基础，实 现了图像和命令的高速传输。 关键词：c , m o s ；成像系统；自动增益；自动曝光；感兴趣区域 中文摘要 a b s t r a c t c m o ss e n s o rg e t sr a p i dd e v e l o p m e n ti nr e c e n ty e a r s ，b e i n gu s e dm o r ew i d e l yi n r e l e v a n ta r e a s i th a sg o ta d v a n t a g e sn o to n l yi ni t st r a d i t i o n a lf e a t u r e s ，l i k el o w p o w e r , l l i g hi n t e g r a t i o n , a n dh i g hy i e l d ，b u ta l s oi ni t ss u b s t a n t i a lp e r f o r m a n c ei m p r o v e m e n t ， w h i c hh e l p sc m o ss e n s o rc a t c hu pw i t hc c ds e n s o r ah i g h - r e s o l u t i o ni m a g i n gs y s t e m b a s e do nc m o ss e n s o ri sd e v e l o p e di nt h i ss u b j e c t ，t oo b s e r v et a r g e ti nd i s t r e s sa n di t s s u r r o u n d i n g su n d e rw a t e r , w h i c hi sp a r to ft h e t e c h n o l o g yo ff a s ta p p r o a c h i n g m a r i t i m ed i s t r e s st a r g e t p r o j e c t t h e t e c h n o l o g yo ff a s ta p p r o a c h i n gm a r i t i m e d i s t r e s st a r g e t p r o j e c ts e a r c h e su n d e r w a t e rt a r g e t si nd i s t r e s su s i n ga c o u s t i ca n d o p t i c a lt e c h n o l o g i e s ，w h i c hi sr e s e a r c h e di nt h i st h e s i s t h i st h e s i sd e v e l o p sah i g h r e s o l u t i o ni m a g i n gs y s t e mb a s e do nc m o ss e n s o r , w h i c hh a sa c c o m p l i s h e dh i g h r e s o l u t i o nu n d e r w a t e ri m a g i n g ，a n dr e g i o no fi n t e r e s t e x t r a c t i o n t h ei m a g i n gs y s t e mc a nb ed e v i d e di n t ot w op a r t s ：t h es l a v ep a r ta n dt h e h o s tp a r t t h eh o s tp a r ti sd e v e l o p e do nc o m p u t e ru s i n gv c + + a sd e v e l o p m e n tp l a t f o r m ， w h i c hp r o v i d e sh u m a nm a c h i n ei n t e r f a c e ，c o n t r o l st h ec a m e r a , a n da c c o m p l i s h e si m a g e a c q u i s i t i o na n ds t o r a g e t h es l a v ep a r ti sc o n t r o l l e db yaf p g ac h i pu s i n gi s e8 2a s d e v e l o p m e n tp l a t f o r m ，r e c e i v e sc o m m a n d sv i ar s 一4 2 2i n t e r f a c e ，p r o v i d e sw o r kt i m i n g t oc m o s c h i pa n da d c ，c a c h e sa n du p l o a d si m a g e d a t a t h i st h e s i sa l s od o e ss o m er e s e a r c ho nk e yt e c h n o l o g i e so fi m a g i n gs y s t e m ， i n c l u d i n ga u t o m a t i ce x p o s u r ea n da u t o m a t i cg a i n ，r e g i o no fi n t e r e s te x t r a c t i o n ，a n d h i g h s p e e dd a t at r a n s m i s s i o n a u t o m a t i ce x p o s u r ea n d a u t o m a t i cg a i nt e c h n o l o g yh e l p s t h es y s t e mg e tp i c t u r e sw i t ha p p r o p r i a t eb r i g h t n e s s r e g i o no fi n t e r e s te x t r a c t i o n t e c h n o l o g yh e l p si m p r o v ef r a m er a t eo fi m a g i n gs y s t e m h i g h s p e e dd a t at r a n s m i s s i o n t e c h n o l o g ya c h i e v e sh i g h - s p e e dt r a n s m i s s i o no fi m a g ea n dc o m m a n d s ，b a s e do nl v d s a n dr s 4 2 2 k e yw o r d s ：c m o s ；i m a g i n gs y s t e m ：a u t o - g a i n ：a u t o - e x p o s u r e ：r e g i o n o f i n t e r e s t 。1。f 目录 目录 第l 章绪论1 1 1 研究背景及意义1 1 2 国内外发展现状1 1 3 研究内容2 1 4 本文组织结构2 第2 章c m o s 图像传感器4 2 1c m o s 图像传感器工作原理4 2 2c m o s 与c c d 图像传感器的比较5 2 3c m o s 图像传感器i b i s 4 1 4 0 0 0 6 2 3 1i b i s 4 1 4 0 0 0 的主要特点6 2 3 2i b i s 4 1 4 0 0 0 的内部结构9 2 3 3i b i s 4 1 4 0 0 0 的工作原理。1 1 2 3 4 内部寄存器的设置1 3 第3 章成像系统总体设计1 6 3 1 系统功能1 6 3 2 系统工作原理1 6 3 3 下位机系统设计方案1 7 3 3 1 镜头的分类及选择一1 7 3 3 2 下位机处理系统18 3 4 上位机系统设计方案2 l 3 5 图像与命令传输方案。2 2 3 6 自动曝光和自动增益控制方案2 5 3 6 1 自动曝光原理2 5 3 6 2 自动增益原理。2 6 3 6 3 本系统的自动曝光和自动增益控制。2 7 第4 章系统下位机软件设计31 4 1 下位机软件开发语言及平台的介绍3 1 4 1 1 开发语言3 1 4 1 2 开发平台31 4 1 3 下载工具31 4 2 下位机处理系统软件总体介绍3 2 4 3 下位机处理系统各模块实现3 4 4 3 1 时钟模块3 4 目录 4 3 2 通信模块。3 5 4 3 3c m o s 设置模块3 9 4 3 4a d 设置模块4 1 4 3 5 帧速调节模块。4 4 4 3 6c m o s 驱动时序产生模块4 5 4 3 7a d 采样模块4 7 4 3 8 图像缓存及上传模块4 8 4 3 9 曝光解算模块5 2 第5 章系统上位机软件设计5 6 5 1 上位机软件开发语言及平台的介绍5 6 5 1 1 开发语言5 6 5 1 2 开发平台5 6 5 2 上位机总体设计5 6 5 3 上位机软件各模块实现5 7 5 3 1 初始化模块5 7 5 3 3 图像数据获取模块6 0 5 4 人机交互界面6 2 第6 章实验结果测试6 5 6 1 系统实物图6 5 6 2 系统不同对象拍摄效果测试6 7 6 3 系统自动增益功能和自动曝光功能测试6 7 6 4 不同测光模式的测试6 8 6 5r o i 提取功能测试7 0 结论7 l 参考文献7 2 致 射7 4 高分辨率c m o s 成像系统研制 第1 章绪论 1 1 研究背景及意义 海上遇险目标的搜救一直是我国重点研究的课题，其中遇险船舶的快速接近 无疑是进行海上应急搜救的重要环节。计算机辅助决策系统能够为海上遇险目标 的快速接近提供支持，使得救助方案更迅速，救助行动更准确，本课题就来源于 国家科技支撑计划课题“海上遇险目标快速接近技术”。 本课题在“海上遇险目标快速接近技术”项目中承担水下高清晰成像技术的 研究，以实现对水下遇险目标以及周边环境的高清晰观测。“海上遇险目标快速接 近技术 课题组采用声学与光学技术相结合的方法观测水下遇险目标，其中光学 成像技术就是本系统采用的基于c m o s 图像传感器的高分辨率成像技术。 水下探测技术的研究对海上应急搜救作业的有效进行具有重要意义，而水下 高清晰成像技术在水下探测领域占有非常关键的地位。近年来超大规模集成技术 飞速发展，c m o s 图像传感器的制作工艺和应用技术都随之提高。例如芯片内可 集成a d 转换、信号处理和存储等功能【l 】，减小了系统设计的复杂度，并降低了 成本，因此体现出强劲的优势，基于c m o s 图像传感器的水下高清晰成像系统的 研究也增添了时代意义【2 】。本系统实现了基于c m o s 图像传感器的成像系统的研 制，在实现照相与摄像功能兼备的功能的同时，结合c m o s 图像传感器可对局部 像元随机访问的特性，还可实现以用户需求为依据的感兴趣区域的提取，在获取 所需信息的前提下最大限度的提高帧速，这对于实现水下探测中对于目标的观测 与识别具有重要意义。 1 2 国内外发展现状 近年来，无论是c m o s 图像传感器还是基于c m o s 图像传感器的相机，都随 着科学技术的飞速发展取得了长足进步。 国外许多具有相当实力的机构很早就已经对c m o s 图像传感器进行了研究， 比如美国的柯达、喷气推进实验室、f o v e o n ，日本的佳能、索尼等等。2 0 世纪9 0 年代，喷气推进实验室就研发出了一款高度集成的c m o s 图像传感器，内置模数 转换，频率达到2 0 兆位秒。2 0 年来，世界在c m o s 图像传感器的制作方面取得 第1 章绪论 日新月异的发展。目前佳能投产的c m o s 传感器像素最高达到2 1 1 0 万，而且于 2 0 1 0 年8 月，该公司就宣布开发了1 2 亿像素，尺寸为2 9 2 * 2 0 2 n u n 的a p s h 型 c m o s 传感器【3 1 。f o v e o n 公司展示的最新f o v e o nx 3 技术，生产出全球第一款可 以单个像素捕捉全部色彩的c m o s 图像传感器阵列，这更引起了业界高度关注， 目前已经推出了使用该芯片的相机，型号为s i g m as d 9 。 我国借助集成电路技术的飞速发展，大幅提高了c m o s 传感器制造技术，这在 一定程度上弥补了我国对c m o s 图像传感器的研究进步较晚带来的差距。开元微电 子科技有限公司于1 9 9 6 年研制了一系列像元尺寸为1 0 8 u m * 1 0 8 u m 的图像传感 器，分辨率有7 6 8 * 5 7 4 、6 4 0 * 4 8 0 等。国内的科研院所同样致力于c m o s 图像传感 器在空间探测领域的应用，例如成都光电技术研究所开发出一套微型星载敏感器 成像系统，该系统是以c m o sa p s 为基础开发的。 1 3 研究内容 本课题的研究内容是高分辨率c m o s 成像系统的研制，该系统可将照相与摄像 功能合为一体，并支持用户根据需要自行设定感兴趣区域，具体内容包括以下几 个方面： 1 ) 高分辨率c m o s 成像系统总体方案设计，包括芯片选型、实现方法； 2 ) 高分辨率c m o s 成像系统软件控制系统的设计与实现，分为上位机软件控 制和下位机软件控制两部分，最终实现成像系统的不同工作模式控制和图像数据 的获取； 3 ) 高分辨率c m o s 成像系统所涉及的关键技术的研究，例如感兴趣区域提取、 自动曝光和自动增益功能控制、图像数据的传输与采集等等。 1 4 本文组织结构 本文通过六个独立的章节来介绍高分辨率c m o s 成像系统的研制： 第l 章为绪论，介绍了该课题的研究背景及重要意义，并对本课题研究的内 容做了大致的概括介绍。 第2 章为c m o s 图像传感器，详细介绍了c m o s 图像传感器的工作原理、从 不同角度分析了c m o s 图像传感器和c c d 图像传感器的差异、详细介绍了本系统 选用的c m o s 图像传感器i b i s 4 1 4 0 0 0 。 高分辨率c m o s 成像系统研制 第3 章为系统总体方案设计，从系统角度介绍了c m o s 成像系统的工作原理、 实现方法、结构框架、芯片选型，以及系统软件控制的各模块功能，并详细阐述 了本成像系统中几个关键技术点的实现方案。 第4 章为下位机系统软件的设计，详细叙述成像系统相机机身的软件控制， 包括时序控制、工作模式控制、感兴趣区域提取控制、图像传输等等；对每一个 模块的设计流程和关键技术实现都进行了详细的文字和图表说明。 第5 章为上位机系统软件的设计，重点介绍了人机交互界面设计、图像采集 与处理、数据显示与存储等功能模块，并对每一个模块都做了详细介绍，对用户 可参与的成像系统参数控制进行说明。这一章与第4 章对应，两章共同组成了成 像系统的软件控制系统，实现了高分辨率c m o s 成像系统的软件控制。 第6 章为实验结果测试，对最终实现的高分辨率c m o s 成像系统进行了全面 的功能测试，其中较为关键的功能有：自动增益和自动曝光功能、感兴趣区域提 取功能、测光模式设定功能等等，并通过实物图和数据分析结果进行展示。 第2 章c m o s 图像传感器 第2 章c m o s 图像传感器 c m o s 图像传感器将c m o s 工艺带入成像领域，以其低成本、高集成度、低 功耗的优点在成像芯片领域占有领军地位，并在近年来取得迅速发展，在灵敏度、 分辨率、动态范围等指标上得到了大幅度的提高。 2 1c m o s 图像传感器工作原理 c m o s 图像传感器的工作原理可概括为：利用光电二极管( p h o t o d i o d e ，又称 光敏二极管、感光二极管) 感应外界光照的强度，输出与光强对应的电流值，从 而捕获影像。通常c m o s 图像传感器的结构如图2 1 所示。 图2 1c m o s 图像传感器的典型结构 f i g 2 1t y p i c a ls t r u c t u r eo fc m o ss e n s e r 图2 1 表示常见的c m o s 感光元件的内部结构，其主要组成部分是像元阵列， 以及由光电二极管和m o s 场效管组成的用于光电转换的光积分电路。像元阵列周 围添加了一些辅助电路，用于产生驱动、数字输出等。光电二极管积分以后，在 地址译码器的控制下将信号传送至放大器，然后由a d c 转换成数字信号输出【4 1 。 在此需要说明的是，本系统使用的c m o s 图像传感器内部没有集成a d 转换功能， 因此需要在芯片外部提供独立的a d 转换芯片。 在c m o s 器件的像元阵列中，每个像元对应一个感光元件。感光元件的特性 决定了它只能感应光的强度，并不能获取场景的色彩信息，因此若不加任何外部 处理，c m o s 感光器件只能输出环境光照的强度信息，对于输出图像则表现为灰 度信息。为了使普通的像元保留彩色信息，可以在感光元件上方覆盖彩色滤光片。 高分辨率c m o s 成像系统研制 例如覆盖由红绿蓝三种颜色组成的b a y e r 格式滤光片，同色色光可以透过，其他颜 色的色光被吸收。滤光片上红绿蓝三种颜色以l ：2 ：l 为比例，四个像点表示一 个彩色像素，各颜色组成如图2 2 所示。 图2 2b a y e r 格式滤光片的色彩分布 f i g 2 2c o l o rd i s t r i b u t i o no fb a y e rp a r e r nf i l t e r 2 2c m o s 与c c d 图像传感器的比较 目前应用最广泛的图像传感器是c c d 图像传感器和c m o s 图像传感器。这两 者的工作机理都是利用光电二极管进行光电转换，但由于数据传送方法不同，c c d 图像传感器和c m o s 图像传感器在特性和应用方面存在很大差异，在此列举出其 中主要的几点： 1 ) 数据传送方式差异： c m o s 感光阵列中每个像元都对应一个邻接放大器，通过类似内存电路的方 式输出；而c c d 需要将像素的电荷以行为单位下移，最终从最底端输出，然后再 由边缘放大器放大。 2 ) 成本差异： c m o s 图像传感器制作工艺简单，很容易把周边电路集成到传感器中，大幅 降低外围芯片的成本；c c d 数据传送是通过电荷传递的方式来实现的，只要其中 有任意一个像素发生问题，就会导致一整列的数据传送中断，所以c c d 的成品率 比c m o s 低的多，c c d 成本高于c m o s 也就不足为奇了。 3 ) 灵敏度差异： 从生产角度来讲，c m o s 阵列上每个象素由一个感光二极管和四个晶体管构 成，这就导致每个象素占据较大空间，而有效的感光面积并未增加，这样以来在 第2 章c m o s 图像传感器 尺寸相同的情况下，c m o s 图像传感器的灵敏度比c c d 传感器低的多。 4 ) 功耗差异： 一般情况下，c c d 图像传感器需要1 2 1 8 v 的外加电压来实现电荷的移动， 因此c c d 图像传感器功耗远高于c m o s ，而且电路设计难度较大。 5 ) 噪声差异： c m o s 图像传感器的每个二极管都需邻接一个放大器，然而数量庞大的放大 器其结果很难保持一致：c c d 图像传感器只需要放大器接在芯片边缘即可，因此 c m o s 传感器的噪声水平较高【5 1 。 从以上几种差异综合考虑，c c d 虽在灵敏度、像素规模及噪声等方面优于 c m o s ，而c m o s 图像传感器成本低，功耗低，电路设计简单，适合推广至批量 化生产，因此本系统选择c m o s 图像传感器。 2 3c m o s 图像传感器i b l $ 4 - 1 4 0 0 0 本系统采用c y p r e s s 公司于2 0 0 4 年推出的c m o s 图像传感器i b i s 4 1 4 0 0 0 ， 这款c m o s 图像传感器具有良好的特性以及较完善的功能，接下来详细介绍该款 图像传感器。 2 3 1 l b i s 4 - 1 4 0 0 0 的主要特点 i b i s 4 1 4 0 0 0 具有很高的分辨率，支持卷帘式快门，并具有大量寄存器和控制 器，可以调整传感器工作状态。该c m o s 图像传感器还支持亚采样模式，可灵活 改变输出图像的分辨率。由于该传总器为c m o s 型，因此还具有可开窗功能，支 持在感光区域内任意位置提取感兴趣区域，接下来对其技术特点进行详细阐述。 1 ) 随机开窗 i b i s 4 1 4 0 0 0 图像传感器为c m o s 型，支持在感光区域内任意位置提取感兴趣 区域，并且每帧图像可以设置不同的感兴趣区域。 感兴趣区域的提取( 即开窗功能) 可通过控制传感器的x 和y 方向上的特定 指针来实现。指针在时钟脉冲的控制下转移，在全帧模式时，y 方向步进为一行， x 方向步进为4 个像素( 在亚采样模式时有所不同，2 3 4 节中会详细介绍，在此 不做赘述) ，以此来实现感兴趣区域的提取，具体实现方式如图2 3 。 高分辨率c m o s 成像系统研制 图2 3i b i s 4 1 4 0 0 0 的开窗控制 f i g 2 3w i n d o wc o n t r o lo f i b i s 4 1 4 0 0 0 图中浅绿色区域表示c m o s 传感器感光阵列，矩形a b c d 为用户要提取的感 兴趣区域r o i ( r e g i o no fi n t e r e s t ) ，即要开的窗口。由于芯片本身工艺的限制， 我们不能直接取到矩形a b c d 内的数据，而是要将曝光区域限制在ym i n 和 ym a x 之间，读取行数据时，只读取从该行起始到xm a x 之间的像素，因此实际 提取的窗口为矩形a b c d 。 在芯片的y 方向有y l 、y r 两个移位寄存器，其中y l 负责图像的读取，y r 负责图像的复位，两个移位寄存器相互协调控制，起到电子快门的作用。x 方向 也有移位寄存器，每次并行输出连续的4 个像素。这三个寄存器都配有复位信号 和驱动时钟，复位信号可将寄存器初始化，使其指向( 0 ，0 ) 位置，驱动时钟可 使寄存器指向下一个步进单位。通过这种控制方式，可直接跳过0 到ym i n 之间 的行，只对ym i n 和ym a x 之间的行进行曝光；数据行读取时，只读取该行0 到xm a x 之间的像素，这样以来，便可实现在感光区域内任意位置感兴趣区域的 提取，并且每帧图像可以分别控制寄存器，以提取不同的感兴趣区域。 2 ) 双采样 i b i s 4 1 4 0 0 0 芯片内部集成了列放大器，放大器内使用了双采样技术。双采样 是指输出结果是两次采样结果的差。一次负责采样有效信号，另一次负责采样参 考信号( 即复位信号) ，两次采样结果进行模拟减之后输出，降低噪声。 3 ) 亚采样 i b i s 4 1 4 0 0 0 图像传感器支持亚采样( s u b - s a m p l i n g ) 模式。亚采样的工作原 第2 章c m o s 图像传感器 理是：以固定区域块为单位，选取其中一点或几点来取代该区域，从而降低图像 分辨率，直接输出压缩图像。 分辨率减小的幅度由亚采样模式决定，模式的选择通过将控制字写入芯片的 s p i 寄存器实现，i b i s 4 - 1 4 0 0 0 所支持的亚采样模式在表2 1 中列出。 表2 1 亚采样模式 t a b 2 1s u b s a m p l i n gm o d e s 比特码模式备注 x 方向寄存器弧采样模式设置 0 0 0 0 0 i 0 1 0 1 ：1 ，全部分辨率( 所有列)全部分辨率( 4 输出) ，4 ：1 亚采样 0 1 1 2 4 ：1 ，选择4 列跳过2 0 列 2 4 ：1 弧采样( 2 输出) 1 0 0 8 ：1 ，选择4 列跳过4 列8 ：1 亚采样( 2 输山) 1 0 1 1 2 ：i ，选择4 列跳过8 列1 2 ：1 弧采样( 2 输出) y 方向寄存器亚采样模式设置 0 0 0 0 1 0 1 0 0 4 ：1 ，选择2 行跳过2 行 4 ：1 弧采样 0 0 l 1 ：1 ，全部分辨率( 所有行)全部分辨率 0 1 1 6 ：1 ，选择2 行跳过4 行 6 ：ll l 米样 1 0 l 1 2 ：1 ，选择2 行跳过1 0 行1 2 ：1 弧采样 该芯片在x 方向和y 方向的亚采样模式独立设置，各种亚采样模式对应像素 抽取方式不同，以实现不同分辨率图像输出。现列举几种亚采样模式对应的像素 抽取方法，如图2 4 所示。 1 ：8l ：1 2 图2 4 亚采样模式对应像素抽取方式图 f i g 2 4s e v e r a lw a y so fc h o o s i n gp i x e l sa td i f f e r e n ts u b s a m p l i n gm o d e s 高分辨率c m o s 成像系统研制 2 3 2i b i $ 4 - 1 4 0 0 0 的内部结构 i b i s 4 1 4 0 0 0 图像传感器的内部结构如图2 5 所示。该结构图包括像素单元阵 列、移位寄存器、像素阵列驱动器、列放大器。 移位寄存器包括x 方向上的一个移位寄存器，在每一个驱动时钟的上升沿并 行输出连续的4 个像素：还包括y 方向的两个移位寄存器，其中左边的移位寄存 器负责图像的读取，右边的移位寄存器负责图像的复位，起到电子快门的作用， 这两个移位寄存器对应着左右两部分像素阵列驱动器。x 方向集成了列放大器， 其内部使用了双采样技术，将有效信号( 含复位信号) 和复位信号进行模拟减后 输出，降低噪声。 若 l 要 图2 5i b i s 4 - 1 4 0 0 0 内部结构图 f i g 2 5i n t e r n a ls t r u c t u r eo fi b i s 4 - 1 4 0 0 0 c o 惭 图2 6 像元结构图 f i g 2 6p i x e ls t r u c t u r e 4 讲f 蒯 日咖 o u 吣“b 第2 章c m o s 图像传感器 1 ) 像元结构 i b i s 4 - 1 4 0 0 0 芯片采用典型的三晶体管有源像元结构，使用n 阱，p 型基板工艺 的二极管，具有较高的灵敏度。像元尺寸为8 0 u m * 8 0 u m ，结构如图2 6 。 2 ) 电子快门 常见的c m o s 图像传感器使用的快门有全局式快f - j , n 卷帘式快门两种， i b i s 4 1 4 0 0 0 芯片采用后者。这类c m o s 图像传感器不能使像元阵列上的所有像 素同时曝光，而是有延迟地逐行曝光。 卷帘式快门的工作方式类似于胶片式相机中的机械快门。机械式快门的原理 是：用两片移动的帘布在胶卷前方形成一个宽度可调的缝隙。释放两块帘布的时 间不同，这个时间差决定了曝光时间，曝光时间对于胶片上任意一点都是相同的。 i b i s 4 1 4 0 0 0 图像传感器曝光时，在感光像元阵列上对于其中一些行同时复位。 某一行曝光从该行的预充电压关闭时刻开始，曝光在该行被读出的时刻结束。就 像是被两个帘子遮挡一样，处于两个帘子之间缝隙处的像元( 读出行与复位行之间 的几行) 处于光积分状态，上帘下面的行就是正在被读出的像元行。这样以来，通 过改变处于复位状态的像素行的数目就可以控制曝光时间。 鬈：荔? 簟：。一 囊铲：! j 2 一 嘎 i 一秀 ”镬 霹蜀鬻。翌- _ 一- - - 黟，。i i i l l l i i l l i i i i l l k 磁。：。i 藩釜荔法，如，。 一l 一 垆镕姊g # ，g 嬲9 魏 一一 i 繇l t 芸 目w 谚矽馕 羹 图2 7 卷帘式快f i r e 作原理 f i g 2 7o p e r a t i o n a lp r i n c i p l eo fr o l ls h u t t e r 如图2 7 所示，r e s e t 指向的像素行表示处于复位状态的行，马上就要进入复 嬲一 妇霪lo 昝 t ；p ， h 心q 聚0 纛_ 移酽敝，尹i：， 高分辨率c m o s 成像系统研制 位状态。随着行指针时钟的驱动，行指针跟着移动，该行下面的各像素行依次结 束复位状态，开始积分，曝光从此刻开始。r e a d 所指的行表示读出行，该行的积 分结果被读出，光积分过程终止，曝光结束。这样以来，处于光积分的像素行始 终保持一定的数量，这个数与行周期的乘积即为曝光时间。例如，图中所示处于 光积分的像素行始终为5 行，因此每行像素的积分时间都为5 个行周期。 2 3 3i b i s 4 - 1 4 0 0 0 的工作原理 1 ) i b i s 4 1 4 0 0 0 的工作过程 i b i s 4 1 4 0 0 0 图像传感器工作过程包括两个部分：光积分，完成像元的电压积 累；数据读出，即将光积分的结果输出。图像传感器先通过卷帘式快门进行曝光， 将各像元的灰度值以电压的形式存于像元阵列，然后将像元中的电压值输出，这 样就完成了传感器的感光工作。 2 ) s p i 时序介绍 s p i ( s e r i a l p a r a l l e l i n t e r f a c e ) 是传感器内部的1 6 位的寄存器，空过设置该寄存 器可将i b i s 4 1 4 0 0 0 图像传感器设置在不同的工作模式，以控制传感器工作时的亚 采样模式、输出放大器的电源、输出像元是否自动转换等参数。s p i 的每个单元由 两个d 触发器构成，共1 6 个单元，结构如图2 8 所示。 t o s 目甚攒o ：氍 d i n s c u ( 1 6o u t m t st o $ e l l $ o fc o l e 踟妙c o 图2 8s p i 的结构示意图 f i g 2 8s t r u c t u r eo fs p i s p i 的工作时序如图2 9 。c s 为选通信号，当选通信号为低时，并行数据被上 载到i b i s 4 1 4 0 0 0 芯片的内部寄存器中。在每一个时钟信号s c l k 的上升沿下，将 第2 章c m o s 图像传感器 1 6 位的s p i 中的一位进行赋值，1 6 位数据赋值结束后，选通信号变高。已经上载 的数据在选通信号的上升沿应用于传感器，s c l k 的时钟频率是1 0 m h z 。 s o _ g 门几几 + 瓦菸 c s d a t a v a l i d z 几 一j n l ( 亘涟 一卜一 t s 图2 9s p i 的：r ：作时序图 f i g ，2 9s e q u e n c ec h a r to fs p i 3 ) 传感器读出时序 i b i s 4 1 4 0 0 0 图像传感器的读出时序分为两个部分：行读出时序和列读出时序。 行读出时序在每一行的起始时刻工作，其作用主要是控制传感器的曝光过程以及 感兴趣区域提取过程。列读出时序工作在每一行的行读出时序之后，用于输出该 行像元的积分值。行读出时序如图2 1 0 ，列读出时序如图2 1 1 。 ij o i 村悯l h e e l e c t r o 眦 曩t 啾掌。l s u s e d 图2 1 0 行读出时序图 f i g 2 1 0s e q u e n c ec h a r to f l i n er e a d i n g 7 o n c e e a c h i f 撇 j q1：i二q_i卅础1 i | | | j 潲 一 一 鲰 善； 弧 高分辨率c m o s 成像系统研制 上文中提到，y l 、y r 移位寄存器用于电子快门，c l o c ky r 、c l o c ky l 是y l 、y r 移位寄存器的驱动时钟，可使y l 、y r 的值增加一个步进单位，指向 下一个步进单位的第一行，c l o c ky r 的驱动方式与图2 1 0 中的c l o c ky l 相 同。s y n cy r 、s y n cy r 是y l 、y r 移位寄存器的复位信号，建立时间为2 0 0 n s ， 可以将寄存器复位致第一行第- y 0 ，每帧使用一次。s y n cy r 脉冲比s y n cy l 提前一些行，其行数与曝光时间密切相关。图2 1 0 是在假设亚采样模式已经在 s y n cy r 、s y n cy r 之前设定完毕的情况下给出的。图中的第二个r e s e t 信号 只有在启用卷帘式快门的时候才使用，附加的r e s e t 信号( 在图中用虚线表示的 r e s e t 脉冲) 用于产生参考暗像素。s h r 和s h s 是双采样技术使用的信号，在该 行复位之前和之后分别采样，降低固定噪声。 ：t s 。t s 。| ：h1 r i j | ll l 一 l 厂 【 l 7 ， 弋 厂 删1p 酬2 p 酞e i3 。x ，) n ：11 图2 1 l 列读出时序图 f i g 2 11s e q u e n c ec h a r to fr o wr e a d i n g 图2 1 l 中表示了列读出时序中的三个任务：对x 移位寄存器进行初始化，即 在每一行的列读出之前给出s y n cx 一定时间的低电平，s y n cx 的建立时间z 为1 5 0 n s ；读出像素，在c l k x 时钟脉冲的驱动下读出每个像元积分值：给出模 数转换器( a d c ) 的采样时钟。对于x 移位寄存器来说，模拟信号输出比驱动时 钟c l k x 要延迟两个时钟周期，这跟芯片内部信号处理和列放大器工作状况有 关。 2 3 4 内部寄存器的设置 传感器内部的寄存器的值决定了i b i s 4 1 4 0 0 0 图像传感器的工作模式，寄存器 的1 6 位的数值在每一帧开始之前被置入，若不进行设置，则寄存器的默认值发生 第2 章c m o s 图像传感器 作用。i b i s 4 1 4 0 0 0 图像传感器内部寄存器的默认值为1 0 0 0 0 0 1 0 0 0 1 1 1 1 1 0 ，十进 制的值为3 3 3 4 2 。具体每一位的设置及作用见表2 2 。 表2 2 寄存器设置 t a b 2 2s e t t i n go fr e g i s t e r 比特作用 0 ( l s b ) 固定为0 。 1 l ：传感器阵列电源打开