（微电子学与固体电子学专业论文）cmos图像传感器控制系统设计与优化.pdf

中文摘要 本论文是国家自然科学基金项目基于深亚微米工艺、大动态范围、千万像 素c m o s 图像传感器关键技术研究中的一部分。c m o s 图像传感器具有工艺 成熟、制造成本低、集成度高、随机存取、读出速度快、低电压和低功耗等特点， 经过一段时间的发展，已经成为图像处理技术中不可缺少的设备，并在数码照相 摄像、移动通讯产品、安全监控、汽车安全气囊、指纹识别等领域得到广泛的应 用。该项目的开展具有很强的理论创新意义，同时对于其辅助控制系统的研究， 也将使得c m o s 图像传感器具有更广阔的市场应用前景。 本文主要阐述了c m o s 图像传感器控制系统的设计与实现方法。论文详细 分析了图像传感器阵列和各功能模块的结构。在控制模块的设计中采用自顶向下 的方法，根据各控制信号之间的时序关系，完成了模块划分，并加入了i i c 总线 通讯、窗体尺寸选择、拍摄模式选择和时钟分频等扩展功能，运用v e r i l o g 硬件 描述语言进行各子模块的程序设计、仿真以及整体模块的调试。另外，针对该图 像传感器控制单元，提出了积分时间自适应调节和大动态范围设计的优化设计， 完成了功能仿真。整体控制系统采用基于f p g a 的外围控制电路对控制信号和像 素数据进行转发，并使用并口( e p p ) 协议与p c 机进行通讯。利用w i n d o w s 平 台的v i s u a lc 抖设计环境开发出用于图像数据显示、存储的人机交互软件，同时 具有参数调整功能。 关键词：c m o s 图像传感器，控制系统，i i c 总线，积分时间自适应，大动态 范围 a b s t r a c t t l l i st h e s i si so n ep a r to ft h ep r o j e c t “r e s e a r c ho nt h ek e yt e c h n i q u eo fd e e p s u b m i c r o nh i e , hd y n a m i c 1 0 mp i x e ll e v e lc m o si m a g es e n s o r ，w h i c hi s s u p p o r t e db yn a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no fc h i n a c m o si m a g es e n s o ri s c h a r a c t e r i s t i c so fm a t u r ep r o c e s s i n g , s t r o n g l yi n t e g r a t i o n , r a n d o ma n dh i 曲s p e e da c c e s s ，l o w e r p r o d u c tc o s t , v o l t a g ea n dp o w e r i th a sd e v e l o p e dq u i c k l ya n dh a s1 ，c 7 , o m et h ek e yf a c i l i t yo f i m a g ep r o c e s s i n gt e c h n o l o g y i th a sb e e na p p l i e dt oag r e a tm a n yf i e l d ss u c ha sd i s t a lv i d e o c a m e r a , m o b i l ec o m m u n i c a t i o n , s a f e g u a r d , a u t o m o b i l ea i r b a ga n df m g e r p r i n ti d e n t i f i c a t i o n t h i sp r o j e c ti sa c a d e m i ce r e a t i o n a r yr e s e a r c h t h es t u d yo fc o n t r o ls y s t e mw i l la s s i s tc m o s i m a g es e n s o rt oh a v eaw i d e rm a r k e t t h ec o n t r o ls y s t e md e s i g na n di m p l e m e n to fi m a g es e n s o ra r ed i s c u s s e di nt h et h e s i s f i r s t l y , t h es t r u c t u r eo f s e n s o ra r r a ya n df u n c t i o n a lm o d u l e si sa n a l y z e d f o l l o w i n gt o p d o w ni cd e s i g n m e t h o da n dt h et i m i n gr e l a t i o n s h i po fa l lc o n t r o l l i n gs i g n a l s ，t h ed e s i g ni sd i v i d e di n t os e v e r a l s u b - m o d u l e s t h ee n h a n c e df u n c t i o n ss u c ha si i cb u s , w i n d o ws e l e c t i o n , c a m e r am o d ea n d f r e q u e n c yd i v i s i o na r ca p p l i e d t h ep r o g r a mi sd e s c r i b e di nv e d l o gh d l s i m u l a t i o na n dd e b u g o f w h o l es y s t e mi sc o m p l e t e d i na d d i t i o n , t h eo p t i m i z a t i o no f a d a p t i v ei n t e g r a t i o nt i m ea n dh i g l l d y n a m i cr a n g ei sd e s i g n e da n df u n c t i o n a ls i m u l a t e di n a l l u s i o nt ot h i sc o n t r o lu n i t t h e p e f i p h e r a lc o n t r o lc j r c m tw h i c hi sb a s e do nf p g a i sc h a r g e dw i t ht h et r a n s f e ro fe o n t r u ls i g n a l s a n dp i x e ld a t a t h ee p pp r o t o c o li s a d o p t e df o rc o r n m u n i c a t i o nw i t hp c t h ei n t e r a c t i v e s o f t w a r ei sd e v e l o p e df o ri m a g ed i s p l a y , d a t as t o r a g ea n dp a r a m e t e ra d j u s t m e n tw i t hw i n d o wo s p l a t f o r ma n dv m u a lc + + i d e k e yw o r d s lc m o si m a g es e n s o r ，c o n t r o ls y s t e m , i i cb u s ，a d a p t i v e i n t e g r a t i o nt i m e ，h i g hd y n a m i cr a n g e 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨鲞盘鲎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名： 吣奉 签字日期：洲6年o ! 月侈日 学位论文版权使用授权书 本学位论文作者完全了解鑫壅盘堂有关保留、使用学位论文的规定。 特授权盘洼盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：同i 奉 导师签名： 拼定 签字日期：沙6 年d 月，8 日 签字日期：沁锌月9 日 第1 章绪论 第1 章绪论 1 1c m o s 图像传感器概述 2 0 世纪7 0 年代，c c d 图像传感器和c m o s 图像传感器同时起步。c c d 图 像传感器由于灵敏度高、噪声低，逐步成为图像传感器的主流。最初的c m o s 图像传感器，一直没有摆脱光照灵敏度低和图像分辨率低的缺点，图像质量还无 法与c c d 图像传感器相比。而由于工艺上的原因，c c d 图像传感器的敏感元件 和信号处理电路不能集成在同一芯片上，造成组装的摄像机体积大、功耗大。随 着c m o s 集成电路工艺技术的成熟以及固体图像传感器技术的进步，c m o s 图 像传感器技术到9 0 年代初开始快速发展，至今已研制出三大类c m o s 图像传感 器：c m o s 无源像素传感器，c m o s 有源像素传感器和c m o s 数字像素传感器。 其中c m o s 无源像素传感器和c m o s 有源像素传感器发展最快【1 4 】。 采用c m o s 工艺实现图像传感技术有如下的优势： 1 c m o s 工艺成熟，t s m c 、c l l a r t e d e d 等晶片代工厂都能提供c m o s 加工 服务。 2 在相同的特征尺寸下，c m o s 工艺成本最低。 3 高集成度：c m o s 工艺可以实现大规模集成，这可以将所有摄像需要的 功能集成进入单个芯片。这样的s o c 系统避免了多芯片组合可能出现 的问题，提高了图像传感器的可靠性，降低了成本。理论上，摄像系统 许多其他的功能，如画面稳定、图像压缩、彩色解码、多级分辨率感光、 移动跟踪等，都可以集成在芯片内。 4 随机存取：图像传感器像素阵列行列的随机存取与d r a m 相似，这使 窗口读取成为可能。因此为图像传感器提供了许多附加的应用，如图像 压缩、目标跟踪等。 5 高读出速度：c m o s 有源像素本身的设计就是高速的( 并行读出和处 理) ，这为机械摄像和移动分析提供了便利。即使是百万像素阵列帧频 也可以达到5 0 0 邱s 。 6 低压工作、低功耗：c m o s 图像传感器的功耗仅为c c d 的1 1 0 0 ，这适 合于笔记本电脑、移动可视电话和便携式扫描仪等电池供电系统的应 用。 c m 0 s 图像传感器的主要缺陷可以归纳为： 1 模拟电路设计：小尺寸的主流工艺对模拟电路并不是最优化的。 2 光探测器：光探测器是c m o s 工艺寄生器件，没有设计模型可以直接使 第1 章绪论 用。 3 高总线电容：由于c m o s 图像传感器的同一列上所有的像素都并行连在 一起，这会影响读出速度和读出噪声。 4 失配：相对高的c m o s 电路失配会导致较高的固定模式噪声( f p n ) ， 这会影响图像芯片模拟处理的可靠性。 1 2c m o s 图像传感器控制系统发展现况 目前很多公司和科研部门都在从事c m o s 有源像素传感器的开发，目的是 为了提高c m o s 图像传感器，尤其是c m o s 有源像素传感器( a p s ) 的综合性 能。现阶段的研究已证明c m o s 有源像素传感器的图像水平、量子效率、动态 范围、信噪比、灵敏度、填充系数等均可与c c d 相比拟。 在原有的单一像素阵列的基础上，越来越多的公司开始将其他的一些功能与 像素阵列集成在一起，制作成s o c 芯片，以拓展c m o s 图像传感器的应用范围。 常见的方法有：在每个像素上制作滤色片以实现彩色( r g b ) 图像的显示；在传 感器阵列上生成微透镜阵列，将光源集中于光电二极管，从而提高填充系数( f i l l f a c t o r ) 加入时钟控制电路、模数转换器、对数变换电路、噪声抑制电路等以 实现低成本、低功耗、低噪声、高动态范围、高帧频的图像输出；甚至将图像处 理电路、图像压缩功能和高速通讯协议( u s b 2 0 i e e e l 3 9 4 ) 集成在传感器芯片 中，实现单芯片成像微系统的目标。 1 3选题的目的和意义 根据统计资料显示，c m o s 传感器的全球销售额在2 0 0 5 年快速增长，其市 场占有率已经接近c c d 器件，而且已经开始应用与各种高端图像拍摄系统。随 着多媒体、数字电视，可视通信等领域的对图像传感器需求的剧增，c m o s 图像 传感器应用前景将更加广阔。 虽然国际上的c m o s 图像传感器已经发展了一段时间，但国内在这方面的 研究还处于起步阶段。因此天津大学专用集成电路设计中心从成立之初就确定了 将c m o s 图像传感器的研究作为工作重点。经过调研，我们的研究主要分为两 个方向：首先是基于深亚微米工艺、大动态范围、千万像素c m o s 图像传感器 关键技术的研究，该研究方向具有很强的理论创新意义。另一方向针对消费类电 子产品，提供出整套图像采集解决方案，要求图像传感器具有低功耗、低成本 第1 章绪论 和集成度高的特点。随着研究工作的进展，该项目不仅得到了天津市科委的支持， 成为天津市重点科技攻关项目，而且已经获得了国家自然科学基金的资助。 c m o s 图像传感器的控制系统是保证系统工作最为重要的一部分，它控制着 图像传感器各个功能模块的运行，负责用户与传感器之间进行数据通讯。根据图 像传感器的技术指标，需要设计出专用的高可靠性的数字电路、外围电路和人机 交互软件，使图像传感器各部分协调工作，完成图像信息的采集、调整、处理、 输出和显示。 第2 章c m o s 图像传感器的结构和工作原理 第2 章c m o s 图像传感器的结构和工作原理 2 1c m o s 图像传感器的系统结构 2 1 1c m o s 图像传感器的设计要求 本设计c m o s 图像传感器的基本指标要求为： 1 阵列分辨率：6 4 0 4 8 0 ； 2 像素尺寸：8 u m x8 u m 3 主时钟；2 0 m h z 4 填充因子： 5 0 5 模拟、数字电源电压：3 3 v 6 一路8 b i t 数字输出 7 帧频：6 0 帧秒 8 功耗： 8 0 m w 2 1 2c m o s 图像传感器的总体结构 针对上述设计指标要求，c m o s 图像传感器的总体结构的整体结构如图2 1 所示，主要由以下几个模块组成： 1 像素单元阵列 采用三管有源像素单元结构，整个阵列由6 4 0 x 4 8 0 个像素单元组成。 2 模拟功能模块 1 ) 偏置电平产生电路 产生所需要的稳定偏置电平，为整个电路共用。 2 ) 一级放大器 用于将像素采样得到的电信号放大为可用信号，交给a d 转换器进 行处理。每列共用一个一级放大器。 3 ) 模数转换器( a d c ) 将模拟信号转换为8 位数字信号，以便后续的输出和图像处理。主 要包括斜坡发生器和比较器。 4 ) 输出多路选择器 用于逐列输出存储在寄存器中的8 位图像信号。 3 数字控制模块 第2 章c m o s 图像传感器的结构和工作原理 除了为各模拟功能模块提供控制信号，还负责与外围电路进行通信，从 而实现对运行参数的调整和数据的传输。 g b i i 数据输出 图2 - lc m o s 图像传感器的总体结构 2 2 c m o s 图像传感器各功能模块工作原理 2 2 1 像素阵列 像素设计采用三管有源像素结构，基本结构如图2 2 所示，虚线内的部分为 像素阵列中的一个像素单元，r s t 是复位信号，s e l 为行选信号。v o u t 输出 直接连接列放大器的采样电容，v n l 和v n 2 提供列共用的像素偏置电流。由于 像素单元中的复位管( r s t 管) 的以及缓冲放大器的固定模式噪声对性能影响较 第2 章c m o s 图像传感器的结构和工作原理 大，通过双采样技术进行消除。所谓双采样即首先对像素积分后输出电压进行第 一次采样，然后对像素进行复位，同时对复位信号进行的二次采样采样，复位后 进行下一次积分。 r s t r o ws e l 图2 - 2 _ - - 管有源像素结构 叫复位时间卜 图2 - 3 单像素工作时序 图2 - 4 像素处理过程 电路的基本工作时序如图2 3 所示，最初对像素进行复位( r s t = i ，s e l = 0 ) ， 将m 点电位复位到高电平，之后对像素积分( r s t = 0 ，s e l = 0 ) ，即光电二极管 感光，产生光生电流的过程，经过一定的积分时间对输出电压进行采样( r s t = 0 ， s e l = i ) ，然后再对像素进行复位，同时对复位信号进行采样( r s t = i ，s e l = i ) ， 复位之后进行下一次积分，整个流程如图2 - 4 。可以通过调节积分时间，适应不 第2 章c m o s 图像传感器的结构和工作原理 同光强的信号。 2 2 2 一级放大器 像素信号采样后被送入一级放大器进行双采样处理，原理图如图2 5 所示， 其功能有： 1 - 消除与v t 相关的像素自身的固定模式噪声( f p n ) 。 2 采用列f p n 消除技术消除列放大器的f p n 噪声。这是因为各列放大器 m o s 管的阈值电压不同，各列之问存在着不完全一致性。因此各列的 失调电压也就可能不同，这所造成的列f p n 噪声可能会导致图像上出现 纵向条纹。 3 重新标定输出电平为后面a d 转换作好准备。根据像素数出的情况，一 级放大器的增益般为l 2 倍。 一o ： 图2 5c m o s 图像传感器的一级放大器 放大器的控制控制时序如图2 - 6 所示，电路有两个主要工作状态：状态一， 输入信号为积分后的像素输出信号v s i g ，开关管s l = 1 ，s 1 = l ，s 2 = o ，电 路通过c l 采样像素信号，此为s a m p l e 阶段；状态二，输入信号为下一次的复位 信号v r s t ，开关管s 1 = 0 ，s 1 = o ，s 2 - - - - - 1 ，此为h o l d 阶段。电路的传输方程为： ( 一戌现一矿勿 c l + ( i 矿一矿；刃c 2 = ( 一 ? p 衄一矿匆) c 1 + ( p 乞一一矿膏) c 2 ( 1 ) 得到 = 一是( 一) 从公式( 2 ) 可以看出电路通过双采样，消除了像素与歹0 放大器的f p n 噪声。 列放大器的工作过程必须与像素单元紧密配合，因此在时序上是相关的。s 1 和s 2 为两相、相互间没有重叠的时钟信号。像素中s e l 信号的脉冲宽度包含 s 1 和s 2 的脉冲宽度之和，保证放大器工作时的输入信号正确。r s t 信号同样也 要涵盏s 2 信号。在图中可以看出在由s a m p l e 向h o l d 转换的过程中，s 1 先断开， 第2 章c m o s 图像传感器的结构和工作原理 然后再断开s 1 ，这样的一个开关顺序，消除了由连接v r e f 的开关s l 所引起的 沟道电荷注入效应。这是因为控制v r e f 导通的信号s 1 是在复位开关s 1 断开后 断开的。s l 一旦断开，放大器输入端悬浮，此处的电荷无释放回路，保持不变。 所以s l 所引起的沟道注入电荷无法对最后的输出产生影响。 研j _ l 厂 ： ： i n ： 广1 图2 _ 6 一级放大器控制时序 2 2 3 列并行单斜模数转换器 c m o s 图像传感器采用列并行单斜( s i n g l e s l o p e ) 模数( a d ) 转换器。电 路由五部分组成，其中数模( d a ) 转换器( 图2 7 ) 、比较器( 图2 1 1 ) 和锁 存器( 图2 - 1 3 ) 为主要功能模块，温度计码计数器与格雷码计数器( 由控制电 路产生) 为伺服模块。基本工作原理如下：d a 转换器在温度计码计数器产生的 温度计码的控制下生成斜坡( r a m p ) 信号，比较器将从一级放大接收到的反映光 强的信号与r a m p 信号进行比较，输出的电平翻转信号经过锁存器变为脉冲信号， 控制a d 转换器后面的寄存器对格雷码进行存储。 1 d a 转换模块 d a 转换模块结构如图2 7 所示。产生的r a m p 信号可用下面等式表达： kr、 u t - - v r e f l 卜i , i 。【y 硎厂v 酬 r 3 、 其中，矿口埘为输出凶p 信号y 坳与r e f l 分别为高低参考电平，后表 示从s 0 起始共闭合了k 个开关( 也就是有k 个开关连接到7r e y h ) 。它的工 作时序参考图2 1 0 。 吼 乱 跎 第2 章c m o s 图像传感器的结构和工作原理 图2 7d a 转换模块 s o $ 2 5 5 开关在d a 复位阶段( 保持低) 与矿缈连接，保持采样电容 上电荷为零，转换产生r a m p 信号阶段，s 0 - s 2 5 5 在温度码计数器控制下顺 序置高电平，与y ，咖连接。最终所得到的斜坡信号如图2 8 所示。 v 胁 。 厂 图2 - 8 s i n g l e - s l o p e 产生的斜坡信号 2 温度计码电容阵列 采用相等的2 5 6 个电容，开关从s o s 2 5 5 ，每次只变化一个开关，这样 可以避免在斜坡跳变时出现过大的尖峰误差。在这情况下需要使用温度计码 计数器，如图2 - 9 所示。 i 。t 。h 。e 。r m 。o 。m 。e 。t 。e 。r f 图2 - 9 温度计码计数器 完整的a d 转换器时序如图2 1 0 所示。 第2 章c m o s 图像传感器的结构和工作原理 一p - 脚l 厂 m p _ r m 厂 c m p _ m 厂 c t a p _ r a m p 广 d a r s t 厂 s o 广一 s 1 厂一 图2 - 1 0d a 模块工作时序 3 比较器结构： 比较器每列一个，采用两级结构，如图2 1 1 所示。 图2 1 l 比较器结构 比较器的工作分为两个过程，时序关系如图2 1 2 所示。 c l k l 厂 c l k 2 厂 。l k 。伽 广 一 图2 - 1 2 比较器时序关系 1 ) 采样阶段 首先复位开关c l k l 和c l k 2 闭合，将运放复位，电容下极板、输出 端v o u t 均被复位到参考电平v r c f o 此时开关c l k s p 闭合、c l k c o m 关断， 使得电容的上极板被充电至一级放大的输出信号v i n 。 第2 章c m o s 图像传感器的结构和工作原理 复位结束后复位开关c l k l 和c l k 2 断开，复位阶段完成。这时采样 电容的下极板没有电荷泄放通路，这就将一级放大读出的信号转化成电 荷的形式存储到比较器采样电平的上极板上。 2 ) 比较阶段 开关c l k s p 断开，开关c 墩c o m 闭合，斜坡信号写到采样电容上极板 上，由于x 点没有电荷泄放通路，因此采样电容下极板x 处的电平也 随之改变。 比较器将x 点电平与v r e f 进行比较，当v c o m 与v i n 相等时比较器 输出v o u t 由高电平翻转为低电平，完成比较功能。 4 锁存器( l a t c h ) c o m 图2 1 3 锁存器 锁存器( 见图2 - 1 3 ) 在图像传感器的位置位于a d 中的比较器之后， 两级寄存器之前，连接上述两者。具体功能可以描述为将比较器的翻转信号 转化为一个脉冲信号，利用这个脉冲信号控制寄存器的开关通断，从而实现 寄存器的对比较器翻转时对应的格雷码的存储。 1 m 图2 - 1 4 锁存器电路 图2 1 4 所示为电路基本原理图，t o m 为比较器翻转信号( o 一1 ) ，c l k g 为输出的短脉冲。当c o r n 为逻辑零电平时，m o 管导通，x 点被充电至高电 平1 ，此时二输入与门的输出为0 ，这样下面的m 1 管截止，与门输出再经 第2 章c m o s 图像传感器的结构和工作原理 过反相器，e l k g 的输出为1 ；当比较器发生翻转时，即t o m 由0 变为1 时， 上面的m 0 管截止，此时x 点由于m i 管截止仍然保持为1 ，这样与门两个 输入端都为1 ，与门输出为1 ，经过反相器c l k g 由l 变为了0 ，同时下面的 m i 管导通，x 点通过m 1 对地放电，当x 点放电至低电平时，与门输出变 为0 ，c l k g 又由0 变为1 ，从而实现了一个脉冲。时序波形如图2 1 5 所示a 。厂 厂 啦 厂 厂一 图2 1 5 锁存器时序 5 格雷码计数器 该计数器的主要作用是伴随温度计码计数器的变化而同步变化，变化范 围均为2 5 6 级。当温度计码计数器产生的斜坡电平达到像素的采样值时，比 较器的输出发生翻转，此时我们锁存当前格雷码计数器的值，就相当于保存 了对应的像素值。在后处理电路中再将格雷码数值转换为标准二进制b c d 码数值，就可以得到正常的像素数据。 编码方式采用格雷码是因为它码值加一时，只需要变化8 位二进制数中 的一位，相比其他编码方式，可以不产生“毛刺”，将锁存到误码的可能性 将到最低，保证产生数值的准确性。 2 2 4 多路选择器 多路选择器( m u x ) 的结构( 见图2 - 1 6 ) 要求为6 4 0 路，对应于像素阵列 的列数，采用动态结构编码网络，每次实现6 4 0 路中选通一路信号。同时，对于 每列中的8 位数字信号的单元版图中做到与列同宽。 考虑到功耗的要求，我们采用动态的电路结构，首先对各路进行预充电，然 后在二进制计数器的控制下，每次选出一路输出。 由于6 4 0 路电路结构比较复杂，管子数量也比较多，但每路的工作原理是相 似的，所以在此只画出了6 4 0 路中的两路，如所示，以便于说明多路选择器的工 作原理。 第2 章c m o s 图像传感器的结构和工作原理 数字输出 图2 1 6 多路选择器原理图 电路基本结构如图2 1 7 ，在每一列中，上面的p 管作为预充电管，下面的 1 0 个n 管由1 0 位的二进制码控制导通。共有2 0 位控制信号，l o 位m u x 信号和 1 0 位m u xi n v ( m u x 信号的反相) 信号，在版图中对于每一路的1 0 个n 管，按 照一定的排列组合关系将其与2 0 位控制信号中的1 0 个连接，从而在整个多路选 择器阵列中，每次只导通一列，选出一列的8 b i t 数据。 基本工作原理。开始时，对上面的p 管m o 进行预充电，将x 点的电平拉为 高电平，即x 为1 ，但下面的l o 个i 1 管都是截止的，此时m 1 管截止，没有数 据通路；当预充电结束后，上面的p 管m o 截止，下面的1 0 个n 管在二进制码 的控制下导通，形成x 点对地的通路，x 点通过n 管放电至低电平，即x 为0 ， 此时p 管m 1 导通，形成数据通路，将数据传输到输出端。控制信号时序如图2 1 8 所示。 需要注意的问题；由于面积限制，在传输数据的过程中我们无法选择传输门 结构，在这里我们选择了p 管作为传输管，这样就带来了一个问题：传输o 值时 的阈值损失。所以我们在数据输出端加了一个弥补阈值损失的电路，采用了一个 反相器和一个n 管，从而弥补了传输0 值时的阈值损失，还要注意将弥补阈值损 失的电路中的n 管的l 稍稍加大些，使之不会影响传输1 值时候的正确性。综 上所述，采用这样的电路结构有效保证了数据传输的正确。 第2 章c m o s 图像传感器的结构和工作原理 p r e c h a r g e 图2 - 1 7 多路选择器电路结构 c ：釜篇l j 竺匪 ! ! 蔓! 囔竺l 土_ l il 11 8 2 k 11 8 - 1 1 1 8 0 。i ：t t r 一 图2 1 8 控制信号时序 1 4 第2 章c m o s 图像传感器的结构和工作原理 2 3c m o s 图像传感器控制模块设计 2 3 1 控制模块结构 2 3 1 1 功能模块需要控制信号 1 有源像素阵列： 像素复位信号：r s t 行选选择信号：r o ws e l 2 一级放大器 采样像素输出信号( 与像素共用) ：r o ws e l 一级放大器复位信号：a m p lr s t 参考电压信号：a m p lr e f 放大信号：a m p l _ g a i n 3 a d 转换器中比较器模块 比较器采样模块：c m ps a m p l e 一级比较器复位：c m pr s t l 二级比较器复位：c m pr s t 2 采r a m p 信号：c m pr a m p 4 a d 转换器中的r a m p 发生器信号 温度计码输出计数器输出( 电容开关控制信号) b o ，b l ，b 2 b 2 5 4 ， b 2 5 5 5 两级寄存器： 一级寄存器锁存信号：r e 9 1 _ e l k ，由各级的比较器控制，决定何时 锁存寄存器的输出，如果比较器不翻转，则锁存计数器最大输出值。 二级寄存器锁存信号：r e 9 2 _ c l k ，所有一级寄存器都存储信号值后， g e 9 2 _ c l k 将所有的一级寄存器的信号转移到二级寄存器。 6 列多路选择器： 列多路选择：s 0 ，s 1 ，s 2 s 6 3 8 ，s 6 3 9 7 输出 8 位数据输出d a t a 7 ：0 】 行有效信号：h s y n c 帧有效信号：v s y n c 第2 章c m o s 图像传感器的结构和工作原理 2 3 i 2c m o s 图像传感器控制时序 图像传感器采用列共用存储节点，逐行处理方式。如图2 1 9 给出了一行信 号的处理过程。从像素开始积分到积分完成，采集光信号；像素复位，采集复位 信号；一级放大器放大，消除固定模式噪声，并且重新标定输出的电平；比较器 采样一级放大器输出，同时复位，然后比较器采样斜坡电平；温度计码计数器的 输出控制r a m p 发生器的2 5 6 开关，使斜坡电平从r e n 与r e f l l 之间单调变化， 同时格雷码计数器输出计数( 从斜坡电平开始发生起计数) ，当变化到某一时刻 时，比较器发生反转，使一级寄存器锁存格雷码计数器的值；如果斜坡电平变化 完成比较器仍没反转，则强制寄存器锁存最大输出。所有的r e g l 都锁存完计数 器得输出后，将r e g l 中的值转移至r e 簖中；随后多路选择器对6 4 0 列输出信 号进行选择读出，最终输出8 位有效数据。 p o ( e ir a t r o ws e i a m p l _ t s t a m p lr e f a m p l _ g a i n c m p - _ s a m p l e c m p _ r s l l c m p _ r s t 2 c m p - r a m p b 0 b l b 2 5 5 r e g lc l k t d 帕3 9 】 r e 9 2 c l k c o i 聃i d a t ao k d a t a _ o u t 1 r r k 一数据输出一 图2 - 1 9 一行像素的控制时序 上面的流程中可以看出，完整过程可以分为两级流水线进行，在第1 1 行采样 第2 章c m o s 图像传感器的结构和工作原理 的数据从r e g l 转移到r e 9 2 之后，一级放大器就可以对n + l 行进行采样、放大， 比较器同时进行采样；然后斜坡电平对第n + 1 行数据进行a d 转换处理的同时多 路选择器对r e 口中的数据进行译码读出。即r e 9 2 中存储第n 行数据，a d 转换 器处理第n + l 行数据。 各行连续处理工作的状态如图2 2 0 所示： p t dr t t r o w5 一 a m p l _ r s t a m p lr e f 肿t j 咖0 l 0 c ”p - 鞠呐 i 几： 渊删阻4 c m p _ r s t 2 ：ji _ l c m p r a m p ；广； i 几j b l l 几 一一 1 i 哪 厂i r e 9 1 _ a k o 咱3 9 ) r e 9 2 _ a k c a t e l d a t ao k o a t a _ m 第n 行粟样、黛丈 d 转换 第n 1 行盎据出 1 7 9o12 1 7 84 7 9o1 图2 - 2 0 各行连续工作时序流程 按照如上所述的工作时序，可以锝到c m o s 图像传感器时序电路的工作流 程如图2 2 l 所示。 第2 章c m o s 图像传感器的结构和工作原理 图2 2 1c m o s 图像传感器时序电路的工作流程 2 3 1 3 控制模块整体结构 1 8 第2 章c m o s 图像传感器的结构和工作原理 图2 - 2 2 控制模块整体结构 1 9 - 第2 章c m o s 图像传感器的结构和工作原理 根据各功能模块所需时序信号，将控制电路划分为五个模块单元，分别为1 1 c 通讯与寄存器模块( i i cr e g ) 、起始复位模块( s t a r t _ r e s e t ) 、像素放大器模块 ( p i x e l ) 、 转换器模块( 甜) 和多路选择器模块 。如图 所示，_amplifyad(mux) 2 - 2 2 模块左侧标识代表输入端口，右侧标识代表输出端口，带有箭头形状的端口表示 与功能模块连接的管脚。其中圆括号中的数字表示端口位数，方括号中的数字表 示端口的位序。 2 3 2i i c 通讯与寄存器模块 c m o s 图像传感器中使用i i c 总线作为控制接口，用于调整各模块运行参数， 如图2 - 2 3 所示。 图2 - 2 3u c 通讯 其中，i i c 主机由f p g a 组成的外围电路实现，用户从p c 机的人机交互界 面将要调整的参数信息发送给i i c 主机( 即f p g a ) ，i i c 主机将原始数据和地址 转换成标准i i c 总线通讯协议，与i i c 从机进行通讯。 i i c _ r e g 模块为i i c 总线的从机，主要负责接收外部的数据信号，并将数据写 入到相应的寄存器中。 2 3 2 1输入输出端口 1 输入端口 1 ) r e s e ti n ：经过主时钟同步的模块复位信号。 2 ) s c hi i c 通讯总线时钟信号。 3 ) s d a ：u c 通讯总线数据信号。 2 输出端口 1 ) m o d e , 运行模式寄存器输出。 2 ) c l kd i v ：分频寄存器输出。 3 ) i n t gt i m e ：积分时间寄存器输出。 4 ) w i n r _ s t a r t ：窗选起始行寄存器输出。 5 ) w l n _ r _ h i g h ：窗口高度寄存器输出。 第2 章c m o s 图像传感器的结构和工作原理 6 ) w i n _ p _ s t a r t ：窗选起始列( 像素) 寄存器输出。 7 ) w i n _ p _ w i d e ：窗口宽度寄存器输出。 2 3 2 2 数据存储方式 考虑到与内部其他模块的接口，可以有两种实现方法：片内r a m 和寄存器 阵列。 采用片内r a m 的方法，可以直接使用相应厂家的双口r a m 的i p 核，只需 要将数据转换为符合r a m 要求的时序就可以了，而且由于其自身的优化，可以 节省空间，降低功耗。只是在传输多个数据的时候需要按顺序操作，无法同时传 输。 表2 - 1 控制寄存器 地址位数功能说明 8 h 0 1 芯片代码 7 4 芯片号芯片代号 3 0 版本号芯片版本代号 8 。h 0 2运行模式 7 拍摄模式可选连续输出模式和单帧输出模式，当单 帧输出模式时，只输出一帧后，芯片进入 i d l e 状态。 默认为连续输出模式 o 】 6 窗选模式可选全阵列和窗体模式。全阵列输出6 4 0 x 4 8 0 完全阵列，窗体模式根据窗体寄存 器的设定值输出规定大小的窗体数据。 默认为全阵列模式【0 】 8 啪37 加 分频寄存器根据寄存器值，对主时钟进行分频，得到 像素时钟频率。 8 h 0 4 4 ) 51 5 - 0 积分时间寄存器2 个字节设定积分时间长度。积分时间以 行处理时间为单位模式 8 m 0 6 0 7 1 5 4 )起始行 窗口模式的起始行。 8 h 0 8 - 0 9 1 5 _ o 起始列窗口模式的起始列。 8 m 1 0 - l l1 5 加 窗口高度窗口高度 8 _ 1 1 2 1 31 5 o 窗口宽度 窗口宽度 使用寄存器阵列的方法，是将传入的数据按一定的地址存放在不同的寄存器 中，在需要的时候直接读取，这种方法支持多数据的同时传输。但其所占用的面 积相对不够优化，模块端口多( 但在a s i c 设计不会有太多影响) 。 考虑到本设计的需要，由于使用的参数不多，但要求同时传输，而且虽然输 出端口较多，但都为与内部其它模块的连接，不涉及外部引脚，因此采用的是寄 第2 章c m o s 图像传感器的结构和工作原理 存器阵列的方法。如图2 2 3 所示，i i e r e g 模块中包含多个控制寄存器( 见表 2 1 ) ，控制寄存器连接到该模块的输出端口，作为其它模块需要的调整参数。 2 3 2 3 i i c 总线简介 i i c b u s ( i n t e r i n t e g r a t e d c i r c u i t b u s ，内部集成电路总线) 产生于8 0 年代， 是由p h i l i p s 公司推出的二进制串行扩展总线，最初为音频和视频设备开发，现 在主要用于连接微控制器及其外围设备。i i c 总线协议允许若干兼容器件( 如单片 机、存储器、a d 和d a 转换器以及l e d 、l c d 驱动器等) 共享总线，目前很多 半导体集成电路上都集成了i i c 接口，逐渐成为一种通用的串行通讯方式【5 j 。 2 3 2 4 1 ， j 4 2 3 2 5 1 j 4 ， 6 2 3 2 6 1 i i c 总线特征 两条总线线路：一条串行数据线s d a ，一条串行时钟线s c l 。 每个连接到总线的器件都有唯一的地址，既可以作为主控机( 或从机) ， 又可以作为发送器( 或接收器) ，这取决于它所要完成的功能。 它是一个真正的多主机( m u l t i m a s t e r i n g ) 总线，任何能够进行发送和接 收的设备都可以成为主总线。一个主控能够控制信号的传输和时钟频 率。在任何时间点上只能有一个主控。如果两个或更多主机同时初始化 数据传输可以通过冲突检测和仲裁保证数据正常传输。 串行的8 位双向数据传输位速率在标准模式下可达1 0 0k b i t s ，快速模 式下可达4 0 0k b i t s ，高速模式( h s 模式) 下可达3 4 m b i t s 。 连接到同一总线的器件数量受到总线的最大电容4 0 0 p f 限制。 i i c 总线术语 发送器发送数据到总线的器件 接收器从总线接收数据的器件 主机初始化发送产生时钟信号和终止发送的器件 从机被主机寻址的器件 仲裁是一个在有多个主机同时尝试控制总线，但只允许其中一个控 制总线并使通讯数据不受影响的过程。本设计由于主机和从机位置已经 固定，因此不存在仲裁关系。 同步两个或多个器件同步时钟信号的过程 i i c 数据传输方式 总体特征 第2 章c m o s 图像传感器的结构和工作原理 s d a 和s c l 都是双向线路，都通过一个电流源或上拉电阻连接到正的 电源电压。当总线空闲时，这两条线路都是商电平。 2 位传输 s d a 线上的数据必须在时钟的高电平周期保持稳定，数据线的高或低电平 状态只有在s c l 线的时钟信号是低电平时才能改变，如图2 - 2 4 所示。 扩 厂一 ：m “：c h w ： ：= ：；淼： 图2 2 4 数据的保持与改变 3 起始和停止条件 1 ) 当s c l 是高电平时，s d a 线从高电平向低电平切换，表示起始条 件( s t a r tc o n d i t i o n ) 。 2 ) 当s c l 是高电平时，s d a 线由低电平向高电平切换，表示停止条 件( s t o pc o n d i t i o n ) 。 起始和停止条件( 如图2 2 5 ) 一般由主机产生，总线在起始条件后被 认为处于忙的状态，在停止条件的某段时间后，总线被认为再次处于