（模式识别与智能系统专业论文）基于CMOS数码相机的设计.pdf

i 大学硕士学位论文 摘要 基于c m o s 数码相机的设计 摘要 随着多媒体应用的迅速发展，数码相机作为计算机的图像输入设 各，不仅能采集静止图像，而且能采集音频信号、视频图象。 目前数码相机大多采用成本较高的c c d 器件，图象压缩算法采 用j p e g 算法，高压缩比下会产生明显的方块失真，图象质量差，这 方面数码相机还比不上传统照相机。 本文从降低数码相机成本，改善图象压缩算法两个方面入手，分 斤了低成本、高性能的基于c m o s 数码相机系统原理，设计并实现 了一个典型的c m o s 数码相机系统，并探讨了数码相机图象压缩算 法的改进。首先在实验数据的基础上分析小波基的一些性质对图象压 缩的影响，选择适合本文算法的小波基。对经典的嵌入式零树编码算 法( e z w ) 进行改进，并结合量化和码率控制，提出一种基于小波 变换的量化零树编码算法。实验证明，该算法兼顾高压缩比、高性能 和低复杂度等数码相机实际应用要求，可实现数码相机存储卡内存不 增加的情况下，高质量的存储更多图象。 关键词：数码相机，c m o s ，图象压缩，小波变换，小波基，零树， 量化，码率控制 “、 ! ：塑至望叁堂塑! 堂丝堡塞 一一一垒璧坚垦! 曼! d e s i g nf o rc m o s b a s e d d i g i t a lc a m e r a a b s t r a c t w i t hr a p i dg r o w t ho ft h em u l t i m e d i aa p p l i c a t i o n ，d i g i t a l c a m e r ah a sb e e n i n c r e a s i n g l yp o p u l a r a sa h a n d y p c p e r i p h e r a lf o rc a p t u r i n g n a t u r a li m a g e s ，a u d i oa n d v i d e o n o w a d a y s ，m o s td i g i t a lc a n e r a su s ec c di m a g es e n s o r s ，w h i c ha r eh i g h 。c o s t a n dh i g h - p o w e r m o r e o v e r ，j p e gi sa p p l i e dt oi m p l e m e n ti m a g ec o m p r e s s i o ni n c a m e r a s ，w h i c hm a yi n t r o d u c eb l o c ka r t i f a c t sw h e nc o m p r e s s e dd r a m a t i c a l l y f r o m t h i sp o i n t ，t h ed i g i t a lc a m e r ai ss t i l ln o te q u i v a l e n tt ot h et r a d i t i o n a lf i l mc a m e r a t h i sp a p e re x p l o r e sh o wt ol o wd i g i t a lc a m e r ac o s t sa n dh o wt oi m p r o v et h e u s e d i m p r e s s i o na l g o r i t h m w eh a v e d e t a i l e dt h e s y s t e mp r i n c i p l e a n dh a r d w a r e d e s i g no fc m o sb a s e dd i g i t a l c a m e r aa n dd e v e l o p e da l li m p r o v e dc o m p r e s s i o n a l g o r i t h m f i r s t l y , b a s e do n t h ee x p e r i m e n t s ，t h i sp a p e ra n a l y z e dw h a te f f e c t ss o m eo f t h ep r o p e n i e so fw a v e l e tb a s e sh a v eo ni m a g ec o m p r e s s i o n t h e nt h ep r o p e rw a v e l e t b a s ef o rt h ep r o p o s e dm e t h o di s c h o s e n s e c o n d l y , s o m ei m p r o v e m e n th a sb e e n i m p l e m e n t e d o ne m b e d d e dz e r o t r e ew a v e l e tc o d e r t h ez e r o t r e e a l g o r i t h m i s c o m b i n e dw i t h q u a n t i z a t i o n a n da n i m p r o v e d b i tr a t ec o n t r o l a l g o r i t h m t h i s i m p r o v e da l g o r i t h mi s as i m p l e ，y e tr e m a r k a b l ye f f e c t i v e ，a c q u i r i n gm o r es a t i s f i e d i m a g e sw i t hh i g hc o m p r e s s i o nr a t i o a sw e l la sb e t t e rr a t e d i s t o r t i o np e r f o r m a n c e c o m p a r e dw i t hj p e gt h u s ，w ec a nr e c o r dm o r ei m a g e so fh i 曲q u a l i t yi nd i g i t a l c a m e r a sw i t h o u ti n c r e a s i n gt h em e m o r y c a p a c i t yo f m e m o r y c a r d s k e y w o r d s ：d i g i t a lc a m e r a ，c m o s ，i m a g ec o m p r e s s i o n ，w a v e l e tt r a n s f o r m ， w a v e l e tb a s e ，z e r o t r e e ，q u a n t i z a t i o n ，b i t r a t ec o n t r o l 上海交通大学硕士学位论文 第一章绪论 第一章绪论 1 0 概述 人类获取的外界信息约有6 0 来自于视觉川，如何获取和处理视觉信息是非 常重要的。多媒体通信、高清晰度电视以及图像处理、模式识别和计算机视觉等 众多领域都对视频图像的采集与处理提出了越来越高的要求。显然视频图像采集 技术的研究具有重要的意义。 传统的以c c d 摄像头和计算机图像采集卡为核心的图像系统，在视频采集 的应用中，一直占有主导地位。但近年来，数码相机以其高分辨率、方便、快捷、 处理软件丰富和高的性能价格比等特点受到了人们的广泛关注。数码相机【2 】作为 计算机的图像输入设备，已在一些应用领域对传统的计算机图像采集系统形成了 挑战。新型数码相机不仅能采集静止图像，而且能采集音频信号、视频图象，这 在一定意义上说，它昭示了图像采集技术的一个发展方向。 数码相机的影象是通过c c d c m o s 摄影器件取得后再把图象数据贮存在存 储卡上，这是和传统照相机用胶片摄影的最大区别。数字图象便于计算机存储和 处理，容易实现网络传输：胶片图象不但传输困难，而且长时间存放或保存不当， 胶片或照片容易发生变质。 众所周知，普通d i n 2 1 彩色胶片【3 j 的分辨率可达1 0 0 线对n u n 以上，传统 胶片摄影中照片分辨率主要取决于胶片感光材料的颗粒大4 , 着t a 镜头分辨率。用较 好的镜头，一般照相分辨率在3 5 线对m m 左右，由于1 3 5 胶片的有效成象尺寸 是2 4 x 3 6 m m ，大约是1 3 英寸的c c d 摄影器件尺寸的7 倍，因此它们图象信息 量很大，换算为有效象素为6 0 0 万左右。而目前即使是专业数码相机在1 3 英寸 c c d 器件上获得6 0 0 万象素还比较困难，往往需加大c c d 摄影器件的尺寸，造 成专业数码相机的价格大得惊人。不但在c c d 器件的成本上，而且由于需用的 芯片的存储量扩大及c p u 的运算速度剧增使成本剧烈上升，无法适合普通消费 者购买。这方面数码相机目前还比不上传统照相机。 因此，对数码相机采用的图象压缩算法进行改进，在不增加( 或少量增加) 存储卡内存的情况下，存储更多的高质量图象以及降低数码相机成本是新型数码 相机研究的重要方向。 上海交通大学硕士学位论文 第一章绪论 1 1 研究背景 1 1 1 数码相机特点及分类 数码相机是集光、电、机于体的电子产品，其内部集成了图像信息的采集、 存储和传输等部件，能与计算机进行数字信息的交互处理。数码相机也叫数字相 机，基本原理是将图象聚焦在一种对光电敏感的半导体芯片上( c c d c m o s ) 。 c c d c m o s 的作用就像胶片一样，但它是把图像像素的亮度和色度转换成数字 信号，再经过对数字信号的压缩由数码相机的存储卡保存。与传统相机相比，数 码相机的主要特点1 4 】是： 1 用c c d 或c m o s 图像传感器代替胶卷感光； 2 用存储器代替胶卷记录图像，永不变质： 3 无胶卷传输机构； 4 有与计算机的接口，容易实现计算机图象处理和网络传输； 5 可以通过液晶显示器实时监控画面，观看拍摄效果。 数码相机的发展时间不长，但它的应用前景吸引了全球各大顶尖公司争相开 发新品种，从而导致数码相机新品倍出，种类繁多。从成像器件的种类、影像捕 获方式、对计算机依附程度和数码相机的结构对当前数码相机进行分类。 1 平面c c d 型和扫描线性c c d 型数码相机 平面c c d 芯片上的光电二极管排列成一个矩阵平面，捕获影像能一次曝光 完成。成像速度快，缺点为分辨率低。线性c c d 芯片长而窄，它是以逐行扫描 的方式摄取景物，分辨率高，但拍摄时间长，宜拍静物。 2 单次捕获型和三次捕获型数码相机 单次捕获型也只需一次曝光完成摄像。大多数单次捕获型数码相机就是平面 c c d 数码相机。而三次捕获型数码相机镜头上装有红、黄、蓝旋转滤色镜，为 捕获一个彩色影像，需要曝光3 次，不宜拍摄活动景物。 3 联机型和脱机型数码相机 联机型数码相机自身不带存储器，使用时和计算机相连，拍摄的照片影像信 息直接传输给计算机加以存储。而脱机型数码相机带有影像存储器，能脱离计算 机独立拍摄。如果携带足够的影像存储器和电池，数码相机可连续不间断地拍摄。 上海交通大学硕士学位论文 第章绪论 4 单反型、轻便型和机背型数码相机 单反数码相机是在传统的单反相机基础上添加了c c d 、a d 等相关部件得 到的。它基本保留了传统单反机的功能。轻便型数码相机机构紧凑，体积小， c c d 象素在百万左右，分辨率不高，但它有体积小、价格的的优势。机背型数 码相机比单反型相机和轻便型相机更专业。主要是中型和大型机，可随时进行数 码拍摄和传统拍摄方式的转换。使用机背型数码相机可以获得高分辨率和优质成 像，但体积大使用不便，因此局限于图象质量要求苛刻的商业拍摄和广告拍摄等 场合。 5 c m o s 型数码相机 o m i n i v i s i o n 公司推出的c m o s 单片摄像器件具有功耗低、重量轻、价格低、 可靠性高、数字信号输出方便的特点，便于制作超微型摄像产品，体积可以做得 像钮扣大小，这是c c d 同类产品所不可比拟的，可广泛应用于公安、空间技术、 医疗等特殊领域。 考虑到降低数码相机成本的实际需要，本文在介绍c m o s 图象传感器的发 展、现状及其原理的基础上，对c c d 和c m o s 传感器进行了比较，并着重分析 了基于c m o s 的数码相机的系统结构和工作原理。 1 1 2 图象压缩方法分类 图象是信息传递的一种重要媒体，为了使有限的符号表达更多的信息量， 图象压缩既非常必要，也有可能，故此产生了各种各样的图象压缩方法。般原 始图象中存在很大的冗余度( 如由相邻象素的相关性造成) ；或者是用户由于种种 原因，而对原始图象的信息不全都感兴趣；或者是当信道的分辩率不及原始图象 的分辩率时，降低输入原始图象分辩率对输出图象的分辩率影响不大；或者是大 量图象信息( 如：卫星遥感图象) 的短时传输处理。所有这一切都要求在图象处理 过程中，必须丢掉大量无用信息，保留有用部分，用尽可能少的字节数来表示原 始图象，以提高图象传输的效率和减少图象的存储容量。 1 压缩方法川的分类 研究图象压缩方法实际是研究图象编码的算法，随着研究的不断深入，出现 了多种编码方法。显然，各种编码方法的并存是十分必要的。图象压缩编码可以 上海交通大学硕士学位论文 第一章绪论 有多种分类方法： 1 ) 以恢复的图象与原图象关系分：无失真编码和限失真编码： 2 ) 以使用方法的原理分：基于图象统计特性、基于人眼视觉特性和基于图 象特性提取编码。 3 ) 以图象的光学特性分：静止图象、慢速图象和实时图象编码。 4 ) 以采用的基本理论不同分：变换法和分形法编码。 2 压缩方法简述 1 ) h u f f m a n 压缩方法 无失真编码方法中，h u f f m a n 编码是一种较有效的编码方法。h u f f m a n 编码 是一种长度不均匀的，平均码率可以接近信息熵值的一种编码。它的编码思想是： 对于出现概率大的信息，采用字短的码，对于出现概率低的信息采用字长的码， 以达到缩短平均码长，从而实现数据的压缩。h u f f m a n 编码小变字长编码方法是 最佳的，其码字平均长度很接近信息符号的熵值。 2 ) 行程( r u n l e n g t h ) 压缩方法 行程编码是相对简单的一种编码。是指一行扫描的象素中，比较相邻象素的 幅度( 如：亮度) ，当幅度有一显著变化时，就说有一个行程存在。随终点位置标 记方法不同，行程编码可分为“行程终点编码”和“行程长度编码”。 3 ) 预测压缩方法 如果已知图象一个象素离散值，利用其相邻象素的相关性，预测它的下一个 象素( 水平方向或垂直方向) 的可能值，求其两者差，再量化编码。预测编码方法 计算简单，若采用h u f f m a n 编码技术，压缩比从2 ：1 到4 ：1 仍有满意的效果。 4 ) 变换压缩方法 图象经过正交变换后能够实现图象数据压缩的物理本质在于：经过多维坐标 系中的适当坐标旋转和变换，能够把散布在各坐标轴上的原始图象数据，在新的 适当的坐标系中集中到少数坐标轴上，因而有可能用较少的编码字节数来表示一 幅图象，实现图象的压缩编码。从数学上来看，可用于图象压缩编码的正交变换 有很多种，如： f o u r i e r 变换，w a l s h h a d a m a r d 变换，d c t 变换，s l a n t 变换，h a a r 变换和 k l 变换等。 4 上淘交通大学颁士学位论文第一章绪论 5 1 矢量量化压缩方法 前面介绍的预测编码、变换编码等都属于标量量化，即先将图象经某种映射 变换变成一个数的序列，然后一个数一个数地进行量化编码。矢量量化( 简称v q ) 在近几年发展较快。它与标量量化方法不同，它把图象数据分成很多组，每组看 成为一个矢量，然后逐个矢量进行量化编码。在v q 算法中，图象中的各种相关 信息( 如：各象素点间、各块之间以及相邻编码地址问等) 可通过有效的码书设 计得以充分地去除。矢量量化是限失真压缩编码方法，压缩比可达到4 0 ：1 。 6 ) 分形压缩方法 8 0 年代后期，b a r n s l e y 等人研究利用分形几何学的思想进行图象压缩的方 法，并提出了一种适合图象压缩的分形模型一迭代函数系统( 简称i f s ) 。利用 分形模型进行图象压缩时，一幅复杂的图象可以只占用很少字节的i f s 代码，因 而可以实现很高的压缩比( 最高可达1 0 0 0 0 ：1 ) 。 7 ) 小波变换压缩方法 小波变换把图象分解成逼近图象和细节图象之和，它们分别代表图象的不同 结构，然后采用快速算法( m a l l a t ) 进行压缩，可以获得很高的压缩比。 8 ) 复合压缩方法 各种压缩方法适用的场合不同，达到的效果也不同。为了充分利用各自的优 点，克服缺点，相应产生了多种复合方法，如 基于小波变换的分形图象压缩； 基于d c t 的分形图象压缩： 基于非均匀分割和基础表的图象压缩； 基于小波变换和量化的图象压缩； 基于二值图象压缩编码的前处理等。 本文根据数码相机中压缩算法的实际要求，兼顾高压缩比、高性能和低复杂 度，采用了基于小波变换的量化零树编码算法。 1 2 本文的主要工作和结构安排 本文的研究工作着眼于目前数码相机成本高，高压缩比下存储图象质量差的 不足，讨论了低成本、高性能的基于c m o s 数码相机的系统原理，设计并实现 了一个典型的c m o s 数码相机系统，并对其图象压缩算法进行改进，在不增加 5 上海交通大学硕士学位论文第一章绪论 ( 或少量增加) 存储卡内存的情况下，存储更多的高质量图象。 首先分析了基于c m o s 数码相机的核心器件- - c m o s 图象传感器的原理。 与c c d 相比，c m o s 图像传感器具有成本低、体积小、功耗低、高集成度、新 型u s b 计算机接口及红外接口技术的优点。随着大规模集成电路设计与制造技 术进入深亚微米阶段，用c m o s 图象传感器取代传统的c c d 图象传感器是降低 数码相机成本的最有效途径。 在分析c m o s 图象传感器原理的基础上，本文着重讨论了基于c m o s 的数 码相机的系统结构和工作原理。目前的数码相机采用了不同压缩比例的j p e g 压 缩方式，但这种压缩方式在高压缩比下，失真严重，不适合大容量存储图象文件， 改善传统的图象压缩算法是新型数码相机研究的重要方向。 在充分理解数码相机系统原理、深入研究o m n i v i s i o n 公司的单片c m o s v g a 彩色数字摄像头o v 7 6 1 0 硬件特性的基础上，本文以o v 7 6 1 0 为例研究 了典型c m o s 数码相机的硬件设计方法，实现了数码相机表贴器件印刷电路板 的设计，此设计现已成功投入生产。 本文采用了一种基于小波变换的量化零树编码算法。小波变换广泛应用于图 象压缩，但并非所有的小波基都适合于分解图象。本文讨论了小波基的一些性质 与编码效果的关系，在实验数据的基础上分析小波的正交性、双正交性与正则性 和消失距对图象压缩的影响，给出了选择的原则。根据数码相机的实际应用需要， 选择了适合本文算法的小波基。 为易于硬件实现，本文对经典的嵌入式零树编码( e z w ) 进行改进。为提 高效率，放弃嵌入式结构，而引入量化。当使用零树加量化后，嵌入式编码的码 率控制功能就失去了，为此提出了一种改进的码率控制算法。实验结果表明，本 文算法与传统数码相机中采用的j p e g 算法相比，在码率控制性能变化不大的条 件下，大大提高了图象的重建质量，尤其在高压缩比下，有效克服了j p e g 算法 的方块失真。这样，可实现数码相机存储卡内存不增加( 或少量增加) 的情况下， 高质量的存储更多的图象。 论文共分六章。 第一章主要介绍了研究工作的实际意义和些基本概念。 第二章在介绍c m o s 图象传感器的发展、现状及其原理的基础上，对c c d 上海交通大学硕士学位论文第一章绪论 和c m o s 传感器进行了比较，着重分析了基于c m o s 的数码相机的系统结构和 工作原理，阐述了改善数码相机中图象压缩算法的必要性。 第三章以o v 7 6 1 0 为例，研究了典型c m o s 数码相机的硬件设计方法，实 现了表贴器件印刷电路板的设计，并给出系统的p c b 图及实图。 第四章以m a l l a t 提出的多分辨率分析为主体，阐述小波变换在数码相机图 象压缩中的应用，分析小波基的一些性质对压缩效果的影响，选择适合本文算法 的小波基。 第五章提出一种实现码率控制的量化零树小波编码算法，对经典的嵌入式零 树编码算法( e z w ) 进行改进，并结合量化和码率控制。对标准图象进行实验， 结果表明，与传统数码相机采用的j p e g 算法相比，本文算法具有码率稳定，主 观质量好，p s n r 高的特点。 第六章主要总结了本文的工作并对下一步工作做了展望。 上海交通大学硕士学位论文第二章基于c m o s 的数码相机 第二章基于c m o s 的数码相机 2 0 概述 七十年代，c m o s 图像传感器和c c d 图像传感器同时起步。c c d ( 荷藕合 器件) 由于灵敏度高、噪音小，逐步发展成为图像传感器的主导产品。但由于工 艺上的原因，敏感元件和信号处理电路不能集成在同一芯片上，造成了由c c d 器件制成的摄像机体积大、功耗大的局限。c m o s 图像传感器【5 】以其体积小、功 耗低、价格低在图像传感器市场上独树一帜。但目前市场上的c m o s 图像传感 器，一直没有摆脱光照灵敏度低和图像分辨率低的缺点，图像质量还无法与c c d 相比。如果我们能把c m o s 图像器件的光照灵敏度再提高5 至1 0 倍，把噪音进 一步压低，那么c m o s 传感器的图像质量就可达到或略微超过c c d 的水平，却 同时保持体积小、重量轻、微功耗、高集成、低价位等c c d 器件所不具备的优 点。那么c m o s 图像传感器取代c c d 图像器件就会成为事实。 9 0 年代，随着大规模集成电路设计与制造技术进入深亚微米阶段，沉寂多 年的c m o s 图像技术重新被启动。许多公司纷纷投资对c m o s 图像传感器技术 进行研究和开发。这些公司经过多年的努力，已经不同程度地掌握了c m o s 图 像传感器设计、制造的规律。困扰c m o s 图像传感器图像质量的障碍也一个个 被突破。然而，c m o s 图像传感器的最大弱点，即光照灵敏度低的弱点，却一直 没有很大改进。目前市场上c m o s 图像传感器，在光照条件好时( 如晴朗白天的 室内) ，图像质量很好：但在光照暗的时侯( 如黄昏室内昏暗的灯光下) ，图像质量 会严重恶化。工业界人士逐渐形成了一种看法：“c m o s 图像的质量就是这样了， 它不可能达到c c d 的水平。” 最近，c m o s 图像传感器技术又取得了突破性的进展，如o m i n i v i s i o n 推 出的新版7 5 1 0 彩色图像传感器和7 0 1 0 黑白图像传感器，其图像质量给人鲜明的 视觉感观效果，很难相信这是来自c m o s 图像传感器的图像。它已把c m o s 图 像传感器的光照灵敏度提高了至少5 倍，用它制作的摄像机达到了与目前c c d 器件同等的水平。这是一个不小的事件。将会在今后视频图像市场上形成巨大的 冲击波。c m o s 图像器件质量指标所以最近可脱颖而出，是因为人们终于打破了 这样一个传统观念：“c m o s 图像敏感元件的光照灵敏度和信噪比的改善，在原 8 上海交通大学硕士学位论文第二章基于c m o s 的数码相机 理上是不可克服的! ”人们发现在全面的改善电路设计、器件结构和工艺流程以 后，c m o s 图像芯片的质量指标是可以进一步改善并达到c c d 图像质量水平。 这一突破性的进展，必将加快c m o s 图像传感器取代c c d 的步伐。 近年来，以c c d 或c m o s 图象传感器为核一心器件的数码相机发展迅速，主 要分布于计算机、通信、电子、金融、交通、文化、商业、旅游、建筑、军警及 政府部门。数码相机对于个人用户来说，主要用于旅游、摄影等方面，占近半数 的用户是用于专业摄影及为工作提供便利：而作为单位用户，最主要用于工作需 要的拍摄，其次用作产品介绍及广告设计、新闻采访、桌面排版及建筑方面的装 璜设计。数码相机的最大优势在于它的信息数字化，由于数字信息可以借助遍及 全球的数字通讯网即时传送，所以数码相机可以实现图像的实时传递。 本章在介绍c m o s 图象传感器的发展、现状及其原理的基础上，对c c d 和 c m o s 传感器进行了比较，并着重分析了基于c m o s 的数码相机的系统原理与 硬件设计，阐述了改善数码相机中图象压缩算法的必要性。 2 1c m o s 图像传感器 2 1 0 概述 自6 0 年代末期，美国贝尔实验室提出固态成像器件这新概念和一维 c c d ( c h a r g ec o u p l e dd e v i c e ) 模型器件以来，c c d 器件在图像传感、信号处理、 数字存储等方面获得迅速发展。固态成像器件除c c d 外，还有电荷注入型 c i d ( c h a r g ei n j e c t i o nd e v i c e ) ，p d a ( p h o t o d i o d ea r r a y ) 及c m o s ( c o m p l e m e n t a r y m e t a l o x i d es e m i c o n d u c t o r ) ，但很长时间内一直以c c d 型应用最为普遍。 一 般的c c d 图像传感器只能做定性分析，为了提高分辨率和动态范围、减小输出 噪声，开发了带致冷设备的c c d 、科学级c c d 或高性能c c d 。 7 0 年代初，国外开发出早期的c m o s 图像传感器，但在分辨率、动态范 围、噪声、功耗和成像质量等方面都不如当时的c c d 图像传感器，因而未获得 充分发展。9 0 年代初期，c m o s 图像传感器显示出强劲的发展势头。随着超 大规模集成电路( v l s i ) 制造工艺技术的发展，现在c m o s 图像传感器的一些 参数性能指标已达到或超过c c d 图像传感器。 上海交通大学硕士学位论文 第二章基于c m o s 的数码相机 c c d 的制造工艺不易在单芯片内实现a d 转换、信号处理、自动增益控制、 精密放大和存储等功能，而借助于v l s i 技术，c m o s 图像传感器则能把上述 功能集成到单一芯片上。高度集成化减小了系统复杂性，降低了成本。此外，它 还具有单一低工作电压( 3 - 5 ) v 、低功耗、与其他集成c m o s 电路兼容、可对 局部像元编程随机访问等优点。 本节将介绍c m o s 图像传感器的历史背景、发展现状、基本结构、成像阵 列、c c d 与c m o s 的比较及发展趋势。 21 1c m o s 图象传感器发展 在c m o s 和c c d 诞生之前，已经出现了m o s 图像传感器【6 l 口6 0 年代 就有采用n m o s 和p m o s 工艺制造固态传感器的报道。1 9 6 6 年，西屋公司 开发了5 0 x 5 0 的单片式光敏晶体管阵列。1 9 6 7 年，仙童公司报道了1 0 0 x 1 0 0 的光敏二极管阵列。1 9 6 8 年，英国的n o b l e 描述了利用表面光敏二极管和埋 沟道光敏二极管制造图像传感器，讨论了用于读出电荷的积分放大器。 1 9 7 0 年，f r yn o b l e 和r y c e o f t 探讨了固定模式噪声( f p n ) 的形成和抑制方法，固 定模式噪声一直是c m o s 的主要问题。 7 0 年代出现的c c d 具有许多优点，其固定模式噪声可以忽略。但是人们 并没放弃对c m o s 的研究，日立、三菱等研究机构曾推出基于m o s 图像传感 器的摄像机，但是成像质量不如当时生产的c c d 。8 0 年代中、后期，当c c d 在可见光领域得以广泛应用时，有的混合式红外焦平面阵列却采用c m o s 图像 传感器。 9 0 年代以来，v l s i 技术的发展和用户对小型化、低功耗和低成本成像系 统的需求，研究c m o s 图像传感器再次成为热点。美国、日本等国家和欧洲 的一些国家均投巨资开发、研究c m o s 图像传感器，并取得令人满意的成果。 目前，大多采用单层多晶硅双层金属布线n 阱工艺，有的已采用0 5 肛m 工艺技 术，光敏二极管以n 阱工艺p p + 外延衬底上制作的n 十p 二极管效果最好。 低分辨率应用领域中，有p i n k h i l l 公司用于娱乐和玩具行业的成像系统； m a r s h a l l 电子公司推出的单片照相机，内含1 1 3i n ，3 0 0 x 2 4 0 阵列传感器，用9 v 的碱性电池至少可连续工作2 4h ；v l s iv i s i o n 公司生产的用于儿童娱乐时即 1 0 上海交通大学硕士学位论文第二章基于c m o s 的数码相机 时拍照新概念相机：韩国汉城国立大学电子工程学院集成系统实验室利用 6 4 x 2 5 6 阵列传感器开发的指纹识别系统。 在中、高分辨率应用领域，c m o s 图像传感器也得到广泛的发展和应用 如：v l s iv i s i o n 生产的单色3 8 4 x 2 8 7 像素和3 2 0 x 2 4 3 像素的c m o s 摄像机 及阵列达1 0 0 0 x s 0 0 的用于数字相机的彩色图像传感器：美国o m n i v i s i o n 公司 开发的c m o s 图像传感器系列产品有6 4 0 x 4 8 0 ，1 0 2 4 7 6 8 ( 黑白、彩色) 图像传 感器及开发成功的高分辨率1 2 8 0 x 1 0 2 4 图像传感器。此外，还有r o c k w e l l 半 导体系统所研制的用于数字和视频领域的6 4 0 x 4 8 0 ，8 0 0 x 6 0 0 ，9 6 0 x 7 2 0 阵列高 分辨率c m o s 图像传感器；美国宇航局喷气实验室设计制造的含有1 0 2 4 l 0 2 4c m o s 图像传感器的彩色相机；k o d a k ，i n t e l ，m o t o r o l a ，h a m a r n a t s u ，i m e c ， a t & t ，l u c e n tt e c h n o l o g i e s ，i b m 和h y v n d a i 等公司均开发出各种类型的 c m o s 器件。另外，s u n n i 公司正在开发用于指纹识别和二维条形码识别的高 集成度c m o s 图像传感器，可用于高速、低成本光学存储o e mc m o s c c d 图 像系统。 还有的国家正投入巨资开发c m o s 图像传感器以期在激烈的竞争中迎头 赶上，如：加拿大的d a l s a 公司和美国的s e m i c o n d u c t o r i n s i g h t s 公司联合进 行有源像素c m o s 相机的研究；s e m i c o n d u c t o ri n s i g h t s 公司集中开发c m o s 图像传感器；d a l s a 公司开发电子相机：集成电子技术公司也开始着手生产 c m o s 相机。 发达国家为了保持其领先地位，对c m o s 图像传感器和成像系统长期进行 资助例如：i b m ，美国国防先进研究工程机构和国家科学基金会对开发图像处 理器进行资助：t i d e mi b i d e m 工程及欧共体人类资源计划署资助的可变空间 非正交c m o s 图像传感器的研究：美国国家航空航天管理局的先进概念和工艺 处及先进科研工程机构对加州理工大学发动机喷气实验室资助开发了各种类型 的c m o s 图像传感器；国家科学基金会对m i t 资助用于开发高动态范围、列 并行数字输出的数字图像处理器。 2 1 2 c m o s 图像传感器芯片的整体结构 c m o s 图像传感器芯片将图像传感部分、信号读出电路、信号处理电路和 上海交通大学硕士学位论文 第二章基于c m o s 的数码相机 控制电路高度集成在一块芯片上，再加上镜头等其他配件就构成一个完整的摄像 系统性能完整的c m o s 芯片内部结构 】如图2 - 1 所示其主要是由感光阵列、 水平( 垂直) 控制和时序电路、模拟信号读出处理电路、a d 转换电路、数字 信号处理电路和接口电路等组成感光阵列将光电产生的电流在水平( 垂直) 控 制和时序电路的作用下读出到模拟信号读出处理电路，经a d 转换变成数字信 号，再经数字信号处理、电路处理，最后通过u s b 接口读入计算机 垂 直 控 帝0 采口 时 序 电 路 水平控制和时序电路 感光阵列 模拟信号读出处理电路 a d 转换电路 数字图像信号处理电路 接口电路 图2 - 1c m o s 成像芯片的内部结构 f i g 2 - 1 i n t r o - s t r u c t u r eo f c m o sc a m e m c h i p 2 1 3 像素单元的结构和工作原理 c m o s 图像传感器从原理可分为无源像素传感器p p s ( p a s s i v e p i x e l s e n s o r ) 和有源像素传感器a p s ( a c t i v e p i x e ls e n s 0 0 两大类：从结构上讲，主要 包括光敏二极管型无源、有源像素图像传感器和光电栅型有源像素图像传感器。 2 1 3 1 光敏二极管型c m o s 图像传感器结构 图2 2 简单的说明了光敏二极管型无源图像传感器和光敏二极管型有源图 像传感器感光单元的结构示意图。 黄 光敏二搬帮 搿埭 丑 缱 0 一复岔 井* 党| 良二掘嚣 图2 - 2光敏二极管无源、有源图象传感器 f i g 2 - 2i m a g e s e n s o r sw i t hs o u r c ea n dn o n s o u r c em a d eu po f l i g h ts e n s i t i v ed i o d e s 新j 下。 勰丸 蛤垃列出 上海交通大学硕士学位论文 第二章基于c m o s 的数码相机 在光敏二极管型无源图像传感器中，光敏二极管受光照将光子变成电子，通 过行选择开关将电荷读到列输出线上；光敏二极管型有源c m o s 图像传感器 中，则通过复位开关和行选择开关将放大的光电产生的电荷读到感光阵列外部的 信号放大电路。无源像素图像传感器仅仅是一种具有行选择开关的光电二极管， 通过控制行选择开关把光电产生的电荷信号传送到像素阵列外的放大器；有源 像素图像传感器的每个像元内部都包含一个有源单元，即包含由一个或多个晶体 管组成的放大电路，在像元内部先进行电荷放大，再被读出到外部放大电路。由 于无源像素本身不进行信号放大，而有源像素则恰好相反，它在像元内部对电荷 信号进行放大，并且可以像d r a m 那样被单独选址和读出，这种像素单元结构 上的不同，必然导致了各自性能上的差别。无源像素图像传感器的优点是能降低 芯片的体积，可通过标准的c m o s 集成工艺制造，易进行数字或模拟处理，便 于集成；而其缺点是成像质量低、噪声大、局部漏电流在视场中形成白点；存在 的一个特殊问题是“固定模式噪声”，这是由于当直接把电荷从感光单元读到列总 线时，总线不可避免的具有高电容值和热复位噪声而造成的。这就像透过脏的玻 璃窗观察景物，无论怎样，看到的景物总是具有相同的“弊病”。 2 1 3 2 光电栅型有源像素图像c m o s 传感器 过去对有源像素图像传感器( a p s ) 也进行了探索，如：放大的m o s 成像器 f a m i a m p l i f i e dm o si m a g e r ) 、电荷调制器件c m d ( c h a r g e m o d u l a t i o nd e v i c e ) 、 堆状电荷调制器件b c m d ( b u l kc h a r g em o d u l a t i o nd e v i c e ) 、基底存储图像传 感器b a s i c ( b a s es t o r e di m a g es e n s o r ) 和静态感应晶体管s i t ( s t a t i ci n d u c t i o n t r a n s i s t o r ) 。虽然。a m i 能与c m o s 兼容，且能集成在片内，但不容忽视的是由 非相关复位操作而造成的噪声和曳尾；c m d ，b c m d 和b a s i c 也能集成在单 片内，但制造工艺复杂；s i t 既不能集成在单片内也不能与其他c m o s 电路相 兼容。因上述原因，这几种类型有源像素图像传感器都未成为主流。目前，a p s 常用的一种典型结构是光电栅型有源像素图像传感器。 光电栅型a p sc m o s 嘲像素单元框图如图2 - 3 所示。图2 3 中，虚线内 的部分表示像素单元。像素单元包括光电栅p g ( p h o t o g a t e ) 、浮置扩散输出f d ( f l o a t i n gd i f f u s i o n ) 、传输电栅t x ( t r a n s f e rg a t e ) 、复位晶体管m r ( r e s e t t r a n s i s t o r ) 、作为源极跟随器的输入晶体管m i n ( i n p u tt r a n s i s t o r ) 以及行选择晶 上海交通大学硕士学位论文 第二章基于c m o s 的数码相机 体管m x 实际上，每个像元内部就是一个小小的表面沟道c c d 。每列单元共 用个读出电路，它包括第一源极跟随器的负载晶体管m l n ( l o a d t r a n s i s t o r ) 以及两个用于存储信号电平和复位电平的双采样和保持电路。这种对复位和信号 电平同时采样的相关双采样电路c d s ( c o r r e l a t e dd o u b l es a m p l i n g ) 能抑制来自 像元浮置节点的复位噪声，l f 噪声以及像元内部源极跟随器的阂值偏差。每一 个采样保持电路具有一个采样保持开关m s h s ( 或m s h r ) ，电容c s ( 或c r ) ， 列源极跟随器m p l ( 或m p 2 ) 以及驱动高容量总线的列选择晶体管m y i ( 或 m y 2 ) 。整个像素共用列源极跟随器的负载晶体管m l p l ( 或m l p 2 ) 。p 沟道 源极跟随器被用来补偿由于在电路中使用n 沟道源极跟随器所造成的信号电 平转移。 2 1 4c c d 与c m o s 的比较 图2 - 3c m o sa s p 结构 f i g 2 - 3s t r u c t u r eo f c m o s a s p c c d 技术已经相当成熟，而c m o s 正处于蓬勃发展时期，因此，目前 c m o s 在分辨率、动态范围和图像质量等方面暂时不如c c d ，但有些指标已达 到或超过c c d 。c c d 与c m o s 在图象传感器结构、成像过程、集成性、供电、 4 上海交通大学硕士学位论文第二章基于c m o s 的数码相机 功耗、体积等方面的比较如下。 1 图象传感器结构 如图2 - 4 所示，一个典型的c m o s 图像传感器 4 嗵常包含有：一个图像传 感器核心、时序逻辑、单一时钟、芯片内的可编程功能，比如增益调节、集成时 间( i n t e g r a t i o nt i m e ) 、开窗( w i n d o w i n g ) 和模数转换器。与传统的c c d 相比， 把整个图像集成在一块芯片上不仅降低了功耗，而且具有减少空间占用以及总体 价格更低的优点。 c m o g 雷像抟辟嚣 图2 - 4c c d 和c m o s 图象传感器结构比较 f i g 2 - 4s t r u c t u r ec o m p a r i s o n s o f c c da n dc m o s i m a g e s e n s o r s 2 成像过程 c c d 和c m o s 使用相同的光敏材料，因而受光后产生电子的原理相同， 并且具有相同的灵敏度和光谱特性，但是读取过程不同：c c d 是在同步信号和 时钟信号的配合下以帧或行的方式转移，整个电路非常复杂：c m o s 则以类似 d r a m 的方式读出信号，电路简单。 3 集成性 时钟驱动、逻辑时序和信号处理等其他辅助功能难以与c c d 集成到一块芯 片上，这些功能可由3 8 个芯片组合实现，同时还需要一个多通道非标准供电 电压来满足特殊时钟驱动的需要：借助于大规模集成制造工艺，c m o s 图像传 感器能容易地把上述功能集成到单一芯片上。 4 电源、功耗和体积 c c d 大多需要三种电源供电，功耗较大，体积也比较大。c m o s 只需一个 ( 3 5 ) v 单电源，其功耗相当于c c d 的1 1 0 ；高度集成c m o s 芯片可以做 的比人的大拇指还小。 当前，c m o s 图像传感器主要朝着高分辨率、高动态范围、高灵敏度、超 上街交通大学硕士学位论文第二章基于c m o s 的数码相机 微型化、数字化、多功能化的方向发展。1 9 9 6 年就有采用o 5g mc m o s 工艺 开发出20 4 8 20 4 8 阵列的c m o s 图像传感器的报道。当采用o 2 5g mc m o s 工艺时，相信将生产出阵列更高的传感器。通过采用新工艺和改善相关双采样电 路能有效降低固定模式噪声，减小暗电流：通过采用棱镜可使填充系数超过7 0 ： 通过在像素单元下面