（光学工程专业论文）基于jpeg的图像压缩系统的设计及实现.pdf

哈尔滨工程大学硕士学位论文 摘要 进入9 0 年代以来，微电子技术、计算机技术、通信技术飞速发展，人类 社会逐步迈入信息化时代，图像作为信息载体被广泛应用，这使得人们对图 像信息处理与传输的需求越来越迫切。本课题要求实现静止图像的采集、压 缩和存储，然后传送到计算机上进行后续处理。 本系统由图像获取、图像压缩存储及图像发送三部分组成。随着c m o s 图像传感器制造工艺的不断提高，它的市场占有率越来越高并有取代传统 c c d 图像传感器的趋势。所以课题中图像的采集由c m o s 图像传感器完成，c m o s 图像传感器集成度高并且可以直接输出符合c c i r 6 0 1 标准的数字化图像，符 合压缩处理芯片的要求。图像的压缩采用j p e g 算法，利用j p e g 编解码芯片 z r 3 6 0 6 0 完成，z r 3 6 0 6 0 可以生成完全符合j p e g 标准的数据流。经压缩后图 像的数据量不大而且压缩速度很高，所以采用高速缓存r a m 存储压缩后的数 据。图像的发送是在单片机控制下，由r s 一2 3 2 串口传送到计算机中，完成后 续处理。单片机是系统的核心，负责控制图像传感器拍摄，图像数据的存储 及发送，外加的控制逻辑由a l t e r ae p m 7 1 2 8 产生。 关键字：c m o s 图像传感器：图像压缩；j p e g 哈尔滨1 程大学硕士学位论文 a b s t r a c t s i n c e9 0 t hy e a r st h et e c h n o l o g yo fm i c r o e l e c t r o n i c s ，c o m p u t e r s c i e n c ea n dt h et e c h n o l o g yo fc o m m u n i c a t i o nh a sk e p to nd e v e l o p i n ga t v e r yf a s ts p e e d n o w ，h u m a nb e i n g sa r es t e p p i n gi n t o t h e a g e o i i n f o r m a t i o n i m a g ei su t i l i z e dw i d e l ya st h ec a r r i e ro fi n f o r m a t i o n a sar e s u l t ，t h et e c h n o l o g yo fi m a g ep r o c e s s i n ga n dt r a n s m i s s i o ni s n e e d e du r g e n t i fm o r ea n dm o r e r h i sp a p e rd i s c u s s e dt h et e c h n o o g yo f g r a b b i n g 、c o m p r e s s i o na n ds t o r a g eo ft h es t a t i ci m a g e t h e nt h em c u d e l i v e rt h ec o m p r e s s e dd a t at ot h ec o m p u t e rt oc o m p l e t et h es u h s e q u e n c e p r o c e s s t h es y s t e mc o n s i s t so ft h r e ep a r t s ：i m a g eg r a b b i n g ，c o m p r e s s i o n a n ds t o r a g e ，t r a n s m i s s i o n w i t ht h em a n u f a c t u r et e c h n i q u e so fc m o s i m a g es e n s o rb e i n gi m p r o v e d ，c m o si m a g es e n s o ri st a k i n gm o r ea n dm o r e q u o t i e n ti nt h em a r k e t i te v e ns e e m st oh a v eat r e n dt or e p l a c et h e t r a d i t i o n a lc c di m a g es e n s o r ，s ot h es y s t e mc o m p 】e t e si m a g ec o l l e c t i o n b yt h ec m o si m a g es e n s o r c o m si m a g es e n s o rc a nd i r e c t l ye x p o r td i g i t a i m a g ea c c o r d i n gw i t ht h es t a n d a r do fc c i r 6 0 1 ，a n dp e r f o r mt h r o u g ht h e j p e gc o m p r e s s i o np r o c e s s i n gc h i p i m a g ec o m p r e s s i o na c c o r dw i t hj p e g s t a n d a r da n dp e r f o r mb ya ni n t e g r a t e dj p e gc o d e cz r 3 6 0 6 0 ，w h i c h s u p p o r t sc o m p l e t e l yb a s e l i n em e t h o dd e f i n e db y7 p g gs t a n d a r d t h o u g h t h es i z eo fac o m p r e s s e di m a g eisn o tv e r yl a r g e ，b u tt h ec o m p r e s s io n s p e e d is h i g h s ow ec a da d o p th i g hs p e e db u f f e rr a mt o s a v et h e c o m p r e s s e dd a t a i m a g et r a n s m i s s i o ni sc o n t r o l l e du n d e rt h em c ua n d t h ec o m p r e s s e dd a t ai sd e l i v e r e dt op ct h r o u g hr s 一2 3 2i n t e r f a c e t h e n t h ep cc o m p le t e st h es u b s e q u e n c ep r o c e s si n g t h em c uist h ec o r eo f t h es y s t e m i tc o n t r o l sg r a b b i n gi m a g et h r o u g hc m o si m a g es e n s o r ，i m a g e d a t as t o r a g ea n ds e n d i n gi to u t t h ee x t e r i o rc o n t r o l l i n gl o g i c is o f f e r e db ya l t e r ae p m 712 8 k e yw o r d s ：c o m si m a g es e n s o r ；i m a g ec o m p r e s s i o n ；j p e g 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下， 由作者本人独立完成的。有关观点、方法、数据和文献的引 用已在文中指出，并与参考文献相对应。除文中已注明引用 的内容外，本论文不包含任何其他个人或集体已经公开发表 的作品成果。对本文的研究做出重要贡献的个人和集体，均 已在文中以明确方式标明。本人完全意识到本声明的法律结 果由本人承担。 日期：d 年，月f 日 哈尔滨t 程大学硕士学位论文 第1 章绪论 1 1 课题背景 人类传递信息的主要媒介是语音和图像。据统计，在人类接受的信息中， 听觉信息占2 0 ，视觉信息占6 0 ，其他如味觉、触觉、嗅觉总的加起来不 过占2 0 。所以，作为传递信息的重要媒体和手段的图像信息是十分重要的。 本课题的应用背景是应用于远程视频监视系统。众所周知，安全问题关 系到社会稳定和国家独立，是一个人人都关心的问题。随着社会的进步，对 于安全防范和现场记录报警系统的需求越来越大，要求越来越高。数字化的 图像监视系统已经逐步取代了传统的模拟电视监视系统。对于需要以图像画 面作为证据的远程视频监视系统而言，h 2 6 1 和h 2 6 3 图像的质量已无法胜 任，这时需要记录和传输高质量的j p e g 图像。 本课题要求实现对静止图像的采集、压缩、存储；然后传送到计算机上 进行事后处理。具体要求如下： ( 1 ) 设备体积小，能安装在较隐蔽的地方 ( 2 ) 图像的分辨率6 4 0 4 8 0 ，彩色 ( 3 ) 能以每秒3 幅的图像的速度拍摄 1 2 图像压缩的必要性和可行性 按照课题要求，从图像传感器获得的图像符合c c i r 6 0 1 标准，分辨率为 6 4 0 4 8 0 ，y ：u ：v 为4 ：2 ：2 ，若以8 比特表示y 信号，则每像素占1 6 b i t 。不 加压缩，一幅图像的数据是6 1 4 4 0 0 b y t e ，那么对于一个中等容量的电子硬盘， 1 2 8 m 的空间只能存放2 0 8 张图片，按每两秒一幅图像计算，那么前后记录图 像时间的不到8 分钟。因而，如果图像不经过压缩而直接存储和传输，将是 不可想象的。图像压缩的目的就是在保证一定的图像质量和满足一定要求的 前提下，减少图像数据量。可见图像压缩是非常必要的，而且实际上也是可 行的。这主要是由于图像中存在大量冗余的缘故。 图像数据可以进行压缩有几方面的原因。 首先，原始图像数据是高度相关的，存在很大的冗余度。数据冗余造成 比特的浪费，消除这些冗余可以节约码字，也就是达到了数据压缩的目的。 大多数图像内相邻像素之间有较大的相关性，这称为空间冗余度。序列图像 前后帧之间有较大的相关性，这称为时间冗余度。 哈尔滨一f 程大学硕士学位论文 其次，若用相同码长表示出现概率不同的符号也会造成比特的浪费，这 种浪费称为符号冗余度。如果采用可变长编码技术，对出现概率高的符号用 短码字表示，对出现概率低的符号用长码字表示，就可消除符号冗余度，从 而节约码字。 再次，有些信息在通常的视觉过程中与另外一些信息相比来说不那么重 要，这些信息可认为是心理视觉冗余，去除这些信息不会明显地降低所感受 到的图像的质量。这种冗余去除是当前研究的热门，但通常算法复杂不易实 现”1 。考虑到本课题的要求静止图像的压缩，所以在算法上采用标准的 j p e g 。 1 3 图像压缩编码综述 1 3 1 图像压缩的一般框图 经过抽样的数字图像可以表示成f ( i n ，n ) 。图像编码的过程如图1 1 所示 的三个步骤，原始图像经映射变换后的再经量化器和熵编码器成为码流输出。 映射变换是通过映射改变图像数据的特性，使之更有利于压缩编码。映 舞mi , l 圈一巨困圆，( l j l _ jl j n ， 罴匦蛩恒 l 反映射变换产_ 1 反量化器l 厂( 牌，疗) o j l _ j 图1 1 图像编码的一般框图 射变换是图像编码的一个核心部分，它决定了量化和编码的对象类型。映射 编码包括图像的预测，若以帧内数据作为预测，则称为帧内d p c m 编码，若以 其他帧的数据作为预测，则称为帧间d p c m 编码。 若量化是对映射后的数据逐个地进行的，则称标量量化。若量化是成组 地进行的，则称矢量量化。量化会造成某些信息丢失，形成失真，即量化失 真或量化噪声。为使失真小，应量化得精细，但压缩比就高不了。这是一对 矛盾。应在保证质量的前提下减少量化级数，以提高压缩比。在多数应用中， 存在少量失真对图像质量影响不大。只要把失真的程度和性质控制在允许的 范围内，也就是把复原图像的主观质量控制在允许的程度内，就可以在满足 应用要求的前提下提高压缩比。值得注意的是，对于同样的量化失真，由不 同的映射变换与反变换会引起不同性质的复原图像的失真，人眼对某些性质 的失真敏感而对另一些性质的失真不敏感。 2 哈尔滨工程大学硕士学位论文 熵编码器是用来消除符号编码冗余度的。它一般不产生失真，理想的情 况是使编出的码流的平均码长等于量化后数据的信息熵。常用的编码方法有 许多种，例如分组码有：行程码( r l c ) 和变长码( v l c ) 等；不分组码有：算术 码( a r i t h m e t i cc o d i n g ) 等。行程码传输的是数据行程长度而不是数据本身， 例如要传1 0 8 个0 ，用行程码时改为传送行程码标记和行程长度值“1 0 8 ”。 在变长码中最常用的是哈夫曼( h u f f m a n ) 码。基本原则是对出现概率大的数值 用短码来编，对出现概率小的数值用长码来编，从而使平均码长减小，降低 码率。在实际编码器中常把r l c 和h u f f m a n 码结合起来，称为哈夫曼行程码。 在h 2 6 1 ， p e g ，m p e g 等国际标淮中就用到它。而算术码则用于j p e g ，h 2 6 3 等国际标准中。此外，如果码流在信道中传输时产生误码，就会造成复原图 像质量的下降。有时一个比特的误码会造成一大片复原图像的错误，这种现 象称误码扩散现象。若因误码造成了某个像素复原值有误，则从该像素起， 以后复原的后面所有像素都有误。按信息论的观点，压缩得越多、冗余度越 小的码流越难抵抗误码的影响。 1 3 2 图像压缩编码分类 图像压缩编码分类基于不同的角度，有许多种分类方法。如：按照复原 图像是否与原图一致分类，按照待压缩图像的性质分类，按照所用方法原理 分类等等。 1 按照复原图像是否与原图一致分类 可将编码方法分为两大类：无损编码和有损编码。无损编码又称信息保 持编码( l o s s l e s s 编码) 或可逆编码；有损编码又称非信息保持编码( l o s s 编 码) 或不可逆编码。在无损编码中不可使用量化器，因为量化总会带来不可恢 复的失真。无损真编码的压缩比低，可达到的最高压缩比取决于信源熵。在 有损压缩中允许的失真愈大，可达到的压缩比愈高，即与量化的粗细有很大 关系。在有损编码中把失真控制在视觉阈值以下或控制在可容忍的程度是有 效地提高压缩比的关键。 2 按照待压缩图像的不同属性分类 有不同的分类方法，如：以图像的光学特征分，有单色、彩色、多光谱 图像的压缩编码；以灰度等级分，有二值图、多值图与灰度及彩色图像编码； 若以动静来分，有静止图像与序列图像编码。在静止图像编码中，只能进行 帧内编码，而且人眼对静止图像的失真较运动图像更为敏感，压缩比没有运 动图像编码来得高。但运动图像编码对实时性的要求很高，这是它特有的难 点，对不同要求( 无失真、小失真、较大失真) ，不同性质的图像采用适当的 编码方法和编码参数( 如量化级大小) 进行压缩编码是达到预期目标的关键。 3 按照所用方法的原理分类 可将图像编码方法分为基于图像统计特性，基于人眼视觉特性，基于图 像特征提取等方法。在实际编码中，常常要同时用到图像的统计特性和人眼 视觉特性才能进行有效的编码，难于把它们截然分开。而有些编码方法的类 别还可进一步细分，如基于统计特性的编码方法还可分为帧内预测、帧间预 测、变换编码等。许多新的国际图像编码标准使用了混合编码方法，即同时 用到了帧内、帧问预测和d c t 编码。为便于理解，可以把图像编码方法分为 四大类：波形编码、变换编码、模型编码和拟合编码，它们都是以映射变换 的性质为依据进行分类的。 1 3 3 图像的质量测度 对图像质量的测度，是评价图像处理、编码和传输等的方法和技术及应 用系统性能好坏的重要依据之一。图像测量的测度方法，可分为主观方法和 客观方法。所谓主观方法就是由观察者依靠自己的感觉对图像的质量进行评 价，所谓客观方法就是定义一个数学公式然后对待评价的图像进行运算，得 到一个唯一的数字量作为测度结果。这种方法最常用于对图像的相似性评价， 如归一化的均方误差和峰值信噪比是两种常用的客观评价方法。但是客观方 法评价的结果在有些情况下与主观方法是不一致的。3 。 图像信号在编码和传输过程中会产生误差，尤其是在压缩编码中，产生 的误差应在允许的范围之内。在这种情况下，保真度准则可以用来衡量编码 方法或系统质量的优劣。通常这种衡量的尺度可分为客观保真度准则和主观 保真度准则。图像质量通常有两方面的含义，一方面指图像与人们的某种目 的的符合程度。例如，美观、清晰、层次丰富、特征突出等方面的情况；另 。方面指一幅图像与参考图像之间的相似程度。例如，图像经过传输以后通 常会产生失真或遭遇干扰等，它与传输前的图像进行比较就能反映出通信系 统在图像质量方面性能的优劣。 通常使用的客观保真度准则有输入图像和输出图像的均方误差( m s e ) ， 峰值信噪比( p s n r ) 。 1 旦旦r1 2 m s e = 斋【，( z ，j ，) 一f ( x ，y ) j ( 卜1 ) 1 h v y = lx = l p s n r ：2 0 + l g ( 丝：) ( 1 - 2 ) = + 1 9 意) ) 其中，m 、n 为图像水平和垂直方向的像素个数，f ( x ) 代表原图像在 ( e y ) 处的像素，f ( x ，y ) 代表重建图像在相应点的像素值n “”，。 1 3 4 图像压缩编码技术的发展历史与现状 1 9 4 8 年电视信号数字化被提出后，同时开始了对图像压缩编码的研究工 4 哈尔滨1 _ 程大学硕士学位论文 作，至今已有5 0 多年的历史。开始时，即5 0 和6 0 年代，限于客观条件，仅 对帧内预测法和亚取样内插复原法进行研究，对视觉特性也做了些极为有 限但可贵的工作。1 9 6 6 年工b 0 n e a l 对比分析了d p c m 和p c m 并提出了用 于电视的实验数据。1 9 6 9 年进行了线性预测编码的实际试验。1 9 6 9 年举行首 届图像编码会议( p i c t u r ec o d i n gs y m p o s i u m ) 。7 0 年代丌始进行了帧问预测 编码的研究。8 0 年代初开始对作运动补偿( m c ) 所用的运动估值( m e ) 进行研 究。变换编码是1 9 6 8 年h c f i n d r e w s 等人提出的，采用的是二维离散傅里 叶变换。此后相继出现了用其它变换方法的变换编码，其中包括二维d c t 。 对模型编码的研究始于8 0 年代初。 进人9 0 年代以后，国际化标准协会( i s o ) 、国际电子学委员会( i e c ) 和国 际电信联盟( i t u t ) 等重要组织建立了一系列图像编码国际标准，如j p e g 标 准、h 2 6 1 标准和m p e g 标准，极大地推动了图像编码的发展，并且这些标准 得到了广泛的应用，取得了很好的效果。最新颁布的m p e g 4 视频编码标准和 正在制定的、即将成为静态图像编码标准的3 p e g 2 0 0 0 应用了最新的编码研究 成果，如零树小波技术，基于对象的模型编码等。 采用新的压缩编码方案，进一步提高压缩比和图像质量是图像研究的。 大热门，目前已提出和正在进行研究的图像编码方法择要列举如下： ( 1 ) 多分辨率编码。最早提出的是金字塔编码，后来是子带编码( s u b b a n d c o d i n g ) ，最近是用小波变换进行图像编码。 ( 2 ) 基于表面描述的编码方法( 三角形逼近法) 。 ( 3 ) 模型编码。它可分为物体模型未知的物体基编码和物体模型已知的语 义基编码。 ( 4 ) 利用人工神经网的压缩编码。 ( 5 ) 利用分形几何的图像编码( i f s 编码) 。 ( 6 ) 利用数学形态学的图像编码等等。 从总体上看，图像编码的发展一方面追求压缩比和效果，另一方面要适 应各种应用领域的需要。如：编码图像对用户更具开放性和灵活性，使用更 加简单、更具有亲和力；编码技术能有效的适应内容检索的需要：编码技术 能适应有噪信道等等n ”“。 1 4 论文完成的工作 按照课题的要求，设计了软硬件系统。本系统由图像获取、图像压缩和 存储及图像发送三部分组成。图像的采集由c o m s 图像传感器完成，c o m s 图 像传感器集成度高并且可以直接输出符合c c i r 6 0 1 标准的数字化图像，符合 压缩处理芯片的要求。图像的压缩采用j p e g 算法，利用j p e g 编解码芯片 z r 3 6 0 6 0 完成，z r 3 6 0 6 0 可以生成完全符合j p e g 标准的数据流。经压缩后一 哈尔滨工程大学硕士学位论文 场图像的数据量不大，但速度高，一个写周期大致为3 7 n s ，所以采用高速缓 存r a m 存储压缩后的数据。图像的发送是在单片机控制下，由r s 一2 3 2 串口传 送到计算机中，完成后续处理。这里单片机负责控制图像传感器拍摄、图像 数据的存储及发送，控制逻辑由a l t e r ae p m 7 1 2 8 完成。 硬件电路板上有c m o s 图像传感器( 0 v 7 6 2 0 ) 、可编程逻辑器件( c p l d ) 、 复位芯片( t l 7 7 0 5 a ) 、5 1 2 k 字节帧存储器( c y 7 c 1 0 4 9 b ) 、j p e g 编解码芯片 ( z r 3 6 0 6 0 ) 、异步串行收发器( 1 6 c 5 5 0 ) 、串口电平转换器( m a x 3 2 3 8 ) 。 软件包括两部分，单片机上的软件和微机上的软件。单片机上的软件主 要完成c o m s 图像传感器和j p e g 编解码芯片的的初始化、图像采集、j p e g 数 据压缩，数据发送等。这部分的软件难点在于图像编解码芯片的管理。微机 上的软件完成了从串口接收图像数据和回放，这部分程序使用v b 进行开发。 6 哈尔滨工程大学硕士学位论文 2 1 系统构成 第2 章系统方案选择 本系统可以分为如图2 ，1 四个部分，摄像单元、压缩单元、存储单元、 和回放单元。对课题最佳的实现方案是把系统中的前三部分集成在一起，形 成独立的硬件系统，而回放用微机作为平台进行事后处理。 r 。1 r一 l 摄像单元 刮压缩单元卜i 存储单元ll 回放单元l 图2 ，1 系统结构 本课题中主要参考o m n i v i s i o n 的数码相机，o v 的数码相机具有j p e g 压 缩功能。0 v 的数码相机是s e n s o r + j p e g 压缩芯片( 0 v 6 8 1 ) + m c u ( 0 v 6 5 1 ) 构 成。0 v 6 5 1 是多次可编程的，可以升级驱动程序，0 v 6 8 i 是j p e g 压缩芯片， 使每单位s d r a m 内部可以存储的图象数量能达到非压缩的4 倍( j p e g 压缩可 使图象大小变为四分之一，而质量基本不变) ，等于节约了生产商用于s d r a m 上的成本。o v 的数码相机解决方案可以选择拍摄高质量( h q ，不压缩) 和低 质量( l q ，压缩为j p e g ) 的存储方式，同时还可以选择s v g a 、v g a 、c i f 模 式。由于0 v 6 5 1 0 和v 6 8 1 只提供给生产商，所以选择了z o r a n 的压缩处理芯 片z r 3 6 0 6 0 。下面将按图2 1 的前三个框图，详述本系统硬件选择方案。 2 2 图像传感器的选择 c c d ( c h a r g e dc o u p l e dd e v i c e 予1 9 6 9 年在贝尔试验室研制成功，其 发展历程已经将近3 0 多年，c c d 技术已比较成熟，从初期的1 0 多万像素已经 发展至目前主流应用的5 0 0 万像素，得到非常广泛的应用。目前，c c d ( 电荷 耦合器件) 是主要的实用化固态图像传感器件，它具有读取噪声低、动态范 围大、响应灵敏度高等优点。但c c d 技术难以与c m o s 技术集成于同一芯片之 中。诸如定时产生、驱动放大、自动曝光控制、模数转换及信号处理等支持 电路就不能与像素阵列做在同一芯片上。随着c c d 虚用范围的扩大，其缺点 逐渐突出。 c m o s 传感器最初是在n a s a 的j e tp r o p u l s i o nl a b o r a t o r y ( j p l ) 发明的， 但在发明初始，由于当时c m o s 工艺的技术不高，图像质量差，没有得到重视， 7 到了9 0 年代，随着大规模集成电路与制造技术进入深亚微米阶段，c m o s 图 像技术重新被启动，很快成为新型图像传感器。由于采用了相同的c m o s 技术， 因此可以将像素阵列与外围支持电路集成在同块芯片上。实际上，c m o s 图 像传感器是个较完整的图像系统( c a m e r ao i lc h i p ) ，通常包括：一个光电 转换、时钟、时序逻辑、可编程功能和模数转换器等。与c c d 相比，c m o s 图 像传感器将整个成像系统集成在一块芯片上，具有以下优点： ( 1 ) 体积小、重量轻、功耗低； ( 2 ) 编程方便、易于控制； ( 3 ) 平均成本低； 以下是c c d 和c m o s 两种传感器的具体比较： ( 1 ) c c d 阵列驱动脉冲复杂，电荷信息转移和读取输出需要有时钟驱动电 路和3 组不同的电源相配合，不能与大规模集成制造工艺技术兼容：而c m o s 经光电转换后直接产生电流( 或电压) 信号，只需单一工作电压，信号读取十 分简单。 ( 2 ) c c d 技术难于将光敏单元阵列、驱动电路及模拟、数字信号处理电路 单片集成，如：模数转换、精密放大、存贮等功能，要实现上述功能至少需 要两片支持芯片，多则8 片；c m o s 图像传感器可将光敏元件、图像信号放大 器、信号读取电路、模数转换器、图像信号处理器及控制器等集成到一块芯 片上，还具有对局部像素图像的编程随机访问的优点。许多厂商在片上集成 了所有摄像机的功能，称为单芯片摄像机( c a m e r a s - o na - c h i p ) 。 ( 3 ) c c d 需在同步时钟的控制下，以行为单位一位一位地输出信息，速度 较慢；而c m o s 图像传感器在采集光信号的同时就可以耿出电信号，还能实时 处理各单元的图像信息，速度比c c d 图像传感器快很多。 ( 4 ) c c d 宅荷祸合器在设计中，需要极高的信噪比和电荷转换效率，要实 现这一目标，需要专门处理器、高电压、多重电源和偏置，因此大多需要3 组电源供电，耗电量较大；c m o s 光电传感器只需使用一个电源，耗电量非常 小，一般仅为c c d 电荷耦合器的1 1 0 ，在节能方面具有很大优势。 ( 5 ) 出于c m o s 图像传感器采用大规模生产，工艺成品率离、集成度高、 电路简单、容易形成商品化，所以c m o s 图像传感器有重大的价格优势。 ( 6 ) c m o s 图像传感器对红外线光源特别敏感，这一特点使其更适合于作 监控摄像头。而c c d 不具有这个特点。 ( 7 ) 典型的c c d 传感器，其信噪比可达6 0 d b ，目前一般c m o s 传感器信噪 比为4 05 0 d b ，因此，c m o s 传感器成像质量不如c c d 。当前许多研究都是围 绕提高c m o s 图像传感器的信噪比来进行，若能将其提高l o d b ，c m o s 图像传 感器将全面替代c c d 。 目前有多家厂商生产c m o s 图像传感器，如i n t e 、m o t o r o l a 、k o d a k 、 r o c k w e l l 、h p 、o m n i v i s i o n 、p h o t o b i t 和s o n y 等大公司，其中o m n i v i s i o n 、 哈尔滨工程大学硕士学位论文 p h o t o b i t 等公司在这方面处于领先地位0 1 。 大多数的数码相机选用c c d 作为摄像头，仅有一些入门级的数码相机使 j = f ic m o s 传感器，其首要原因是人们对数码摄影质量的要求比较高。然而作为 监控设备，对成像质量要求不是很高。相反，通过上面的比较可以看到c m o s 传感器在电路设计和小型化设计中占有很大的优势，因此在本课题中选用 o m i n v is i o n 的0 v 7 6 2 0c m o s 彩色图像传感器，其分辨率为6 4 0 4 8 0 。 2 3 压缩方法及压缩处理芯片的选择 使用何种压缩方法与使用何种压缩硬件有密切的关系。视频压缩技术标 准主要有： ( 1 ) i t uh 2 6 1 建议，用于i s d n 信道的p c 电视电话、桌面视频会议和音 像邮件等通信终端。 ( 2 ) m p e g 一1 视频压缩标准，用于v c d 、m p c 、p c t v 一体机、交互电视i t v 和电视点播v o d 。 ( 3 ) m p e g 一2 i t uh 2 6 2 视频标准，主要用于数字存储、视频广播和通信， 如h d t v 、c a t v 、d v d 、v o d 和电影点播m o d 等。 ( 4 ) i t uh 2 6 3 建议，用于网上的可视电话、移动多媒体终端、多媒体可 视图文、遥感、电子邮件、电子报纸和交互式计算机成像等。 ( 5 ) m p e g - 4 和i t uh v l c l 低码率多媒体通信标仍在发展中。 m p e g 一1 ，m e p g 一2 ，m p e g 一4 运动图像( 视频) 编码的标准，即用于活动图像 的压缩标准。h 2 6 1 和h 2 6 3 图像的质量己无法满足本课题的要求，本课题 需要传输高质量的j p e g 图像，所以采用j p e g 压缩标准。j p e g 压缩可分为两 种情况，一种是专用的j p e g 压缩芯片，另一种是采用通用的d s p 芯片进行压 缩。采用硬件压缩可以实时完成，软件调试工作量小，如z o r a n 的z r 3 6 0 6 0 ， o m n iv i s i o n 的0 v 6 8 l 等。而采用通用d s p 芯片进行压缩灵活性高，可以实 现多种压缩编码，但调试工作量很大，实时性难以保证。 由于j p e g 目前是最为通用的标准，所以本课题中采用j p e g 压缩算法， 由专用j p e g 压缩芯片z r 3 6 0 6 0 完成，z r 3 6 0 6 0 支持f f p e g 基本系统，可产生 完全符合j p e g 标准的数据流。 2 ，4 其它部分 一般图像处理器不带有图像帧存储器，i 帧存储器是图像处理器和单片机 之间的数据缓冲，具有容量大、速度快的特点。d r a m ( 动态存储器) 或者 s d r a m ( 同步动态存储器) 具有上述特点，但是它们接口控制复杂，而且单片机 不带有d r a m 控制器。如要使用d r a m ，则需要用价格昂贵的大规模的门阵列 器件f p g a 来设计符合课题要求的d r a m 控制器。综合考虑价格、设计可靠性 9 哈尔滨工程大学硕士学位论文 以及几个芯片接口的特性，选用了速度相对较慢的静态r a m 和价格较低的可 编程逻辑器件( c p l d ) 。 存储部件选择主要考虑容量、存取时间和接口等几个方面。经压缩后一 帧图像的数据量不大，z o r a n 压缩输出的读写周期为3 7 n s ，所以采用高速缓存 r a m 存储压缩后的数据。考虑到一码图像数据压缩后的尺寸，大概为l ok 字 节左右，选择一片5 1 2 r 8 的s r a m ，大致存储即帧图像。r a m 存储芯片采用1 片c y p r e s s 的c y 7 c 1 0 4 9 b 一2 0 。该芯片工作电压是5 v ，容量为5 1 2 k 8 位，典 型的读写时间是2 0 n s ，满足z r 3 6 0 6 0 的时序要求。 对于串行通信接口的选择，如果只是和微机通信，u s b 接口的传送速率 更快；但本课题选用的是r s 一2 3 2 串口，主要是因为r s2 3 2 串口更为通用。 r s - 2 3 2 串口不但可以和微机通信而且可以方便地和其他设备连接，例如，有 线或无线m o d e m ，利用电话线或无线信道远程传送图像，而硬件无需改动。 另外，由于单片机的i o 口有限，所以选择了t i 公司的异步通信收发器 t l l 6 c 5 5 0 。 单片机是系统的核心，控制图像传感器拍摄，图像数据的存储及发送， 选择通用性很好的m c s 5 1 系列单片机。课题中采用a t 8 9 c 5 1 单片机，它具有结 构简单、价格便宜、控制性能好、操作方便等优点。控制逻辑由a l t e r a 公司 的e p m 7 1 2 8 实现，它具有1 2 8 个宏单元，在m a x + p l u si i 环境下仿真，能够满 足系统的要求。c p l d 的使用不仅大大缩小了p c b 板的面积，提高了系统整体 的可靠性，而且在调试时非常方便。 2 5 本章小结 本章分析了摄像、压缩和存储三个结构单元的功能和技术要求，对这三 个单元目前所采用的器件进行介绍并作了比较，选择出适合本课题的方案。 这三个单元选择不是独立的，要考虑到三个单元的接口互连，注意电平及时 序的配合使它们形成一个整体。 1 0 哈尔滨t 程大学硕士学位论文 第3 章图像传感器 随着数码技术、半导体制造技术以及网络的迅速发展，图像传感器的应 用也同益普及。图像传感器主要分为c c d 、c m o s 传感器两种。6 0 年代末期， c c d 器件和c m o s 器件的发展几乎同时起步。但由于早期c m o s 图像传感器成 像质量不如c c d 器件，所以在过去2 0 多年中，c c d 器件一直占主导地位。自 9 0 年代以来，随着超大规模集成电路( v l s i ) 工艺的发展，c m o s 图像传感器重 新成为热点，发展迅猛，目前已占据中、低分辨领域。 3 1 c m o s 传感器发展现状 在c m o s 器件和c c d 器件诞生之前，已经出现了m o s 图像传感器。6 0 年 代就有采用n m o s 和p m o s 工艺制造固态传感器的报道。1 9 6 6 年，西屋公司开 发了5 0 x5 0 的单片式光敏晶体管阵列。1 9 6 7 年，仙童公司报道了1 0 0 x 1 0 0 的光敏二极管阵列。1 9 6 8 年，英国的n o b l e 就描述了利用表面光敏二极管和 埋沟道光敏二极管制造图像传感器的过程，并讨论了用于读出电荷的积分放 大器。1 9 7 0 年，f r yn o b e 和r y c e o f t 探讨了固定模式噪声( f p n ) 的形成和抑 制方法。 7 0 年代出现的c c d 具有许多优点，其固定模式噪声可以忽略。但是人们 并没有放弃对c m o s 的研究。目立、三菱等研究机构曾推出了采用m o s 图像传 感器的摄像机，但是其成像质量不如当时生产的c c d 摄像机的成像质量。8 0 年代中后期，当c c d 在可见光领域得以广泛应用时，有的混合式红外焦平面 阵列却采用c m o s 图像传感器。 9 0 年代以来，随着v l s i 技术的发展和用户对小型化、低功耗以及低成 本成像系统的需求，研究c m o s 图像传感器再次成为热点。美国、日本等国家 和欧洲的一些国家投巨资开发、研究c m o s 图像传感器，并取得令人满意的成 果，如f o v e o n 公司开发出最高分辨率的图像传感器c i s ，其分辨率为1 6 8 0 万 像素( 4 ，0 9 6 x 4 ，0 9 6 ) ，超过了c c d 传感器的分辨率和质量。目前，国内有多 家单位从事c m o s 图像传感器的开发应用，如：中国科学院、西安交大学、华 北工学院等大专院校以及北京泰思特电子技术公司、中美合资北京奥威电子 技术有限公司、北京千帆之家集团和台湾等公司开发的超微型黑白( 彩色) 摄 像机、无线发射婴儿活动监视器、汽车尾视装置和无损检测设备等。 c m o s 图像传感器的光电转换原理与c c d 基本相同。c c d 和c m o s 使用相同 的光敏材料，因而受光后产生电子的原理相同，并且具有基本相同的灵敏度 和光谱特性，然而读取过程不同：c c d 是在同步信号和时钟信号的配合下以 哈尔滨丁程大学硕士学位论文 帧或行的方式转移，整个电路非常复杂；c m o s 则以类似d r a m 的方式读出信 号，电路简单。根据敏感单元内是否具有放大功能，c m o s 图像传感器可分为 无源c m o s 器件和有源c m o s 器件( a p s ) ，目前主要使用性能优良的a p s 技术。 c m o s 图像传感器的芯片上可以很容易集成各种数字电路，从而可构成单 片相机，o m n iv i s i o n 公司生产的c m o s 图像传感器带有许多原先需用控制器 处理的功能电路，使用更加方便。在本系统中采用的o m n i v i s i o n 公司生产的 0 v 7 6 2 0 芯片就是一款功能强大的单片相机芯片。 3 20 v 7 6 2 0 芯片 3 2 1 0 v 7 6 2 0 的功能特点与特性参数 0 v 7 6 2 0 是1 3 英寸v g a q v g a 、共3 2 6 ，6 8 8 像素、完全可编程数字单片摄 像芯片，它有如下主要特点： ( 1 ) 像素矩阵6 6 4 4 9 2 ，处理像素6 4 0 4 8 0 。 ( 2 ) 以隔行扫描或逐行扫描的方式输出数据，特别是逐行扫描的方式使其 易与计算机接口。 ( 3 ) 数据格式有y c r c b 4 ：2 ：2 、g r b 4 ：2 ：2 和r g b 原始数据。 ( 4 ) 按c c i r 6 0 1 、c c i r 6 5 6 和z v 接口( z o o mv i d e op o r t ) 方式输出的8 1 6 位视频数据输出格式。 ( 5 ) 提供串行相机控制总线s c c b ( s e r i a lc a m e r ac o n t r o lb u s ) 对单片相 机进行编程，s c c b 符合i2 c 总线规范。 ( 6 ) 电子曝光增益白平衡控制；亮度、对比度、伽玛、饱和、清晰度和 窗口等图像增强控制：内外同步电路；帧曝光行曝光选择；5 v 电源，低功 耗。 0 v 7 6 2 0 的主要参数如下：感光面积4 8 6 3 6 4 m m ；像素尺寸7 6 7 6 u r n ：电子曝光5 0 0 ：l ；扫描形式为逐行、隔行；伽玛校正1 2 8 个量化级别； 最小亮度2 5 1 u x f 1 4 ( 3 0 0 0 k ) ；信噪比s n 大于4 8 d b ；电源电压为5 v 直流 5 ；功耗工作时小于1 2 0 m w ，休眠时小于i u w ；4 8 引脚l c c 封装。 3 2 2 芯片封装及引脚 芯片采用4 8 引脚l c c 封装，其引脚排列如图3 1 。具体引脚功能参见表 3 1 ，其中类型中i 一1 表示输入用i o k 电阻上拉，i 一0 表示输入用i o k 电阻下 拉，x i x o 为晶振的输入输出，i o 为数字c m o s 电平输入输出；b i a s 为电源 引脚。 1 2 a g o v d n p w 侧 v r s v c c h g s b b v t o a v d d b n d v s y 劓c f c s y s r o d 嘴r a m h r e f v $ r 图3 10 7 7 6 2 0 引脚图 表3 10 v 7 6 2 0 引脚表 c h s y n c i 刚 y o c b a r y 1 l p r o g v 列g 2 x y 3 ，r 剧w y 4 t c $ 1 y s $ h a r p y 6 1 c s 2 y 7 c s o p c l l 丌x 2 d o v d o o o g n 引脚名称类型功能 is v d db i a s 传感器电源( + 5 7 ) 8 ，1 4 ，4 4 a v d db i a s 模拟电源( + 5 7 ) 2 9d v d db i a s数字电源( + 5 v ) 3 2d o v d db i a s数字i o 引脚电源( + 5 v + 3 3 v ) 4 8s g n db i a s传感器电源地，连接到公共地 6 ，7 ，1 5 ，4 3a g n d b i a s 模拟地，连接到公共地 3 0d g n db i a s 数字地，连接到公共地 3 1d o g n db i a s 数字输出地 2r e s e ti 芯片复位，高有效 3a g c e n i la g c e n = 1 动增益控制使能 r a m i n ta g c e n = o 禁止，当s b b = 1 时有效 r a m i n t = i 初始化帧传输 1 3 喧玺速王堡丕堂堡堂垡丝塞 4f r e xi 在逐行扫描模式下控制帧曝光，f r e x 的宽度定义 曝光时间 5v r e qc a p内部电压参考，需要用0 1 u f 的去耦电容接地 9p w d ni - op w