（信号与信息处理专业论文）基于新型图像传感器的视频监控记录系统的dsp实现.pdf

哈尔滨工程大学硕士学何论文 摘要 电子技术、计算机技术和软件技术的迅速发展，促进了视频技术的发展 和在现实生活中的广泛应用。各种新颖的视频应用系统层出不穷，如数字摄 像机、电视会议、可视电话、网眼、视频点播以及各种类型的监控监视系统。 本系统主要由图像摄取、图像压缩、图像数据存储和图像数据提取四部 分组成。图像摄取部分使用了c m o s 图像传感器。c m o s 图像传感器以其能较 容易地做成芯片系统、产品尺寸小、功耗低、价格低廉等优点，正逐渐的成 为图像传感器应用中的主流产品。图像压缩部分使用了t i 公司的5 4 系列定 点d s p 芯片，它是系统的核心，不仅要完成图像压缩的工作，还要完成控制 其它芯片的任务。图像数据存储部分使用了c f 卡作为存储器。由于具有存取 速度快、体积小、重量轻和通用的特点，使得c f 卡被广泛的应用。 按照系统的小型化要求，系统的所有元件都使用表贴器件，高密度布线， 并使用电路板叠接的方式，使系统的硬件平台集成在1 2 0 m m x 8 5 m m 的较小 的电路板上。按照系统的功能要求，电路板上集成了t i 的数字信号处理器 t m s 3 2 0 v c 5 4 1 6 、c m o s 图像传感器o v 8 6 1 0 、可编程逻辑器件 e p m 7 1 2 8 s t c l 0 0 、f l a s h 存储器a t 2 9 l v 0 2 0 、帧存储器i s 6 1 l v 2 5 6 1 6 、程 序存储f l a s h 、时钟芯片d s l3 0 2 s 、c f 卡。 为了减轻工作量和工作复杂度，在微机上参照图像处理器所采用的压缩 算法，使用v c + + 编写程序，对从硬件平台的o v 8 11 0 上提取的原始图像数据 进行了压缩。结果，6 0 0 k 的原始图像数据经压缩后只有1 5 1 k ，压缩比达到 了4 0 ：1 。图像质量虽然有一定损失，但压缩后的图像还是可以接受的。如果， 将程序经过适合d s p 和系统环境的修改，移植到d s p 上完全调试通过后，原 本按照2 帧秒的帧率只能存贮不到4 分钟未经压缩图像的2 5 6 m b y t e 的c f 卡，就可以存储近2 个半小时的压缩图像了。以后采用更大容量的c f 卡，就 可以记录更长时间的图像了。 关键词：c m o s 图像传感器；c f 卡；d s p ；u s b ；图像压缩 哈尔滨工程大学硕士学位论文 a bs t r a c t t h er a p i dd e v e l o p m e n to fe l e c t r o n i ct e c h n o l o g ya n dc o m p u t e rt e c h n o l o g y b r i n g i n ga b o u ta na d v a n c ei nt e c h n o l o g ya n dw i d ea p p l i c a t i o no ft h ev i d e oi n a c t u a ll i f e t i l ev i d e o so fd i f f e r e n tn o v e l t ya r eu s e da n de m e r g e ds y s t e m a t i c a l l y , s u c ha sd i g i t a lc a m e r a , v i d e oc o n f e r e n c e ，v i d e o p h o n e ，m e s h ，v i d e oo nd e m a n d a n dm o n i t o t i n gs y s t e m so fd i f f e r e n tt y p e s s y s t e mc o n s i s to ff o u rp a r t s ，i ti sp i c t u r e t a k i n ga n dp i c t u r e c o m p r e s s i n ga n d p i c t u r e - s t o r i n ga n dp i c t u r et r a n s m i s s i o n n l ep a r to fp i c t u r e - t a k i n gh a sa b s o r b e d a n du s e dc m o sp i c t u r es e n s o rp a r t l y c m o sp i c t u r es e n s o rc a nb ei n t e g r a t e di n s y s t e mo nc h i p w i t ht h ef e a t u r eo fl i t t l es i z ea n dl o wp o w e rd i s s i p a t i o na n d c h e a p n e s si ti sb e c o m i n gt h em a i n l yp r o d u c tb e i n gu s e d t h ed s po f5 4s e r i a l f i x e dd s pc h i p so ft ic o m p a n yi su s e di nt h ep a r to fp i c t u r e c o m p r e s s i n g ，i ti s t h ec o r eo f h o l es y s t e m ，n o to n l ys h o u l df i n i s ht h ew o r kt h a tt h ep i c t u r ec o m p r e s s b u ta l s of i n i s hc o n t r o l l i n gt h et a s k so fo t h e rc h i p s 。砀ep i c t u r ed a t ah a v es t o r e d a n du s e dc fc a r da st h em e m o r yp a r t l y b e c a u s eh a v et h ec h a r a c t e r i s t i c st h a t a c c e s si sf a s t ，s m a l l ，l i g h ta n di nc o m m o nu s ei ns p e e d ，m a k ec fc a r de x t e n s i v e a p p l i c a t i o n a c c o r d i n gt ot h em i n i a t u r i z a t i o nr e q u e s tf o rt h es y s t e m s y s t e m a t i ca l l c o m p o n e n t su s ef o r m st os t i c kt h ed e v i c e ，h i g hd e n s i t yc o n n e c tu p ，u s ec i r c u i t b o a r do n ep i l eo fw a y st oa n s w e r , m a k et h es y s t e m a t i ch a r d w a r ep l a t f c i i t s i n t e g r a t ea tt h es m a l l e rc i r c u i tb o a r do f12 0 m m x 8 5 m m a c c o r d i n gt ot h e s y s t e m a t i cf u n c t i o nr e q u e s t ，d i g i t a ls i g n a lp r o c e s s o rt m s 3 2 0 v c 5 4 16o f t io nt h e c i r c u i tb o a r d ，p i c t u r es e n s o ro v 8 610o fc m o s ，p r o g r a m m a b l el o g i cd e v i c e e p m 712 8 s t cl0 0 ，m e m o r ya t 2 9 l v 0 2 0o ff l a s h ，f r a m em e m o r y i s 61l v 2 5 616 ，p r o c e d u r es t o r ef l a s h ，c l o c kc h i pd s13 0 2 s ，c fc a r d i tu s ev c + + p r o g r a m m i n gt od r a w i n gf o rr e d u c i n gb yw o r kl o a da n dc o m p l e x i t yn o t w o r k i n gf r o mo v 7 6 2 0o ft h eh a r d w a r ep l a t f o r mi nc o m p u t e rt op i c t u r ec o m p r e s s g o i n go n a sar e s u l t ，t h e r ei so n l y15 ika f t e rc o m p r e s s i n gi nt h ep r i m i t i v e p i c t u r ed a t ao f6 0 0 k ，t h ec o m p r e s s i o nr a t i oi su pt o4 0 ：1 t h o u g ht h eq u a l i t yo f t h ep i c t u r eh a sc e r t a i nl o s s e s t h ep i c t u r ea f t e rc o m p r e s s i n gi ss t i l lb e t t e r i fs u i t d s pa n ds y s t e mm o d i f i c a t i o no fe n v i r o n m e n t ，t r a n s p l a n ta f t e rd e b u g g i n g p r o c e d u r eo nd s p , o r i g i n a l l ya c c o r d i n gt o2f r a m e s e c o n dc a l lo n l ys t o r en o t c o m p r e s s i n go nt h el e s st h a n4m i n u t e sb y2 5 6 m b y t ec fc a r d i n go fp i c t u r e ，c a n l a s tt h ep i c t u r e so fc o m p r e s s i o no fa n dah a l fh o u r so fn e a r l y2p i e c e s w i l la d o p t c fc a r do ft h el a r g ec a p a c i t ya f t e r w a r d s ，c a l lw r i t ed o w nt h ep i c t u r ef o rm o r e 哈尔滨1 = 程大学硕十学位论文 t i m e k e y w o r d s ：c m o si m a g es e n s o r , c fc a r d ，d s p , i m a g ec o m p r e s s i o n 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由 作者本人独立完成的。有关观点、方法、数据和文献的引用已在 文中指出，并与参考文献相对应。除文中已注明引用的内容外， 本论文不包含任何其他个人或集体已经公开发表的作品成果。对 本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 作者( 签字) ：1 彳别夏 日期：彻，年弓月侈日 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校 攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨 工程大学有权保留并向国家有关部门或机构送交论文的复印件。 本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据 库进行检索，可采用影印、缩印或扫描等复制手段保存和汇编本 学位论文，可以公布论文的全部内容。同时本人保证毕业后结合 学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈 尔滨工程大学。，涉密学位论文待解密后适用本声明。 本论文( 囤在授予学位后即可口在授予学位1 2 个月后口 解密后) 由哈尔滨工程大学送交有关部门进行保存、汇编等。 作者( 签字) ：1 利夏导师( 签字) ：力印 i 日期： 7 年；月乃日州年；月f 弓日 f 哈尔滨t 程大学硕士学位论文 1 1 引言 第1 章绪论 电子技术、计算机技术和软件技术的迅速发展，促进了视频技术的发展 和在现实生活中的广泛应用。各种新颖的视频应用系统层出不穷，如数字摄 像机、电视会议、可视电话、网眼、视频点播以及各种类型的监控监视系统。 随着d s p 芯片集成度、运算速度、数据吞吐率等性能的不断提高，它已 被广泛地应用于许多视频处理与传输领域。同时，在视频处理领域出现了各 种支持不同协议编解码功能的图像专用集成电路芯片，但它们的通用性一般 较差，难以满足不同系统的特殊需求。考虑到d s p 易于满足图象处理中运算 量大、实时性强、数据传输速率高等要求，附以相应软件的设计，即可满足 不同应用中实时图像采集、压缩、理解等方面的需要，还能满足系统软件升 级和灵活更改的需要，同时它还有一定控制功能，因此，在本课题中选用了 d s p 作为图像处理和系统控制芯片。 由于视频的应用不同，各种视频系统有自己独特的要求。本文所描述的 系统是一种脱机视频监控记录系统，它记录事发现场的图像，为事后处理分 析提供信息。这个系统体积小，自身带有存储器，无需通信网络，因此可以 独立安装使用，也可以作为大型监控系统的辅助设备。 1 2 系统的方案选择 1 2 1 系统的构成 根据系统要完成的任务，系统的构成应如图1 1 所示。 哈尔滨1 二程大学硕士学位论文 图1 1 系统构成图 图像传感器用于图像的摄取；图像帧存用于缓存由图像传感器输出的图 像数据，以供图像处理器读取：图像处理器是系统的核心，主要完成图像压 缩、存储、系统控制等功能；系统图像存储器用于存储压缩过的图像数据， 以便需要时提取：系统与p c 接口用于将存储在系统图像存储器中的压缩图 像数据传输到计算机中播放；程序、数据存储器用于存储处理器正常工作所 需的程序、数据常数；系统控制和译码器用于处理器外围芯片的地址译码和 从图像传感器提取图像到帧存的时序控制；电源提供系统工作所需的电压。 1 2 2 系统主要器件的选择 1 图像传感器的选择 目前数码相机上图像传感器使用得最多的是c c d ( c h a r g e c o u p l e d d e v i c e s 电荷耦合器件) 。c c d 是主要的实用化固态图像传感器件，它具有读 取噪声低、动态范围大、响应灵敏度高等优点。但c c d 技术难以与主流的 c m o s 技术集成于同一芯片之中，因而具有体积大、功耗高等缺点。 c m o s 图像传感器现在已开始被广泛应用。c m o s 即互补金属氧化物半导 体( c o m p l e m e n t a r ym e t a lo x i d es e m i c o n d u c t o r ) 。c m o s 图像传感器的最大 优势在于它与d s p 等其他器件的亲和性，这是c c d 器件无法比拟的。虽然 两者都是硅器件，c c d 是通过光电效应收集电荷，每行像素的电荷随时钟信 号被送到模拟移位寄存器上，然后串行转换为电压。虽然，c c d 技术稳定， 但产品成品率低、成本高，且很难把驱动电路、信号处理电路、与c c d 成像 阵列单片集成，因而系统由多芯片组成。而c m o s 图像传感器则能较容易地 做成芯片系统，因而可缩小产品尺寸。所以价格低，也可降低产品功耗。由 于进行了高度集成，使设计简单，能缩短产品上市时间，也更适合于便携应 用。 o v 8 6 1 0 是由o m i n i v i s i o n 生产的一款高度集成的8 0 0 x 6 0 0 像素、完全可 编程的c m o s 单片数字相机芯片，可以满足系统的需要。 2 图像处理器的选择 图像处理数据量大，对处理器的速度要求很高。t i 的d s p 芯片所具有的 哈佛结构、流水线操作、专用的硬件乘法器、快速的指令周期和特殊的d s p 指令等特点，使得芯片可以实现快速的d s p 运算。由于d s p 是软件可编程器 件，因此具有通用微处理器具有的方便灵活的特点。 其中的t m s 3 2 0 v c 5 4 1 6 具有8 m 字的扩展程序空间、高达1 2 8 k 字的片 内r a m 、1 6 0 m i p s ( 每秒百万指令) 的运算速度、较高的性价比，成为本系 统图像处理器的首选。 2 哈尔滨 _ 程大学硕十学位论文 3 系统控制和译码器的选择 系统控制和译码器完成系统工作所需的逻辑控制和时序控制。现在已普 遍应用的c p l d 器件集成度较高，可以完成较复杂的逻辑和时序功能，同时具 有可编程性和实现方案容易改动的特点。综合成本、速度、逻辑、时序控制 所需的管脚数，系统选择了a l t e r a 公司的可编程逻辑器件m a x 7 0 0 0 系列的 芯片e p m 7 1 2 8 s t c l 0 0 。 e p m 7 1 2 8 s t c l o o 是高密度和高速度的m a x 7 0 0 0 s 系列，内部集成了 2 5 0 0 门，有1 0 0 个可用i 0 引脚，具有以下特性：6 个由引脚或逻辑驱动的 输出使能；2 个可选为反相工作的全局时钟信号；改善了布线性能，增加了 连线资源；从f o 引脚到宏单元寄存器的专用路径可提供快速的建立时间； 输出电压摆率可以编程控制；通过j t a g 接口实现在线编程；集电极开路输 出选项。 4 系统图像存储器的选择 系统图像存储器用于存储压缩后的图像数据，要求具有足够大的容量来 满足记录时间的要求。系统中选用了c f 卡作为图像存储器。 c f 广泛应用于数码相机、m p 3 、手机、电脑及电视机项盒等轻便设备中。 其具有存取速度快，体积小、重量轻和通用的特点，在卡上内置了a t a i d e 控制器，具备即插即用功能，可以兼容绝大部分操作系统。而且通过f ) c 卡适 配器，c f 卡可以在任何p c 卡驱动器晕进行读写操作，与笔记本电脑配合使 用非常方便。在容量方面c f 卡扩充得非常快，在s m 卡还没有办法生产起 来的时候，c f 卡1 g 的容量的早早就在市场出现，而且国产兼容c f 卡价格 和兼容s m 卡价格相当。上述特点使c f 卡完全能够满足系统当前要求和以 后进行容量升级的需要。 5 系统与p c 接口器件的选择 系统与p c 接口用于将存储在系统图像存储器中的压缩图像数据传输到计 算机中播放。它应该具有速度快的特点，以便于将c f 卡中存储的1 2 8 m 字节甚 至更多的数据读入计算机中。如果使用串口，用最高的1 1 5 2 k b p s 的波特率， 读取1 2 8 m 字节要使用2 5 小时的时间，无法满足要求。并行接口电路复杂， 速度也没有很大的提高。这样，速度可达1 2 m b s 甚至4 8 0 m b s ，并且简单灵 活的u s b 接口就成为首选。本设计使用的是p h i l i p s 公司的p d i u s b d l 2 并行 u s b 接口器件。 1 2 3 图像压缩算法选择 未经压缩的图像数据需要非常可观的存储空间，即便使用光盘存储技术， 未压缩过的视频也常常是不实用的。在数字图像监控系统中，需要处理大量 的视频数据，因而图像的压缩编码显得十分重要。现在已有多种压缩方法用 哈尔滨1 = 程大学硕士学位论文 于数字监控系统，目前比较普遍使用的有：j p e g ( 对单幅图像) 、h 2 6 1 ( p x 6 4 用于视频) 、m p e g ( 用于视频和音频) 。这些方法对于从事多媒体研究 工作的人比较熟悉。事实上，数字图像监控系统本身是计算机技术、通信技 术和多媒体技术相结合的产物，所以在图像监控系统中采用的图像压缩技术 是多媒体技术的一部分。 课题中使用的图像传感器是c m o s 图像传感器o v 8 6 1 0 ，从它获得的图 像符合c c i r 6 0 1 标准，分辨率为8 0 0 x 6 0 0 ，y ：u ：v 为4 ：2 ：2 ，若以8 比特表 示y 信号，则每像素占1 6 b i t 。不加压缩，一幅图像的数据是9 6 0 0 0 0 b y t e ， 那么对于一个较大容量的c f 卡，5 1 2 m 的空间只能存放5 3 3 张图片，按每秒 两幅图像计算，那么前后记录图像时间的不到5 分钟，可见图像数据必须经 过压缩存储后才能满足系统记录时间的要求。在本课题中采用有效可靠的压 缩算法是实现目标的关键，同时也可以降低存储部件的成本。 图像压缩编码的目的是以尽量少的比特数表征图像，同时保持复原图像 的质量，使它符合预定应用场合的要求。在保证图像质量的前提下最大限度 压缩数据量，是图像压缩编码的首要目的。通常把图像压缩编码简称为图像 编码。图像编码是一种信源编码，其信源是各种类型的图像信息。 图像数据可以进行压缩有几方面的原因。 首先，原始图像数据是高度相关的，存在很大的冗余度。数据冗余造成 比特效浪费，消除这些冗余可以节约码字，也就是达到了数据压缩的目的。 大多数图像内相邻像素之间有较大的相关性，这称为空间冗余度。序列图像 前后帧之间有较大的相关性，这称为时间冗余度。 其次，若用相同码长表示出现概率不同的符号也会造成比特效的浪费， 这种浪费称为符号冗余度。如果采用可变长编码技术，对出现概率高的符号 用短码字表示，对出现概率低的符号用长码字表示，就可消除符号冗余度， 从而节约码字。 再次，有些信息在通常的视觉过程中与另外一些信息相比来说不那么重 要，这些信息可认为是心理视觉冗余，去除这些信息不会明显地降低所感受 到的图像的质量。这种冗余去除是当前研究的热门，但通常算法复杂不易实 现。 考虑到本系统实际使用环境的特点背景不变，在大部分记录时间里 图像帧序列都很相似，有时很多连续帧甚至完全相同，其时间冗余度很大。 鉴于此，在算法上采用帧间d p c m ，即用一幅图像作为预测参考帧，与后一 帧作差值而得到差值帧，随后将差值按照单幅静止图像压缩方法进行j p e g 压缩。 4 哈尔滨丁程大学硕十学位论文 1 3 本文的工作 1 按照系统的小型化要求，系统的所有元件都使用表贴器件，高密度布 线，并使用电路板叠接的方式，使系统的硬件平台集成在1 2 0 m m x 8 5 m m 的 较小的电路板上。 2 按照系统的功能要求，电路板上集成了c m o s 图像传感器、可编程 逻辑器件( c p l d ) 、1 m 字帧存储器、数字信号处理器( d s p ) 、程序存储f l a s h 、 时钟芯片、c f 卡。 3 系统的软件包括两部分：d s p 上的固件程序和微机上的软件程序。 d s p 上的固件程序主要完成从图像传感器提取图像、对提取到的原始图像进 行压缩编码、对c f 卡的存取操作。时钟芯片的访问和r s 2 3 2 串口的软件模 拟。这部分的软件难点在于图像的压缩编码，为此本论文借鉴了j p e g 的编 码方案，同时为适应d p c m 和提高存储效率正在努力改进。另一个难点是对 电子硬盘的访问和存储，在这里按照微机系统上流行的硬盘格式f a t 格 式存储，并且作了适合d s p 访问的改进，因此在d o s 和w i n d o w s 操作系 统上能够直接访问编码文件，而且减小了d s p 上的编程工作量。微机上的软 件完成了图像的解码和编码的模拟验证，这部分程序使用v c + + 进行开发， 其中，图像编码软件使用从硬件平台的o v 8 6 1 0 上提取的原始图像数据，进 行存软件模拟的压缩算法验证，解码软件读取模拟压缩后的文件进行显示。 模拟压缩软件经过适合d s p 和系统环境的修改后，要移植到d s p 上运行。 经过实际提取一帧原始图像数据在计算机上进行压缩算法验证，结果表明， 在压缩比在4 0 ：1 时，图像质量虽然有一定损失，但图像质量还是可以接受的。 5 哈尔滨丁程大学硕十学位论文 第2 章j p e g 压缩算法 从图像传感器获得的图像数据量非常庞大，不经压缩难以存储。压缩算 法的选取主要依据三点：图像的特点、具体应用要求和可实现性。图像的特 点是指图像是通用图像还是一些专用图像，对于本系统来说背景不变就是一 大特点。具体应用要求是指应用所需要的画质。可实现性是指所提供的硬件 性能对于一个算法是否够用。另外在工程实现上，应采用比较成熟的算法。 综合考虑各方面的因素，本系统选择了基于d p c m 和离散余弦变换 ( d c t ) 的压缩算法。系统中采用的d p c m 预测算法比较简单，直接使用一帧 图像作为参考帧，这是由所压缩图像的特点决定。 2 1 编解码基本结构 ( a ) 编码器 ( b ) 解码器 陌网 i一 图2 1 编解码框图 编解码器压缩或解压缩两种类型的图像帧参考帧和差值帧，基本框图如 图2 1 。参考帧和差值帧作为d c t 的压缩源，这里没有采用上一帧图像作为 参考，也没有使用量化后的反变换图像作为参考，主要是为了减少d s p 运算 量和避免误差扩散。此后的压缩算法类似于j p e g 或m p e g 算法。编码器在d s p 上实现，编码后的数据存放在电子硬盘上。解码器在微机上实现，它从电子 硬盘上读取数据，识别每一帧，然后将图像显示出来。 6 哈尔滨t 程大学硕十学位论文 2 2 基于d c t 的编解码 2 2 i 数据格式 图像传感器直接得到了采样格式为4 ：2 ：2 的y c r c b 的图像数据，采样精 度为8 b i t ，在帧存里每一个字的低位存放y 数据，高位存放c r c b 数据。其 中在计算时特别要注意c r c b 的值的中心点是1 2 8 ，即c r c b 的值实际上偏了 1 2 8 。系统中采用了8 8 d c t 变换，为了在运算时占用较少的临时内存，变 换中每次读取8 1 6 字的数据，称为一个宏块( m c u ) 。这一个宏块包含了4 个d c t 块，其中2 个y 分量d c t 块1 个c r 块和1 个c b 块。 2 2 2 数据平移 进行d c t 变换的yc r ，c b 值的范围控制在1 2 8 - - - 1 2 7 之间，原数据的 范围是( o ，2 5 5 ) ，为此需要将每个数据减去1 2 8 。 在进行差值压缩时，差值的范围是( 2 5 5 ，2 5 5 ) 之间，有效数据位达到了9 位，对差值数据右移一位才能满足要求。 2 2 3 正余弦变换和逆余弦变换 二维正余弦变换( f d c t ) 和逆余弦变换( i d c t ) 的公式如下【l 】： 脚= 百1c c ( v ) 萎7 荟7m 加s 攀1 竽】c o s 磐1 竽】 ( 2 - 1 ) 叶 j = 0v = o uo 厂( x ，y ) = 三c ( 甜) c ( v ) 壹x - - o 壹y = of ( “，v ) c 。s 【j ! ! ：! j ! 1 ；言坐】c 。s 【j ! ! ! ；! ：芋1 害坐】( 2 2 ) 叶u o 式中： c c w ) = l ，# 豁。 p 3 ， f ( x ，y ) 原图像二维数据 f ( u ，v ) 变换后二维数据 2 2 4 量化和反量化 对6 4 个d c t 系数除以各自的量化步长并取整，得到量化系数，这个过 7 哈尔滨下程大学硕士学何论文 程称为量化过程。 f f ( ，u ) = 胛【篱o 5 】 ( 2 - 4 ) 这里取整采用四舍五入。反量化则是在解码器中由量化系数恢复d c t 系数的 过程： 户( “，v ) = y ( u ，v ) s ( u ，1 ，) ( 2 5 ) 通过对量化步长的设计，将人类的视觉特性结合进压缩的过程中，对于低频 分量量化步长小一点，对于高频分量量化步长大一点，对于亮度分量和色度 分量人眼的敏感程度不同，可以采用不同的量化步长。量化表是控制压缩比 的关键，这个步骤除掉了一些高频量，损失了很高细节。但事实上人眼对高 空间频率远没有低频敏感，所以处理后的视觉损失很小。另一个重要原因是 所有的图片的点与点之间会有一个色彩过渡的过程大量的图像信息被包含 在低空间频率中，经过量化处理后，在高空间频率段，将出现大量连续的零。 在本系统中采用了两张量化表，对应于亮度y 和色度c r c b ，两张量化表都是 j p e g 推荐的表。 0 图2 2z 型扫描 2 2 5 对量化系数的编码 6 3 量化后系数中会出现很多零，在行程编码中连续的零越多编码效率越高， 为此对量化系数进行如图2 2 的z 型扫描，以使大多出现在右下脚的零值能 够连续起来。 图像块的第一个d c t 变换系数是图像的直流系数( d c ) ，其余的6 3 个系 数称为交流系数( d c ) 。对于d c 、a c 分量分别进行编码。 相邻两个图像块的直流系数一般非常接近，因而对直流分量并不直接编 码，而是利用差分编码的思想，对本块与前一块的直流分量之差，进行差值 8 哈尔滨工程大学硕士学位论文 编码： a y ( 0 ，0 ) = e ( o ，0 ) - f , 一l ( o ，0 ) ( 2 6 ) 原直流分量d c 的范围为1 0 2 4 到+ 1 0 2 3 ，则d i f f 的动态范围是2 0 4 7 到 + 2 0 4 7 ，由于动态范围大，若对每个值用一个码，则码表太长、太复杂，事实 上，当差值充分大时( 大于1 0 0 0 ) ，相邻值的概率分布接近相同，根据h u f f m a n 码的原理，对出现概率大的值用短码，并使用修正h u f f m a n 编码方法，将d c 值表示成为( 符号1 ，符号2 ) 的形式。其中符号l 指示自然二进制码表示差值 的有效位数，可以从表2 1 查得，符号2 是实际的差值。 表2 1d c 系数差值的熵编码结构 位数实际保存的值 oo 11 。1 2 3 ，一2 ，2 ， 3 3 7 ，一6 ，一5 ，一4 ，4 ，5 ，6 ，7 4 1 5 ，一8 ，8 ，1 5 5 3 1 ，一1 6 ，1 6 ，3 1 6 6 3 ，一3 2 ，3 2 ，6 3 7 1 2 7 ，6 4 ，6 4 ，1 2 7 8 2 5 5 ，一1 2 8 ，1 2 8 ，2 5 5 9 5 1 l ，一2 5 6 ，2 5 6 ，2 5 6 1 0 一1 0 2 3 ，5 1 2 ，5 1 2 ，e ea 91 0 2 3 l1 2 0 4 7 ，一1 0 2 4 ，1 0 2 4 ，2 0 4 7 对d c 进行h u f f m a n 编码时，符号l 查表得到h u f f m a n 码。由于亮度和 色度的d c 差值统计特性差别较大，所以采用了两个h u f f r n a n 码表。符号2 直接存储其自然二进制码的有效位，负数用整数的反码表示，例如，3 存储 “1 1 ”，一3 存储“0 0 ”。 对a c 系数的编码中，采用了对0 系数的游程长度编码。6 3 个a c 系数 将以 0 0 0 x ，0 0 0 x ，0 0 。0 x 形式出现，其中x 为非o 值，若干个0 和一个非0 值x 组成了一个编码基本 单位，而其中的若干个0 ，可以用游程即个数表示。于是将a c 的一个编码 基本单位表示位( 游程，类别，非0 值) ，进一步同样可以写成( 符号1 ，符号 2 ) 的形式。其中游程和类别各占4 位，它们组合成符号l ，因此0 游程的范 围被限制在0 - 1 5 ，若此后还有非0 值并且已经出现了1 6 个连0 ，则应写成 9 哈尔滨下程大学硕士学位论文 ( 1 5 ，0 ) 。类似于d c 编码，类别表示了非0 值的自然二进制码的有效位数，可 以从表2 2 查得，符号2 是实际的非0 值的自然二进制码。 表2 2a c 系数非0 值的熵编码结构 位数实际保存的值 00 1一l ，l 23 ，一2 ，2 ，3 3 7 ，一6 ，一5 ，一4 ，4 ，5 ，6 ，7 4 1 5 ，e ee9 8 ，8 ，1 5 5 3 1 ，e e e9 1 6 ，1 6 ，3 1 6 6 3 ，e ee 一3 2 ，3 2 ，6 3 7 1 2 7 ，6 4 ，6 4 ，e ee 91 2 7 8 2 5 5 ，一1 2 8 ，1 2 8 ，e ee 2 5 5 95 11 ，e ee 一2 5 6 ，2 5 6 ，ee 92 5 6 1 0 1 0 2 3 ，5 1 2 ，5 1 2 ，1 0 2 3 类似于d c ，对a c 进行h u f f m a n 编码时，符号1 ( 一个字节) 可以通过查 表得到h u f f m a n 码。仍然采用了两个h u f f m a n 码表分别对应了亮度和色度的 编码。符号2 直接存储其自然二进制码的有效位，负数用整数的反码表示n 1 。 在j p e g 的标准中，h u f f m a n 码表可以通过对图像的概率统计而创建，但 也推荐了四个码表，分别是d c 亮度、色度和a c 亮度、色度，这四个表是对 很多图像统计的结果，具有一定的普遍性。系统中直接使用了这四个码表。 2 3 文件存储格式 标准的j p e g 文件由两部分组成：标记码和压缩数据。标记码部分记录 的j p e g 图像的格式和解码信息，包括图像的开始和结束、应用说明、量化 表、h u f f m a n 表、帧标记、开始扫描标记和重起标记。由于本系统中，表说 明和图像格式信息都已经约定，所以其标记信息可以大大简化，这样可以节 省存储空间。 2 3 1 简化的标记信息 文件中存储3 种类型的标记信息：帧开始标记( s o i ) 和结束标记( e o i ) 、 帧说明标记( c o m ) 及重起标记( r s t 0 r s t 7 ) 。 ( 1 ) 在每一帧的开始使用s o i ，一帧结束使用e o i ，它们都由两个字节 构成。s o i 为0 x f f ，o x d 8 ；e o i 为0 x f f ，0 x d 9 。 ( 2 ) 紧跟s o i 标记的是c o m 标记，c o m 标记对当前图像帧进行说明， 1 0 哈尔滨丁程大学硕士学位论文 其c 语言结构定义如下： t y p e d e fs t r u c t w o r d c o m m a r k = o x f f f e ；c o m 标记头 w o r d s t r u c t l e n t h = 0 x o a ；这个结构的长度 b y t e f r a m e t y p e ； o x o1 表示参考帧，o x 8 0 表示差值帧 b y t e r e s e r v e ：保留 b y t e y e a r ；以下为拍摄这一帧的时间 b y t e m o n t h ； b y t e d a y ； b y t e h o u r ； b y t e m i n u t e ； b y t e s e c o n d ； ) c o m _ m a r k ： c o m 标记包含两方面的内容：一是帧类型，为解压提供信息；二是提供 当前时间，是为了上层应用的需要。 ( 3 ) 重起标记有8 个，r s t o , 、, r s t 7 ，它们也是都有两个字节定义，第一 字节是o x f f ，第二个字节分别是o x d o - - , o x d 7 。重起标记主要用于解码器的同 步和避免直流系数的错误扩散，每遇到一个重起标记，此后一个宏块的直流 系数不使用差值压缩。r s t o - r s t 7 依次使用，并且周而复始。在本系统重定 义的重起间隔是4 0 个宏块，也就是说每压缩4 0 个宏块使用一个重起标记。 解码标记与数据区是可以完全区分的。当数据区需要存储o x f f 时，用 o x f f ，o x 0 0 进行替代，并且o x f f 可以作为填充字节，连续的o x f f 将被忽略。 这样标记码在文件中可以被唯一识别，另外c o m 标记后面跟随的是两字节的 标记长度，这是为了便于c o m 标记的扩展。 2 3 2 文件的结构 如上一章所述，文件预先定义，并且分配连续的扇区，能够使系统循环 存放数据，把最先存放的数据覆盖，保留最新的数据，文件结构如图2 3 。 这样文件不再有文件头，它的开始与结束只是相对而言的，具体由解码程序 去识别每一帧，根据帧内时间信息判断帧的先后。 解码程序将先搜寻所有的帧，并记录这些帧的信息。当要显示这一帧的 时候先按照帧的信息向前找到参考帧，将参考帧及本帧解码，两帧的解码结 果相加就得到了完整的一帧图像信息。 哈尔滨工程大学硕士学位论文 图像帧图像帧 2 4 本章小结 图2 3 文件结构示意图 本章描述了本系统使用的j p e g 压缩方法的算法原理和过程。系统采用简 化的标记压缩，同时压缩后文件采用精简的格式进行存储，减少了工作量和 复杂程度。 1 2 哈尔滨t 程大学硕士学位论文 第3 章图像传感器0 v 8 6 10 的应用 3 1c m o s 传感器应用前景概述 随着数码技术、半导体制造技术以及网络的迅速发展，目前市场和业界 都面临着跨越各平台的视讯、影音、通讯大整合时代的到来，勾划着未来人 类的日常生活的美景。以其在日常生活中的应用，无疑要属数码相机产品， 其发展速度可以用日新月异来形容。短短的几年，数码相机就由几十万像素， 发展到4 0 0 、5 0 0 万像素甚至更高。不仅在发达的欧美国家，数码相机已经占 有很大的市场，就是在发展中的中国，数码相机的市场也在以惊人的速度在 增长，因此，其关键零部件图像传感器产品就成为当前以及未来业界关 注的对象，吸引着众多厂商投入。 c c d ( c h a r g e dc o u p l e dd e v i c e 电荷耦合器件) 于1 9 6 9 年在贝尔试验室 研制成功，之后由日本一些公司开始量产，其发展历程已经将近3 0 多年，从 初期的1 0 多万像素已经发展至目前主流应用的5 0 0 万像素。c c d 是主要的 实用化固态图像传感器件，它具有读取噪声低、动态范围大、响应灵敏度高 等优点。但c c d 技术难以与主流的c m o s 技术集成于同一芯片之中。这样， 诸如定时产生、驱动放大、自动曝光控制、模数转换及信号处理等支持电路 就不能与像素阵列做同一芯片上，以c c d 为基础的图像传感器难以实现单片 一体化，因而具有体积大、功耗高等缺点。 c m o s 即互补金属氧化物半导体( c o m p l e m e n t a r ym e t a l o x i d e s e m i c o n d u c t o r ) 。和c m o s 相比，c c d 的缺点在于成本昂贵，只能在特定的 工厂里通过特定而昂贵的工艺生产。c m o s 却是成熟而普遍的半导体生产技 术，从内存到c p u ，c m o s 工艺的半导体产品比比皆是，不但可以生产出 p e n t i u mi i i 这么复杂的产品，而且大多数的主流半导体厂商都可以生产。所 以利用相同的技术和设备工艺生产出来的c m o s 传感器，在成本上要低得 多。( 这里提到的c m o s 实际是指图像传感器的生产技术) 。 除了成本较低外，由于集成度高，c m o s 传感器可以把许多电路集成在 单一的芯片上，例如时钟驱动、同步逻辑、信号处理，甚至a d 转换、放大电 路等等，而这些电路在c c d 的数码相机上都必须采用分离的芯片，成本较高。 同时c m o s 传感器还可以在芯片上加入附加的特性电路，例如抗抖动、图像 压缩等等，而这一切所需要增加的费用并不多。另外c m o s 传感器的功耗很 低，仅相当于c c d 的1 8 ，这使得采用c m o s 传感器的数码相机可以非常省 电。 哈尔滨_ 程大学硕+ 学位论文 c m o s 图像传感器的最大优势在于它与d s p 等其他器件的亲和性，这是 c c d 器件无法比拟的。虽然两者都是硅器件，c c d 是通过光电效应收集电 荷，每行像素的电荷随时钟信号被送到模拟移位寄存器上，然后串行转换为 电压。虽然，c c d 技术稳定，但产品成品率低、成本高，且很难把驱动电路、 信号处理电路、与c c d 成像阵列单片集成，因而系统由多芯片组成。而c m o s 图像传感器则能较容易地做成芯片系统，因而可缩小产品尺寸。所以价格低， 也可降低产品功耗。由于进行了高度集成，使设计简单，能缩短产品上市时 间，也更适合于便携应用。今后，c m o s 必将成为图像传感器中的主流。 3 2o v 8 6 10 芯片概述 3 2 1o v 8 6 1 0 功能及特点 o v 8 6 1 0 是一款高度集成的8 0 0 x 6 0 0 像素、完全可编程的c m o s 单片数 字相机芯片，它的主要功能特点如下哺3 ： ( 1 ) 是一款单片彩色的c m o s 数字相机芯片。 ( 2 ) 可配用1 3 英寸镜头。 ( 3 ) 像素矩阵8 2 4 6 1 5 ，实际最