（信号与信息处理专业论文）视频监控记录系统的dsp实现.pdf

哈尔滨工程大学硕士学位论文 摘要 电子技术、计算机技术和软件技术的迅速发展，促进了视频技术的发展 和在现实生活中的广泛应用。同时，随着数字信号处理技术的不断发展和完 善，以及d s p 芯片集成度、运算速度、数据吞吐率等性能的不断提高，它已 被广泛地应用于许多视频处理与传输领域。本文所描述的视频监控记录系统， 运用了数字图像压缩技术，它记录事发现场的图像，为事后处理分析提供信 息。这个系统体积小，自身带有存储器，因此可以独立安装使用。 本系统主要由图像摄取、图像压缩、图像数据存储和图像数据提取四部 分组成。图像摄取部分使用了c m o s 图像传感器。c m o s 图像传感器以其能较 容易地做成芯片系统、产品尺寸小、功耗低、价格低廉等优点，正逐渐的成 为图像传感器应用中的主流产品。图像压缩部分使用了t i 公司的5 4 系列定 点d s p 芯片，它是系统的核心，不仅要完成图像的压缩，还要完成其它芯片 的控制任务。图像数据存储部分使用了c f 卡作为存储器。由于具有存取速度 快、体积小、重量轻和通用的特点，使得c f 卡的应用空间比较广。图像数据 提取部分采用了u s b 接口技术，使数据的提取方便而快捷。 关键词：c m o s 图像传感器；c f 卡；d s p ；u s b ；图像压缩 哈尔滨工程大学硕士学位论文 a bs t r a c t v i d e ot e c h n o l o g yh a sb e e ni m p r o v e da n di su s e dd i f f u s e l yi no u rl i v i n g ， b e c a u s et h et e c h n o l o g yo f e l e c t r o n i c ，c o m p u t e rs c i e n c ea n ds o f t w a r eh a v eb e e n d e v e l o p e di nh i g hs p e e d a tt h es a m et i m e ，w i t ht h ec o n t i n u o u sd e v e l o p m e n ta n d c o n s u m m a t i o no fd i g i t a l s i g n a lp r o c e s s i n g ，d s pc h i pi s u s e dw i d e l yi nv i d e o p r o c e s s i n g a n dt r a n s m i s s i o nf i e l d ，b e c a u s ei t s i n t e g r a t i o nd e n s i t y ，c o m p u t i n g s p e e da n dd i g i t a lt a k i n gi na n ds e n d i n go u tr a t ei si m p r o v e dc o n t i n u o u s l y i nt h i s p a p e r , av i d e om o n i t o r - r e c o r ds y s t e mi sd e s c r i b e d d i g i t a li m a g ec o m p r e s s i o n t e c h n o l o g yi su s e di nt h i ss y s t e m i tr e c o r d st h ei m a g e so fs o m e c e r t a i nl o c a l ea n d p r o v i d e si n f o r m a t i o nf o rp o s t m o r t e m t h i ss y s t e mh a sl i t t l ev o l u m ea n db e c a u s e h a si t so w n m e m o r yc h i p ，i tc a n b ei n s t a l l e da n du s e d i n d e p e n d e n t l y t h ep r o p o s e ds y s t e mi s c o m p o s e do fi m a g et a k i n g ，i m a g ec o m p r e s s i n g ， i m a g ed a t as t o r i n ga n di m a g ed a t ap i c k i n g u pt h e s ef o u rp a r t s c m o si m a g e s e n s o ri su s e di ni m a g et a k i n gp a r t c m o si m a g es e n s o ri sb e c o m i n gg r a d u a l l y t h ep r i n c i p a lp r o d u c to fi m a g es e n s o r , b e c a u s ei tc a l lb ei n t e g r a t e di n t oac h i p s y s t e me a s i l ya n dh a sl i t t l ev o l u m e ，l o w - p o w e ra n dl o wp r i c e t i5 4d s pc h i pi s u s e di nt h ei m a g e c o m p r e s s i n gp a r t ，a n di ti st h e h a r d - c o r ep a r to f t h es y s t e m t h i s p a r tn o to n l yr e a l i z e st h ec o m p r e s s i o no f t h ei m a g e s ，b u ta l s oc o n t r o l so t h e rc h i p s i nt h i ss y s t e m t h ec fc a r di su s e da st h em e m o r yo ft h ei m a g ed a t as t o r i n gp a r t w eu s e dc fc a r di nt h ep r o p o s e ds y s t e mb e c a u s ei th a st h ef o l l o w i n gm e r i t s ，s u c h a sh i g hr e a d i n ga n dw r i t i n gs p e e d ，l i t t l ev o l u m e ，l i g h t w e i g h t t h eu s b g a t e w a y t e c h n o l o g yi s u s e di nt h ei m a g ed a t ap i c k i n g u pp a r t t h i sm a k e sd a t ar e a d i n g s i m p l ea n d f a s t k e y w o r d s ：c m o si m a g es e n s o r ，c fc a r d ，d s p , u s b ，i m a g ec o m p r e s s i o n 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导 下，由作者本人独立完成的。有关观点、方法、数据和文 献的引用已在文中指出，并与参考文献相对应。除文中已 注明引用的内容外，本论文不包含任何其他个人或集体已 经公开发表的作品成果。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到 本声明的法律结果由本人承担。 作者( 签字) 蔓1 1 是墟 日期：加 彤年2 月，疹日 第1 章绪论 1 1 引言 电子技术、计算机技术和软件技术的迅速发展，促进了视频技术的发展 和在现实生活中的广泛应用。各种新颖的视频应用系统层出不穷，如数字摄 像机、电视会议、可视电话、网眼、视频点播以及各种类型的监控监视系统。 随着d s p 芯片集成度、运算速度、数据吞吐率等性能的不断提高，它己 被广泛地应用于许多视频处理与传输领域。同时，在视频处理领域出现了各 种支持不同协议编解码功能的图像专用集成电路芯片，但它们的通用性一般 较差，难以满足不同系统的特殊需求。考虑到d s p 易于满足图象处理中运算 量大、实时性强、数据传输速率高等要求，附以相应软件的设计，即可满足 不同应用中实时图像采集、压缩、理解等方面的需要，还能满足系统软件升 级和灵活更改的需要，同时它还有一定控制功能，因此，在本课题中选用了 d s p 作为图像处理和系统控制芯片。 由于视频的应用不同，各种视频系统有自己独特的要求。本文所描述的 系统是一种脱机视频监控记录系统，它记录事发现场的图像，为事后处理分 析提供信息。这个系统体积小，自身带有存储器，无需通信网络，因此可以 独立安装使用，也可以作为大型监控系统的辅助设备。 1 2 课题来源 公安部门的一个项目，要求研制一个体积小，能独立脱机工作的视频图 像记录系统，主要为破案提供信息，具体要求如下： ( 1 ) 系统体积要小巧，便于安装； ( 2 ) 记录图像为6 4 0 x 4 8 0 的彩色图像； ( 3 ) 图像的帧率要达到每秒2 - 4 帧； ( 4 ) 能记录至少3 小时的图像数据： ( 5 ) 系统要方便随时提取所记录的图像数据。 1 3 系统的方案选择 1 3 1 系统的构成 根据系统要完成的任务，系统的构成应如图1 1 所示。 l 哈尔滨工程大学硕士学位论文 图1 1 系统构成图 图像传感器用于图像的摄取；图像帧存用于缓存由图像传感器输出的图 像数据，以供图像处理器读取：图像处理器是系统的核心，主要完成图像压 缩、存储、系统控制等功能；系统图像存储器用于存储压缩过的图像数据， 以便需要时提取：系统与p c 接口用于将存储在系统图像存储器中的压缩图像 数据传输到计算机中播放；程序、数据存储器用于存储处理器正常工作所需 的程序、数据常数：系统控制和译码器用于处理器外围芯片的地址译码和从 图像传感器提取图像到帧存的时序控制；电源提供系统工作所需的电压。 1 3 2 系统主要器件的选择 1 图像传感器的选择 目前数码相机上图像传感器使用得最多的是c c d ( c h a r g e c o u p l e d d e v i c e s 电荷耦合器件) 。c c d 是主要的实用化固态图像传感器件，它具有读 取噪声低、动态范围大、响应灵敏度高等优点。但c c d 技术难以与主流的c m o s 技术集成于同一芯片之中，因而具有体积大、功耗高等缺点。 c m o s 图像传感器现在已开始被广泛应用。c m o s 即互补金属氧化物半导体 ( c o m p l e m e n t a r ym e t a lo x i d es e m i c o n d u c t o r ) 。c m o s 图像传感器的最大优 势在于它与d s p 等其他器件的亲和性，这是c c d 器件无法比拟的。虽然两者 都是硅器件，c c d 是通过光电效应收集电荷，每行像素的电荷随时钟信号被 送到模拟移位寄存器上，然后串行转换为电压。虽然，c c d 技术稳定，但产 品成品率低、成本高，且很难把驱动电路、信号处理电路、与c c d 成像阵列 单片集成，因而系统由多芯片组成。而c m o s 图像传感器则能较容易地做成芯 片系统，因而可缩小产品尺寸。所以价格低，也可降低产品功耗。由于进行 了高度集成，使设计简单，能缩短产品上市时间，也更适合于便携应用。 0 v 7 6 2 0 是由o m i n i v i s i o n 生产的一款高度集成的6 4 0 x 4 8 0 像素、完全可 2 哈尔滨工程大学硕士学位论文 编程的c m o s 单片数字相机芯片，可以满足系统的需要。 2 图像处理器的选择 图像处理数据量大，对处理器的速度要求很高。t i 的d s p 芯片所具有的 哈佛结构、流水线操作、专用的硬件乘法器、快速的指令周期和特殊的d s p 指令等特点，使得芯片可以实现快速的d s p 运算。由于d s p 是软件可编程器 件，因此具有通用微处理器具有的方便灵活的特点。 其中的t m s 3 2 0 v c 5 4 1 6 具有8 m 字的扩展程序空间、高达1 2 8 k 字的片内 r a m 、1 6 0 m i p s ( 每秒百万指令) 的运算速度、较高的性价比，成为本系统图 像处理器的首选。 3 系统控制和译码器的选择 系统控制和译码器完成系统工作所需的逻辑控制和时序控制。现在已普 遍应用的c p l d 器件集成度较高，可以完成较复杂的逻辑和时序功能，同时具 有可编程性和实现方案容易改动的特点。综合成本、速度、逻辑、时序控制 所需的管脚数，系统选择了a 1 t e r a 公司的可编程逻辑器件m a x 7 0 0 0 系列的芯 片e p m 7 1 2 8 s t c l 0 0 。 e p m 7 1 2 8 s t c l 0 0 是高密度和高速度的姒x 7 0 0 0 s 系列，内部集成了2 5 0 0 门，有1 0 0 个可用i 0 引脚，具有以下特性：6 个由引脚或逻辑驱动的输出 使能；2 个可选为反相工作的全局时钟信号；改善了布线性能，增加了连线 资源；从i o 引脚到宏单元寄存器的专用路径可提供快速的建立时间：输出 电压摆率可以编程控制；通过j t a g 接口实现在线编程；集电极开路输出选项。 4 系统图像存储器的选择 系统图像存储器用于存储压缩后的图像数据，要求具有足够大的容量来 满足记录时间的要求。系统中选用了c f 卡作为图像存储器。 c f 广泛应用于数码相机、m p 3 、手机、电脑及电视机顶盒等轻便设备中。 其具有存取速度快，体积小、重量轻和通用的特点，在卡上内置了a t a i d e 控制器，具备即插即用功能，可以兼容绝大部分操作系统。而且通过p c 卡适 配器，c f 卡可以在任何p c 卡驱动器里进行读写操作，与笔记本电脑配合使 用非常方便。在容量方面c f 卡扩充得非常快，在s m 卡还没有办法生产起来 的时候，c f 卡1 g 的容量的早早就在市场出现，而且国产兼容c f 卡价格和兼 容s m 卡价格相当。上述特点使c f 卡完全能够满足系统当前要求和以后进行 容量升级的需要。 5 系统与p c 接口器件的选择 系统与p c 接口用于将存储在系统图像存储器中的压缩图像数据传输到计 算机中播放。它应该具有速度快的特点，以便于将c f 卡中存储的1 2 8 m 字节甚 至更多的数据读入计算机中。如果使用串1 ：3 ，用最高的1 1 5 2 k b p s 的波特率， 读取1 2 8 m 字节要使用2 5 小时的时间，无法满足要求。并行接口电路复杂，速 度也没有很大的提高。这样，速度可达1 2 m b s 甚至4 8 0 m b s ，并且简单灵活的 3 啥尔滨工程大学硕士学位论文 u s b 接口就成为首选。本设计使用的是p h i l i p s 公司的p d i u s b d l 2 并行u s b 接口 器件。 1 3 3 图像压缩算法选择 未经压缩的图像数据需要非常可观的存储空间，即便使用光盘存储技术， 未压缩过的视频也常常是不实用的。在数字图像监控系统中，需要处理大量 的视频数据，因而图像的压缩编码显得十分重要。现在已有多种压缩方法用 于数字监控系统，目前比较普遍使用的有：j p e g ( 对单幅图像) 、h 2 6 1 ( p x 6 4 用于视频) 、m p e g ( 用于视频和音频) 。这些方法对于从事多媒体研究 工作的人比较熟悉。事实上，数字图像监控系统本身是计算机技术、通信技 术和多媒体技术相结合的产物，所以在图像监控系统中采用的图像压缩技术 是多媒体技术的一部分。 课题中使用的图像传感器是c m o s 图像传感器0 v 7 6 2 0 ，从它获得的图像 符合c c i r 6 0 l 标准，分辨率为6 4 0 4 8 0 ，y ：u ：v 为4 ：2 ：2 ，若以8 比特表示y 信号，则每像素占1 6 b i t 。不加压缩，一幅图像的数据是6 1 4 4 0 0 b y t e ，那么 对于一个较大容量的c f 卡，2 5 6 m 的空间只能存放4 3 6 张图片，按每秒两幅 图像计算，那么前后记录图像时间的不到4 分钟，可见图像数据必须经过压 缩存储后才能满足系统记录时间的要求。在本课题中采用有效可靠的压缩算 法是实现目标的关键，同时也可以降低存储部件的成本。 图像压缩编码的目的是以尽量少的比特数表征图像，同时保持复原图像 的质量，使它符合预定应用场合的要求。在保证图像质量的前提下最大限度 压缩数据量，是图像压缩编码的首要目的。通常把图像压缩编码简称为图像 编码。图像编码是一种信源编码，其信源是各种类型的图像信息。 图像数据可以进行压缩有几方面的原因。 首先，原始图像数据是高度相关的，存在很大的冗余度。数据冗余造成 比特效浪费，消除这些冗余可以节约码字，也就是达到了数据压缩的目的。 大多数图像内相邻像素之间有较大的相关性，这称为空间冗余度。序列图像 前后帧之间有较大的相关性，这称为时间冗余度。 其次，若用相同码长表示出现概率不同的符号也会造成比特效的浪费， 这种浪费称为符号冗余度。如果采用可变长编码技术，对出现概率高的符号 用短码字表示，对出现概率低的符号用长码字表示，就可消除符号冗余度， 从而节约码字。 再次，有些信息在通常的视觉过程中与另外一些信息相比来说不那么重 要，这些信息可认为是心理视觉冗余，去除这些信息不会明显地降低所感受 到的图像的质量。这种冗余去除是当前研究的热门，但通常算法复杂不易实 现。 4 哈尔滨工程大学硕士学位论文 考虑到本系统实际使用环境的特点背景不变，在大部分记录时间里 图像帧序列都很相似，有时很多连续帧甚至完全相同，其时间冗余度很大。 鉴于此，在算法上采用帧间d p c m ，即用一幅图像作为预测参考帧，与后一帧 作差值而得到差值帧，随后将差值按照单幅静止图像压缩方法进行j p e g 压 缩。 1 4 论文完成的工作 按照系统的小型化要求，系统的所有元件都使用表贴器件，高密度布线， 并使用电路板叠接的方式，使系统的硬件平台集成在1 2 0 m m x 8 5 m m 的较小的电 路板上。 按照系统的功能要求，电路板上集成了c m o s 图像传感器、可编程逻辑器 件( c p l d ) 、1 m 字帧存储器、数字信号处理器( d s p ) 、程序存储f l a s h 、时钟芯 片、c f 卡、u s b 接口电路、并外加了调试用的r s 2 3 2 接口电路。 系统的软件包括两部分：d s p 上的固件程序和微机上的软件程序。d s p 上的固件程序主要完成从图像传感器提取图像、对提取到的原始图像进行压 缩编码、对c f 卡的存取操作、u s b 接口功能的实现、时钟芯片的访问和r s 2 3 2 串口的软件模拟。这部分的软件难点在于图像的压缩编码，为此本论文借鉴 了j p e g 的编码方案，同时为适应d p c m 和提高存储效率正在努力改进。另一 个难点是对电子硬盘的访问和存储，在这里按照微机系统上流行的硬盘格式 f a t 格式存储，并且作了适合d s p 访问的改进，因此在d o s 和w i n d o w s 操作系统上能够直接访问编码文件，而且减小了d s p 上的编程工作量。微机 上的软件完成了图像的解码和编码的模拟验证，这部分程序使用v c + + 进行开 发，其中，图像编码软件使用从硬件平台的0 v 7 6 2 0 上提取的原始图像数据， 进行存软件模拟的压缩算法验证，解码软件读取模拟压缩后的文件进行显示。 模拟压缩软件经过适合d s p 和系统环境的修改后，要移植到d s p 上运行。经 过实际提取一帧原始图像数据在计算机上进行压缩算法验证，结果表明，在 压缩比在4 0 ：1 时，图像质量虽然有一定损失，但图像质量还是可以接受的。 1 5 本章小结 结合课题的要求，简要介绍了系统的构成和各部分的功能，并简要叙述 了为完成各部分模块功能所选器件的理由。 根据系统实际使用环境背景不变的特点，在算法上选择了采用一幅图像 作为预测参考帧，与后一帧作差值而得到差值帧，随后将差值按照单幅静止 图像压缩算法进行j p e g 压缩的图像压缩方法。 哈尔滨工程大学硕士学位论文 第2 章j p e g 压缩算法 从图像传感器获得的图像数据量非常庞大，不经压缩难以存储。压缩算 法的选取主要依据三点：图像的特点、具体应用要求和可实现性。图像的特 点是指图像是通用图像还是一些专用图像，对于本系统来说背景不变就是一 大特点。具体应用要求是指应用所需要的画质。可实现性是指所提供的硬件 性能对于一个算法是否够用。另外在工程实现上，应采用比较成熟的算法。 综合考虑各方面的因素，本系统选择了基于d p c m 和离散余弦变换( d c t ) 的压缩算法。系统中采用的d p c m 预测算法比较简单，直接使用一帧图像作为 参考帧，这是由所压缩图像的特点决定。 2 1 编解码基本结构 ( a ) 编码器 ( b ) 解码器 图2 1 编解码框图 编解码器压缩或解压缩两种类型的图像帧参考帧和差值帧，基本框图如 图2 1 。参考帧和差值帧作为d c t 的压缩源，这里没有采用上一帧图像作为 参考，也没有使用量化后的反变换图像作为参考，主要是为了减少d s p 运算 量和避免误差扩散。此后的压缩算法类似于j p e g 或m p e g 算法。编码器在d s p 上实现，编码后的数据存放在电子硬盘上。解码器在微机上实现，它从电子 硬盘上读取数据，识别每一帧，然后将图像显示出来。 6 哈尔滨工程大学硕士学位论文 2 2 基于d c t 的编解码 2 2 1 数据格式 图像传感器直接得到了采样格式为4 ：2 ：2 的y c r c b 的图像数据，采样精 度为8 b i t ，在帧存里每一个字的低位存放y 数据，高位存放c r c b 数据。其 中在计算时特别要注意c r c b 的值的中心点是1 2 8 ，即c r c b 的值实际上偏了 1 2 8 。系统中采用了8 8 d c t 变换，为了在运算时占用较少的临时内存，变换 中每次读取8 1 6 字的数据，称为一个宏块( m c u ) 。这一个宏块包含了4 个 d c t 块，其中2 个y 分量d c t 块1 个c r 块和1 个c b 块。 2 2 2 平移 进行d c t 变换的y ，c r ，c b 值的范围控制在一1 2 8 1 2 7 之间，原数据 的范围是( 0 ，2 5 5 ) ，为此需要将每个数据减去1 2 8 。 在进行差值压缩时，差值的范围是( 一2 5 5 ，2 5 5 ) 之间，有效数据位达到了 9 位，对差值数据右移一位才能满足要求。 2 2 3 正余弦变换和逆余弦变换 二维正余弦变换( f d c t ) 和逆余弦变换( i d c t ) 的公式如下【1 】： 脚) = 百1c c ( v ) 萎7 荟7m c o s 等竽 c o s 翟竽】1 j = ov = 0 1 u- v 厂( x ，y ) = 丢c ( “) c ( v ) 主：主：f ( “，v ) c 。s 【- ! ! 丛；! ：i ：塑 c 。s 【：! 丛! ! ：；竽 x=o y = o 1 ”1 ” 式中： c c 们= 憎嚣。 f ( x ，y ) 原图像二维数据 f ( u ，v ) 变换后二维数据 2 2 4 量化和反量化 对6 4 个d c t 系数除以各自的量化步长并取整，得到薰化系数， 潲 哈尔滨工程大学硕士学位论文 程称为量化过程。 y ( u , u ) = 册篱+ o 5 】 ( 2 - 4 ) 这里取整采用四舍五入。反量化则是在解码器中由量化系数恢复d c t 系数的 过程： p ( 甜，v ) = y ( u ，v ) s ( u ，v ) ( 2 - 5 ) 通过对量化步长的设计，将人类的视觉特性结合进压缩的过程中，对于低频 分量量化步长小一点，对于高频分量量化步长大一点，对于亮度分量和色度 分量人眼的敏感程度不同，可以采用不同的量化步长。量化表是控制压缩比 的关键，这个步骤除掉了一些高频量，损失了很高细节。但事实上人眼对高 空间频率远没有低频敏感，所以处理后的视觉损失很小。另一个重要原因是 所有的图片的点与点之间会有一个色彩过渡的过程大量的图像信息被包含 在低空间频率中，经过量化处理后，在高空间频率段，将出现大量连续的零。 在本系统中采用了两张量化表，对应于亮度y 和色度c r c b ，两张量化表都是 j p e g 推荐的表。 0 图2 2z 型扫描 2 2 5 对量化系数的编码 量化后系数中会出现很多零，在行程编码中连续的零越多编码效率越高， 为此对量化系数进行如图2 2 的z 型扫描，以使大多出现在右下脚的零值能 够连续起来。 图像块的第一个d c t 变换系数是图像的直流系数( d c ) ，其余的6 3 个系数 称为交流系数( d c ) 。对于d c 、a c 分量分别进行编码。 相邻两个图像块的直流系数一般非常接近，因而对直流分量并不直接编 码，而是利用差分编码的思想，对本块与前一块的直流分量之差，进行差值 8 哈尔滨工程大学硕士学位论文 编码： a f ( o ，0 ) = 只( 0 , 0 ) 一只一。( 0 , 0 ) ( 2 - 6 ) 原直流分量d c 的范围为一1 0 2 4 至u + 1 0 2 3 ，则d i f f 的动态范围是一2 0 4 7 到 + 2 0 4 7 ，由于动态范围大，若对每个值用一个码，则码表太长、太复杂，事实 上，当差值充分大时( 大于i 0 0 0 ) ，相邻值的概率分布接近相同，根据h u f f m a n 码的原理，对_ 出现概率大的值用短码，并使用修正h u f f m a n 编码方法，将d c 值表示成为( 符号1 ，符号2 ) 的形式。其中符号1 指示自然二进制码表示差值 的有效位数，可以从表2 i 查得，符号2 是实际的差值。 表2 id c 系数差值的熵编码结构 位数实际保存的值 00 11 ，1 2 3 ，一2 ，2 ，3 3 7 ，一6 ，一5 ，一4 ，4 ，5 ，6 ，7 4 一i 5 ，一8 ，8 ，1 5 5 3 1 ，一1 6 ，1 6 ，3 l 6 6 3 ，一3 2 ，3 2 ，6 3 7 1 2 7 ，6 4 ，6 4 ，1 2 7 8 2 5 5 ，- 一，一1 2 8 ，1 2 8 ，2 5 5 9 5 l l ，一2 5 6 ，2 5 6 ，2 5 6 1 0 一1 0 2 3 ，5 1 2 ，5 1 2 ，1 0 2 3 1 1 2 0 4 7 ，一1 0 2 4 ，1 0 2 4 ，- 一，2 0 4 7 对d c 进行h u f f m a n 编码时，符号1 查表得到h u f f m a n 码。由于亮度和色 度的d c 差值统计特性差别较大，所以采用了两个h u f f m a n 码表。符号2 直接 存储其自然二进制码的有效位，负数用整数的反码表示，例如，3 存储“i i ”， 一3 存储“0 0 ”。 对a c 系数的编码中，采用了对0 系数的游程长度编码。6 3 个a c 系数将 以 o o 0 x ，0 0 0 x ，0 0 o x 形式出现，其中x 为非0 值，若干个0 和一个非o 值x 组成了一个编码基本 单位，而其中的若干个0 ，可以用游程即个数表示。于是将a c 的一个编码基 本单位表示位( 游程，类别，非0 值) ，进一步同样可以写成( 符号1 ，符号2 ) 的形式。其中游程和类别各占4 位，它们组合成符号i ，因此0 游程的范围 被限制在o 1 5 ，若此后还有非0 值并且已经出现了1 6 个连0 ，则应写成 9 哈尔滨工程大学硕士学位论文 ( 1 5 ，0 ) 。类似于d c 编码，类别表示了非0 值的自然二进制码的有效位数，可 以从表2 2 查得，符号2 是实际的非0 值的自然二进制码。 表2 2a c 系数非0 值的熵编码结构 位数实际保存的值 00 1一l ，l 2 3 ，一2 ，2 ，3 3 7 ，一6 ，一5 ，一4 ，4 ，5 ，6 ，7 4 1 5 ，一8 ，8 ，一，1 5 5 3 1 ，一1 6 ，1 6 ，3 l 6 6 3 ，一3 2 ，3 2 ，6 3 7 1 2 7 ，6 4 ，6 4 ，1 2 7 8 2 5 5 ，一1 2 8 ，1 2 8 ，2 5 5 95 11 ，一，一2 5 6 ，2 5 6 ，一，2 5 6 1 0 一1 0 2 3 ，5 1 2 ，5 1 2 ，1 0 2 3 类似于d c ，对a c 进行h u f f m a n 编码时，符号1 ( 一个字节) 可以通过查表 得到l _ l u f f m a n 码。仍然采用了两个h u f f m a n 码表分别对应了亮度和色度的编 码。符号2 直接存储其自然二进制码的有效位，负数用整数的反码表示。 在j p e g 的标准中，h u f f m a n 码表可以通过对图像的概率统计而创建，但 也推荐了四个码表，分别是d c 亮度、色度和a c 亮度、色度，这四个表是对 很多图像统计的结果，具有一定的普遍性。系统中直接使用了这四个码表。 2 3 文件存储格式 标准的j p e g 文件由两部分组成：标记码和压缩数据。标记码部分记录的 j p e g 图像的格式和解码信息，包括图像的开始和结束、应用说明、量化表、 h u f f m a n 表、帧标记、开始扫描标记和重起标记。由于本系统中，表说明和 图像格式信息都已经约定，所以其标记信息可以大大简化，这样可以节省存 储空间。 2 3 1 简化的标记信息 文件中存储3 种类型的标记信息：帧开始标i g ( s o i ) 和结束标记( g o i ) 、 帧说明标记( c o m ) 及重起标记( r s t o r s t 7 ) 。 ( 1 ) 在每一帧的开始使用s o i ，一帧结束使用e o i ，它们都由两个字节构 成。s o i 为o x f f ，o x d 8 ；e o i 为o x f f ，o x d 9 。 ( 2 ) 紧跟s o i 标记的是c o m 标记，c o m 标记对当前图像帧进行说明，其c 1 0 哈尔滨工程大学硕士学位论文 语言结构定义如下： t y p e d e fs t r u c t w o r d c o m m a r k = o x f f f e ；c o m 标记头 w o r d s t r u c t l e n t h = o x 0 a ；这个结构的长度 b y t e f r a m e t y p e ；o x 0 1 表示参考帧，o x 8 0 表示差值帧 b y t e r e s e r v e ：保留 b y t e y e a r ；以下为拍摄这一帧的时间 b y t e m o n t h ； b y t e d a y ； b y t e h o u r ； b y t e m i n u t e ； b y t e s e c o n d ； c o m _ m a r k ； c o m 标记包含两方面的内容：一是帧类型，为解压提供信息；二是提供 当前时间，是为了上层应用的需要。 ( 3 ) 重超标记有8 个，r s t o r s t 7 ，它们也是都有两个字节定义，第一 字节是o x f f ，第二个字节分别是o x d o o x d 7 。重起标记主要用于解码器的同 步和避免直流系数的错误扩散，每遇到一个重起标记，此后一个宏块的直流 系数不使用差值压缩。r s t o r s t 7 依次使用，并且周而复始。在本系统重定 义的重起间隔是4 0 个宏块，也就是说每压缩4 0 个宏块使用一个重起标记。 解码标记与数据区是可以完全区分的。当数据区需要存储o x f f 时，用 o x f f ，o x 0 0 进行替代，并且o x f f 可以作为填充字节，连续的o x f f 将被忽略。 这样标记码在文件中可以被唯一识别，另外c o m 标记后面跟随的是两字节的 标记长度，这是为了便于c o m 标记的扩展。 2 3 2 文件的结构 如上一章所述，文件预先定义，并且分配连续的扇区，能够使系统循环 存放数据，把最先存放的数据覆盖，保留最新的数据，文件结构如图2 3 。 这样文件不再有文件头，它的开始与结束只是相对而言的，具体由解码程序 去识别每一帧，根据帧内时间信息判断帧的先后。 解码程序将先搜寻所有的帧，并记录这些帧的信息。当要显示这一帧的 时候先按照帧的信息向前找到参考帧，将参考帧及本帧解码，两帧的解码结 果相加就得到了完整的一帧图像信息。 哈尔滨工程大学硕士学位论文 图像帧图像帧 图2 3 文件结构示意图 2 4 本章小结 本章描述了本系统使用的j p e g 压缩方法的算法原理和过程。系统采用简 化的标记压缩，同时压缩后文件采用精简的格式进行存储，减少了工作量和 复杂程度。 1 2 哈尔滨工程大学硕士学位论文 第3 章图像传感器0 v 7 6 2 0 的应用 3 1 c m o s 传感器应用前景概述 随着数码技术、半导体制造技术以及网络的迅速发展，目前市场和业界 都面临着跨越各平台的视讯、影音、通讯大整合时代的到来，勾划着未来人 类的日常生活的美景。以其在日常生活中的应用，无疑要属数码相机产品， 其发展速度可以用日新月异来形容。短短的几年，数码相机就由几十万像素， 发展到4 0 0 、5 0 0 万像素甚至更高。不仅在发达的欧美国家，数码相机已经占 有很大的市场，就是在发展中的中国，数码相机的市场也在以惊人的速度在 增长，因此，其关键零部件图像传感器产品就成为当前以及未来业界关 注的对象，吸引着众多厂商投入。 c c d ( c h a r g e dc o u p l e dd e v i c e 电荷耦合器件) 于1 9 6 9 年在贝尔试验室 研制成功，之后由闩本一些公司开始量产，其发展历程已经将近3 0 多年，从 初期的1 0 多万像素已经发展至目前主流应用的5 0 0 万像素。c c d 是主要的实 用化固态图像传感器件，它具有读取噪声低、动态范围大、响应灵敏度高等 优点。但c c d 技术难以与主流的c m o s 技术集成于同一芯片之中。这样，诸如 定时产生、驱动放大、自动曝光控制、模数转换及信号处理等支持电路就不 能与像素阵列做同一芯片上，以c c d 为基础的图像传感器难以实现单片一体 化，因而具有体积大、功耗高等缺点。 c m o s 即互补金属氧化物半导体( c o m p l e m e n t a r y m e t a lo x i d e s e m i c o n d u c t o r ) 。和c m o s 相比，c c d 的缺点在于成本昂贵，只能在特定的工 厂里通过特定而昂贵的工艺生产。c m o s 却是成熟而普遍的半导体生产技术， 从内存到c p u ，c m o s 工艺的半导体产品比比皆是，不但可以生产出p e n t i u m i i i 这么复杂的产品，而且大多数的主流半导体厂商都可以生产。所以利用 相同的技术和设备工艺生产出来的c m o s 传感器，在成本上要低得多。( 这里 提到的c m o s 实际是指图像传感器的生产技术) 。 除了成本较低外，由于集成度高，c m o s 传感器可以把许多电路集成在单 一的芯片上，例如时钟驱动、同步逻辑、信号处理，甚至a d 转换、放大电路 等等，而这些电路在c c d 的数码相机上都必须采用分离的芯片，成本较高。 同时c m o s 传感器还可以在芯片上加入附加的特性电路，例如抗抖动、图像压 缩等等，而这一切所需要增加的费用并不多。另外c m o s 传感器的功耗很低， 仅相当于c c d 的1 8 ，这使得采用c m o s 传感器的数码相机可以非常省电。 c m o s 图像传感器的最大优势在于它与d s p 等其他器件的亲和性，这是c c d 1 3 哈尔滨工程大学硕士学位论文 器件无法比拟的。虽然两者都是硅器件，c c d 是通过光电效应收集电荷，每 行像素的电荷随时钟信号被送到模拟移位寄存器上，然后串行转换为电压。 虽然，c c d 技术稳定，但产品成品率低、成本高，且很难把驱动电路、信号 处理电路、与c c d 成像阵列单片集成，因而系统由多芯片组成。而c m o s 图像 传感器则能较容易地做成芯片系统，因而可缩小产品尺寸。所以价格低，也 可降低产品功耗。由于进行了高度集成，使设计简单，能缩短产品上市时间， 也更适合于便携应用。今后，c m o s 必将成为图像传感器中的主流。 3 20 v 7 6 2 0 芯片概述 3 2 1 0 v 7 6 2 0 功能及特点 0 v 7 6 2 0 是一款高度集成的6 4 0 x 4 8 0 像素、完全可编程的c m o s 单片数字 相机芯片，它的主要功能特点如下”1 ： ( 1 ) 是一款单片彩色黑白可选的c m o s 数字相机芯片。 ( 2 ) 可配用1 3 英寸镜头。 ( 3 ) 像素矩阵6 6 4 4 9 2 ，实际最大可使用像素6 4 0 4 8 0 。 ( 4 ) 可以选用隔行扫描或逐行扫描的方式输出数据，特别是逐行扫描的方 式使其易与计算机接口。 ( 5 ) 输出图像数据格式有y c r c b 4 ：2 ：2 、g r b 4 ：2 ：2 和r g b 原始图像数据。 ( 6 ) 可按c c i r 6 0 1 、c c i r 6 5 6 和z v 接口( z o o mv i d e op o r t ) 方式输出8 位 或1 6 位的视频数据。 ( 7 ) 视频输出数据有单帧输出方式、帧率可选择设置输出方式，最高逐行 输出帧率：3 0 帧秒。 ( 8 ) 提供串行相机控制总线s c c b ( s e r i a lc a m e r ac o n t r o lb u s ) 接口，对 单片相机芯片进行编程控制和功能选择，s c c b 符合i z c 总线规范。 ( 9 ) 电子曝光增益8 平衡控制、亮度、对比度、伽玛校正、饱和度、图 像增强控制等图像性能参数有自动控制和可更改设置两种方式。 ( 1 0 ) 芯片核心电路工作电压5 v ，对外数字接口电压5 v 3 3 v 可选。 3 2 ，2 芯片封装说明 芯片采用4 8 引脚l c c 封装，其引脚排列如图3 1 。芯片采用两种方式选 择：- l 十是通过s c c b 总线控制芯片内的寄存器，这种方式可以控制芯片的全 部特性；另一种方式是采用芯片上电或复位时采样某些引脚上的电平状态， 从而设置芯片的工作方式。因此，芯片的许多引脚是复用的。是否使用复用 功能取决于s b b 引脚，如s b b 为高电平则选择上电模式控制内部功能，反之 则为s c c b 工作方式。具体引脚功能参见表3 1 ，其中类型项中i l 表示输入 1 4 用i o k 电阻上拉，i 一0 表示输入用i o k 电阻下拉，x i x o 为晶振的输入输出， i o 为数字c m o s 电平输入输出：b i a s 为电源7 1 脚“1 。 图3 10 v 7 6 2 0 引脚图 表3 10 v 7 6 2 0 引脚表 c h s y n c i b w y 州c b a r r l m r o g y 2 j g 2 x v 6 c s 2 ，t t c s o p c l k 帕t r r x z d o v d d d o g n o 引脚名称类型功能 ls v d db i a s 传感器电源( + 5 v ) 引脚 8 ，1 4 ，4 4 a v d db i a s 模拟电源( + 5 v ) 引脚 2 9d v d db i a s数字电源( + 5 v ) 引脚 3 2d o v d db i a s数字i o 电源( + b y + 3 3 v ) 引脚 4 8s g n db i a s 传感器电源地，连接到公共地 6 ，7 ，1 5 ，4 3a g n d b i 8 s模拟地，连接到公共地 3 0d g n db i a s数字地，连接到公共地 3 1d o g n db i a s数字输出地 2r e s e ti 芯片复位，“高”有效 3a g c e n i 一1a g c e n = 1 使能自动增益控制，a g c e n = o 禁止自 r a m i n t动增益控制，此设置只有当s b b = l 时有效 1 5 凸伪哥a 凸吒 r 盎尊q a 譬白2 埔蕊q d s墨岔* 土n宴薹，n圳n妇司 岱_ a m 崔 璺b 鼋 尊哪，雌 。s 盹詈暑耋 醛y y v 哈尔滨工程大学硕士学位论文 r a m i n t = i 初始化帧传输 4f r e xi 帧曝光控制输入引脚，只在逐行扫描模式下有 效，f r e x 的高电平宽度决定曝光时间 5v r e qc a p 内部电压参考，需要用0 1 u f 的去耦电容接地 gp w d ni 一0 p w d n = 1 是芯片进入睡眠模式 1 0v r sc a p内部电压参考，需要用0 1 u f 的去耦电容接地 1 lv c c h gc a p 内部电压参考，需要用1 o u f 的去耦电容接地 1 2s b bis b b = 1 选择上电模式控制内部功能 s b b = 0 选择使用s c c b 总线编程控制 对于上电模式控制的内部功能，如要改变设置需 要重新上电或复位 1 31 旧o0视频测试输出( n t s c 格式) 1 6v s y n c o iv s y n c ：垂直同步输出