（通信与信息系统专业论文）交通信息采集设备视频压缩模块的设计与实现.pdf

壤汪大学镬 擎筏避史 摘要 ys 8 1 4 8 ； 随蓉韬套经济发袋，交遣系统爵菇筮杂。为了绘交通系统的管理挺供吝静实 时交通信息，以方便、高效的利用和管理现商的交通系统，我们研究歼蕊基于视 频图像处理的交通信息采巢设备。该设器由三大筷赣缀戏；数据匿缀模块、数爨 怒莲模块魏嬲络莛辕模块。搴文薅对箕审瓣数摇援壤摸块逡 亍一个| ：l ：较详缨翁谫 甥。 本文蓄巍综述了蟹熊交道系绞的綦本概念以及交通信息采浆墩备在国内外 灼发展和最搬动惫。第二二章介绍了该压缩模块中所采用的各种视频压缩协议，对 小滚压缝按零熬璺重委橛念馋了麓蘩熬分缓，详终晓鞍了，l 、滚交歉瑟d c t 交 换的优缺点，给出了基予小波压缩的单帧及序确顿编褥方案，并将獒作为本疆熊 模块的压缩稀凇。第三章简装介绍了整个系统的硬 牛菠讦方案，对警箭觳将来霹 能矮予压缩搂竣中镌各辩较硬静实施方案佟了深入懿魄铰积分据，特烈是s o c 帮s o p c 慝戆殴瑟当蔻流行瓣多媒髂芯片维撼霹予今嚣系统设计鞠澎嫡；载当懿 妁技术褥行锻以及实际产熬成本提毖了愿缭模块的鬣终实旗方案。第四章详细介 缨了本系统魄硬件实施绷节，包括对系统中使用到的主要芯片的介绍和系统硬件 设计上麴一数关键技术。熊五章介缨了系统的软件实现，包括了d s p 程序，f p g a 疆痔霸主撬稷枣。豢爱零避嚣了惑缝，并提爨舞露黉要宠善耱敬遴蕊方嚣。 p 键诵l 智能交通系统、小渡交鼷、d s p 、f p g a 、雉缩编褊。 采群簪蕃、蛩簿簿卷 魏龟文公括 浙江人学颂i 学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to f s o c i e t ya n de c o n o m y 。t h et m | ；cs y s t e mb e c a m em o r e a n dm o r ec o m p l e x i nt h ei n t e r e s to f p r o v i d i n gt h em a n a g e m e n to f t r a 臻cs y s t e mw i t h r e a l t i m et r a f f i ci n f o r m a t i o nt oa c h i e v ee f f i c i e n tm a n a g e m e n ta n dm a k ef u l lu s eo ft h e t r a f f i c s y s t e m w ei n v e s t i g a t et h et r a m ci n f o r m a t i o ns y s t e mb a s e do nv i d e oa n d i m a g ep r o c e s s i n gt e c h n i q u e s t h r e em o d u l e sc o n s t i t u t et h es y s t e m ：m o d u l eo f d a t a c o m p r e s s i o n ，m o d u l eo f d a t ap r o c e s s i n ga n dm o d u l eo f d a t at r a n s m i s s i o n i nn a y t h e s i s ，t h em o d u l eo f d a t ac o m p r e s s i o n v d l lb e p r o p o s e d i nd e t a i l s i nt h i st h e s i s ，t h ei n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ( i t s ) a n dd e v e l o p m e n to f t h e t r a f f i ci n f o r m a t i o ns y s t e ma r ei n t r o d u c e df i r s t l yi nc h a p t e ro n e s u b s e q u e n t l y ，t h e v a r i o u sv i d e oc o m p r e s s i o np r o t o c o l si nt h em o d u l eo fd a t ac o m p r e s s i o n ，e s p e c i a l l y t h ef u n d a m e n t a l so fw a v e l e tc o m p r e s s i o nt e c h n o l o g ya r ei n t r o d u c e di nc h a p t e rt w o 始ec o m p a r i s o nb e t w e e nw a v e l e tt r a n s f o r ma n dd c tt r a n s f o r mi s g i v e n 强e s c h e m e so fi n t r a - f r a m ec o d i n g a n d s e q n e n c e f r a m e c o d i n g b a s e do nw a v e l e t c o m p r e s s i o na r e u s e da sas t a n d a r di nc u r r e n t s y s t e m i nc h a p t e rt h r e e ，b r i e f l y i n t r o d u c et h eh a r d w a r ed e s i g no fac o l l e c t i o ns y s t e mo ft r a f f h ci n f o r m a t i o n ，a 1 1k j i n d s o f p r o j e c t sw h i c hm a y b eu s e dj nc u r r e n to rf u t u r ed a t ac o m p r e s s i o n ，e s p e c i a l l ys o c 、 s o p ca n dm u l t i m e d i ap r o c e s s o r ，a r ea n a l y z e da n dc o m p a r e di nd e t a i l c o n s i d e r i n g t h e f e a s i b i l i t yo f c u r r e n tt e c h n o l o g y a n d p r o d u c tc o s t ，t h em o d u l e o f d a t a c o m p r e s s i o n i sp u tf o r t h t h e n ，c h a p t e rf o u rd e s c r i b e st h ed e t a i l so ft h ei m p l e m e n to fh a r d w a r e i n c l u d i n g t h ei n t r o d u c t i o no ft h em a i ni c sa n dt h ek e y t e c h n i q u e si ns y s t e mh a r d w a r e d e s i g n c h a p t e r f i v e b r i e f l y i n t r o d u c e st h e i m p l e m e n t a t i o n o fs y s t e ms o f t w a r e i n c l u d i n g d s p f p g aa n dp cc o n t r o lp r o g r a m m i n g n el a s t c h a p t e r d r e wa c o n c l u s i o na n dm a d es o m es u g g e s t i o na c c o r d i n gt oi m p r o v e m e n ta n du p d a t i n go ft h e m o d u l eo f d a t ac o m p r e s s i o n 。 l k e yw o r d s i t s ，w a v e l e tt r a n s f o r m i n g ，d s p , f p g a ，c o m p r e s s i o n t e n c o d e a n dd e c o d e 浙江大学颂j 学位论文 第一章绪论 1 1 课题研究的目的 今天，道路运输已经成为超越铁路的最重要的地面运输方式，在国民经济和 社会发展中起着举足轻重的作用。但是随着汽车的普及、交通需求的急剧增长， 进入8 0 年代以来，道路运输所带来的交通拥堵、交通事故和环境污染等负面效 应也几益突出，逐步成为经济和社会发展中的全球性公共问题i l 3 j 。 解决车和路的矛盾，常用的有两种方法：一是控制需求，最直接的办法就是 限制车辆的增加；二是增加供给，也就是修路。但是这两个办法都有其局限性。 交通是社会发展和人民生活水平提高的基本条件，经济的发展必然带来出行的增 加，而且考虑到我国汽车工业的特殊性，因此限制车辆的增加不是解决问题的好 办法。而采取增加供给，即大量修筑交通基础设施的办法，在资源、环境矛盾越 来越突出的今天，面对越来越拥挤的交通、有限的资源和财力以及环境的压力， 也将收到限制。这就需要依靠除限制需求和提供道路设施之外的其它方法来满足 同益增长的交通需求。智能交通系统( i n t e l l i g e n t t r a n s p o r t a t i o ns y s t e m ，简称i t s ) 正是解决这一矛盾的途径之一。 1 1 1 智能交通系统 从国际上智能交通系统的发展历史来看，各国普遍认为起步于6 0 7 0 年代 的交通管理计算机化就是智能交通系统的萌芽。随着社会的发展和技术的进步， 交通管理和交通工程逐步发展成智能交通系统，但是智能交通系统与原来意义上 的交通管理和交通工程有着本质的区别。智能交通系统强调的是系统性、信息交 流的交互性以及服务的广泛性，其核心技术是电子技术、信息技术、通信技术、 交通工程和系统工程。 “智能交通系统”实质上就是利用高新技术对传统的运输系统进行改造而形 成的一种信息化、智能化、社会化的新型运输系统。它能使交通基础设施发挥出 最大的效能，提高服务质量；同时使社会能够高效的使用交通设施和能源，从而 获得巨大的社会经济效益。它不但有可能解决交通的拥堵，而且对交通安全、交 通事故的处理与救援、客货运输管理、道路收费系统等方面都会产生巨大的影响。 i t s 的功能主要表现在：( 1 ) 顺畅功能：增加交通的机动性，提高运营效率；提 高道路网的通行能力，提高设施效率：调控交通需求。( 2 ) 安全功能：提高交通 的安全水平，降低事故的可能性避免事故；减轻事故的损害程度；防止事故后 灾害的扩火。( 3 ) 环境功能：减轻堵塞：低公害化，降低汽车运输对环境的影响。 浙江人学坝i ：学位论文 1 1 2 交通信息采集设备在国内外研发情况 交通信息采集设备在国外主要有美国的i s s 公司和比利时t r a f i c o n 路畅 通公司。 美国i s s 公司视频检测系统主要是a u t o s c o p e 2 0 0 4 、a u t o s c o p e 2 0 2 0 。 a u t o s c o p e2 0 2 0 是a u t o s c o p e2 0 0 4 的升级产品， 采用了高性能的检测算法和 网络通讯协议，不但能得到同样高精度的交通检测数据，而且安装使用极其方便： 可以放置在外场机柜中，也可以放置于中控室。图1 1 是a u t o s c o d e 2 0 2 0 的外 观图。 削1 一la u t o s c o p e 2 0 2 0 外观图 a u t o s c o p e 2 0 2 0 的主要特点如下： 道路交通数据采集以及事故检测 同时处理4 路视频信号( p a l 、n t s c ) 既可安装于外场控制机柜，也可放置在交管中心 非易失性记忆体数据存储 具有上电自检功能 1 e d 指示灯显示电源、通讯、视频、数据处理和系统的检测输出状态 可设置的网络地址 视频压缩( v c ) 卡( 可选) 比利时t r a f i c o n 路畅通公司早在1 9 8 2 年就开始着手有关研究，到现时为 止已经有超过9 0 0 0 个t r a f i c o n 系统在世界各地被安装使用。主要在欧洲，美 国。东南业及中国的大城市如北京、上海和深圳等。t r a f i c o n 公司的主要产品是 v i p 产品，图1 2 是产品的外观图。 浙江人学坝l 学位论文 图1 2v i p 外观图 该产品的主要特点是： 每一张v i p 可在多达8 条车道上同时采取交通数据、流量数据以及监 视，放置虚拟线圈 意外检测功能 自动检测多达4 种的交通流量信息( 流动速度、饱和度、拥挤、停下，前 进) 检测车速下降率、检测范围内的路面占有率等 在国内，“十五”国家科技攻关计划“智能交通系统关键技术开发和示 范工程”中有一项就是交通信息采集设备开发。主要承担单位有成都深港监控技 术有限公司、公安部第三研究所以及浙大中控。这些单位对于交通信息采集设备 开发都有自己的优势和特点，对“智能交通系统关键技术开发和示范工程”作出 了一定的贡献。 1 2 研究开发的必要性和意义 全面、准确的采集交通信息是实现交通智能化的基本保障。研究开发交通信 息采集设备使它能正确的获得道路上的运行信息，包括车流量、车速、车型分类、 占道率、交通密度，以及车辆排队长度、车辆转弯、车辆停止或肇事情况的信息。 正确的交通信息采集可以使智能交通管理系统正确及时获得交通状况信息，对交 通状况进行有效管理，并发出诱导信息，从而自动调节车流，减少车辆在道路顺 畅时在红灯前停留的时间，安排疏导交通、肇事报警等。因而，在智能交通系统 中，交通信息采集设备是交通系统管理的基础，是先进的智能交通管理技术得以 实时与f 确控制与引导交通，提高交通安全性和效率的前提。所以交通信息采集 设备的研究开发十分重要。 浙江人学坝i 学位论文 在世界各个国家，交通信息采集设备的研究都得到了普遍的重视，各个机构、 公司以及大学、研究所纷纷j j 日a 相关技术的研究丌发。例如超声波检测，微波多 普勒检测，红外线视频检测，声学检测，磁力计检测，感应线圈检测，激光雷达 检测，以及视频检测。我们国家在交通信息采集设备的开发也已经在很多机构展 ，l ：，但现在国内已有的交通信息采集设备中，没有能全而、j 卜确、稳定的采集道 路上的车流量、车速、车型分类、占道率、交通密度，以及车辆排队长度、车辆 转弯信息的系统。尤其在背景复杂时，车辆的检测分割和跟踪、交通拥挤时各辆 车之问的分割技术的研究不足，随着交通日益拥挤和对智能交通系统的需求越来 越高，越来越突出。另外这些产品在成本，可维护性，可升级性方面存在着许多 缺陷。 我国是当今世界上道路等基础设施建设速度最快的国家，又是交通需求增长 最快的国家。运输效率低下、城市交通堵塞已经成为我国各大中城| 巾面临的迫切 需要解决的问题之一。未来十年，正是智能交通系统在世界主要国家进入全面实 施的阶段，因此，迫切需要根据中国交通的实际需求尽早研究开发智能交通系统， 以实现交通运输的可持续发展目标。交通信息采集设备能对这个领域的空白起到 一定的填充作用。 交通信息采集设备的开发不仅为2 0 0 8 年的北京奥运会期间的复杂交通情况 做准备，同时能很好的推动我国i t s 的发展。 1 3 本文研究的主要内容 本文的研究内容结合新兴的视频压缩技术，实现交通信息采集设备压缩模块 的设计和实现。 1 3 1 视频数字压缩新技术 视频数字压缩简单的说就是信源的有效数字表示方法。这一定义稍加修饰就 是在保持+ 个可以接受的逼真度损失的情况下采用尽可能少的比特数来表示视 频信源。 数字压缩的主要问题有信源、速度和逼真度准则或失真度。我们关心的有两 类问题。一个问题是指在限制发送数据的速率或存储容量的前提下，压缩信源速 率并尽可能达到最高的逼真度，这个问题被称为失真速率问题：第二类问题是在 保证一定的逼真度的条件下，尽可能低的压缩比特率，这个问题被称为速率失真 问题。一方面，视频压缩技术的不断革新使得压缩效率越来越高，在同样的传输 码率下，m p e g 一4 相对于h 2 6 3 可以提供更高的图像质量；另一方面，人们的信 息需求量也在不断增加，从最初的监控系统仅仅是提供质量不高的视频图像，到 现在的监控系统不仅要求图像质量高，而且要求可以对目标进行跟踪、检索、分 类查询等等。这些要求都增加了系统的开销，使得系统必须提供额外的信息量， 浙汀人学坝l 学位论文 从而导致在一定的发展时期条件r ，为能最佳满足系统要求( 如实时性) ，必须 在网络带宽、处理器速度和系统性能、成本之间进行折中考虑。 目前已经有大量的数字压缩系统，而且每天还不断的有新的东西出现，这就 需要对已有的和新的压缩方法进行规范。目前制定标准的组织有国际电信联盟 ( i t u ) 、美国a n s i 委员会电信委员会、电信工业联会( 1 e e e ) 和国际标准化 组织( i s o ) ，这些组织都制定了数字压缩的标准，这些标准都非常的成功，大 多数都迅速的发展着，同时也根据新的技术需要对标准做相应的改进。虽然现在 的_ ；i 控领域还没有统一的标准，仅仅是利用视频会议的部分标准，但相信在今后 的几年罩，监控领域的音视频压缩协议将会从原来的m j p e g 、h 2 6 x 、m p e g 一1 逐渐过渡到包含上述两种编码思想的一种新的压缩标准。 1 3 2 本文主要完成的工作 本文利用各种最新的技术开展交通信息采集设备压缩模块的设计工作。其主 要的工作包括以卜几个部分： 1 分析和比较了当前监控系统中各种视频压缩协议，并详细介绍小波压缩技术在 图像以及视频领域的应用，给出了小波视频压缩编码的框架。同时阐明了小波压 缩在交通信息采集设备中的优势。 2 分类比较了当前的压缩模块设计的各种软硬件实现方法，并根据交通信息采集 设备自身的特点，在综合考虑多种因素后，给出了一种高效的交通信息采集设备 压缩模块设计方案及实施细节。 1 3 3 论文的主要内容 本论文在第二章介绍在交通信息采集设备压缩模块的视频压缩原理。在第三 章，着重叙述交通信息采集设备压缩模块设计方案的研究，在第四章和第五章以 详尽的描述介绍了交通信息采集设备中压缩模块硬件和软件实现的具体环节。在 论文的最后，给出了总结和展望。 浙江大学倾 。学位论史 第二章交通信息采集设备的视频压缩原理 引言 当前在监控系统中广泛使用的压缩协议主要包括视频部分和音频部分。常用 的视频压缩协议包括h 2 6 1 、t t 2 6 3 、m j p e g 、m p e g 1 等 4 - 9 , 13 】。音频压缩协议 主要包括g 7 1 l 、g 7 2 2 、g 7 2 8 等。另外小波作为一种高效的压缩技术，虽然未 成为一种独立的压缩标准，但是作为一种有用的编码算法，它已经被加入到 m p e g 一4 协议中。下文将对以上协议做个综述性地介绍。 2 1 i t u _ t 标准简介 近年来，i t u t 系列标准在多媒体数字通信方面得到了广泛的应用。下表概 述了l t uh 系列标准，以及与之相关的音视频编解码器和它们所使用的网络。 表2 11 t u t 多媒体会议标准 所有的1 t u 。th i 。1 l 】系列标准都支持双向实时音频和视频会话，同时为t 1 2 0 数据图像会议提供可选择的数据通道。这些标准的扩展协议支持多点会议、加 密、远程控制及广播。每个标准指定了一个基本模式以保证互操作性，但是同时 也允许使用非标准模式，这是通过控制协议来自动协商的。 目前，最完备的标准体系是用于交换数字网络之间相互通信的h 3 2 0 。h 3 2 0 制订于9 0 年代初，它的出现j 下好配合了第一代“用付合一”拨号网络技术的成 熟，以及大量公司认识到其潜在的可供公司之间及公司内部通信的潜力后的对这 一一系统的大量应用。h 3 2 1 、h 3 2 2 分别描述了h 3 2 0 终端适用于a t m 网络和i s o e t h e m e t 的情况。i t u t 于1 9 9 6 年1 0 月最终通过了h 3 2 3 建议，此项建议是下 一代多媒体会议技术和设备的最主要标准。h 3 2 3 规定了不同厂商的端点在局域 网、内联网或因特网上与音频、视频和t 1 2 0 图形的各种结合形式互相通信所要 求的工作模式，它描述了通话模型、呼叫信令程序以及基于分组会议的系统与构 件。它们使用新的h 2 4 5 控制协议并且支持一系列改进的多媒体编解码器。h 3 2 4 浙江人学坝t ：学位论文 和h 3 2 0 一样适用于低速电路交换网络，它利用了h 3 2 0 扩展标准，包括 h 3 2 3 h 3 2 4 加密和h 2 2 4 h 2 81 远端摄像控制。 如下图所示，所有的h 系列终端能通过合适的网关进行互操作，并且能加 入多点会议。 图2 - 1 h 系列终端的互操作 2 2h 3 2 0 及h ：3 2 3 、h 3 2 4 标准 模式 端 h 3 2 0 文档是一个“系统标准”，包括应用于系统各个部分的i t u t 标准，其 核心组成如下： h 2 2 1 ：将音频、视频、数据和控制信息合成单一的比特流。 h 3 2 0 h 2 4 2 ：包括模式控制命令、指示信号和能力交换。 h 2 3 1 h 2 4 3 ：指定多点会议中央桥和多路会议的操作。 h 2 6 1 ：将视频压缩成低速比特流。有q c i f 和c i f 两种格式。 g 7 11 ：采样频率8 k h z 的l o g p c m 音频编码。 除了核心组成成分以外，h 3 2 0 标准还有一些扩展标准如支持远程控制和远 端摄像机( l 2 2 4 h 2 8 1 ) ，进行加密的h 2 3 3 h 2 3 4 ，以及处理复杂图像和会议 控制的t 1 2 0 。 但是在实际应用中，h 3 2 0 标准也暴露出一定的局限性，特别是出现了一些 更好的音频和视频压缩技术如：用于包交换网络的h 3 2 3 ，用于低速电路交换网 络的h 3 2 4 以及用于a t m b i s d n 的h 3 1 0 。最终，导致第二代h 系列标准的 浙江人学顸 学位论文 产_ i 。新标准主要有以下的优点： 更快的初始连接呼叫启动 支持多通道音视频数据 简币而灵活地在多信道中分配带宽 传输和接收能力分离 相互依赖的表达方式 剥称的描述模式 改进的音视频编码方法 更大范围的视频模式和视频解析率 为将来标准或非标准特性的扩展提供了更清晰的机制 2 3h 2 6 1 及h 2 6 3 视频编码协议 h 2 6 1 作为一种高效经济的视频编码方法”1 ，是h 3 2 0 系统的基本视频模式， 它使得视频会议可以在码率为6 4 k b i t s 的i s d n 上传输。其相应的编码核结构如 图2 2 所示： 图2 - 2t t 2 6 1 编码核 新的h 2 6 3 【9 】视频编解码器在除h 3 2 4 以外的所有h 系列标准中都是可选的。 在h 3 2 4 中，h 2 6 3 和h 2 6 1 都是系统支持视频所要求的。h 2 6 3 支持甚低码率 ( 9 6 k b i t s ) 的音视频信息传送。在编码算法上，h 2 6 3 在h 2 6 1 的基础上做了 许多改进，主要包括以下几个方面： 半象素精确运动补偿： 支持8 8 块运动估值； 算术编码代替可变长( h u f f m a n ) 编码； 浙江人学侦1 1 学位论文 支持p b 帧模式。 如表2 2 所示：h 2 6 3 除了支持h 2 6 1 中的c i f 和q c i f 图像格式外还支持 一些新的图像格式。和h 2 6 1 一样，h 2 6 3 进行逐行扫描的最大帧频为3 0 帧秒。 现在正在扩展h 2 6 3 使它能处理方形象素和任意尺寸的图像格式。 表2 - 2h 2 6 3 视频图像格式 2 4m p e g 视频压缩协议族 目前，在监控系统中广泛应用的主要是m p e g 一1 协议。m p e g 2 由于其码率 较高，在当前的网络上传输成本较高。m p e g 一4 协议标准已推出，但由于其中的 目标分割相当耗时，难以实时实现，现行的办法大都是将整帧图像作为一个目标， 所以并非真正意义上的基于目标的编码。现行的目标分割算法大都复杂而耗时， 难以满足实时性要求，这还有待于业界的努力。 m p e g - 1 视频压缩协议简介 m p e g 一1 标准 4 1 包括三部分，即m p e g 视频、m p e g 音频和m p e g 系统。 m p e g 1 视频足面向码率大约为1 5 m b s 的视频信号的压缩，其相应的音频是 面向每通道速率为6 4 k b s 、1 2 8 k b s 和1 9 2 k b s 的数字音频信号的压缩。同时 该标准还负责对数字视频和数字音频等多样压缩数据流进行复合和同步的问题。 总之，m p e g 一1 压缩标准是将数字视频和其伴音信号在一个可接受的质量下，压 缩到一个码率为1 5 m b s 的m p e g 单一比特流。在视频压缩方法上，m p e g l 用帧间运动补偿消除时域冗余；用离散余弦变换消除空域冗余，用变长编码来提 高编码效率：运动补偿中运动矢量以象素为单位。m p e g - 1 音频编码主要包括四 种不同的编码模式：单声道、双声道、立体声和联合立体声。 m p e g - 2 视频压缩协议简介 m p e g 2 标准【5 】克服了m p e g 1 不能满足日益增长的多媒体技术、数字视频 技术对分辨率和传输率等方面技术要求的缺陷，将一个或多个音频、视频或其它 的基本数据流合成单个或多个数据流，以适应存储和传输。这就使得m p e g - 2 浙江大学领 j 学位论文 视频体系在保汪与m p e g - 1 视频体系向f 兼容的前提条件f ，力求满足数字在 存储媒体、会议电视可视电话、数字电视、高清晰电视、广播、通信、网络等 应用领域中，对多媒体音视频通用编码方法日益增长的新需求。如支持多种分辨 率低( 3 5 2 x 2 8 8 ) 、中( 7 2 0 x 4 8 0 ) 、次高( 1 4 4 0 x 1 0 8 0 ) 、高( 1 9 2 0 x 1 0 8 0 ) 。另 外m p e g - 2 标准还支持固定比特率传送、可变比特率传送、随机访问、信道跨 越、分级解码、比特流编辑以及一些特殊功能，如：快进快退、慢动作、暂停和 画而凝固等。对多媒体视频、音频的m p e g 一2 编码数据流，可以在一个很宽的 恢复利接收条件下进行同步解码。 m p e g 一4 视频压缩协议 m p e g 一4 协议”“1 最初是针对视频会议、视频电话的超低比特率编码，但是 在制定中发现高性能通用芯片性价比的提高使得基于软件平台的压缩编码方法 具有实用可能，同时视频信息的应用要求由播放型转向基于内容的访问、操作型， 从而提出了基于内容的压缩编码方法。这就打破了原来的压缩编码方法基于专用 硬件的限制，可根据应用要求不同来现场配置解码器。编码系统是开放的，可以 随时加入新的有效的算法模块。 m p e g 一4 标准提出的面向对象的编码使得对对象的操作和控制更加方便。当 传输带宽受到限制时，可以对用户感兴趣的对象多分配一些比特率，而对用户不 感兴趣的对象少分配一些比特率，这样即使在低比特率的情况下，图像的主观质 量仍可以得到保证。而在以前的编码方法中整帧图像质量都要受到影响。 m p e g 一4 标准使得用户可以在用户端直接将不同对象进行拼接，也可以进行 时域和空域的扩展。后者除了m p e g 2 标准中的时域和空域扩展特性外，还包 括时域中帧率的增减( 根据提供的带宽) ；空域中对基本层的图像进行采样插值， 以增减空间分辨率。 在监控领域，有效的提取目标并对其进行高质量的编码是非常有意义的。这 不仅可以提高编码效率，节省传输带宽和存储空间，同时利于对感兴趣目标进行 追踪和检索。而m p e g 一4 和m p e g 7 的方案中恰恰包含这些思想，所以未来的 视频监控协议中，基于目标的提取、编码和检索将占主导地位。 m p e g - 7 视频压缩协议 和m p e g 多媒体家族中的几位老大哥比起来，m p e g 一7 有着截然不同的目 标。m p e g 一7 标准重点在于影音内容的描述和定义，以明确的资料结构和语法来 定义影音资料的内容。它的正式名称是“m u l t i m e d i a c o n t e n t d e s c r i p t i o n i n t e r f a c e ”。 m p e g 一7 标准规定明确的阶层式语法柬定义以e 各种信息，同时也运用x m l 来作为语法的基础。m p e g 一7 还同时支持即时和非即时的运用。“即时的运用” 指的是当影音资料在传输时，可以即时从其中的m p e g 一7 资料流获取立即的信 浙江人学坝f 学位论文 息。“非即时的运用”指搜寻及处理静态的资料。 m p e g 一7 和以前的几种压缩标准无关，它完全不管资料是什么格式。当然数 字压缩的资料最方便，原有的m p e g 一1 、m p e g 一2 和m p e g - 4 资料中都可以央 带m p e g 一7 的资料在罩面。但是m p e g 一7 绝不是要取代之前的m p e g 压缩标 准，这是许多人常犯的错误观念。除m p e g 家族的标准之外，其实各种各样的 资料都可以用m p e g 一7 的语法来定义其信息。例如画布上的油画、黑胶唱片卜 的歌曲、或是一段电脑动面，都可以用m p e g 一7 来定义。 m p e g 7 只定义信息储存的格式和语法，至于如何取得这些信息则不在其规 范之列。有些信息町能可以用自动的方式取得，例如影片中的颜色，音乐中的旋 律等。而有些信息则非得由人工输入，例如电影片名，导演的名字等。至于如何 把现在多如天上繁星的各种资料建成m p e g 7 的格式，那就不是m p e g 一7 管辖 的范围。而m p e g 一7 也不管使用资料者如何处理资料。要如何搜寻、过滤资料 属丁应用程序设计者可以发挥的空间，不受现有标准的规范。 m p e g 7 应用范围很广，例如数字图书馆、多媒体资料库，以及家庭娱乐等。 在信息爆炸的时代里，如何有效管理和寻找有用的信息是掌握信息的关键。传统 的图书馆管理帮助我们有效管理传统书籍。互联网上的搜寻引擎则帮助我们寻找 网络上的文字资料。而m p e g 一7 的标准如果能成功推广到各种各样的影音资料 中，将会使我们在信息的世界中更加得心应手。 2 5m p e g 视频压缩协议 m j p e g 视频压缩协议是一种简单而高效的压缩方法。所谓m j p e g 即运 动( m o t i o n ) 的j p e g 。它是将j p e g 压缩方法运用到视频序列帧压缩当中。由于 j p e g 算法直观、系统结构简单，同时压缩比易调节( 通过改变量化因子) ，所以 在监控领域中得到了广泛的应用。但是，m - j p e g 压缩时没有利用帧间序列图像 之问的空间冗余，导致压缩效率不高。 2 6j p e g 2 0 0 0 j p e g 优良的品质，使得它在短短的几年内就获得极大的成功，目前网站上 百分之八十的图像都是采用j p e g 的压缩标准。然而，随着多媒体应用领域的激 增，传统j p e g 压缩技术已无法满足人们对多媒体图像资料的要求。因此，更高 压缩率以及更多新功能的新一代静态图像压缩技术j p e g 2 0 0 0 就诞生了。 j p e g 2 0 0 0 正式名称为“i s o1 5 4 4 4 ”。j p e g 2 0 0 0 与传统j p e g 最大的不同在于它 放弃了j p e g 所采用的以离散余弦转换( d i s c r e t ec o s i n et r a n s f o r m ) 为主的区块 编码方式，而采用以小波转换( w a v e l e tt r a n s f o r m ) 为主的多解析编码方式。小波 转换的主要目的是要将图像的频率成分抽取出来。具体原理参看下一节的介绍。 j p e g 2 0 0 0 具有以下的优点： 1 、j p e g 2 0 0 0 作为j p e g 升级版，高压缩( 低码率) 是其目标，其压缩率 浙江人学砸i j 学位论文 比j p e g 高约3 0 左右。 2 、j p e g 2 0 0 0 同时支持有损和无损压缩，而j p e g 只能支持有损压缩。因此 它适台保存重要图片。 3 、j p e g 2 0 0 0 能实现渐进传输，这是j p e g 2 0 0 0 的一个极其重要的特征。这 也就是我们对g i f 格式图像常说的“渐现”特性。它先传输图像的轮廓，然后 逐步传输数据，不断提高图像质量，让图像由朦胧到清晰显示，而不必是像现在 的j p e g 一样，由七到下慢慢显示。 4 、j p e g 2 0 0 0 支持所谓的“感兴趣区域”特性，你可以任意指定图像上你感 兴趣区域的压缩质量，还可以选择指定的部分先解压缩。这样我们就可以很方便 的突出重点了。 2 7 小波压缩技术 小波是近1 0 多年来发展起来的新兴学科 1 5 , 1 6 ，其历史可以追溯到1 9 0 9 年 h a a r 的工作，但其成形与完善还是在上世纪8 0 年代后期才开始的，特别是1 9 8 6 年以来y m e y e r ，s m a l l a t 及i d a u b e c h i e s 等的工作。与f o u r i e r 分析相比，小波 分析在时域和频域具有良好的局部化特性，通过对高频成分采用逐渐精细的时域 或空域取样步长，可以聚焦到对象的任意细节，因而被誉为数学显微镜。而这种 局部聚焦的特性，对于监控系统中运动目标的检测及跟踪具有非常重要的意义。 现在，它已被广泛应用于图像纹理分析、图像编码、计算机视觉、模式识别、语 音识别、语音合成、语音编码、地震信号处理等许多领域。 小波压缩技术近年来发展很快，虽然它没有成为一种标准，但作为一种压缩 算法已经被j p e g 2 0 0 0 标准采用。有关小波压缩方面的探讨至今仍在进行，由于 其在目标的边沿提取和刻画、压缩比和图像质量方面相对于传统的d c t 变换有 着定的优势，所以将小波压缩技术运用到监控领域，利用其在目标检测及提取 方面的优势具有一定的意义。 2 7 1 小波在静止图像编码中的应用 下面简要的分析了在单帧图像编码中编码中小波压缩算法的应用。一般而言 二维m a l l a t 算法可以分解为对图像数据的行列做一维小波变换。如下图所示的 四级小波分解示意图，小波变换是将图像在一系列倍频程上滤波为多个高频带数 据h 巩、lh i 、hl j 和一个低频带数据ll i 。其中高频带数据包含了图像在水平、 垂直、对角线方向上的细节信息，而这正和图像在边缘、轮廓和某些纹理的法线 相对应。小波压缩的这一特点表明小波变换有很好的空间方向选择性，与人眼的 视觉特性卜分吻合，从而可以根据不同方向信息对人跟作用的不同来分别设计量 化器，以得到好的压缩效果。 划 k i | k k | ih ， l l h 2 1 - 1 1 ，1 w h ， l h l h l 2 h h ， h l h h i 图2 - 3 单帧图像小波变换 小波变换的这种空间方向选择 性是d c t 变换所没有的。在d c t 变换中，先要将图像进行分块( 8 8 或1 6 1 6 ) 。这种分块方法使得每块 图像数据仅表示了局部信息，而没 有保留原图像块的精细结构，导致 块基效应，从而无法反映原图像块 的边缘、轮廓、纹理等信息。这是 d c t 变化缺乏时频局域性造成的， 它使得该方法不能很好的编码图 像细节。 同样的，对于r l e ( r u n - l e n g t h e n c o d e d ) ，即使整幅图像中出现大量的零值， 由于分块的限制，d c t 变换最多只能对6 3 个连续的零值进行编码。而如上图所 示，小波变换则可以在原始图像不同比例的缩放图上进行r l e ，这使得编码效 率提高。 除了上述优势外，小波子带编码还有非常容易的实现下述功能： 对图像平滑、锐化的参数控制 图像压缩比调整 图像不同分辨率级别的恢复 但是d c t 变换相对于小波变换也有其优势，即d c t 域的变换系数全部集中 到0 值附近，动带范围小，利于量化。而且其不为0 的系数大部分集中在左上角 ( 即低频部分) ，这使得编码的效率很高。后一点正是小波变换所欠缺的。 另外在小波变换中，不为零的系数主要集中在低频带和各个高频带中对应图 像边缘、轮廓位置的地方。而边缘和轮廓一般随图像变化而无序，很难找到一种 有效的方法来组织系数。现行小波编码方法都采用使零码连续出现概率最大的准 则来组织系数，具体又分为两种，即在各个高频带内单独按方向来组织系数的方 法和利用各频带相关特性采用四叉树结构组织系数。单这两种方法都有其弊病。 前者按方向组织系数虽然利用了小波变换的方向选择性，但将小波图像的各个频 带作为独立的数据分别处理是不合理的：后者基于小波图像的多分辨率信息组织 特点，用四叉树结构来刻画其各个频带内容、位置的相关性，但忽略了方向选择 性。一种更好的方法是采用矢量量化( v q ) 技术来处理。由于小波图像系数的 空间分布特征以及它的多分辨率的组织特点，使得小波图像系数在空间位置和内 容上存在相关性。v q 技术不仅可以避免由于小波图像系数空间的松散分布结构 所带来的编码冗余和复杂度，而且可以较好地刻画这种系数之间地相关性。 浙江人学坝i j 学位论文 小波族的种类很多，在本系统选用的小波压缩芯片a d v 6 11 ( 详参第4 章) 巾采用了双正交样条小波( 阶数为7 ，9 ) ，它使用f i r 滤波器可以精确重构原始 图像，其相应的数学表达式如卜： 分解公式 c j ，e 2 js ( x 妒坩( x ) d x 其巾矿( x ) 是分解滤波器；0 m 是小波系数。 合成公式 s = 弓，。m 其中妒( x ) 是合成滤波器，y ( x ) ，谚( x ) 满足对偶关系 驴卅( x ) y 肚一。皿= 0 当jg ：j 或k k 时 并且 f 矿呲( x ) ) d x = o 当k 时 2 7 2 小波在序列图像编码中的应用 现行的视频序列压缩编码中普遍采用d c t 变换，用小波变换代替d c t 变换 就得到了最简单的小波序列图像编码。这里包括两种方法，即经过小波变换后， 再对各个频带分别做运动补偿、预测误差直接编码；或先运动补偿预测后的误差 图像采用小波变换的方法来压缩。其相应的示意图如图2 4 和2 - 5 。 猃 图2 4 先小波变换，后运动补偿 浙江人学硕二l 学位论文 在第一种方法中，小波变换的优势根本未介入到帧问预测编码这影响整个 编码器性能的关键部分。而且小波变换后，其系数分散( 不象d c t 变换后系数 集巾在低频部分) ，反而造成编码丌销较大。事实一卜_ ，对于高频信息较少的图像， 小波变换的性能远不如d c t 变换编码的性能。 在第二种方法中，由于运动补偿采用的块匹配准则非常不适合小波压缩各个 高频带补偿的。这是因为小波图像各个高频带数据大多足沿不同方向的边缘和轮 廓信息。对这类数据采用均方误差准则很难得到最佳匹配块。实验表明对某些高 频带做运动补偿后，其能量和方差反而会增大，从而导致编码效率低下。下文给 出三维小波变换的实现方法，它能有效克服上述两种方法的缺陷。 图2 - 5 先运动补偿，后小波变换 出 三维小波变换可以由帧内二维和帧问一维小波变换联合构成。后者指沿时间 轴方向，观察图像序列对应同一位置各点构成的一个一维信号序列，将这个一维 信号序列做小波变换可以提取信号序列沿时间轴的主要信息。 由上述帧内二维和帧问一维小波变换构成的三维小波变换按其实现顺序的 不同可以构成两种实现方式，即先对各帧图像做帧内二维小波变换，然后对变换 后的结果沿时间轴做一维小波变换；或者先做时间轴的一维小波变换，然后再做 帧内的二维小波变换。考虑到系统时延，每次参与变换的帧数都不能太多，一般 8 帧左右，如图2 - 6 所示： 图中，从时间轴上考虑，t s o 这一帧数据包含了时间轴上的低频信息，t s l t s 7 则包含了序列中变化较大较快的信息在时间轴上不同分辨率下的体现，即在不同 尺度下刻画序列图像画面的高频成分。其中t s l 的尺度最大，对应的时问分辨率 也最粗，t s 2 t s 3 的尺度相同，但小于t s l ，同样的t s 4 t s 7 也有相同的尺度和分辨率， 且它们的尺度最小，分辨率最好。 但是上述方法在时间轴上变换时的数据序列很短，一般只有8 帧左右，这使 得时间轴分解时对小波滤波器的选择有严格的限制。现行算法常常忽略了这一 点，导致重构误差大，编码性能不理想。下面给出三维小波变换时图像序列的边 界延拓方法。常用的延拓方法有五种：补零、周期、重复边界、对称、双对称 延拓。 理论上为了完好的重建原始信号，周期拓展是最合理的。但是这样常常会在 浙江火学碳l 学能论文 边界点引入一个突变，这将导致更多的高频系数，从而影响压缩率。因此，帧内 二维小滚变挟一般袋鲻保持边赛秘对光潺夔蜃兰秘延掘方法。对予渡闻数缝小 波交换，由于存储鹣的限制，一般最多缓存8 赖，这使得时闻轴一维小波变