（计算机应用技术专业论文）汽车运行状况图像监测系统的研制.pdf

摘要 汽车是人们出行的主要交通工具之一。随着我国经济的飞速发展，人们生活 水平不断提高，生活节奏逐步加快，汽车的数量也在急剧增加。汽车数量的剧增 和各种不安全因素导致了我国交通事故居高不下。目前判定交通事故的原因主要 是通过事故发生后对现场状况的调查、分析和统计进行推断。既然是“推断”， 就难免有不符合实际的情况。 本文采用m p e g - 4 压缩算法、d s p 技术和现代电子技术，研制了汽车运行状 况图像监测系统。在总体设计方案的基础上，采用a d s p b f 5 3 3d s p 芯片设计了 系统硬件，其硬件由图像采集模块、i d e 接口模块、存储器模块、电源模块和复 位模块等电路组成；采用c 语言和汇编语言开发了系统软件，其软件由主程序、 m p e g - 4 压缩编码、f a t 3 2 文件系统、中断服务程序和c p l d 逻辑控制等子程序组 成；为提高系统可靠性和稳定性，从软、硬件弱方面采取了抗干扰措施。 本文所研制的汽车运行状况图像监测系统具有对大量视频图像数据的存储、 压缩和回放等功能，能够实现对汽车运行状况图像实时记录，再现汽车的运行状 况，用于交通事故的判定。该系统具有结构简单、成本低、可靠性高、可移植能 力强、扩展灵活等特点，不仅可以满足汽车图像的监测，而且还可以应用到金融、 交通、楼宇、公安、监狱、广场、小区等图像监控场所，具有广泛的应用前景。 关键词：汽车：图像监测；m p e g 一4 算法：d s p 技术 a b s t r a c t t h ev e h i c l ei so n eo ft h ei m p o r t a n tm e a n so ft r a n s p o r t a t i o n w i t ht h ef a s t e c o n o m i cg r o w t ha n dt h er i s eo fp e o p l e sl i v i n gs t a n d a r d s ，t h e r ea r em o r ea n dm o r e v e h i c l e so nr o a d t r a f f i ca c c i d e n t sh a p p e nf r e q u e n t l yd u et ot h eq u i c kr i s eo fv e h i c l e s a n do t h e ru n s a f ef a c t o r s n o w , a l lt h ei n v e s t i g a t i v ew o r k ，a n a l y s e sa n ds t a t i s t i c sh a v e t ob ed o n eo n l ya f t e rt h ea c c i d e n t p e o p l eh a v et oi n f e rt h ec a u s e si na c c o r d a n c ew i t h t h es c e n e s oi t sp o s s i b l et om a k eam i s t a k e t h i sa r t i c l ea d o p t sm p e g - 4c o m p r e s sa l g o r i t h m d s pt e c h n o l o g ya n dm o d e m e l e c t r o n i ct e c h n o l o g y , d e s i g n e dt h ed e v e l o p m e n to fi m a g em o n i t o r i n gs y s t e mf o r v e h i c l eo p e r a t i o n s o nt h eb a s eo ft h es y s t e md e s i g np r o j e c t ，a d o p t sa d s p - b f 5 3 3 d s pc h i pd e s i g n e ds y s t e mh a r d w a r e t h es y s t e mh a 越强r ec o n s i s t so fi m a g e a c q u i s i t i o nm o d u l e ，i d ei n t e r f a c em o d u l e ，m e m o r i z e rm o d u l e ，p o w e rm o d u l ea n d r e s e tm o d u l e ；t h es y s t e ms o f t w a r ec o n s i s t so fh o s tp r o g r a m ，m p e o - 4c o m p r e s s e n c o d e ，f a t 3 2f i l e ss y s t e m ，i n t e r r u p ts e r v i c ep r o g r a ma n dc p l dl o g i cc o n t r o l s u b r o u t i n e ，t h em e a s l e so fr e s i s t i n gi n t e r f e r e n c ea r et a k e ni nb o t hh a r d w 骶ea n d s o f t w a r e t h es y s t e mh a sl a r g e c a p a c i t yv i d e o - i m a g es t o r a g e c o m p r e s sa n dr e p l a y f u n c t i o n ，w h i c hc a np r o v i d er e a l - t i m er e c o r d t h es y s t e mh a ss i m p l es t r u c t u r e ，l e s s c o s t ，h i g hr e l i a b i l i t y , s t r o n gt r a n s p o r t a b i l i t ya n de x p a n d a b i l i t y i tc a nb en o to n l yu s e d f o rm o n i t o r i n gv e h i c l e sb u ta l s ow i d e l ya p p l i e di no t h e rf i e l d ss u c ha sf i n a n c e ， b u i l d i n g ，p r i s o n ，p u b l i cs q u a r e sa n dc o m m u n i t i e s i th a sc o m p r e h e n s i v ea p p l i c a t i o n f i e l d s k e yw o r d s ：v e h i c l e ，i m a g em o n i t o r i n g ，m p e g 4a l g o r i t h m ，d s pt e c h n o l o g y 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得丞洼王些盔堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示了谢意。 学位论文作者签名：3 l 卅与 签字r 期：扣6 年工月 1 日 学位论文版权使用授权书 本学位论文作者完全了解丞洼王些太堂有关保留、使用学位论文的规定。 特授权丞洼互些盍堂可以将学位论文的全部或部分内容编入有关数据库进行 检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学 校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：3 叫b 导师签名 签字r 期：矗一舌年盖月工l 同 签字同期：庐“年钞月引只 学位论文的主要创新点 一、研制了汽车运行状况图像监测系统，设计了系统的硬件，编 写了系统软件，实现了汽车运行状况图像的监测。 二、在对m p e g 。4 压缩编码标准进行理论分析的基础上，编写了 m p e g 4 压缩编码库，并将该编码库应用于系统视频图像的压缩。 三、采取了抗干扰措施，提高了汽车运行状况图像监测系统运行 的可靠性，并进行了调试和实验研究。 第一章引言 1 1 国内外研究现状 第一章引言 随着我国经济的发展，人们生活水平不断提高，生活节奏逐步加快，具体体现 之一就是汽车的数量急剧增加。2 0 0 4 年我国拥有民用机动车辆近2 7 0 0 万辆，机动 车驾驶员数量达到l 亿，并以年均1 2 的速度增长。根据中国汽车工业协会最新数 据显示，2 0 0 5 年1 9 月，全国汽车累计销量为4 1 3 6 2 万辆，同比增长1 0 1 2 ，2 0 0 5 年9 月份全国汽车销量达到4 9 6 0 万辆，比8 月份增长1 8 3 8 。中国汽车工业协会 预计，今年我国汽车销量增速将在1 0 左右。 汽车数量和驾驶员数量急剧增加、违章行驶和违规驾车等等这些因素使得交通 事故也逐年增加。公安部在新闻发布会上通报2 0 0 4 年全国共发生道路交通事故 5 1 7 8 8 9 起，平均每小时发生道路交通事故5 9 起。交通事故责任的认定是许多部门 都非常关注的，如公安部门、交通部门、保险公司、汽车生产厂商等。一旦发生交 通事故，就要认定究竟是驾驶员的问题还是汽车质量的问题；究竟是汽车甲的问题 还是汽车乙的问题；究竟是汽车的问题还是行人的问题，等等。目前判定交通事故 的原因主要是通过事故发生后对现场状况的调查、分析和统计进行推断。既然是“推 断”，就难免有不符合实际的情况。前一段时间报纸就刊登了天津发生的一起有关 “碰瓷”的交通事故，路边行人向有关部门说明了事故的真相，如果根据事故现场 推断，驾驶员就要承担意外的损失。 目前，我国尚没有能够记录汽车运行状况的监测系统。国内与之相关的产品一 个是汽车行驶记录仪，它通过传感器记录汽车行驶过程中车速、发动机状况、连续 行驶时间等参数，能够为驾驶员提供其驾驶活动的反馈信息，可以有效地预防交通 事故的发生，可是汽车行驶记录仪只能记录汽车行驶参数，不能记录图像信息，也 就不能满足本系统的要求。另一个产品就是d v r ( 数字硬盘录像机) ，d v r 系统 的核心部件采用图像压缩板卡进行压缩。这种系统价格昂贵，抗干扰能力弱，灵活 性差，采用m p e g 2 压缩技术每小时记录的图像数据量非常庞大。一般情况下，记 录的图像数据量都会在l g 字节4 , 时以上。该系统无法应用到汽车上。此外，目前 天津部分无人售票公交车使用的是显示图像系统，该系统为了方便驾驶员监控车门 在后车门上方装置了摄像头，在驾驶员前方有一个显示器显示后车门的情况。系统 只用来显示图像信息不能用来记录图像，也不能满足需要。 在国外只有极少数国家开展了这方面的研究。2 0 0 1 年8 月，日本某汽车研究所 开发小组研制出能记录交通事故发生时驾驶数据的记录仪。它采用图像处理技术， 第一章引言 利用相机自动收录“事故”发生前十秒和后五秒间从驾驶席上能看到的场面。但是 这种基于传感器和图像处理的汽车行驶记录仪价格昂贵，使得这种产品最终没有得 到广泛的应用。 1 2 研究的目的及意义 众所周知，飞机上的“黑匣子”可以记录飞机的飞行情况，一旦飞机失事，找 到“黑匣子”就能知道飞机失事的原因。汽车上也可以用类似的装置来记录汽车的 运行状况，这正是本文要研究的内容，即记录汽车的图像状况，不仅可以记录汽车 运行过程中行驶前方或汽车周围的视频图像，而且也可记录汽车静止时前方或周围 的视频图像。一旦发生交通事故或者人为损坏汽车等情况，利用该系统记录的汽车 状况视频图像，可对事故发生时的情况进行分析，就可以准确地认定交通事故发生 的原因，也可对损坏汽车的行为加以鉴定。这对于交通事故责任的认定、事故原因 的分析、调查、统计等工作以及减少汽车盗窃、汽车破坏事件的发生都具有重要意 义。 1 3 研究的主要内容 本文研制了汽车运行状况图像监测系统，具体内容如下： 1 制定总体设计方案； 2 研究了m p e g 4 压缩编码的标准，编写了m p e g 一4 压缩编码库； 3 研究了基于f a t 3 2 文件系统的i d e 接口硬盘数据的存储； 4 设计了系统的硬件； 5 编写了系统的软件； 6 从硬件和软件两方面采取抗干扰措施； 7 建立调试平台，进行功能、性能测试。 第二章总体方案设计 2 1 总体方案设计思想 第二章总体方案设计 本论文旨在记录汽车前方或周围的视频图像。由于监测系统安装在汽车上，所 以系统的设计目标在于设计和研制出一种结构简单、灵活方便、小巧耐用的汽车运 行状况图像监测系统。系统能够实现视频存储、压缩和回放功能，可以长期稳定工 作，抗干扰能力强，存储容量大，系统还应具有较强的可移植能力和较灵活的可扩 展性，不仅可以满足汽车图像的监测，而且还可以应用到金融、交通、楼宇、公安、 监狱、广场、小区、机房、考场等各种需要视频监控的场所。 2 2 总体方案选择 2 2 1 压缩编码方法的选择 在数字监控系统中，源视频信号的形式是模拟的，因此就有一个从模拟信号到 数字信号的转换过程。模拟图像转化为数字视频图像的信息量是巨大的i ”。如对图 像大小为3 5 2 2 8 8 ( 像素) ，2 5 帧秒的p a l 制彩色视频信号，每个像素由三个基色 分量红( r ) 、绿( g ) 和蓝( b ) 表示，每种基色用8 b i t ，则一幅图像包含 ( 3 5 2 x 2 8 8 2 4 ) b i t ，而实时视频每秒包含2 5 帧图像，则码率高达7 3 m b i t s 。如果 存储1 小时这样未经压缩的视频，要占用磁盘空间2 6 g b 。这样大的数据量，无疑 给存储器的存储容量和处理器速度带来了极大的压力，解决这个问题单纯用扩大存 储器容量、提高处理器速度是不现实的。对数据进行压缩是个行之有效的方法。 由信息论可知，视频图像数据具有极强的相关性，一幅图像的内部以及相邻图 像之间包含大量的冗余信息。数据压缩就是去掉信息中的冗余。图像作为一种信源， 其表现数据是信息量和冗余量之和。冗余量主要表现为f 2 】： ( 1 ) 图像内部的空间冗余； ( 2 ) 图像之间的时间冗余； ( 3 ) 信息熵冗余( 编码冗余) ； ( 4 ) 结构冗余； ( 5 ) 视觉冗余； ( 6 ) 知识冗余。 数据压缩的实质是减少图像数据的冗余量。数据压缩的目的在于使用尽量少的 比特数表示和重建原始图像，这不仅是必要的也是可行的。 在现有的视频编解码系统中，人们般采用三种方式来实现压缩算法，其一是 第二章总体方案设计 纯硬件方式，即采用专用芯片来实现图像的编码解码，此种方式实现的编解码系统 实时陛好、压缩率高、图像质量也好，一般能达到编码2 5 帧以上 q c i f 格式图像) ， 缺点是一旦编解码方案固定，就无法对其进行升级与更新，且这种系统成本造价高， 难以在市场上推广；其二是软件方式，由于此种方式完全基于普通桌面p c 机处理 器，因此压缩速度受限，在实时性要求高的视频编解码系统中难以实现一些较为复 杂的算法，从而造成图像质量差、延时长、帧率低，但此方案具有灵活、软件易升 级、造价低等优点；其三是基于通用d s p 的软件实现方式口 。此种方式利用d s p 的高速信号处理功能，高速运行使用软件实现的编解码算法，大大缩短了编解码时 间，获得较高的压缩率。并且由于软件、硬件具有相对独立性，系统具有易升级、 算法易更新的优点。随着近几年通用d s p 性能的不断提高，而价格的逐步降低，致 使以d s p 为核心加上适当的外围部件所形成的视频编解码系统成为主流。结合本论 文的需求选用基于通用d s p 的软件实现方式。 本论文从监控级的视频数字化需求入手，研究出一种视频编码系统来满足这样 的应用需求。该视频编码系统的核心之处就是视频压缩标准的选择。通过对视频压 缩国际标准的了解，可以看出，j p e g 系列的压缩标准主要是针对于静态图像的编 码标准，不适合动态的视频数字化。h 2 6 x 系列标准是国际电信联盟i t u 提出的视 频编码算法标准。它的提出是为了解决视频会议、可视电话以及窄带视频的压缩问 题，主要针对传输的视频编码标准。而所研究的视频编码系统是针对存储和回放而 用的。所以选取了m p e g 系列的视频压缩标准作为视频数字化的标准。对于m p e g 系列标准中得到广泛使用的m p e g 一1 ，m p e g 2 ，m p e g - 4 进行比较，可以看出， m p e g 1 的视频压缩率和视频回放质量都属于中等偏下，只能满足一般家庭级别的 使用。m p e g 一2 拥有较高的视频回放清晰度，在电视行业通常是播出级视频数字化 的标准，而m p e g 4 以它极高的视频压缩比和近似于d v d 的视频清晰度、较好的 网络传输特性被业界公认作为监控级视频数字化的压缩标准。因此在压缩编码方法 的选择上，选用m p e g 一4 的压缩编码方法。 2 2 2 数字信号处理器的选择 b l a c k f i n 是美国模拟器件公司推出的一类新型的嵌入式处理器，专为满足目前 音频、视频、通信应用等方面的计算需求和降低功耗而设计。其中a d s p - b f 5 3 3 具 有6 0 0 m h z 时钟频率和1 2 g m a c s ( 每秒1 0 亿次乘法累加运算) 运算速度， a d s p b f 5 3 3 兼具业界一流的数字信号处理( d s p ) 性能和微处理器( m c u ) 性能 并且支持嵌入式操作系统以满足当今嵌入式音频、视频和通信应用对高速运算和低 功耗的要求。a d s p b f 5 3 3 在达到6 0 0 m h z 性能水平时的功耗仅为2 8 0 m w 。为了充 分发挥b 1 a c k i l n 体系结构的动态电源管理能力，该处理器集成了一个片内开关稳压 器，它利用2 2 5 v 3 6 v 外接电源电压可产生0 7 v 1 2 v 可设置的内核工作电压， 第二章总体方案设计 从而降低了总体成本，并节省了外部电源元器件。另外，b l a c k f i n 处理器内的视频 优化功能，可以实现完全可编程的实时视频和多通道音频处理。使用这种可编程的 b l a c k f i n 处理器，能使用户开发的产品快速投放市场，并且很容易支持新兴的多媒 体格式，例如，m p e g 4 ，h 2 6 4 和w i n d o w sm e d i a f 4 1 。 2 ，2 3 数据组织格式的选择 目前存储介质的选择可谓种类繁多，c f 卡、s d 卡、s m 卡、m m c 卡、记忆棒、 闪存、小硬盘( m i c r o d r i v e ) 、硬盘等等。除硬盘之外，其它的存储介质价格昂 贵、存储容量小、不通用。考虑到性价比和存储容量，选择了硬盘作为存储介质。 目前硬盘接口丰富( i d e 接口是主流) ，存储容量大，价格便宜，技术成熟，满足 需求。 目前应用广泛的p c 机操作系统为m i c r o s o f t 公司的w i n d o w s 操作系统，其支持的 f a t l 6 ， f a t 3 2 和n t f s 文件系统格式也是目前最流行的文件系统格式。就其性能 而占n t f s 文件系统拥有l h f a t 文件系统更好的容错性、安全性和支持磁盘压缩等特 性，但f a t 文件系统最大的优点是其简单、对其控制占用资源非常少。根据系统的 实际需求，对于一个嵌入式的存储系统，要求尽可能少的占用硬件资源，实现简单， 能够被流行的p c 操作系统所支持，且存储容量越大越好，以满足海量数据存储的要 求。所以选择f a t 3 2 文件系统为默认支持的文件系统。当需要进行数据后期处理时， 该硬盘可以直接连接到p c 机上，成为p c 机可直接访问的硬盘，因而用户可以像打 开普通文件一样，访问记录在硬盘中的数据，为数据后期处理软件的编写提供了极 大的方便。 2 ，3 系统模型 系统模型图如图2 - 1 所示。 图2 - i 系统模型图 第二章总体方案设计 汽车运行状况图像监测系统是基于a d s p - b f 5 3 3 芯片进行设计的，主要有视频 图像采集模块、图像压缩编码模块和编码数据存储模块组成。其中视频图像采集模 块使用c m o s 摄像头采集视频数据，摄像头芯片选用o v 7 6 4 8 ；图像压缩编码模块 完成视频图像数据的压缩，通过m p e g - 4 压缩编码库将o v 7 6 4 8 输出的i t u r 6 5 6 数字信号进行压缩编码；编码数据存储模块将编码数据通过f a t 3 2 文件系统存储硬 盘。由于视频图像数据量大，而a d s p - b f 5 3 3 内部存储器容量有限，所以在设计上 外扩了s d r a m ，作为视频图像数据的缓存器。系统程序存储在f l a s h 上，整个系 统的供电电源由汽车上直流蓄电池供电，使用集成电压调节器获得各部分电路所需 的由。压。 第三章m p e g 一4 标准算法 3 1m p e g 一4 压缩算法 第三室m p e g - 4 标淮算法 m p e g 全称是m o v i n gp i c t u r e se x p e r t sg r o u p ，是动态图像专家组的英文缩写， m p e g 的缔造者原先打算开发四个版本：m p e g 一】m p e g - 4 ，以适用于不同带宽和 数字影像质量的要求。后由于m p e g - 3 被放弃，所以现存只有三个版本的m p e g ： m p e g 一1 ，m p e o - 2 ，m p e g 一4 。总体来说，m p e g 在三方面优于其他压缩鸯￥压缩方 案。首先，由于在一开始它就是做为一个国际化的标准来研究制定。所以，m p e g 具有很好的兼容性；其次，m p e g 能够比其他算法提供更好的压缩比，最高可达2 0 0 ： 1 ；更重要的是，m p e g 在提供高压缩比的同时，对数据的损失很小。 传统的视频压缩标准都是基于像素的，以香农信息论为理论基础，将图像作为 随机信号输入，按时间将视频序列分成单独的帧，根据图像数据的统计特性以像素 为基本单位进行压缩。这种视频压缩方法被称为第一代视频压缩技术。随着视频技 术在计算机中的不断发展，通信、计算机和广播业的迅速融台，人们对于视频序列 又提出了更高的要求，要求能够进行交互，能够根据内容进行处理。在这种需求之 下提出了第二代视频压缩技术。第二代视频压缩技术利用人类视觉系统的特性，根 据视频图像的内容进行压缩。第二代视频压缩技术又可分为面向对象的中层压缩方 法和面向语义的高层压缩方法。m p e g - 4 标准就是一个面向对象的视频压缩标准。 3 2m p e g 一4 特点 m p e g 小组制订m p e g 4 标准的初衷是针对视频会议、视频电话的超低比特率 编码h 1 。但在标准的制订过程中，m p e g 小组发现物质基础和应用需求的变化使得 视频压缩需要将基于内容的检索与编码结台起来，于是他们更改了m p e g 一4 的目标 为支持多种多媒体应用，主要侧重于对多媒体信息内容的访问可根据应用要求不 同来现场配置解码器【6 1 。为满足上述目标，m p e o 一4 标准采用了面向对象的视频编 码技术。根据面向对象的编码要求，m p e g - 4 引入了视频对象v o ( v i d e oo b j e c t ) 的概念。视频对象是可视场景中景物的抽象描述，从用户的角度，它代表画面中任 何有意义的物理实体如人、物体甚至可能是背景【7 】。v o 的构成依赖于具体的应 用和系统实际所处环境：在要求超低比特率的情况下，v o 可以是一个矩形帧( 即 传统m p e g 一1 、h2 6 3 中的矩形帧) ，从而与原来的标准兼容；对于基于内容的表示 要求较高的应用来说，v o 可能是场景中的某一物体或某一层面：v o 也可能是计算 机产生的二维、三维图形等。 机产生的二维、三维图形等。 第三章m p e g 一4 标准算法 与m p e g l 和m p e g - 2 相比，m p e g 4 的特点是其更适于交互a v 服务以及远 程监控。m p e g 一4 是第一个使你由被动变为主动( 不再只是观看，允许你加入其中， 即有交互性) 的动态图像标准，它的另一个特点是其综合性。从根源上说，m p e g 4 试图将自然物体与人造物体相溶合( 视觉效果意义上的) 。m p e g 一4 的设计目标还有 更广的适应性和可扩展性。 3 3m p e g 一4 数据结构 m p e g - 4 编码数据结构分层图如图3 1 所示，它给出了m p e g 4 的层次化的数 据结构1 8 1 。 v s 2 v s n v o p t - v o p kv o p k + l v o p nv o p l v o p n 第一层 第二：层 图3 1m p e g 一4 编码数据结构分层图 m p e g 一4 数据结构主要包含以下几个部分1 9 1 ： 视频序列v s ( v i d e os e q u e n c e ) ：一段完整的视频场景。一个v s 可以由一个 或多个视频对象组成； 视频对象v o ( v i d e oo b j e c t ) ：场景中具体的人或物体，可以是矩形，也可以 是任意形状； 视频对象层v o l ( v i d e oo b j e c tl a y e r ) ：v o 中包括的纹理、形状和运动信息层。 m p e g 4 通过v o l 实现分级编码，一个v o 可以由一个或多个视频对象层组成，每 层代表v o 的一级分辨率； 第三章m p f 站- 4 标准算法 视频对象平面组g o v ( g r o u po f v o p ) ：由多个视频对象平面组成，提供了比 特流中独立编码的视频对象平面的起始点，以便于实现比特流的随机存取，g o v 是可选的； 视频对象平面v o p ( v i d e oo b j e c tp l a n e ) ：是v o 某一时刻的取样，即某一帧 中的v o 。v o p 可分为i - v o p 、p - v o p 和b v o p 三种。对i - v o p 独立地进行编码， 对p - v o p 和b v o p 采用运动补偿编码。v o p 可以是任意形状。 在图3 1 中，视频对象序列v s t ，v s 2 ，是整个视频场景序歹n 在各个时间 段上的图像序列；v o l ，v 0 2 ，是从v s 中提取的不同的视频对象：v o l l ， v o l 2 ，是对应于v o 的不同分辨率层，其中包括一个基本层和多个增强层： g o v ，g o v 2 ，是由多个v o p 组成的，它代表一个独立的编码阶段；v o p l ， v o p 2 ，是v o 在不同分辨率层的时间采样。 在正式推出的m p e g - 4 视频标准i s o s e c1 4 4 9 6 2 中，只是从条理的层次方面 给出了对符合该标准的视频编码序列的语法定义。规定了实际出现在编妈码流中的 v s ，v o l 和v o p 等视频数据表示的起始标识符，指定了些标志位的字长和取值。 对于压缩码流中的形状、纹理和运动三方面的编码数据的相应位置给出了层次先后 和状态标识的规定。 3 4m p e g - 4 视频编码器 m p e g 4 视频编码器原理框图如图3 - 2 所示。 m u x 图3 - 2m p e g 4 视频编码器原理框图 作为面向对象的视频压缩技术的一种具体应用，m p e g 一4 视频编码器在原理和 工作流程上完全遵循它的理论。主要包括三个部分：首先，根据视频输入进行视频 对象的分解，得到单独的v o ；其次，分别对分割出来的每一个v o 进行编码，编 码的具体操作是在每一个v o 对应的v o p 中来迸行的，主要包括形状、运动和纹 第三章m p e g 一4 标准算法 理三种信息的编码；第三步是对单独编码过后的v o 数掘进行复用，合成为一个统 一的输出码流。这个输出的比特流就代表了视频序列的压缩数据。 3 5 基于v o p 的编码 m p e g 一4 编码提供了对自然对象和合成对象的编码，这里主要研究对自然对象 的编码。在m p e g 一4 中，视频对象v o 是以某一时刻的v o p 的形式来表现的，对 视频对象的编码就是对v o p 的编码。v o p 中主要的信息包括形状、运动、纹理这 三类信息，对v o p 的编码就是围绕着这三方面进行的。 3 5 1 形状编码 相对于以前的压缩标准来说，m p e g - 4 是第一次引入形状编码的压缩算法i 蜘。 形状编码是根据v o p 的形状信息对v o p 进行编码，通过形状编码来描述视频场景 中视频对象的分割结果。编码的形状信息有两类：二值形状信息和灰度级形状信息。 二值形状信息就是用0 、1 的方式表示编码的v o p 的形状，0 表示非v o p 区域，1 表示v o p 区域；灰度级形状信息可取值0 2 5 5 ，0 表示非v o p 区域( 即透明区域) ， 1 2 5 5 表示v o p 区域透明程度的不同，2 5 5 表示完全不透明。灰度级形状信息的 引入主要是为了使前景物体叠加到背景时不至于边界太明显、太生硬，为边界提供 一个过渡】。 图3 - 3m p e g 一4 中的v o p 表示描绘了一个表示v o p 的矩形窗口，其中阴影部 分代表真正的v o p 。 图3 - 3m p e g 4 中的v o p 表示 如图3 3 所示，v o p 被一个“边框”框住，边框长、宽均为1 6 的整数倍，同时 要保证边框最小。矩阵被分成1 6 x 1 6 的“形状块”，允许进彳亍有损编码，这要通过对 边界信息进行子采样实现，同时允许使用宏块的运动向量来作形状块的运动补偿。 这种方法被认为是压缩效率高，且计算量小。 第三章m p e g - 4 标准算法 3 5 2 运动编码 类似于现有的视频编码标准，m p e g 4 采用运动估计和运动补偿技术来去除图 像信息中的时间冗余成分，而这些运动信息的编码技术可视为现有标准出向任意形 状的v o p 的延伸。v o p 的编码有3 种模式： 帧内编码模式( i - v o p ) ：对于该v o p 帧进行单独的编码，不参考其他的v o p ； 帧间编码模式( p v o p ) ：利用运动补偿，参考前一个v o p 的编码进行预测编 码： 帧问双向预测编码模式( b v o p ) ：利用过去和未来的v o p 进行预测插值编码。 在m p e g 4 中运动估计和运动补偿可以是基于1 6 x 1 6 像素块的，也可以是基于 8 x 8 像素块的。为了能适应任意形状的v o p ，m e p g 4 引入了图像填充技术和多边 形匹配技术。对标准的运动估计和运动补偿，可以采用传统的基于块的运动估计和 运动补偿技术。而对位于v o p 边界的轮廓宏块，则要采用图像填充技术，即用一 定的灰度值填充轮廓宏块中位于边界以外的像素。 在传统视频编码标准中，运动预测补偿编码是在一个g o v 中的帧问进行的。 在m p e g 4 标准中的运动预测补偿编码的原理与传统视频编码标准中的运动编码相 似，区别就在于在m p e g - 4 中的运动编码是在一个o o v 中的v o p 阃进行的。 运动物体的帧间位移如图3 4 所示。 廷 第k l 帧 图3 - 4 运动物体的帧间位移 设在k i 帧罩中心点为( x 1 ，y i ) 的运动物体，在第k 帧移动到中心为( x l + d x ， y l + d y ) 的位置，如图3 - 9 所示，其位移量d = ( d x ，a y ) t 。若直接求两帧间的差 l l 第三章m p e g - 4 标准算法 值，由于第k 帧运动物体的中心点( x l + d x ，y l + d y ) 与第k 1 帧的对应点( 背景 部分) 间相关性极小，所得差值幅度很大；同样第k 帧的( x i ，y 1 ) 点( 背景部 分) 与第k i 帧的对应点( 运动物体) 之差值幅度也很大。但若能对运动物体的位 移量进行运动补偿，即将第k 帧( x l + d x ， y 1 + d y ) 点的运动物体移回到( x 1 ， y 1 ) 点，再与第k 一1 帧的对应点求差值，则会使相关性增大，差值信号减小，从而 提高压缩比。为此，必须事先估测运动物体的位移量，也就是进行运动位移预测。 下面对m p e g 一4 中的运动编码所要用到的各个步骤及其采用的基本技术进行简 单的介绍。 ( 1 ) 边缘宏块的处理：在m p e g - 4 中，编码的基本单位v o p 是任意形状的，在 形状编码中已经介绍任意形状的v o p 要用最小的边框长、宽均为1 6 的整数倍的矩 形框“框住”。为了进行后面的运动估计，必须对在矩形框内，但不属于v o p 的像素 点和在矩形框外，但处于搜索范围之内的像素点进行像素的填充，填充过程采用重 复填充技术。 重复填充的过程包括三个步骤【l2 】：水平填充，垂直填充，扩展填充。水平填充 是指用水平方向上最邻近的v o p 像素来填充要填充的像素，如果水平方向的两边 都有v o p 像素，那么就取这两个像素的平均值，若水平方向上只有一边有合适的 值，则取该值作为填充值【1 3 l ；垂直填充和水平填充的原理相同，对于那些在水平方 向上没有合适的填充值的像素，采用它垂直方向上的合适的值进行填充：扩展填充 用于填充在矩形框外，但处于搜索范围内的像素点，在矩形框边界处的像素可以直 接用相邻的水平或垂直边缘像素或宏块进行填充。如果一个宏块和多于一个的矩形 内宏块相邻，则采取按优先级进行宏块填充，外部宏块填充优先级如图3 5 所示。 边缘 宏块2 豢 v 0 p 边缘 外宏块 宏块1 边缘 宏块。 图3 - 5 外部宏块填充优先级 ( 2 ) 运动估计：当对整个搜索范围内的像素点都进行填充完毕之后，就应该对 第三章m p e g - 4 标准算法 整个v o p 进行运动估计。运动估计主要是进彳亍某种形式的计算判断，得出一个估 计值作为是否进行运动补偿做判断的依据【l4 1 。进行运动估计的方式有很多种，但通 常来说都是计算当前v o p 中的每一个宏块与做运动估计所采用的参考v o p 中对应 宏块的像素之差的绝对值之和s a d ( s u mo f a b s o l u t ed i f f e r e n c e ) 。 ( 3 ) 运动补偿：在运动编码中，运动估计和运动补偿都是不可或缺的。在运动 估计的同时计算出当前做估计的宏块的运动向量，在运动补偿阶段，根据前面计算 好的运动向量去对当前的宏块进行误差计算，用计算获得的误差来代替当前宏块的 值。这样一来，实际进行编码的数据是误差，而不是实际的数值，如果估计的比较 准确的话，那么误差将会很小，也就实现了压缩的目的。 3 5 3 纹理编码 纹理信息是表示v o p 图像内容的信息【l 扪。纹理编码的对象可以是帧内编码模 式的i - v o p ，也可以是帧间编码模式b - v o p 或p v o p 运动补偿后的估计误差。编 码方法基本上任采用8 x 8 像素块的d c t 方法。在帧内编码模式中，对于完全位于 v o p 内的像素块，采用经典的d c t 方法：对于完全位于v o p 外的像素块不进行编 码；对于部分在v o p 内，部分在v o p 外的像素块则首先采用图像填充技术来获取 v o p 之外的像素值，之后再进行d c t 编码。帧内编码模式中还将对d c t 变换的 d c 和a c 因子进行有效的预测，再进入系数扫描，若为帧间编码的宏块则直接进 入系数扫描；最后对系数进行可变长编码 i ”。 纹理编码主要包含如下步骤： ( 1 ) 正交变换：它的基本思想是将在空间域描写的图像信号变换到一个f 交的 变换域( 正交的向量空间) 进行描写。变换前后的明显差别是，在空间域像素块中 的像素之间存在很强的相关性，能量分布比较均匀，经过正交变换后，变换系数近 似统计独立，基本去除了相关性，能量集中在直流和少数低频系数上。在变换域内 再进行量化、统计编码。以实现有效的码率压缩。 ( 2 ) 量化：在对编码数据进行d c t 正交变换之后得到的变换系数进行量化处理， 是纹理编码过程中一个非常重要的部分。量化处理的效果直接影响着重构图像的质 量。量化的基本功能就是用一些大于1 的数去除每一个变换系数。得到一些接近或 等于0 的系数，对于相除得到的数，可以用四舍五入的方法取整。量化的过程是 个有损压缩的过程。在量化过程中，量化系数的选择是一个非常重要的关键步骤， 它直接决定了编码的压缩效果和质量效果。通常在量化时会根据量化系数矩阵来进 行量化，量化系数矩阵数据的选择是根据用户要求的码流大小来决定的。 ( 3 ) 帧内d c 、a c 系数的预测：在进行帧内宏块的纹理编码的时候，还需要进 行帧内宏块的d c 系数和a c 系数的系数预测。d c 、a c 系数预测是指对于经过d c t 变换产生的直流d c 系数和交流a c 系数进行预测，它可以降低量化系数的平均能 第三章m p e g 一4 标准算法 量。宏块量化系数预测一般是用临近块的d c 、a c 系数来预测的。采用某种比较算 法，来决定用当前宏块的哪一个临近宏块的d c 、a c 系数来作为预测值，得到预测 值后与原始值计算差值，用差值来作为编码的源数据。 ( 4 ) 系数扫描和可变长编码：经过了变换量化的图像数据，按照混合编码的思 想将被送入统计编码模块。在统计编码阶段主要进行两个方面的操作： 首先是系数的扫描。变换量化过的系数是以矩阵的形式存储的，它的能量分布 是按照低频密、高频疏的原则排列的，进行d c t 变换的能量数据通常是集中分布 在矩阵的左上角。在进行具体的编码之前必须按照某种方式将数据密的低频数据取 出，舍弃高频中接近零或为零的数据，这个过程就叫做系数扫描。 当系数扫描完成之后，进行扫描系数的可变长编码。可变长编码的思想是根据 概率统计，用较短的码字来代替出现频率高的系数，而用较长的码字来表示出现频 率低的系数，以达到信息熵较小的目的。在m p e g 4 中，通常使用行程编码来作为 可变长编码的实现算法。在一幅图像中，由于图像的相关性，每一行扫描线都是由 若干段连续的黑像素点( 1 ) 和连续的白像素点( o ) 构成的，黑( 白) 像素点连续 出现的像素点数称为行程长度。行程长度总是交替的发生，交替发生的频度与图像 的复杂度有关。行程编码将图像中黑像素点的数据l 与l 的行程长度或白像素点0 与0 的行程长度相结合，作为编码的输入进行编码，并按照出现的概率赋以不同码 长的码字。由于一幅图像通常具有很大的相关性，所以连续出现若干个1 或0 的几 率也非常高，所以采用行程编码对图像数据进行编码可以达到较好的压缩效果i i 。”。 3 6m p e g - 4 应用领域 凭借着出色的性能，m p e g 4 技术目前在多媒体传输、多媒体存储等领域得到 了广泛的应用。 1 精彩的视频世界 精彩的视频世界是m p e g 一4 技术应用最多也是最为大家所熟悉的的形式。目前 它主要以两种形式出现，一种是d i v x 的m p e g 4 影碟，另一种是网上m p e g 4 电 影。 2 低比特率下的多媒体通信 目前，m p e g 一4 技术已经广泛的应用在如视频电话、视频电子邮件、移动通信、 电子新闻等多媒体通信领域。由于这些应用对传输速率要求较低，一般在4 8 6 4 k b i v s 之间，分辨率为1 7 6 1 4 4 左右。因此m p e g 4 技术完全可以充分的利用网 络带宽，通过帧重建技术压缩和传输数据，以最少的数据量获得最佳的图像质量。 3 实时多媒体监控 多媒体监控领域原来一直是m p e g l 技术担当重任，但近些年来，由于m p e g - 4 一l4 _ 第三章m p e g 一4 标准算法 压缩技术是一种适用在低带宽下进行信息交换的音视频处理技术，而它的特点是可 以动态的监测图像各个区域变化基于对象的调整压缩方法可以获得比l v i p e g 1 更 大的压缩比，使压缩码流更低。因此，尽管m p e g - 4 技术一开始并不是专为视频监 控压缩领域而开发的，但它高清晰度的视频压缩，在实时多媒体监控上，无论是存 储量，传输的速率，清晰度都比m p e g 1 具有更大的优势。 4 基于内容存储和检索的多媒体系统 由于m p e g - 4 在压缩方法上远远优于m p e g 1 ，更是m j p e g 技术所不能比拟 的。经过专家的测试表明，在相同清晰度对应m p e g 1 ( 5 0 0 k b i t s s ) 码流情况下， m p e g 一4 比m p e g 一1 节省了2 3 的硬盘空间，在一般活动场景下也节省近一半的容 量。 5 硬件产品上面的应用 目前，m p e g - 4 技术在硬件产品上也已开始逐步得到应用。如日本夏普公司推 出的应用在互联网上的数字摄像机v n e z l 。这台网络摄像机利用m p e g 4 格式， 可把影像文件压缩为a s f ( 高级流格式) ，用户只要利用微软公司的m e d i ap l a y e r 播放程序，就可以直接在电脑上进行播放。又如，在移动多媒体通信领域，摩托罗 拉公司宣布开发出用手机看电影的技术。该公司已研制成功通过g p r s ( 通用数据 包无线业务) 移动数据网络传输m p e g 4 格式图像的系统。另外，目前市场上还出 现了一种m