（计算机系统结构专业论文）基于arm的汽车视频行驶记录仪的设计.pdf

摘要摘要基于a r m 的汽车视频行驶记录仪系统，除了按照国家有关标准，对汽车的行驶状态的数据( 速度、时间、以及各种控制的开关量) 进行实时保存外，与同能产品相比，还更加注重视频方面特有的功能优势，通过软件和硬件芯片协调工作实现了视频图像的压缩和存储，能够循环存储数十分钟的视频图像。本系统的应用可为分析、判断汽车行驶状态和交通事故提供可靠而准确的科学依据，在监督长途汽车和出租车司机，防止其疲劳驾驶和违章驾驶等方面也有着重要的作用。嵌入式系统具有体积小、性能强、功耗低、可靠性高及面向行业具体应用等特征，目前被广泛应用于国防、消费电子、网络、工业控制等领域，尤其是汽车行业。本系统的主控制芯片采用了$ 3 c 2 4 1 0 x 嵌入式处理器。这款处理器为三星公司推出的基于a r m 9 2 0 t 核的1 6 3 2 b i tr s cc p u ，该处理器集成度高，功能强大，具有丰富的外设接口控制器和i o 口，适合于手提便携设备以及其他工控设备如车载系统等的应用。i m e 6 4 0 0 是韩国i n t i m e 公司最新开发的支持m p e g 4 压缩标准的多通道数字音、视频编码系统级芯片。在笔者设计的系统中，i m e 6 4 0 0 作为专门进行数字视频信号压缩的协处理器，与$ 3 c 2 4 1 0 x 协同工作，完成视频信号的获取，压缩等工作；同时利用芯片的片内外设( 如a d 转换器和i o 口) ，完成汽车行驶过程中开关量和模拟量的获取和存储，以满足一个记录仪的基本功能需求。本文主要按照功能模块的划分介绍了视频汽车行驶记录仪系统的各个基本功能，以及实现这些功能的关键技术细节。而且，在文中还系统的阐述了a r m 程序设计基本方法。同时，本文着重讲述了i m e 6 4 0 0 视频压缩芯片与a r m 类型c p u 的接口方案和相互通信的编程方法，提出了一个比较完整的解决方案，可作为类似嵌入式d v r ( d i g i t a lv i d e or e c o r d e r ) 系统开发者的参考模型。关键词：汽车行驶记录仪；硬件视频编码；嵌入式；$ 3 c 2 4 1 0 ；i m e 6 4 0 0a b s t r a c ta b s t r a e t。i h ev e h i c l ev i d e ot r a v e l i n gd a t ar e c o r d e rb a s e do na r mi sa ui n t e l l i g e n td e v i c et h a tc a nb eu s e df o rm o n i t o r i n ga n dr e c o r d i n gt h es i t u a t i o n sd u r i n gv e h i c l et r a v e l i n g 1 1 1 i sd e v i c ei sai m p o r t a n ti m p r o v e m e n to nt h ec o n v e n t i o n a ld e v i c e so fs i m i l a r i t yw h i c ho n l yr e c o r dt h eb a s i cv e h i c l et r a v e l i n gs t a t u ss u c ha ss p e e d ，e n g i n et e m p e r a t u r e ，b r a k eo p e r a t i o na n ds oo n i ti sr e m a r k a b l et 1 1 a tt h i sd e v i c eo f f e r sv i d e or e c o r d i n gf u n c t i o nt h a tc i r c u l a r l yr e c o r dt h ee n v i r o n m e n ti n s i d ea n do u t s i d et h ev e h i c l ef o rt e n so fm i n u t e s 1 1 1 ea p p l i c a t i o no ft h i sd e v i c ew i l lp r o v i d er e l i a b l ea n da c c u r a t es c i e n t i f i cb a s i si no r d e rt oa n a l y z ea n dj u d g et h ev e h i c l e st r a v e l i n gs t a t ei nd e a l i n gw i t ht r a f f i ca c c i d e n t s b e s i d e st h a t ，t h eo v e rt i m ed r i v i n ga n dt h ed r i v i n gd i s o b e yt h er u l eo ft h ed r i v e r sw i 儿a l s ob er e d u c e d t h ee m b e d d e ds y s t e mh a st h ef e a t u r e so fs m a l ls i z e ，h i g hp e r f o r m a n c e ，l o wp o w e rc o n s u m p t i o na n da p p l i c a t i o ns p e c i f i e d t h e ya r eu s e dw i d e l yi nt h ef i e l do fn a t i o n a ld e f e n s e ，c o n s u m p t i o ne l e c t r o n i cp r o d u c t s ，n e t w o r ka n di n d u s t r i a lc o n t r o l ，e s p e c i a l l yt h ea u t o m o b i l ei n d u s t r y t h ea r mc p u ：s 3 c 2 4 l o xi sa p p l i e dh e r ei no u rd e s i g n , p r o d u c e db ys a m s u n ge l e c t r o n i c s i t sa1 6 3 2 b i t sr i s cc p ub a s e do na r m 9 2 0 ti pc o r e ，w h i c hi sh i 曲l yi n t e g r a t e da n dp o w e r f u l t h i sc p uh a sa1 0 to fp e r i p h e r a li n t e r f a c e sa n di op o r t s ，w h i c hw i l lf a c i l i t a t eo a rs y s t e md e s i g n t h ea s i ci m e 6 4 0 0i sas y s t e ml e v e lc h i pw h i c hs u p p o r t st h em u l t i - c h a n n e lm e p g 4v i d e o a u d i oc o m p r e s s i o n i no u rd e s i g n ，i t ss e r v e da sa nv i d e oc o m p r e s s i o no r i e n t e dc o p r o c e s s o rw o r k i n gu n d e rt h ec o n t r o lo f $ 3 c 2 4 1 0 x s 3 c 2 4 1 0 xw i l ld ot h ej o bo fi m p o r t i n gt h eo t h e rv e h i c l et r a v e l i n gd a t as u c ha sa n a l o ga n ds w i t c hs i g n a l s t h i sp a p e rm a i n l yd e s c r i b e dt h ef u n c t i o n so ft h ev i d e ov e h i c l et r a v e l i n gd a t ar e c o r d e ra n dt h ek e yd e t a i la b o u th o wt or e a l i z et h e m ，t h e nt h ep a p e rh a si n t r o d u c e dt h eb a s i cw a y sa n du l e a n si na r mp r o g r a m m i n g a tl a s t，t h ei n t e r f a c ea n dc o m m u n i c a t i o ns c h e m eb e t w e e ni m e 6 4 0 0a n da r mt y p ec p ui sa l s op a r t i c u l a r l yi n t r o d u c e dh e r e ，w h i c hc a nb eu s e df o rr e f e r e n c eb yo t h e rd e v e l o p e r s k e yw o r d s ：v e h i c l et r a v e l i n gd a t ar e c o r d e r ；h a r d w a r ev i d e oc o m p r e s s i o ne m b e d d e d ；$ 3 c 2 4 1 0 ；i m e 6 4 0 01 1独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名：螂日期：2 1 9 。年月日关于论文使用授权的说明本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解密后应遵守此规定)签名：岛嘭新签名：幽。导师签名： 笪! 幺。日期：2 0 。( 年月6 日第一章绪论1 1 课题背景1 1 1 嵌入式处理器第一章绪论以嵌入式处理器为技术核心的嵌入式系统，是后p c 时代的i t 领域中一个新的发展方向。目前关于嵌入式的定义有很多种，但从特征上来看，嵌入式系统一般具有体积小，功耗低，可靠性高，处理能力强及面向具体应用的突出特点。目前已经广泛地应用于国防、消费电子、信息家电、网络通信、工业控制等各个领域。嵌入式在汽车上的应用尤其深入，据统计，一般家用汽车的嵌入式计算机在2 4 个以上，豪华汽车在6 0 个以上；a b s 防抱死系统，发动机自动调节，g p s 卫星导航和电子地图等等功能都依赖于嵌入式芯片。嵌入式系统组成的核心部件是各种类型的嵌入式微处理器和d s p ，其基础还是通用计算机技术。现在许多嵌入式处理器也是从早期的p c 机的应用发展演化过来的妻日早期p ct r s 8 0 、a p p l ei i 所用的z s o 和6 5 0 2 处理器，至今仍为低端的嵌入式系统所用1 1 ”。虽然不如奔腾、a m d 系列等p c 处理器那样得到消费者的关注，嵌入式处理器却深入到人们生活中的每一个方面。近年来，嵌入式处理器得到飞速发展，全世界嵌入式处理器d s p 的品种总量已经超过15 0 0 多种，流行的体系结构也有近百个系列，几乎每个半导体制造商都生产嵌入式处理器d s p ，越来越多的公司有自己的处理器d s p 设计部门。目前主要的嵌入式处理器有p o w e rp c 、m i p s 、a r m 、6 8 0 0 0 、s c 一4 0 0 、a m l 8 6 8 8 、3 8 6 e x 等体系结构系列 8 j 。a r m 系列处理器核是英国先进r i s c 机器公司( a d v a n c e dr i s cm a c h i n e s ) 的产品。a r m 公司成立以来，一直以 p ( i n t e l l i g e n c ep r o p e r t y ) 提供者的身份向各大半导体制造商出售知识产权，而自己从不介入芯片的生产销售。a r m 处理器核具有低功耗、低成本和卓越性能等显著优点，得到了众多半导体厂商的大力支持，在3 2 位嵌入式应用领域取得了巨大成功，如n t e l 、m o t o r o l a 、i b m 、p h i l i p s 、n e c 、s o n y 、s a m s u n g 等世界上几乎所有半导体公司获得了a r m 授权，开发具有自己特色的基于a r m 的嵌入式系统芯片。最新的市场调查表明，a 砌订占据了整个电子科技大学硕士学位论文3 2 、6 4 位嵌入式微处理器市场的7 9 5 ，全世界已使用了2 0 多亿个a r m 核。1 1 2a r m 系统开发流程本课题采用的英蓓特$ 3 c e b 2 4 1 0 开发板是基于s a m s u n g 公司的$ 3 c 2 4 1 0 x处理器的开发平台，该处理器拥有独立的1 6 k b 指令和1 6 k b 数据c a c h e ，m m u虚拟内存管理单元，n a n df l a s hb o o tl o a d e r ，系统管理单元( 如s d r a m 控制器等) ，3 通道u a r t ，4 通道d m a ，4 通道具备p w m 功能的定时器，i o 口，r t c ( 实时时钟) 。拥有丰富的外设接1 2 1 控制器：8 通道1 0 b i t 精度a d c 和触摸屏控制器，i l c 总线接口，i i s 数字音频总线接口，u s b 主机、设备控制器，s d m m c 卡控制器，l c d 控制器( s t n 和t f t ) 。2 通道s p i 和p l l 数字锁相环。c p u 内部倍频可达2 0 0 m h z 。开发板则充分展现了$ 3 c 2 4 1 0 x 处理器的所有功能，可让用户方便的在该平台上进行开发，也可成为开发应用的参考。我们在宿主机上采用的开发环境是e m b e s t i d e 开发环境( e m b e s ti n t e g r a t e dd e v e l o p m e n te n v i r o n m e n t ) ，它提供了一个图形化嵌入式应用软件开发平台，包括一整套面向嵌入式系统的开发和调试工具：编辑器、编译器、链接器、调试器。和底层调试接口设备( b d m j t a g 仿真器) 等。如图1 1 所示：图l - 1e m b e s ti d e 工具集示意图e m b e s ti d ef o r a r m 可支持a n s ic ，e m b e d e dc + + ，汇编语言；使用了g n u的g c c 编译链接器。同时i d e 具有较强的调试功能，提供了图形和命令两种调第一章绪论试方式，可进行断点设置、单步执行、异常处理，可查看并修改内存、寄存器、变量等，可进行反汇编。e m b e s t i d e 采用主机一目标机交叉开发模型，主机和目标机之间通过调试设备( 一般为j t a g 仿真器) 相连接，应用程序在主机的w m d o w s 环境下编译链接生成可执行文件( e l f ) ，下载到目标机( s d r a m 或者f l a s h r o m 空间1 ，通过主机上的调试软件和连接到目标机上的调试设备完成对应用程序的调试、分析。嵌入式系统一般采用f l a s h 做外部存储器，容量有限。若不进行图像压缩，系统将面对数以g b 计的视频码流，成本将无法控制。m p e g 4 标准是由国际运动图像专家组于2 0 0 0 年1 0 月公布的一种面向多媒体应用的视频压缩标准。它采用了基于对象的压缩编码技术，在编码前首先对视频序列进行分析，从原始图像中分割出各个视频对象，然后再分别对每个视频对象的形状信息、运动信息、纹理信息单独编码，其核心是基于内容的尺度可变性( c o n t e n t - b a s e ds c a l a b f l i t y ) ”，可以对图像中各个对象分配优先级，对比较重要的对象用高的空问和时间分辩率表示，对不甚重要的对象( 如监控系统的背景) 以较低的分辩率表示，甚至不显示。因此它具有自适应调配资源能力，可以实现高质量低速率的图像通信和视频传输 2 1 。韩国i n t i m e 公司的i m e 6 4 0 0 芯片是一种多通道数字音、视频压缩系统级芯片，该芯片可以支持m p e g 4 2 1 视频压缩编码标准；同时支持i 、p 和b 崎压缩。其图像大小可以编程设定，最大尺寸可达2 0 4 8 2 0 4 8 ；码率可以支持固定和可变码率压缩，并且支持动态检测田】。i m e 6 4 0 0 芯片可对c c i r - - 6 0 1 接口的数字视频信号进行编码。对于从摄像头或者播放设备来的模拟视频信号，则需要先进行a d 采样。在a d 采样方面我们选择了市面上的主流产品，p h i l i p s 公司的s a a 系列，可以将模拟视频信号经过解码产生符合c c i r - 6 0 1 的数字视频信号流，提供给i m e 6 4 0 0 进行压缩处理。i m e 6 4 0 0 进行压缩处理。电子科技大学硕士学位论文1 _ 2 课题意义本课题的主要目的是完成一个汽车行驶记录仪的原型设计。传统的汽车左右后视镜存在着许多视野上的死角和盲点，对驾驶员行车、倒车、停车极为不便，在处理交通事故方面采用的是现场取证，调查了解等老办法，即不能做到准确无误，又容易造成人为的不公证。本系统提供了一种既能反映出汽车四周的图像，用于驾驶员监视路面和周围环境，又能将摄取到的数据进行记录并用于在事故后进行调查取证的汽车行驶记录系统。此系统利用c c d 摄像头和硬件压缩芯片的视频、音频压缩功能显示、存储汽车周围环境的图像，并记录车内语音。本系统的应用将方便汽车驾驶员，大大减少交通事故，并为事故发生后的调查处理提供准确可靠的事实依据1 3 j 。除此以外，根据国家标准g b t1 9 0 5 - 2 0 0 3 的要求，利用$ 3 c 2 4 1 0 x 芯片拥有的众多的i o 口和片内a d c 实现7 个开关量和2 个模拟量的输入获取；以最大0 2 秒的时间间隔持续记录并存储停车前数十秒对应的车辆行驶速度值及车辆制动状态信号；利用芯片的s d 卡和s m c 卡接口，实现前述行车和视频音频数据的实时存储。在国内，已有很多厂家正在从事汽车行驶记录仪的开发，但是其注意力大多集中在数值化行车数据的采集、记录和远程传送上，对视频图像方面关注不多，至多在采集少量的静态图像如j p e g 图。本系统利用m p e g 4 技术压缩视频图像，既符合低比特率和存储器容量的限制，又提供了较为清晰的动态视频图像，同时仍然可以实现汽车行驶记录仪应有的基本功能，与同类产品相比，具有很大的优势，站在了技术的制高点上。第一章绪论1 3 本文的主要内容本文的内容和结构如下：第一章介绍嵌入式系统以及开发方法、$ 3 c 2 4 1 0 x 芯片、以及硬件m p e g 4压缩。第二章介绍a r m 芯片资源和m p e g 4 编码标准。第三章介绍系统功能分析和模块划分。第四章详细讲述了系统的几个主要模块实现。第五章详细讲述视频压缩模块设计第六章对课题研究成果做了总结，对以后的发展方向做了展望。电子科技大学硕士学位论文第二章系统关键技术研究2 1a r m 9 芯片$ 3 c 2 4 1 0 x 资源概述2 1 1 处理器核$ 3 c 2 4 1 0 x 芯片基于a r m 9 t d m i 核，处理器采用h a r v a r d 体系结构、a m b a ( a d v a n c e dm i c r o c o n t r o l l e rb u sa r c h i t e c t u r e ) 总线，指令空间和数据空间分离。数据宽度3 2 位。片内集成了1 6 k b 指令和数据c a c h e 以提高取指令和数据的效率。而且，与a r m 7 不同的是a r m 9 集成了内存管理单元( m m u ) ，指令m m u和数据m m u 分别进行指令地址空间和数据地址空间的内存映射田1 。如图2 - 1 所示：j t a ga r m 9 2 0 ti p a 3 1i n s t r u c t o n1 一m m uk 一们1 0 1 厂匦a r m 9 t d m ip r o c e s s o rc o r e i n t e r n a le m b e d d e di c e )阱2 蛸。嘲 d a t aim 拍uc 3c a c h ef 1 6 k b c o p r o ci n t e r f a c eo p a l 3 la 3 1 ：0 】c a c h e 1 6 k b lw r i t eb u f f e ra m b ab u sl 萨m p a t 跳a g r a m 非衄l 二= 二! 二图2 - 1 $ 3 c 2 4 1 0 x 内部结构图譬二睾东垃美h 城和稚喜害釜 两鹃鸭柏纠h 雕引蠹中2 1 2 寄存器a r m 系列处理器都属于r i s c 处理器，特点是指令数量不多，指令字长较大，寄存器数量多嘲。a r m 9 2 0 t 共有3 7 个寄存器包括：3 1 个3 2 - b “通用寄存器和6个程序状态寄存器( c p s r ) 。但是，这些寄存器不是同时可见的，而是按程序运行的不同状态进行分组，在某种运行状态( 处理器模式) 下只有特定的一组寄存器能够访问。如下图所示，程序运行状态被分为6 种( 用户，系统态、管理态、f i q 态、i r o 态、异常退出态、未定义态) ，与之对应的是6 种寄存器可见模式。除用户态，其他的每一种运行态下都有自己专署的寄存器( 灰色三角形所示) ，并且有自己的专用寄存器( s p s i t ) 来保存程序状态。2 1 3 地址空间图2 - 2 寄存器组织s 3 c 2 4 1 0 x 的地址空间直观上看是8 b i t 宽的连续空间，被分为8 个段( b a n k 0 b a n k 7 ) 1 9 ，每个b a n k 大小为1 2 8 m 字节，总共有i g 字节的地址空间。除b a n k 0 之外所有b a n k 都可设置为8 b i t ，1 6 b f f 或3 2 b f f 对准访问( 数据总线宽度) ，7电子科技大学硕士学位论文b a n k 0 可设置为1 6 b i t 3 2 b i t 。在3 2 b i t 的访问模式下，每次读取4 个字节的数据，即地址每次增加4 【7 1 。对应于每一个b a n l m , 都有一根n g c s n 设备片选信号与之对应，当访问n 号b a n k 时，n g c s n 就变为有效( 低电平) 。结合地址线的a d d r 2 2 ：2 0 进行c p l d 译码，$ 3 c 2 4 1 0 x 就可以控制众多的片外设备【撕】。地址空间中还包括为访问特殊功能寄存器所( s f r ) i l 出的地址区域，通过读写这些地址就可以访问各个功能寄存器。m o m h ：0 3 。o ，1 0o m d ：0 1 2 0 0图2 3 地址空间嫁m 支持大、小端存储模式。在大端模式下，组成3 2 位或1 6 位数据的高位数据放在小地址的存储单元。小端模式则与之相反。大小端模式可在系统上电时用软件设置。2 1 4 系统总线a r m 研发的心儡a ( a d v a n c e dm i c r o c o n t r o l l e rb u sa r c h i t e c t u r e ) 提供一种特殊的机制，可将r i s c 处理器集成在其它邛芯核和外设中，2 o 版a m b a 标准定义了三组总线；a h b ( a m b a 高性能总线) 、a s b ( a m b a 系统总线) 、和a p b ( a m b a外设总线) 1 8 j 。a m b a 总线非常适合于s o c ( s y s t e mo nc h i p ) 芯片的设计【2 5 】。根据外部设备速度快慢的不同，$ 3 c 2 4 1 0 x 的总线分为a h b ( a d v a n c e dh i i 曲p e r f o r m a n c eb u s ) 和a p b ( a d v a n c e dp e r i p h e r a lb u s ) ，如图2 - 4 所示。l c d 控制器、第二章系统关键技术研究中断控制器、内存控制器及u s b 主控等高速设备挂接在a h bb u s 上。串口控制器、i i c i i s s p i 控制器及a d c 控制器挂接在a p bb u s 上。两种总线之间通过一个桥接器连接，并且使用的时钟也不同。时钟发生器产生不同频率的总线时钟：f c l k 送给c p u ，h c l k 送给a h b ，p c l k 送给a p b 。这种设计使得c p u 能更好的适应不同速度设备的需要。在我们的设计中，将把视频压缩芯片做为一个高速设备挂接在a h b 总线上。详细情况请见第五章。a s b t h e a d v a n c e ds y s t e m b u s 是第一代a m b a 系统总线，同a h b 相比，它数据宽度要小一些。潞l 。l c dl 乍令牟令l 感；g 銎2lhu s bh o s t c o n te 冷8仁令lm r m p l c o n tie x t l v i b s t e r牟令8e 冷l 。盎。ln a n dc o n t“n a n df 蛔s hb o o l牟令s仁今m e m o r y c o n tl o a d e rs r a m 刺o r 蝽d r ml 。嘴器卜f 酬a g e & d m a l2 2m p e g 4 编码标准 三 三 三仁冷 互 三图2 - 4 系统总线示意图本系统实现动态视频图像录制的核心技术是m p e g 4 编码技术。m p e g 4 技术具有许多优越的特性，为本系统的视频录制部分所采用。下面简要介绍其发展背景及核心思想。电子科技大学硕士学位论文2 2 1m p e g 4 技术背景近几年来，m p e g 4 视频压缩技术( i s os t a n d a r d ，i s o i e c1 4 4 9 6 。2 ) 开始引起数字视频录制产品( d v r ) 市场越来越多的关注，并以成为i n t e r n e t 和移动终端应用领域事实上的标准。目前d v r 市场的许多产品采用的是m p e g l 与m j p e g 压缩技术，但两者的致命弱点就是存储空间耗费量大，如采用大容量硬盘又不利于车载应用且成本高昂，容量与清晰度矛盾突出。m p e g 4 技术的出现，可以有效解决以上诸多问题。m p e g l 、m p e g 2 技术当初制定时，它们定位的标准均为高层媒体表示与结构，但随着计算机软件及网络技术的快速发展，m p e g l m p e g 2 技术的弊端就显示出来了：交互性及灵活性较低，压缩的多媒体文件体积过于庞大，难以实现网络的实时传播。m j p e g ( m o t i o nj p e g ) 压缩技术，主要是基于静态视频压缩发展起来的技术，它的主要特点是基本不考虑视频流中不同帧之间的变化，只单独对某一帧进行压缩。m j p e g 压缩技术可以获取清晰度很高的视频图像、而且可以灵活设置每路视频清晰度、压缩帧数，但付出的代价是在保证每路都高清晰度的情况下，受处理速度所限，无法完成实时压缩，有很强的丢帧现象，同时由于没有考虑到帧间变化，造成大量冗余信息被重复存储，因此单帧视频的占用空间较大，目前流行的m j p e g 技术最好的也只能做到3 k 帧，通常要8 - 2 0 k 。简单计算可以发现即使是丢帧录像，也将耗费大量的存储空间。m p e g 4 技术的标准是对运动图像中的内容进行编码，其具体的编码对象就是图像中的音频和视频，术语称为“a v 对象”，而连续的a v 对象组合在一起又可以形成a v 场景。因此，m p e g 4 标准就是围绕着a v 对象的编码、存储、传输和组合而制定的，高效率地编码、组织、存储、传输a v 对象是m p e g 4 标准的基本内容。在视频编码方面，m p e g 4 支持对自然和合成的视觉对象的编码。( 合成的视觉对象包括2 d 、3 d 动画和人面部表情动画等) 。在音频编码上，m p e g 4 可以在一组编码工具支持下，对语音、音乐等自然声音对象和具有回响、空间方位感的合成声音对象进行音频编码。由于m p e g 4 只处理图像帧与帧之间有差异的元素，而舍弃相同的元素，因此大大减少了合成多媒体文件的体积。应用m p e g 4 技术的影音文件最显著特点就是压缩率高且成像清晰，一般来说，一小时的影像可以被压缩为3 5 0 m 左右的数第二章系统关键技术研究据，而一部高清晰度的d v d 电影，可以压缩成两张甚至一张6 5 0 mc d 光碟来存储。而且采用m p e g 4 编码技术的影片，对机器硬件配置的要求非常之低，3 0 0 m h z以上c p u ，6 4 m 的内存和一个8 m 显存的显卡就可以流畅的播放。在播放软件方面，它要求也非常宽松，你只需要安装一个5 0 0 k 左右的m p e g 4 编码驱动后，用w i n d o w s 自带的媒体播放器就可以流畅的播放了。m p e g 4 不仅是针对一定比特率下的视频、音频编码，更加注重多媒体系统的交互性和灵活性。m p e g 4 标准主要应用于视像电话( v i d e op h o n e ) ，视像电子邮件( v i d e oe m a i l ) 和电子新闻( e l e c t r o n i cn e w s ) 等，其传输速率要求较低，在4 8 0 0 6 4 0 0 0 b i t s s e c 之间，分辨率最低为1 7 6 x 1 4 4 。m p e g 4 利用很窄的带宽，通过帧重建技术，压缩和传输数据，以求以最少的数据获得最佳的图像质量。m p e g 4的一个重要特点是其综合性；从根源上说，m p e g - 4 试图将自然物体与人造物体相溶合( 视觉效果意义上的) 。m p e g 。4 的设计目标还有更广的适应性和可扩展性。m p e g 4 压缩技术原本是一种适用在低带宽下进行信息交换的音视频处理技术，它的特点是可以动态的侦测图像各个区域变化，基于对象的而调整压缩方法可以获得比m p e g l 更大的压缩比，压缩码流更低。m p e g 4 也同样也适合c i f( 3 5 2 * 2 8 8 ) 或者更高清晰度( 7 6 8 * 5 7 6 ) 情况下的视频压缩，无论从清晰度还是从存储量上都比m p e g l 和m j p e g 具有更大的优势。下表为m p e g 4 、m p e g l和m j p e g 测试对比。对静止、一般活动场景、剧烈活动场景三种情况下、在相同清晰度对应m p e g l ( 5 0 0 k b i t s s e c ) 码流情况下，采用c i f ( 3 5 2 * 2 8 8 ) 格式，存储容量测试结果见表2 1 ：m j p e gm p e g lm e g 4静止1 帧1 分针1 小埘1 帧1 分钟l 小时1 帧1 分神1 小时6 k9 m5 4 0 m24 k36 m2 1 6 m06 8 kl0 2 m6 12 m一般活动72 k1 08 m6 4 8 m24 k36 m2 1 6 m10 7 kj6 m9 6 m剧烈活动1 1 k1 65 m9 9 0 1 , 424 k36 m2 】6 m16 8 k25 1 m1 5 1 2 m表2 - 1 ：m p e g 4 比较测试结果电子科技大学硕士学位论文从上表可知在静止情况下m p e g 4 比m p e g l 节省了2 3 的硬盘空间，在一般活动场景下也节省近一半的容量，比m j p e g 更是节省7 8 的容量。对与嵌入式系统中广泛应用的n a n d f l a s h 存储介质来说，m p e g 4 的每小时存储容量能够比较好的适应其要求。而且，m p e g 4 可以根据场景变化自动调整压缩方式，保留较好的存储图像。2 2 2m p e g 4 压缩标准构成经过编码的视频数据流包含了5 级层次结构，如图2 5 所示：图2 - 5m p e g 4 视频数据流逻辑结构视觉对象序列：v i s u a lo b j e c ts e q u e n c e ，对应一个完整的m p e g - 4 场景，包含任意2 d 或3 d 的自然或合成对象以及对应的增强层。视频对象：v i d e oo b j e c t 对应m p e g - 4 场景中的一个特定的物体，最简单的第二章系统关键技术研究情况下就是一个矩形，也可表示为对应于场景中的背景或某个任意形状的对象。视频对象层：v i d e oo b j e c tl a y e r 。视频对象层支持了可分层编码，即一个视频对象可以利用时域和空域的可缩放性，从粗糙分辨率到精细分辨率来实现分层编码。在解码器端就使用对应的分辨率解码。视频对象平面组：g r o u po f v i d e oo b j e c t s ，在视频流中提供了很多标记点，这些标记点标记了视频对象平面单独编码的时域位置，也就提供了对视频数据流任意访问的标记。视频对象平面：v i d e oo b j e c tp l a n e l ，一个视频对象平面是一个视频对象的时间采样。视频对象可以逐个单独编码，或者通过运动补偿混合编码。一个通常意义的视频框可以用矩形边框的视频平面来表示。2 2 3m p e g 4 核心思想和关键技术在m p e g - 4 制定之前，m p e g 1 、m p e g - 2 、h 2 6 1 、h 2 6 3 都是采用第一代压缩编码技术，着眼于图像信号的统计特性来设计编码器，属于波形编码的范畴。第一代压缩编码方案把视频序列按时间先后分为一系列帧，每一帧图像又分成宏块以进行运动补偿和编码，这种编码方案存在以下缺陷：1 将图像固定地分成相同大小的块，在高压缩比的情况下会出现严重的块效应，即马赛克效应；2 不能对图像内容进行访问、编辑和回放等操作；3 未充分利用人类视觉系统( h v s ，h u m a nv i s u a ls y s t e m ) 的特性。m p e g 4 除采用第一代视频编码的核心技术，如变换编码、运动估计与运动补偿、量化、熵编码外，还提出了一些新的有创见性的关键技术，并在第一代视频编码技术基础上进行了卓有成效的完善和改进。视频对象提取技术：m p e g 4 实现基于内容交互的首要任务就是把视频图像分割成不同对象或者把运动对象从背景中分离出来，然后针对不同对象采用相应编码方法，以实现高效压缩。因此视频对象提取即视频对象分割，是m p e g 4 视频编码的关键技术，电子科技大学硕士学位论文也是新一代视频编码的研究热点和难点。尽管m p e g 4 框架已经制定，但至今仍没有通用的有效方法去根本解决视频对象分割问题，视频对象分割至今被认为是一个具有挑战性的难题。v o p 视频编码技术：视频对象平面( v o p ，v i d e oo b j e c tp l a n e ) 是视频对象( v o ) 在某一时刻的采样，v o p 是m p e g 4 视频编码的核心概念。m p e g 4 在编码过程中针对不同v o 采用不同的编码策略，即对前景v o 的压缩编码尽可能保留细节和平滑；对背景v o 则采用高压缩率的编码策略，甚至不予传输而在解码端由其他背景拼接而成。这种基于对象的视频编码不仅克服了第一代视频编码中高压缩率编码所产生的方块效应，而且使用户可与场景交互，从而既提高了压缩比，又实现了基于内容的交互，为视频编码提供了广阔的发展空间。m p e g 4 支持任意形状图像与视频的编解码。对于任意形状视频对象。对于极低比特率实时应用，如可视电话、会议电视，m p e g 一4 则采用v l b v ( v e r yl o wb i t r a t ev i d e o ，极低比特率视频) 核进行编码。传统的矩形图在m p e g - 4 中被看作是v o 的一种特例，这正体现了传统编码与基于内容编码在m p e g 4 中的统一。如果全布采用矩形v o ，m p e g 4 就退化到了m p e g 2 。视频编码可分级性技术：视频编码的可分级性( s c a l a b i l i t y ) 是指码率的可调整性，即视频数据只压缩一次，却能以多个帧率、空间分辨率或视频质量进行解码，从而可支持多种类型用户的各种不同应用要求。m p e g 一4 通过视频对象层( v o l ，v i d e oo b j e c tl a y e r ) 数据结构来实现分级编码。m p e g 一4 提供了两种基本分级工具，即时域分级( t e m p o r a ls c a l a b i l i t y ) 和空域分级( s p a t i a ls c a l a b i l i t y ) ，此外还支持时域和空域的混合分级。每一种分级编码都至少有两层v o l ，低层称为基本层，高层称为增强层。基本层提供了视频序列的基本信息，增强层提供了视频序列更高的分辨率和细节。运动估计与运动补偿技术：m p e g 一4 采用i - v o p 、p v o p 、b v o p 三种帧格式来表征不同的运动补偿类型。它采用了h 2 6 3 中的半像素搜索( h a l f p i x e ls e a r c h i n g ) 技术和重叠运动补偿第二章系统关键技术研究( o v e r l a p p e dm o t i o nc o m p e n s a t i o n ) 技术，同时又引入重复填充( r e p e t i t i v ep a d d i n g )技术和修改的块( 多边形) 匹配( m o d i f i e db l o c k ( p o l y g o n ) m a t c h i n g ) 技术以支持任意形状的v o p 区域。在m p e g 4 视频编码中，运动估计相当耗时，对编码的实时性影响很大。因此这里特别强调快速算法。运动估计方法主要有像素递归法和块匹配法两大类，前者复杂度很高，实际中应用较少，后者则在h 2 6 3 和m p e g 中广泛采用。在块匹配法中，重点研究块匹配准则及搜索方法。目前有三种常用的匹配准则：( 1 ) 绝对误差和( s a d ，s u mo f a b s o l u t ed i f f e r e n c e ) 准则；( 2 ) 均方误差( m s e ，m e a ns q u a r ee r r o r ) 准则：( 3 ) 归一化互相关函数( n c c f , n o r m a l i z e dc r o s sc o r r e l a t i o nf u n c t i o n ) 准则。在选取匹配准则后就应进行寻找最优匹配点的搜索工作。最简单、最可靠的方法是全搜索法( f s ，f u l ls e a r c h ) ，但计算量太大，不便于实时实现。因此快速搜索法应运而生，主要有交叉搜索法、二维对数法和钻石搜索法，其中钻石搜索法被m p e g - 4 校验模型( v m ，v e i l f i c a t i o nm o d e l ) 所采纳【2 6 j 。电子科技大学硕士学位论文第三章系统功能分析与设计3 1 系统硬件结构设计从总体上，设计采取了a r m 处理器( 主控模块) + 视频压缩协处理器( 视频处理模块) 的硬件体系结构。本系统的功能模块主要分为主控模块、视频压缩模块、行车数据获取模块和数据存储模块。主控模块负责调度各个功能模块的运行，并将采集得到的原始数据进行加工并送到数据存储模块保存；其他各个功能模块则负责汽车运行过程中各种数据的收集，并在必要的时候与主控模块交换数据，以实现汽车行驶记录仪应有的的功能。多视信输图3 - 1 系统硬件结构设计第三章系统功能分析与设计3 1 1 主控制模块主控制模块为$ 3 c 2 4 1 0 x 处理器。该处理器采用s o c 设计，集成了众多片内外设、及各种外部设备接口控制器，包括8 通道1 0 b i t 精度a d c 和触摸屏控制器，c 总线接口，i i s 数字音频总线接1 2 1 ，s d s m c 卡控制器 1 3 1 。这种处理器集成的g p i o 口，a d c 控制器及i i c 总线接口等设备都十分有利于本课题的特定应用的设计，很大程度上简化了底层硬件编程复杂度并提高了设计可靠性；而且，使用基于a r m 的标准来进行设计，并且有利于系统成本的降低和软硬件可扩展性，可移植性的提高。3 1 2 数据存储模块存储模块负责由汽车内置传感器传来的8 个开关量参数( 方向灯、倒灯、车门、远光灯、近光灯、刹车、鸣号、车辆启动) ，2 个模拟量参数( 速度，水温)以及经过压缩的视频数据的记录工作。由于视频数据量较大，达到m b 的数量级，而且考虑到车载防震动的需要，所以考虑使用闪存( f l a s hm e m o r y ) 做为非易失性数据存储设备。n o r 和n a n d 是现在市场上主要的两种非易失性闪存技术，两者的一些技术参数如表3 1 ：n o rn a 0访问方式：线性访问按页访问价格：$ 2 h 仍$ 0 5 m b容量：小，单片最多8 m b大，单片达到1 2 8 m b擦除速度