（电路与系统专业论文）dvr系统中编码和存储技术的研究及fpga实现.pdf

摘要 摘要 d v r 作为数字监控中心的核心设备，是集音视频编解码、存储和网络于体 的一套完整的系统。随着人们安防意识的逐步提高，视频监控的d v r 产品越来越 被广泛的应用在生活中的各个领域，相应的d v r 的关键设计视频编码和存储 技术也是人们关注的热点。本文在前人工作的基础上对d v r 系统编码和存储技术 做了新的研究与实现。 文章在介绍了d v r 系统的整体结构及工作原理，全面的分析了目前市场上 的各种d v r 方案的优劣之处之后，又进一步分析了d v r 系统的国内外研究现状， 提出了存在的不足。根据市场现有方案和存在的不足之处，本文做了以下改进： 首先针对视频编码部分，采用最先进的h 2 6 4 标准，压缩率高，可以节省空间， 低码率、容错能力强、图像流畅质量高，并利用f p g a 芯片内部强大的并行处理 能力，将采集、压缩以及总线集成在一起，不仅实现了灵活性，而且还使系统得 到了稳定。因编码采用整数变换，而f p g a 设计过程中刚好不涉及浮点运算，又 可以重复使用，故而本文利用f p g a 完成了h 2 6 4 的视频采集、帧内预测、变换 量化以及运动估计等模块的实现。最后利用m o d e l s i m 软件对编码部分进行仿真 并分析结果，q u r a t u si i 对其进行了逻辑综合，实现了整个编码过程。存储方面， 利用f p g a 实现了d v r 内部存储器的设计，m o d e l s i m 进行仿真验证，利用i d e r a i d 技术解决了存储外扩，扩大了磁盘容量，满足了客户要求。 d v r 系统中编码和存储技术是两大关键技术，直接决定了其性能优劣以及市 场的竞争地位，利用f p g a 器件来实现编码和存储技术，压缩效率高、磁盘空间大、 灵活性强、系统稳定性高，具有重要的理论意义和实践价值。 图【4 l 】表【1 9 】参 4 9 】 关键词：d v r ；h 2 6 4 编码标准；d v r 存储；f p g a ；r a i d 技术 分类号：t n 9 4 6 7 a b s t r a e t a b s t r a c t a sn u c l e u se q u i p m e n to fd i g i h a lm o n i t o r i n gc e n t e r , d v ri sa ni n t e g r a ls y s t e mw h i c h c o m b i n e sa u d i oa n dv i d e og o d e c ，m e m o d ，a n dn e t w o r k w i t ht h es t e p w i s ei n c r e a s eo fp e o p l e s e c u r i t yp r o t e c t i o nc o n s c i o u s n e s s ，t h ed v rp r o d u c to fv i d e om o n i t o r i n gi sm o r ea n dm o r e w i d e l ya p p l i e di na l lw a l k so fl i f e ，c o r r e s p o n d i n gt h ed v rm a j o rd e s i g no f v i d e o c o d i n ga n dm e m o r yt e c h n o l o g ya r ea l s ob e c o m i n gh o ts p o t s i nt h i sp a p e r , o nt h eb a s i s o fp r e v i o u sw o r ko nd v r s y s t e mc o d ea n ds t o r a g et e c h n o l o g yd oan e wr e s e a r c ha n d i m p l e m e n t a t i o n a r t i c l ei n 仃o d u e e sd v r s y s t e ms t r u c t u r ea n dw o r k i n gp r i n c i p l eo ft h ew h o l e ， c o m p r e h e n s i v ea n a l y s i so ft h ec u r r e n tm a r k e to nt h ev a r i o u sd v rs c h e m ea f t e rt h e r e l a t i v em e r i t so fp l a c e ，a n df u r t h e ra n a l y z e dt h ed v rs y s t e mr e s e a r c hs i t u a t i o n , p r o p o s e dt h ed e f i c i e n c i e s a c c o r d i n g t ot h em a r k e te x i s t i n gs c h e m ea n dt h e d e f i c i e n c y ，t h i sp a p e rm a d et h ef o l l o w i n gi m p r o v e m e n t ：f i r s tv i d e oc o d i n gp a r tf o r a d o p t i n gt h em o s ta d v a n c e dh 2 6 4s t a n d a r d , c o m p r e s s i o nr a t ei sh i g h ，c a ns a v eas p a c e ， l o wb i tr a t ea n df a u l tt o l e r a n ta b i l i t y , h i g hq u a l i t y , a n dt h ei m a g es m o o t hu s i n gf p g a c h i pi n t e r n a lp o w e r f u lp a r a l l e lp r o c e s s i n ga b i l i t y , w i l lc o l l e c t i o n , c o m p r e s s i o na n d m u l t i b u si n t e g r a t i o nt o g e t h e r , n o to n l yr e a l i z e sf l e x i b i l i t y , b u ta l s om a k es y s t e m sh a v e b e e ns t a b l e b e c a u s ec o d i n gu s i n gi n t e g e rt r a n s f o r m ，a n dt h ef p g ad e s i g np r o c e s sj u s t d o e sn o ti n v o l v ef l o a t i n g - p o i n to p e r m i o n ，a n dc a nb er e u s e d ，t h e r e f o r et h i sp a p e ru s i n g t h ef p g ac o m p l e t e dt h eh 2 6 4v i d e oc o l l e c t i o n , f l a m e f o r e c a s t , t r a n s f o r m q u a n t i f i c a t i o na n dm o t i o ne s t i m a t i o ne t co ft h em o d u l e f i n a l l y , u s i n gt h em o d e l s i m s o f t w a r ef o rc o d i n gp a r ts i m u l a t i o na n da n a l y s i sr e s u l t s ，q u r a t u si io nt h el o g i c s y n t h e s i s ，r e a l i z et h ec o d i n gp r o c e s s s t o r a g e ，u s et h ef p g ar e a l i z i n gd v r i n t e r n a l m e m o r yd e s i g n , m o d e l s i ms i m u l a t i o nv a l i d a t i o n , u s i n gt h ei d er a i dt e c h n i q u e s o l v e s s t o r a g eo u t s i d ee n l a r g e ，e x p a n d e d d i s k c a p a c i t i e s ，m e e tt h e c u s t o m e r s r e q u i r e m e n t s d v rs y s t e mc o d e a n ds t o r a g et e c h n o l o g yi st w ok e yt e c h n i q u e s ，d i r e c t l y d e t e r m i n e si t sp e r f o r m a n c eq u a l i t ya n dm a r k e t sc o m p e t i t i v ep o s i t i o n ，u s et h ef p g a d e v i c et or e a l i z et h ec o d i n ga n ds t o r a g et e c h n o l o g y , t h ec o m p r e s s i o ne f f i c i e n c yh i g h , d i s ks p a c ei s l a r g e ，f l e x i b i l i t y , h i g hs t a b i l i t y o ft h e s y s t e m ，a n dh a si m p o r t a n t t h e o r e t i c a ls i g n i f i c a n c ea n d p r a c t i c a lv a l u e i i i 安徽理工大学硕： ：学位论文 f i g u r e 4 1 】t a b l e 【1 9 】 r e f e r e n c e 4 9 】 k e yw o r d s ：d v r ，h 2 6 4c o d i n gs t a n d a r d ，d v rs t o r a g e ，f p g a ，r a i dt e c h n o l o g y c h i n e s eb o o k sc a t a l o g ：t n 9 4 6 7 v l 绪论 1 1 课题研究的背景和意义 l绪论 近几年来，数字视频监控的产品一直是国内安防行业的一个重要支柱，d v r 是数字监控中心的核心设备，因此被广泛地应用于安防行业的各个领域，它可以 协助公安部门抓住有力证据，维持社会安定。随着图像压缩技术的提高和宽带的 普及，d v r 产品正越来越广泛地应用在银行、教育、政府、娱乐、酒店等其它各 种领域。故而，本人在2 0 1 0 年对d v r 市场需求量做了总结，如表1 所示，分别是从 2 0 0 4 年至1 j 2 0 0 8 年的中国d v r 硬盘录像机市场需求。 表1d v r 市场需求量 t a b l e ld v rm a r k e td e m a n d 亿元 2 0 0 5 从技术上来说，视频监控经历了以下三个发展阶段【i 】【6 l ： 1 模拟化时代。模拟时代的视频图像是以模拟方式进行模拟处理的，部分视 频信号也是显示在模拟设备上，由同轴电缆进行传输，磁带录像保存信息，并由 控制主机进行模拟处理。这种监控模式只适合本地的小范围内的监控，越来越不 适合客户的需求。 2 半数字化时代。也就是所谓的p c 机时代，视频数据的采集与显示是利用 p c 机的高速数据处理能力和高分辨率显示器实现的，信息则是通过d v r 进行存储 与保存的，这样的p c 式d v r 成本低，易维护，上手快，有良好的人机接口，但它 仍然是以模拟的方式进行传输，稳定性差，容易造成死机。另外，在采集设备、 安徽理j f ：大学硕十学位论文 控制方式上较第一阶段并没有什么改进，因此它并不是真正意义上的数字监控系 统。 3 以嵌入式为系统的全数字化时代。该类视频监控产品是以网络为传输媒 介，采用分布式控制方式，从i ； 端图像采集输出的视频信号，经a d 转换后成为数 字信号，并逐步由传统的集中式过渡到集散式控制。该类产品系统稳定性高，软 件容错能力强，实时性和可靠性都大大的得到了提高，应用领域由个别行业到多 重领域，由本地监控到跨省跨区，由提供接入到系统集成化，是目前视频监控市 场的主流。 视频编码和存储技术作为视频监控最重要的两部分，其发展直接决定了监控 产品的市场地位。视频编码技术主要用来负责图像的压缩，以节省存储空间，是 d v r 的核心技术，因此选择怎样的压缩方式很重要。既要考虑到图像的清晰度，又 要考虑到图像的存储量和传输速度，故在本文中采用了性能最佳的压缩方式h 2 6 4 编码标准，它具有较高的压缩效率，较低的码流，容错能力和网络适应性强，既 保存了以往压缩技术的优点，还引进了新技术，可以根据不同的环境使用不同的 传输速率，在低码流、低带宽下能够传输高质量高清晰度的图像。以往的视频压 缩部分都是采用a s i c 或者d s p 来实现编码，但是a s i c 器件不能够重新编程，d s p 灵 活性不够。大规模f p g a 器件不仅具有并行性和灵活性，而且在发生错误时可以重 新编程，在很多设计要求灵活性比较苛刻的场合取代了a s i c 的应用，特别适合做 硬件设计2 1 1 3 4 1 。 而存储技术的要求相对于编码技术来说，只是d v r 的一项附带功能。但是由于 现在人们对视频监控的要求时间越来越长，这就相应的要求存储时间越来越长， 存储容量越来越大，因此原来的只在机箱内部设计存储空间，显然已经不能满足 人们对大容量存储的要求，故存储容量也作为一项重要的技术称为各大厂家竞争 的手段。 因此，对于在视频监控系统中，利用f p g a 器件来研究编码和存储技术具有重 要的理论意义和实践价值。 1 2 视频编码和存储技术的国内外研究现状及存在的问题 1 2 1 国内外研究现状 从d v r 管理软件上来说，国外的d v r 行业相比较国内来说时间较早，监控 软件以他们一贯的风格一致：简洁明了，适应性和针对性强，因其要求有知识产 2 1 绪论 权的保护，所以国外的企业不会公布他们的源代码，更不会因某个客户的需要就 对自己的产品做任何修改，这一特点导致了其产品不太容易在国内立足；而国内 企业在这方面刚好相反，国内企业一般都是为用户提供一系列的服务，在这方面 是国外企业的软肋。 从用户需求上来说，国内外有明显的区别。国外对d v r 大多是“非实时的 要求，而国内对d v r 的要求是“实时、时间长和音视频同步 ，这一差异直接导 致了国内外d v r 产品性质的不同，即国外用户对单帧图像的清晰度要求高，这样 就节省了硬盘空间，而国内用户却要求能够看到2 5 帧秒的连续图像，对单帧图像 没有太明显的要求。 单从国内来说，d v r 产品发展至今已有8 年的时问，因国内各地区的发展部 一样，对d v r 产品的需求也有很大差异。在沿海、珠三角等发达地区需求量大、 监控点多，且发展迅速，而西部这些相对比较落后的地方，视频监控还停留在长 时间录像机的状态。 视频压缩编码技术方面，国外发展有较久的历史，先后制定和改进了许多标 准。如j p e g 和j p e g ，2 0 0 0 标准；在运动图像压缩方面有分中高码率数据压缩编码 的m p e g x ( 1 2 4 ) 标准；以及低码率、甚低码率数据压缩编码标准h 2 6 x 系列： 其后又完成了应用范围更广的h 2 6 4 标准。国内的视频压缩技术虽然比较早，但 直至2 0 0 3 年底才完成了音视频编码标准，即a v s ，是真正完成属于自己的标准， 成为了中国自主制定的首个音视频技术编码标准。应用在高分辨率中压缩效率较 m p e g 2 标准更高，在压缩效率相当的情况下，实现的复杂度又比m p e g - 4 ，h 2 6 4 低，应用的目标非常明确，技术更有针对性，可实现标准、低清晰度等格式不同 的视频压缩。 存储技术方面，目前国内d v r 的存储方式主要有本地存储和网络存储两种， d v r 厂家为了满足广大客户的需求，提高竞争力，使得现在的d v r 大部分的产 品都支持外接磁盘扩展设备，这样的方式基本上是满足了用户对大容量的要求。 不过依旧面临着国外d v r 厂家的竞争压力，具备技术，管理和资金的国外企业给 国内d v r 厂家带来了挑战。 综合来说，d v r 的发展从最初的非实时到现在的实时音视频采集压缩；从最 初m p e g l 的压缩方式到如今的h 2 6 4 压缩方式；硬盘存储量由从最初的2 0 g 到 现在的3 2 t ；从最初简单的录像、存储功能到现在的录像、回放、网络、报警、 控制等各种功能于一体的产品( 3 1 【6 1 。 3 安徽理 人学硕士学位论文 1 2 2 存在的问题 以往的视频编码大多采用d s p 来实现，d s p 虽然可以提供很高的数字处理能 力，并且也可以通过软件编程，但是这种方案的灵活性不够，处理器编程时是按 照顺序执行的，因此难以满足实时性的要求。又因d s p 具有固定的硬件结构，如 内部存储器，并且使用的过程中，还要额外的加一些附加元件，这样不仅增加了 成本，还增大了功耗。还有的视频编码采用a s i c 或a s s p ，这种方案不能重新编 程，这就直接导致在发生错误的时候无法进行补救，若重新设计的话，开发周期 又特别长，浪费了时间又增加了投资成本【4 j 。 存储方面，近几年来，用户对图像质量要求高的同时，对存储容量的要求也 越来越高，若单单的只在d v r 内部扩展存储容量，这样不仅要增大d v r 机箱的 面积，还增大了功耗，甚至会造成机箱内部因散热不良而带来的严重后果。因此， 想办法让d v r 内部的存储转移到外部已经是迫在眉睫的事情。 1 3 视频编码和存储技术的方案选择 纵观d v r 的发展历程，再结合d v r 的市场，提出以下三种方案【5 l ： 方案一：基于p c 主板+ 视频采集卡的p c 式d v r ；此方案就是以w i n d o w s 系 统为基础，一个p c 工控机为主板，加上视频采集卡构成。其中，p c 主板与视频 采集卡之问是通过p c i 插槽连接。此方案最大的优点就是简单直观，容易操作， 只要懂一点电脑知识的人都很容易上手；缺点就是采用w i n d o w s 操作系统，工作 不稳定，因d v r 是一天2 4 小时不问断的工作，先不说程序本身是否有错，光 w i n d o w s 系统工作十天半个月的，也肯定会死机。所以此方案适合懂电脑的部分 人使用。 方案二：基于a r m + d s p 的嵌入式d v r ；此方案因采用的是嵌入式操作系统， 因此就稳定性来说，肯定比第一种方案要好。它是以a r m 为控制主板，d s p 进行 视频编码，配合视频采集芯片，将采集、压缩以及主控芯片集中在一个板子上， 稳定性再次得到了巩固。不足之处就是d s p 编程的灵活性不高，且对工程师要求 高。 方案三：d v r 系统中编码和存储技术的f p g a 实现；该方案是利用了f p g a 芯片强大的内在并行处理能力，将视频采集、压缩编码、总线部分以及主控芯片 集成在一起。又因其灵活性的特点，可以实现视频信号任意多路的输入，从而制 定出不同特性的摄像头。不仅使得系统稳定性得到了保证，同时可以完成对视频 4 l 绪论 编码算法和存储技术的要求。 综上所述，本文采用了第三种方案，视频编码采用整数变换，刚好f p g a 设 计的过程中又不涉及到任何浮点运算，同时f p g a 可以重复多次使用，就算发生 错误，也能及时更改过来。并在内部设置了存储器的同时，为了扩展空间满足用 户的要求，在外围设置了磁盘存储序列。 1 4 本文的研究工作和论文安排 本文的研究工作主要包括两大部分：d v r 系统中h 2 6 4 视频编码和存储技术 的研究。其中编码部分和内部存储器由f p g a 来实现，外扩存储器部分由r a i d 技术来实现。 在d v r 系统的研究中，对d v r 系统的各种方案进行了较为全面的理论分析， 这对d v r 中视频编码和存储技术的研究具有重要的指导性意义。选择了一种最佳 方案之后，研究和分析了d v r 系统的基本原理和整个系统的总体框架，分析了视 频编码方法以及存储技术，根据硬件系统的设计，利用m o d e l s i m 实现仿真验证， q u a r t u si i7 0 实现逻辑综合，进行相应的软件编程设计，在保证系统稳定性的前提 下，f p g a 可以实现整个过程。 论文具体安排如下： 第一章：绪论。首先介绍了本课题研究的背景和意义，接着讲述了它的国内 外发展现状以及市场需求量，提出了d v r 产品目前存在的问题，然后介绍了d v r 产品问世以来所用过的各种方案，结合目前存在的不足，制定了一种适合目前应 用的策略。 第二章：d v r 编码和存储技术的理论知识。首先讲解了d v r 整个系统的结 构以及各个模块的功能，其次介绍了视频编码自产生以来经历的发展阶段，通过 对比分析，选择了性能最佳的h 2 6 4 编码压缩模式，接着就h 2 6 4 编码压缩模式 中用到的几种关键技术进行了讲解。最后讲述了d v r 存储的特点以及设计过程中 遇到的难点，从几种存储方式中，本文选择了一种适合目前发展、满足用户要求 的存储模式。 第三章：f p g a 实现的视频编码技术。本章首先介绍了仿真工具和综合工具以 及硬件描述语言，接着讲述了系统实现的设计方法、实现框图以及组成框图的各 个模块的功能，最后详细的讲述了各个模块的原理、算法、实现，利用m o d e l s i m 软件对编码和存储部分进行仿真并分析结果，q u r a t u si i 对其进行了逻辑综合，实 现了整个编码过程。 5 安徽理：i = 大学硕士学位论文 第四章：d v r 存储技术的解决。首先讲解了d v r 内部存储器的设计及f p g a 实现，其次介绍了外扩存储技术及应用，最后给出了实现方法。 第五章：结论与展望。 6 2d v r 编码及存储的理论知识 2 d v r 编码及存储的理论知识 2 1d v r 的结构和基本原理 2 1 1d v r 的基本结构 一套完整的d v r 系统从结构上来说，主要由机箱、前板、主板、后板和电 源五大部分组成。其中，机箱用来固定各个功能模块平且给硬盘存储等设备提供 相应的位置；前板主要用来安装一些控制按键，方便外部用户操作，同时安装了 各个功能相对应的l e d 来显示当前d v r 状态；主板主要负责音视频的编解码， 根据设定的逻辑对系统的输入进行相应的动作输出；后板上是一些音视频、网络、 报警接口的安装；电源就是提供整个d v r 系统的用电，维持其正常工作。 从d v r 的结构组织上不难看出，整个d v r 的主要功能都集中在内部，因此 本论文主要从内部功能上来讲解d v r 。从内部组成上来分，d v r 主要有音视频 输入子系统、音视频输出子系统、音视频编码、音视频解码、主控系统、存储系 统以及报警、网络、电源等等其他的模块组成【6 1 9 j 。如图l 所示。 袱荡卧湫输出 奎匦| 音视频编码il 音视频解码 壁亡啊一懂圈 匝应运巍 2 1 2 基本原理及模块介绍 图id v r 的结构框图 f i g 1d v r s t r u c t u r ed i a g r a m 基本工作原理就是：前端的模拟摄像头将输出的音视频信号送到音视频输入 子系统中并进行数字化处理。根据现场的需要，数字化之后的信号一部分送入音 视频输出子系统中，用来作为现场的画面和音频显示，并且最终送到标准的音视 频单元中；数字化之后的另一部分信号送入到音视频编码子系统中进行视频压缩 处理，音视频压缩处理后的信号送入到主控系统，主控系统支配着整个d v r 系 7 安徽理：亡大学硕士学位论文 统的各个子系统，同时将压缩之后的音视频码流送入到音视频解码子系统中进行 解码，此时解码必须要与编码时的算法相匹配，并将解码的图像送入到到音视频 输出子系统中，此部分信号是用来作为回放录像的视频，最终输出。 主要模块介绍：音视频输入和输出模块，主要负责将输入的音视频信号进行 数字化处理，对现场的状况进行显示输出，同时可以根据需要进行录像回放；音 视频编码是对输入的数字视频信号进行压缩，解码模块用来解压缩处理，使用时 要求两者算法必须匹配；主控模块，主要负责响应整个d v r 系统的输入并且根 据控制逻辑进行相应的输出；d v r 编码视频的存储、备份和回放是放在存储模块 里。 其他模块介绍：报警子系统主要负责将外部的敏感信号及时传递给主控系统， 有利于系统的维护；网络子系统是用户通过网络用来完成对d v r 所有功能的检 测和操作；环境、外设及控制子系统就是负责对d v r 工作环境的整理清洁，对 设备的维护与控制。 综上所述，整个d v r 系统的关键设计就在于音视频的编解码技术以及存储 问题。如何在能够保证视频图像是质量下，提高视频编解码的技术以及节省存储 空间，将是本文重点讲解的内容。下面将介绍视频编码、解码和存储方面的详细 内容。 2 2 音视频编码的发展过程 视频编码的所有标准都是由i t u t 与i s o 这两大组织制定的。其中，由 i t u t 制定的标准一般应用于像会议电视这样的实时通信领域，如h 2 6 1 到 h 2 6 4 之间的标准；而i s o 主要是应用于像d v d 这样的视频存储，如m p e g 系列。不同阶段产生的视频编码标准在系统的容错能力、图像质量以及传输 码率上都存在不同的差别，所以应根据实际需求选择不同编码标准的d v r 产品。接下来看一下d v r 视频编码标准是如何演变发展过来的。 2 2 1h 2 6 1 i t u t 组织针对像视频会议一样的电信会议制定了h 2 6 1 标准，是第一个设 计成功的视频编码标准【7 1 ，宽带在6 4 k b p s 倍数的综合业务数字网上都可以传输 视频信号，h 2 6 1 视频编码的工作原理如图2 所示。 从图2 中我们可以看出，h 2 6 1 标准能够对亮度分辨率是3 5 2x2 8 8 和1 7 6 1 4 4 的视频进行编码，色度采用4 ：2 ：0 采样，分辨率分别是1 7 6 1 4 4 和8 8 8 2d v r 编码及存储技术的理论知识 7 2 。宏块包括1 6 x1 6 的亮度抽样值和两个相应的8 8 的色度抽样值，是 编码时进行的操作单位。h 2 6 1 采用了混合编码方式，空域冗余是利用基于 运动补偿的帧间预测来消除的，运动补偿是采用运动矢量来进行的，变换编 码部分的空间冗余是采用8 8 的离散余弦变换来消除的，统计冗余是被经 过z i g z a g 扫描和熵编码之后的阶梯量化的变换系数来消除的。h 2 6 1 只有 解码定义，没有对编码器定义，故而可以对输入的任何视频做任何的处理， 在输出显示之前，解码器也可以对输出的视频做任何的处理。 磊i 。 帧内帧问 圉 r 一 ：输入 2 2 2m p e g 1 2 花亟口j 化器( q ) i 一型v l c 卜_ 图2 h 2 6 1 的工作原理图 f i g 2h 2 61v i d e oc o d i n gd i a g r a m t 圜 嘲 l - - - - - 。二。 信道 m p e g l 是m p e g 组织制定的第一个视频与音频有损压缩标准，其数码率为 1 5 m b s ，视频编码框图与h 2 6 1 编码器的类似，特点是帧率灵活，图像尺寸可变 化，随时访问等等。 m p e g 1 编码的方式：帧内算法为了减少空域冗余，采用基于整数的编 码方式；进过d c t 变换编码处理后的帧问压缩算法的预测误差需要进一步 压缩。帧内压缩与帧间图像数据压缩技术须同时使用，这样才能提高压缩比。 时间轴方向上的冗余信息可以通过帧间编码技术来减少。m p e g 1 标准主要 用于数字存储体上活动图像及其伴音的编码压缩，存在清晰度不高、存储容量大 和网络传输困难等不利的地方嘲。 m p e g 一2 在m p e g 1 的基础上作了许多改进，压缩原理是利用空间相关 性和时间相关性这两种图像特性，但基本算法和m p e g l 相同，并与其向下 9 囱囱 安徽理j t ：大学硕士学位论文 兼容，主要应用于数字电视、存储媒体、高清晰等相关的领域，但压缩性能 并未提高，容量大不能用于网络传输，分辨率分别为：低( 3 5 2 2 8 8 ) ，中( 7 2 0 x 4 8 0 ) ，次高( 1 4 4 0 x1 0 8 0 ) ，高( 1 9 2 0 x1 0 8 0 ) 。m p e g 2 提高了分辨率，故而 用户对高清晰的需求得到了满足。 2 2 3m p e g - 4 m p e g 4 编码标准的构成图如图3 所示，一般应用在数字电视、d v d 上 的交互多媒体应用、网络的可视化实验室场景等领域，针对超低比特率压缩 的需求而制定的。 图3m p e g - 4 标准的框架图 f i g 3m p e g - 4s t r u c t u r ed i a g r a m 1 m p e g 4 的特性 m p e g 4 标准除了支持m p e g 1 、m p e g 2 中的多数功能外，它还支持8 项新的功能，为了使用户能够与场景进行交互，提出了存取概念，并是基于内容 ( c o n t e n t b a s e d ) 的，且图像编码系统是开放的，是一种格式、一种框架，可 随时加入新的有效的算法模块9 】【1 们。它对运动图像中的内容进行编码，其编码 对象被称为a v 对象( a u d i ov i d e oo b j e c t ，a v o ) 。a v 对象可以组成a v 场景( a u d i o v i d e oo b j e c ti nas c e n e ，a v o s ) 。m p e g 4 另外的一层意思可以理解为：支持 各种媒体的使用，尤其是关于内容检索和访问等方面的多媒体信息，可以根 据不同的视频标准源格式、码率、帧频的要求，进行图像的有效编码并配置 出解码。如图4 所示是m p e g 4 提供的不同的视频码率与相应功能的关系图。 在这一功能集的底层是v l b v ( v e r yl o w b i tr a t ev i d e o ，甚地位速率电视) 核心，其主要功能有：图像的有效编码、检索以及随时读取。m p e g - 4 的h v b ( h i g h 1 0 2d v r 编码及存储技术的理论知识 b i t - r a t ev i d e o ，高码率视频) 码率范围在6 4 k b s - 1 0 m b s 之间，除了支持v l b v 核 心的功能之外，还支持更高的空间与时间分辨率。h v b 的输入可以是b t 6 0 1 的 标准信号，主要应用在数字电视与交互式检索中的高质量视频信号，与v l b v 核 心采用相同或相似的算法。 码率 h v b 基于； 内容 鼍譬的功能功能 核心l 圳日匕 图4m p e g - - 4 提供的码率与相应功能的关系图 f i g 4s k e t c h o f c o d er a t eo nm p e g - 4 a n df u n c t i o n a ld o m a i n 2 m p e g 4 的编码过程 m p e g 4 视频检验模型提出了视频对象面( v i d e oo b j e c tp l a n e ，v o p ) 的概念，一般用a l p h a 平面来表示v o p ，图像内容即可进行独立的编解码。 其编码过程【i o 】为：为了得到v o p 的具体形状和位置的确切信息，就要 分割出不同的v o p ，这就需要对原图像的序列进行对象分割和场景分析。只 要a l p h a 平面通过发送端发送出以后，v o p 的形状和位置就可以通过接收端 来确定。a l p h a 平面所需的比特数较多，故而通过v o p 的轮廓时，需要在轮 廓编码器中进行压缩编码和传送，a l p h a 平面就可以在接收端恢复。v o p 的 运动和纹理编码采用运动预测补偿法进行的，通过帧存储器中两帧v o p 进 行比较，对差值进行量化、编码，找到运动矢量。为了提高编码效率，可采 用不同的方法对不同对象的运动和纹理信息进行编码。经复接后的比特流 层，在信道上按顺序传送。接收端的解码过程正好与编码过程相反，故不再 讲解l j 。 2 2 4m p e g 7 确切的来说，m p e g 是用来描述多媒体内容标准的，并不是一种压缩编 码方法，它提供一定的信息自由度，故而称其为“多媒体内容描述接口 。 该标准于1 9 9 6 年开始研究，1 9 9 8 年完成，不针对某个具体的应用，是一种 与内容有关的标准化的描述，支持多种音视频描述。 m p e g 7 支持数据的互操作性，如视觉内容较低抽象层、音频较低抽象 层等。较低层可以自动提取，较高层需要人的交互作用，方便用户对不同层 安徽理： 大学硕十学位论文 次上信息的需求。其标准化的范围有：一系列定义特征的语法和语义学、一 系列描述成员之间的结构和语义、一种描述结构和定义的语言以及编码描述 方法。 目前，许多多媒体系统、专业和消费应用方面和经济方面都需要利用音 视频数据来存取和交互，m p e g 7 就是把多媒体内容变成文本数据库内容， 以供用户搜索使用。比如数字图书馆、图像编目这些教育领域的应用、广播 媒体与电视频道选取、多媒体电话号码薄查询、博物馆和艺术馆这些文化服 务、旅游及地理信息等等。 2 2 5h 2 6 3 由i t u t 针对低码流设计制定的h 2 6 3 视频编码标准，比h 2 6 1 标准提 供了更好的图像效果，提高了性能和纠错能力，在其基础上做了一些改善， 算法还与h 2 6 1 标准一样，因此在许多应用场合可以取代h 2 6 1 。h 2 6 3 视 频编码的组成图如图5 所示。 再应零篓 0 一1 篓塑竺垄! 些堡_ - 运动矢量 图5h 2 6 3 编码的框架图 f i g 5h 2 6 3e n c o d e rs t r u c t u r ed i a g r a m h 2 6 3 比h 2 6 1 标准增加的功能有： 1 h 2 6 1 运动估值采用全像素精度，而h 2 6 3 采用半像素，提高了预 测质量。 2 h 2 6 3 采用了事先预测模式，减少了块效应。 3 无限制的运动向量，反映了较快的图像运动，降低误差。 1 2 2d v r 编码及存储技术的理论知识 4 采用了基于语法的算术编码。 5 支持五种分辨率，采用改进的p b 帧模式。 h 2 6 3 + 在h 2 6 3 的基础上提高了压缩编码性能和应用时的灵活性，拥 有太多的视频源格式，图像时钟频率应用范围也有多种选择；另外改进的地 方是可扩展性，在易误码、易丢包异构网络环境下，允许多速率、多显示率 及多分辨率，增强了视频信息的传输。h 2 6 3 + + 又在h 2 6 3 + 基础上增加了3 个选项，提高了编码效率，增强了抗误码性能【1 1 儿4 9 1 。 h 2 6 4 是由i t u t 视频编码专家组和i s o 动态图像专家组联合提出的视频编 解码器，是新一代的高度压缩数字编解码标准1 1 3 1 1 1 6 1 。广泛的应用在图像传输、有 线电视远程监控、图像分割、数字电视、交互媒体和视频会议等场所。其整 体框架如图6 所示。 区 图6h 2 6 4 的框架图 f i g 6h 2 6 4e n c o d e rs t r u c t u r ed i a g r a m 从图中可以看出，h 2 6 4 标准包括两层：视频编码层，主要用来负责高效的 视频表示；网络提取层，主要负责按照网络的要求对数据进行打包和传送，解决 了不同应用中的网络传输的差异。 h 2 6 4 的主要特点【1 2 】1 1 3 j 【1 刀有：编码效率高，与其他编码标准相比，能够节省 大于5 0 的码率；视频画面清晰度高，能够在低码率、低带宽的条件下提供高质 量的视频图像；网络适应能力强，既可以工作在没有延时的视频存储和视频流服 务器中，又可以工作在通信低延时模式下；为了提高了编码效率，h 2 6 4 采用混 合编码结构，增加了如帧内预测、帧间预测、运动估计和4 4 整数变换等新 的编码方式；为了控制或消除误码现象，h 2 6 4 具备了错误处理工具，能够 1 3 安徽理j 人学硕：t ：学位论文 表2 各种视频编码标准的对比分析表 制定年份编码标准码率 主要核心技术应用范围 d c t 、自适应量 1 9 9 3 年 m p e g 一1 1 5 m b p s 化、熵编码、运动预v c d 制作、 测补偿、双向运动补c d - r o m 上的数字电视 偿、半像素运动估计 m p e g - i 所有技数字视盘( d v d ) 制作、 1 9 9 4 年m p b g 一2 2 - 1 5 m b p s术、容错编码、可分高清晰电视、 级编码、基于帧场运数字视频广播、 动补偿卫星传输 无线通信、i n t e r n e 8 k b p s - - m p e g - 2 所有技视音频广播、电视电 1 9 9 9 年2 月 m p b g 一4 3 5 m b p s术、小波变换、重叠话、电子游戏、计算机 运动补偿、零树扫描图形 d c t 、变换编码、会议电视、 1 9 8 8 - 1 9 9 3 年h 2 6 1 6 4 k b p s - - 一运动预测补偿、整像可视电话、 1 9 2 m b p s 素运动估计、b c h 纠 窄带i s d n 错编码 h 2 6 1 所有技术、 1 9 9 6 年 h 2 6 3 8 k b p s - 半像素运动估计补移动可视电话、 1 5 m b p s偿、可选数据流分层网络视频 结构、无限制运动预 测等 1 9 9 8 年和h 2 6 3 + 和 8 k b p s - 一增加1 2 个选项同上 2 0 0 0 年h 2 6 3 + + 1 5 m b p s增加了4 个选项 h 2 6 3 所有技术、 i p 或无线网络视频、 2 0 0 3 年3 月 h 2 6 4 4 k b p s s - 一1 4 像素运动估计、多媒体信息存储、 i m b p s多模式宏块划分、视频监控系统、 整数d c t 变换等实时视频会议系统等 在不同的环境下采用不同的传输和播放速率；为了解决网络传输包丢失的现 象，h 2 6 4 还提供了恢复能力，适用于无线网络传输中。下面将以上介绍的各 1 4 2 d v r 编码及存储技术的理论知识 种编码标准制成表格，从中对比分析出性能最佳的编码标准，如表1 所示。 表2 列出了几种不同编码标准的码率、核心技术和应用范围。通过对比分析 发现h 2 6 4 标准支持多种视频输入格式，压缩率最高，具有其无法超越的诸多 优点。最大的优势是具有低码率和高数据压缩比率，还拥有高质量流畅的图 像。大大的节省了数据流量消费和用户的下载时间。故本文采用的视频编码 标准是h 2 6 4 ，下面就将对h 2 6 4 中用到的关键技术进行详细的介绍。 2 3 h 2 6 4 编码中的主要技术 2 3 1 帧内预测编码技术 图像空间冗余主要是用帧内预测技术来缩减的，即当前的像素值由周围邻近 的像素值来预测后对其误差编码。图像中不同的块尺寸可以定义模式选择。对于 亮度分量，表现图像细节的地方可以用4 x 4 块中9 种预测模式；表现平滑的图像 可以用1 6 x 1 6 块中的4 种预测模式。对于色度分量，取8 x 8 大小，有4 种模式【1 7 1 1 4 0 l 。 1 4 x 4 亮度块模式 图7 是已经编好码的像素a m ，其中( a ) 到( i ) 是a 呻的预测图，从这9 种预测图中可以得到a 叩的预测值。在这里以左下预测模式为例，从式( 2 一1 ) 就 可以得到a 到p 的预测值。 图7 4 x 4 亮度块模块图 f i g 74 x 4 l u m ab l o c km o d e l ma b c defg h i j k l ( b ) 垂直预测 ( b ) v e r t i c a l ( a ) 直流预测 ( a ) d c ma b c defg h i j k l ( c ) 水平预测 ( c ) h o r i z o n t a l 安徽理t 大学硕士学位论文 mab c defg h l 。 j 。 k 。 l 。 ( d ) 左下预测 mab c defg h i 。 j k 、。 l 。 。 ( e ) 右下预测 ( d ) d i a g