（通信与信息系统专业论文）视频通信中的差错隐藏及基于dsp的视频优化技术的研究.pdf

华中科技大学硕士学位论文 = = = = = = = = = = = = = = = 2 = = = = = = = = = = = = = = = = = = = = = = = 一 摘要 近年来，随着计算机和网络技术在世界范围内的普及应用，人类进入了数字化 信息时代。与此同时，人们对信息与通信的需求日益突破地域和时间的限制，视频 通信已成为信息与通信领域中最引人注目的发展方向之一，而以视频编码、存储、 处理为基础的视频技术更是视频通信的核心领域。 作者在研究生阶段参与了“移动多媒体通信中的信源、信道联合编码技术”( 国 家8 6 3 重大专项：“数字视音频编码、传输、测试与应用系统”中的子项目 n o ，2 0 0 2 a a l l 9 0 1 0 ) 和“基于多媒体的远程视频监控系统”项目，主要从事视频通信 的研究。作者的主要工作任务是其中的核心技术视频解码器中差错隐藏技术的研究 和“基于d s p 的m p e g 一4 视频编码器”的实现及优化。 本文首先对视频通信以及视频编码技术做了简要介绍，确定了本文的研究重点， 并对本文的选题和主要工作做了说明。接下来介绍了最新的国际标准h 2 6 4 ，并对其 中的关键技术进行了详细的分析。然后介绍了无线网络传输仿真平台，并且对h 2 6 4 在网络传输中的应用进行了仿真实验。 本文论述了现有的后处理视频解码差错隐藏技术，具体介绍了在h 2 6 4 中使用 的差错隐藏算法，分析了多帧差错隐藏技术的优点，接着阐述了其在场景变换中带 来的差错蔓延的问题。在此基础上，提出一种新的结合场景变换的多帧差错隐藏算 法。实验结果证明，该新算法在对突发场景变换和淡入淡出场景变换中的差错隐藏 处理方面表现出了良好的性能，主观效果和客观效果都要比单纯使用多帧差错隐藏 技术要好。 本文详细探讨了基于d s p 的, m p e g 一4 视频编码器的实现与优化策略。我们在该处 理芯片基础上做了大量的工作，包括程序移植、算法级优化、代码级优化和指令级 优化。然而同许多d s p s 的应用一样，c p u 在高速处理数据的同时，处理速度与片外 数据存取速度的不匹配问题成为系统性能提高的主要瓶颈。作者先介绍该d s p 的结 构以及视频编码器的系统实现框架，接着阐述与硬件结构相关的视频编码关键技术 和优化方法，然后从d s p 中c p u 的c a c h e 特性结构方面展开研究，提出一种适宜于 在d s pc p u 上进行视频数据处理的数据排列新算法，并且将其成功地应用到基于 t r i m e d i ap n x l 3 0 1 的m p e g 一4 程序优化工作中，取得了较为满意的效果。 最后对全文进行总结，对有待继续研究的工作提出初步设想。 关键词：视频通信、差错隐藏、h 2 6 4 、视频编码器、c a c h e 优化 华中科技大学硕士学位论文 - ：= = = = = = = = = 鼻军= = = 皇= = = 皇= = 皇= = = = = = = = = = = = = = = = = = 穹= = = = = = = a b s t r a c t w i t ht h ew o r l d w i d ep o p u l a r i z a t i o no f c o m p u t e r a n dn e t w o r k t e c h n o l o g yr e c e n t l y , t h e h u m a nb e i n gh a se n t e r e dt h ed i g i t a li n f o r m a t i o ne r a a tt h es a m et i m e ，t h en e e do f i n f o r m a t i o na n dc o m m u n i c a t i o nh a sn or e s t r i c to fs p a c ea n dt i m e ，a n dt h ev i d e o c o m m u n i c a t i o nh a sb e e no n eo ft h eh o t s p o ti nt h ei n f o r m a t i o na n dc o m m u n i c a t i o na r e a ， f u r t h e r m o r e ，t h ec o d i n g ，s t o r a g e ，p r o c e s s i n go fv i d e o i st h ec o r ea r e ao ft h ev i d e o c o m m u n i c a t i o n u n d e rt h e s u p p o r t f r o mt h en a t i o n a l h i g ht e c h n o l o g y r & dp r o g r a m ( n o 2 0 0 2 a a i 1 9 0 1 0 ) 一“d e m o n s t r a t i o ns y s t e mo fd i g i t a la u d i o v i d e oc o d e c ，t r a n s m i s s i o n ， t e s t i n g a n d a p p l i c a t i o n ”a n d “r e m o t e v i d e om o n i t o ra n dc o n t r o l s y s t e m b a s e do n m u l t i m e d i ac o m m u n i c a t i o n ”，t h ew o r ki n t r o d u c e di n t h i sd i s s e r t a t i o nh a sr e s e a r c h e d p o s t p r o c e s s i n ge r r o rc o n c e a l m e n to f v i d e od e c o d e ra n dt h ei m p l e m e n t a t i o no fr e a l t i m e m p e g 一4v i d e oe n c o d e rb a s e do nd s rt h ed i s s e r t a t i o ni so r g a n i z e da sf o l l o w s f i r s t l y , a no v e r v i e wo f t h ec h a r a c t e r i s t i c sa n ds t a n d a r d so fv i d e oc o m m u n i c a t i o na n d c o m p r e s s i o ni sg i v e n ，w h i c hi l l u m i n a t e st h er e s e a r c hc o n t e n to f t h i s d i s s e r t a t i o n t h e n ， s o m ek e yp o i n t so ft h el a t e s tv i d e oc o m p r e s s i o ns t a n d a r d h 2 6 4i s p r e s e n t e d a n dt h e s i m u l a t i o np l a t f o r mo fw i r e l e s sc o m m u n i c a t i o na n dt h ee x p e r i m e n to ft h et r a n s m i s s i o no f h 2 6 4b a s e do ni ti sb r o u g h to u t a t i e rt h a tt h ee r r o rc o n c e a l m e n t t e c h n o l o g i e si nt h er e c e n ty e a ra r er e v i e w e d a n dt h e a l g o r i t h ma d o p t e db y - h 2 6 4 i sd e s c r i b e di nd e r a i l m e a n w h i l e t h e a d v a n t a g e o f m u l t i f r a m ee r r o rc o n c e a l m e n ta n dt h e d i s a d v a n t a g e o fi ti nt h es c e n e c h a n g ea r e a n a l y s e dt h e n ，an e wm u l t i f r a m e e r r o rc o n c e a l m e n ta l g o r i t h mb a s e do ns c e n e c h a n g e d e t e c t i o ni s p r o p o s e d t h ee x p e r i m e n tr e s u l t s h o w st h a t t h i s a l g o r i t h mh a sa b e t t e r p e r f o r m a n c e i nt h es i t u a t i o no fa b r u p ta n d g r a d u a l s c e n e c h a n g e t h a nt h e o r i g i n a l m u l t i f r a m ee r r o rc o n c e a l m e n t t h e nt h em p e g 一4c o d e cb a s e do n p h i l i p st r i m e d i ad s p s i sd i s c u s s e d a n dt h ef o c u s i st h ei m p l e m e n t a t i o na n d o p t i m i z a t i o no f t h ec o d e c al o to fw o r k r a n g e df r o ma l g o r i t h m o p t i m i z a t i o n ，c o d eo p t i m i z a t i o nt oi n s t r u c t i o no p t i m i z a t i o nh a v eb e e nd o n e w h i l ea p r o b l e m w i t ht h ev l i wd s p si st h a tt h es p e e do f c p u p r o c e s s i n gi sn o tc o m p a t i b l ew i t h t h a to ft h eo f f - c h i pa c c e s s e st om a i n m e m o r y , w h i c hi sr e s p o n s i b l ef o rc p u p r o c e s sd e l a y i i 华中科技大学硕士学位论文 t h u si tb e c o m e sab o t t l e n e c ko fd s p p e r f o r m a n c e an e wd a t a 1 a y o u ta l g o r i t h mf o rv i d e o d a t ap r o c e s s i n gb a s e do i ld s pc p u a c c o r d i n gt ot h ec a c h ea r c h i t e c t u r ei sp r o v i d e d a n d i ti sa p p l i e dt ot h eo p t i m i z a t i o nw o r ks u c c e s s f u l l yn l ee n c o d i n gr e s u l t sd e m o n s t r a t et h e e f f e c t i v e n e s so ft h i s a l g o r i t h m i n e l i m i n a t i n gc a c h em i s s e sa n dc a c h eb a n kc o n f l i c t s f u r t h e r m o r e ，i tr e d u c e st h ec o s to fo f f - c h i pa c c e s s e s a n dt h ee n c o d i n gp e r f o r m a n c eh a s i n c r e a s e da b o u t2 f s ( c i f ) w i t ht h i sa l g o r i t h m l a s t l yt h i sd i s s e r t a t i o ni sc o n c l u d e da n df u t u r er e s e a r c hd i r e c t i o n sa r ed i s c u s s e d k e yw o r d s ：v i d e oc o m m u n i c a t i o n ，e r r o rc o n c e a l m e n t ，h 2 6 4 ，v i d e oc o d e c ，c a c h e o p t i m i z a t i o n i i i 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及 取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包 含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出 贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明 的法律结果由本人承担。 学位论文作者签名：庙丸佳 日期：v 憎丰年辱月多护日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即： 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许 论文被查阅和借阅。本人授权华中科技大学可以瘸本学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存和汇编本学位论文。 保密口，在一年解密后适用本授权书。 本论文属于 不保密囵。 ( 请在以上方框内打“”) 学位论文作者签名：彦丸值 日期：m 辱年4 月日 指导教师签名等盘互 日期：泸仁年月弓口日 华中科技大学硕士学位论文 1 1 引言 1 视频通信中编码技术的现状及其硬件实现 近年来，由于i n t e m e t 的迅猛发展和通信行业的日新月异，数字视频通信增添了 两个新的领域一个以i n t e r e n t 为基础，而另一个则以宽带传输为基础。同时，国 际化标准的日趋完善，也使视频透信的发展上升到了一个新的水平。本章先对视频 通信的概念、特点和应用，视频编码技术的现状、发展方向及相关国际标准进行了 概要性的介绍，然后简介d s p 的原理和应用，最后对本论文的选题和主要工作作了 说明。 1 2 视频通信简介 网络音视频应用在日常生活中越来越重要。视频电话、视频会议、视频电子邮 件、视频流、数字电视、高清晰度电视( h d t v ) 、视频点播( v o d ) 、远程教育、远程 合作和远程监控的应用则是其中的几种。图卜1 为音视频通信系统的一般结构。 嚣7 孙 删编码器 。国麓并簪哼一| | 寸鞋一翼 t 1 2 0 乐删等 删 蠡 数搿弛信装w 譬 墓 接 h2 4 x ，h2 3 0 全 1 s 制到端控制。”0 。 端到网络信峙一 - ： q 1 9 3 # q2 9 3 th2 5 5 0 奇视频迥佑终端 图1 1 音视频通信系统的一般结构 华中科技大学硕士学位论文 ：= = 口= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 在不远的将来，服务器载荷和网络负担随着i p 组播的广泛应用将得到缓解，主 干带宽日益增多，许多与i n t e r n e t 上的视频通信相关的问题都能一得到解决。然 而，因为人们对高质量的追求永无止境，这些问题可能得不到完全的解决。当可以 在i n t e r n e t 上广播赢质量视频时，用户就会要求商清晰度电视。而且，还可能出现 对三维或者全息电视的需求。所以，随着i n t e r n e t 的发展，对视频应用的需求也会 随之增加。 一个成功的实时i n t e r n e t 视频传输系统不能仅仅能够在比较差的网络中实现， 而应该减少一般网络问题带来的视频质量的下降。i n t e r n e t 的层次性结构允许视频 通信应用能在一个比较广泛的带宽范围内存在。而且，这些视频应用应该可以根据 网络拥塞情况自适应地进行调整。通过自适应调整，视频通信的广泛应用不会对其 它网络应用的性能产生影响。 i n t e r n e c 以及其全面的协议栈为未来的视频网络提供了许多工具。建立一个基 于i n t e r n e t 的完整的视频通信系统需依靠用于处理各种任务的协议，如呼叫控制、 会话控制、目录协助和信道预留等，如由i e t f 组开发的r t p 协议。在i n t e r n e t 上， 任何形式的压缩了的媒体( 如h 2 6 x m p e g g 7 2 8 ) ，与其它数据一起，通过r t p u d p i p 栈提供的装置以复用同步的方式来进行传输。这种方式也可以用来建设未来的统一 信息基础设施。其中，数据也可以直接传送到网络接口。而且端到网络信号也可以 经过多媒体复用传送到网络接口。 在一般的情况下，视频序列的传输是同步的服务，所以对时延比较敏感【2 】。如果 传输导致了人眼无法容忍的误差，那么在接收端就需要对这个误差进行弥补。容忍 度视图像目标质量而定。高质量视频传输，如当今的电视视频的传输，通常只允许 几毫秒的延时。而该标准对更简单的视频设备则可以放宽。对于交互的视频通信， 总时延也相当重要，即不能超过1 5 0 m s 。图1 2 是一个典型的视频通信系统基本框 架。 视频编码的目的在于使视频能以更窄的带宽、更高的质量通过数字形式传输和 存储。如果视频信号是以模拟形式来传输，如现在的电视网，则不需要视频编码。 然而，我们必须e 视现在以及将来向数字传输的转变，或者是二个模拟和数字技术 的结合。 除非要求特别高，当前和将来的视频应用还会利用p s t n 和p l m n ，并且作为 这些网络的附加服务。因为近来快速发展的编码技术，这些都成为可能。而以前， 没有任何一个带宽少于6 4 k b p s 的网路被认为是适合视频传输的。在p s t n 和p l m n 中，8 - 1 6 k b p s 都可以适用于一个非常简单的可视电话服务。 要求最高的应用可能是高清晰度电视( h d t v ) 。适合这种应用的是需要1 6 m b d s 华中科技大学硕士学位论文 带宽或者更高带宽的高质量编码。 吞i i 遗可靠性延时 图l 一2 一个典型的视频通信系统的基本框架 视频会议，这个发展非常快的业务，需要一个大范围内的带宽，即6 4 - 2 0 4 8 k b p s 。 一个常见的带宽是3 8 4 k b p s 。视频服务可以与数据服务结合在一起。拥有窗e l 技术的 p c 机和工作站可以作为终端。 1 3 视频编码技术与国际标准 传输一幅拥有2 2 百万象素、每象素2 4 比特的未压缩的h d t v 图像原始码流， 带宽根据图像频率，需要1 5 - 3 g b p s 。很明显，通过精细的编码，带宽可以降至2 0 m b p s 。 一种降低带宽需求的方式就是发送连续图像间的残差信息( 可以与用于语音的 a d f c m 做比较) 。我们使用特殊的可变比特率编码器来对图像间的差值进行编码口l 。 视频编码技术发展的另种方式是制定一种普遍适用的，或者说独立于应用的 编码标准。这种标准将极大地增加对多种服务使用同一终端的可能性( 比如说，在 可视电话上看电视，反之亦然) 。 我们能利用人类视力的特点束减少数据量，以此达到减少传输比特数的目的。 特点之一便是它不能跟随非常快的运动，尤其是不能发觉这些部分的变形。我们还 可以利用另外一个现象：一幅图像的大部分的运动都是相同的。这意味着，我们能 通过发送局部区域的运动矢量来减少数据量。 要减少数据量还可以通过可变长编码( v l c ) ：最经常出现的字符被分配给最短 的码字，而不经常的字符则使用长码字。 华中科技大学硕士学位论文 所以，在减少运动图像中的信息量的同时又保持一个可接受的质量，有许多办 法，如：特殊的数字编码方式、发送连续图像中的差值信息、发送快速运动中的低 频信息、发送单一运动中的运动矢量、为图像中不同的字符发送不同的码字等。这 些方法都是在有效的编码、利用视力的特点和图像本身特性的基础上的。当然，图 像的分辨率也可以被减少，而且每秒可以发送更少的图像。但是这样会带来图像质 量的降低。 因为现今大部分编码方法解决同样的问题，所以它们或者单独使用，或者联合 起来使用，而且大部分都已经有成形的产品，其它编码算法也正处于发展之中。在 将来，分形压缩图像算法可能会非常重要，但是现在正在使用的最重要的编码技术 包括对单幅图像进行编码j p e g ，对视频进行编码的h 2 6 3 ( p 6 4 ) ，以及对视频和音 频都进行编码的m p e g 技术还有属于苹果公司的q u i c k t i m e 、微软公司的w i n d o w s 视频专有技术等。 下面我们将根据应用编码技术的目的来描述对编码技术的一些要求。 1 3 1 编码要求 高数据率可以采用合适的编码技术来达到大幅度的降低，而且在这一领域内的 研究、发展和标准化工作在最近几年内取得了突飞猛进的进展，并且成了多媒体系 统不可或缺的一部分。它们一般需要满足下列需求鸭 ( 1 ) 为了支持同样的数据在不同系统上的显示，有必要定义一种独立于帧大小和 视频帧速率的格式： ( 2 ) 视频编码技术能支持不同的数据率，从而可以根据系统的状况来调节数据率： ( 3 ) 能够精确地对音频和视频进行同步处理，可以使系统程序做到与其它媒介同 步； ( 4 ) 在今天利用软件或者一小块v l s i 芯片的情况下，能够实施比较经济可行的解 决方案： ( 5 ) 这些技术可以使不同的系统之间能够进行互操作，同时做到在本地多媒体系 统中产生的数据也能够在其它系统中向样产生。这样，参与人员可以利用他 们自己的系统柬读驳数据。同时，由于许多应用利用通信网络在各系统之间 交换多媒体数据。这些编码技术必须是兼容的。 4 华中科技大学硕士学位论文 = = = = = = $ = = = = = = = = = = = = = = = = = = = = = = = = 一 1 3 2 视频编码的国际标准 随着视频编码技术的广泛应用和各国高度的重视，为适应全球工业与经济的飞 速发展，国际标准化组织加快了将图象和视频编码的研究成果制定为相应的标准。 图i ；3 所示为视频编码标准的发展历程【5 1 ： im p e g ；豢泌黉剽 m p e c 。4 i ? i ， is 伯n d a f d 8 1 9 8 41 9 8 61 9 8 81 9 e 09 9 21 9 9 41 9 9 6 1 9 9 82 0 0 0 2 0 0 2 2 0 0 4 图1 3 视频编码标准的发展历程 ( 1 ) i t u - th 2 6 1 、h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + 、h 2 6 l 推动h 2 6 1 视频标准的动力来源于i s d n 。很早的时候，i s d n 的蓦本应用是视频 电话和视频会议系统。这些对话应用要求编码和解码都必须实时进行。1 9 8 4 年，c c i t t 中研究小组x v 建立了一个专家委员会，致力于制定运动图像的压缩标准。经过5 年 的工怍之后，c c i t t 推荐的为在p 6 4 k b s 速率下开展视听业务指定的视频编解码标 准i - i 2 6 1 最终完成，并且在1 9 9 0 年1 2 月被采纳 6 1 。 i t u 研究组x v 的建议h 2 6 1 是为编解码过程中的实时处理而指定的。在压缩和 解压缩过程中的最大的信号延时不得超过1 5 0 毫秒。如果端到端的延时过大，那么 采用这种标准的对话应用中的主观交互性将会极大地下降。 h 2 6 3 是在1 9 9 6 年发布的i t u t 临时标准，用来在许多应用中取代h 2 6 1 。h 2 6 3 是为低比特率传输而设计的。初始的设计是为了适应在6 4 k b s 以下的数据率，后来 又进行了一定的修改。作为i t u th 3 2 0 标准组中的一部分，h 2 6 3 可以应用于很范 围内的数据率的传输，而不仅仅是低比特率应用。 在视频压缩的效率方面，h 2 6 3 是现在可获得的最好的技术之一。h 2 6 3 编码算 法类似于h 2 6 1 ，不过做了一些改进和变化，以便进一步提高性能，而且加入了纠错 机制。下面列举了h 2 6 l 和h 2 6 3 编码算法的主要区别【7 j 。 1 ) h 2 6 3 采用了半象素精度进行运动补偿，而h 2 6 1 采用带有“环路滤波器” 的象素精度。 2 ) 在h 2 6 3 中，数据流的层次结构的一部分可供选择，这样编鳃码器就可以为 华中科技大学硕士学位论文 低比特率进行配置，或者更好地进行纠错。 3 ) h 2 6 3 包括四个可选择和协商的参数用来提高性能： a 不受限的运动矢量模式； b 基于语法的算术编码模式； c 高级预测模式； d 前向和后向帧预测( 类似于m p e g 中的p 帧和b 帧) 。 4 ) 在利用改进的协商选择后，h ，2 6 3 可以在采用不到一半比特数的情况下获 h 2 6 1 一样的图像质量。 5 ) h 2 6 3 支持5 种分辨率。除了h ，2 6 1 支持的q c t f 和c i f ，h 2 6 3 还支持$ q c i f ， 4 c i f 和1 6 c i f 。 h 2 6 3 + 是现存h 2 6 3 标准的一个计划实施的扩展。它能够获得的性能提高可能 会非常小，尤其是在编码选择这一块。将要加入到h 2 6 3 + 中的一些例予包括4 4d c t 变换，改进的帧内编码，还有在预测环中的一个解块滤波器( 8 】。 h 2 6 1 是i t u f 在制定的新的视频编码标准，它采用与h 2 6 3 不同的编码技术以 期待获得比h 2 6 3 最佳版本还要高的编码性能。所采用的技术有队在预测编码方法 中，采用自适应运动精度方法和仿射模型来提高运动估计的精度：对于预测误差编 码，采用矢量量化和小波进行编码；为了增强帧间编码的性能，采用了小波编码的 方法。同时，采用高效的变长码表的索引，提高熵编码的效率。目前，国内外有很 多研究机构在从事h 2 6 l 的研究。其中美国的u bv i d e o 已经发布其在基于t i 公司 t m $ 3 2 0 c 6 4 x 开发的h 2 6 l 编码器【i 。1 ，相信凭借其卓越的性能，应用前景将会十分广 泛。 ( 2 ) i s o i e cm p e g 1 - 2 ，- 4 ，- 7 - 2 1 m p e g 是由i s o i e cj t c i s c2 9 w g1 1 开发和定义的，它包含了运动视频的编 码以及语音编码】。 1 9 9 3 年8 月通过的m p e g 1 ( 即i s o i e c l l l 7 2 ) 是l5 m b p s 数据传输率的数字 存储媒体运动图象及其伴音编码的国际标准【1 2 】。它的视频部分与h 2 6 l 及h 2 6 3 原 理图大致相同。然而，m p e g 1 主要是针对存储媒体的视频编码标准，而h 2 6 1 和h 2 6 3 主要是针对传输的视频编码标准。故m p e g 1 在顾及图象质量、压缩比的同时还要 考虑对序列图象进行随机访问和编辑的方便。m p e g 1 在充分参考h 2 6 1 以及j p e g 的基础上，加入了双向预测帧b 帧，从而提高了压缩比。对随机访问和编辑的 支持出每秒2 个i 帧来支持，它不需依赖p 帧和b 帧而独立解码。 1 9 9 4 年1 1 月通过的m p e g 一2 ( 即i s o i e c l 3 8 1 8 ) 主要是针对数字视频广播 ( d v b ) 、高清晰度电视( h d t v ) 、数字视盘( d v d ) 等制定的高于1 5 m b p s 运动 华中科技大学硕士学位论文 = = = = = = = = 2 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 图象及其伴音的国际标准【i 引。m p e g 一2 的制定，充分地考虑了对m p e g 一1 兼容，对图 象质量和数据率的多层次需求，因此其最大的特点在于支持格式多，兼容性好并易 于扩展。m p f g 2 不仅支持帧编码而且支持场编码；不仅支持m p e g i 比特流，而且 支持更高时域和空域分辨率。m p e g 2 另一特点是其可伸缩性。 m p e g 一4 在1 9 9 8 年1 1 月发布，被正式指定为i s o ，i e c1 4 4 9 6 ，并且在1 9 9 9 年1 月被采纳为一个国际标准【l ”。m p e g 4 最初的目标是极低比特率的音频视频编码压 缩标准，主要适用于p s t n 上的视频通信或移动通信网络，但是随着研究工作的深 入，它所包含的内容和将要起的作用已经远远超出了最初的设计思想。m p e g 4 目的 是寻求支持数字音频视频数据通信、存取和管理的新途径，它为多媒体数据压缩提 供了一个更为广阔的平台，它更多定义的是一种格式和框架，而不是具体的算法， 以支持各种各样新颖的和高效的功能。 m p e o - - 4 采用了各种方式对可视化对象进行编码。这些方式被定义为针对自然 图像和视频的一系列工具和算法，用于有效地对图像、视频、纹理、2 维和3 维网络， 以及采用时变方式制作网格动画的几何流进行压缩。现在已经存在随机访问和操作 各种类型可视化对象的工具。而且，m p e g - - 4 也支持基于内容的编码和基于内容的 空间、时间和定性的可伸缩性。对于自然内容，m p e g - - 4 提供了防止差错的鲁棒性 机制，以及在容易出现差错的环境下针对差错的弹性机制。 ( 3 ) i t u 与i s o i e c 的融合j v t j v t ( j o i n tv i d e ot e a m ) 是 t u 与i s 0 e c 联手成立的一个新的组织，j v t 囊括 了这两个组织中曾经设计出m p e g 一2 和h ，2 6 2 的精英，将有力地推动视频标准的发展 1 s j o 现在j v t 已经接手i t u 原有的h 2 6 l ，并将在此基础上创造新一代的视频编码标 准。这个标准已于2 0 0 3 年8 月被采纳为m p e g 一4 标准的一部分( p a r t1 0 ) ，同时也成 为i t u t 的建议之一( h 2 6 4 ) 。在本文后面的章节将详细讨论h 2 6 4 视频编码标准的 内容、关键技术及其实现。 1 。4 视频编码的硬件实现 自从视频编码的标准公布以来，出现了很多软件实现方案。但是这些方案对用户 使用的机器配置要求很高，而且软件编解码非常消耗系统的资源。而近年来，数字 信号处理芯片以其精度高、速度快、功耗小、可靠性高、易于集成等优点被越来越 广泛地用来作为各类嵌入式系统的核心处理器。这些硬件平台的高速发展，使高效 实时的硬件编码成为可能。 华中科技大学硕士学位论文 1 4 1d s p 芯片的特点 d s p 在功能上的特点在很大程度上是针对数字信号处理算法的特点。通过对d s p 结构的优化实现的。d s p 在结构上有以下主要特点【l “： ( 1 ) 算术单元 a 硬件乘法器：在d s p 内部一般设有专门的硬件乘法器来完成乘法操作，以提 高乘法速度。硬件乘法器是d s p 区别于通用微处理器的一个重要标志。 b 多功能单元：为了进一步提高速度，d s p 内设置多个并行操作的功能单元 ( a l u 、乘法器、地址产生器等) 。针对乘加和运算，多数d s p 的乘法器和 a l u 都支持在一个周期内同时完成一次乘法和一次加法操作。 f 2 ) 总线结构 对于面向数据密集型算法的d s p 而言，采用了具有独立程序总线和数据总线 的哈佛总线结构，这样d s p 就能够同时取指和取操作数。 f 3 ) 专用寻址单元 d s p 通常都有支持地址计算的算术单元地址产生器。地址产生器与a l u 并行工作，因此地址的计算不再额外占用c p u 的时间。 ( 4 ) 片内存储器 片内存储器不存在外部存储器的总线竞争和访问速度不匹配的问题，可以缓 解d s p 的数据瓶颈，充分利用d s p 强大的计算能力。 ( 5 ) 流水处理 除了多功能单元外，流水技术使是提高d s p 程序执行效率的另一个主要手段。 流水技术使得两个或更多不同的操作可以重叠执行。 1 4 2d s p s 芯片的应用 现代数字信号处理器是执行高速数字信号处理的i c 电路、它恰好适应多媒体信 息化社会需求，迅速发展壮大。如今，d s p 的应用领域仍在不断地扩大，发展迅速 异常。d s p 在信号处理、通信、语音、图形图像、自动控制、家用电器等领域都有 大量应用。而且，随着科学技术的发展，将会出现许许多多的d s p 新应用领域。 1 5 论文选题和主要研究内容 作者作为主要研究人员参与了“移动多媒体通信中的信源、信道联合编码技术， ( 国家8 6 3 重大专项：“数字视音频编码、传输、测试与应用系统中的子项目) 和 华中科技大学硕士学位论文 ：= = = = = = = = = = = = = = ；= = = = = = = = = = = = = = = = = = = = = = 一 “基于多媒体的远程视频监控系统”项目，对视频解码器的错误隐藏技术和基于d s p 的m p e g - - 4 视频编码器的研究。本文内容安排如下： 第一章总结了视频通信的基本框架和发展前景，介绍并比较了视频编码技术和 相关的国际标准，对视频编码的硬件实现进行了探讨，并介绍了d s p 芯片的特点和 应用。最后对本文选题和主要工作作了说明 第二章讨论了最新视频编码技术的发展以及h 2 6 4 视频编码标准的特点，对其 中的关键技术进行了详细的分析。并介绍了基于3 g p p 的无线网络传输仿真平台以及 仿真要求和步骤，最后介绍h 2 6 4 在无线网络中的仿真实验，对实验结果进行了分 析，阐述了在解码端进行差错隐藏的重要性。 第三章回顾了近年来视频通信中的差错隐藏技术，概括了后处理的传统差错隐 藏算法。接着介绍了h 2 6 4 中使用的差错隐藏技术，并且在其基础上，提出了一种 新的结合场景变换的多帧差错隐藏算法该算法有效地抑制了场景变换中的差错蔓 延，并且图象的p s n r 值有2 - 4 d b 的提高。最后，对该算法的延时和时间复杂度进 行了分析，介绍了其在实时应用中的有效性。 第四章实现了一种基于d s p 的m p e g 4 视频编码器，介绍了视频编码器硬件实 现系统框架。根据不同的优化目的，结合m p e g 一4 算法特点，分三部分介绍了基本 优化过程。然后重点介绍了针对d a t ec a c h e 结构的优化思想，提出一种适合在d s p 上进行视频数据处理的数据排列新算法，降低了d a t ac a c h em i s s 的次数，提高了 c a c h e 利用率，从而使整个系统的性能都有提高。最后对下一步的功罪提出了设想。 第五章以适合硬件实现为基本思想，提高图象的质量为主要目的，对全文中编 解码算法的改进、基于d s p 的移植和优化工作进行了总结和概括。 华中科技大学硕士学位论文 = = = = = = = = = = = = = = = = = = = = = = 2 = ；= = = = = = = = = = = = = = = = = = = 2 1 引言 2h 2 6 4 技术分析及其在网络传输中的应用 h 2 6 4 a v c 是1 1 u t 视频编码专家组( v c e g ) 和i s o ，i e c 运动图像专家组 ( m p e g ) 的最新视频编码标准。h 2 6 4 a v c 标准的主要目的是提高编码效率，并且 提供一种可以在“对话型”( 视频电话) 和“非对话型”( 存储，广播或者流媒体) 应用中基于“网络友好性”的视频描述方式 】”。h 2 6 4 a v c 与现存的标准相比，在 率失真方面有很大的进步。本章中将对h 2 6 4 a v c 的关键技术做一个详细的描述， 同时提及用于实验的网络模型3 g p p 和h 2 6 4 在网络中的应用。 2 2h 2 6 4 a v c 关键技术 h 2 6 4 a v c 在广泛的领域中提供了技术解决i 瓦蓣编i 亏磋 方案：如在电缆、卫星、线缆调制解调器、d s l 虿 一 和陆地上的广播：在光磁设备上交互式的或者顺薮，己编码的宏块 序的存储，d v d 等；在i s d n 、以太网、l a n 、借一一- 数据分割 d s l 、无线和移动网络上的通信服务、视频点播 ，己编码区域 或者多媒体流技术和多媒体短信业务( m m s ) ：网络提取层 调制解调器上的通信服务等d 8 i 。而且，在现存和二二二二二二二二二二一一 将来的网络上可以丌发出更多 “i 3 2 0 ”! ：曼+ l ? j 3 7 竺- 2 e t c 一, 的应用。这样带来的一个问题是怎么控制各种 图2 1h 2 6 4 a v c 视频编码器结构 应用和网络。为了描述灵活性和用户性， h 2 6 4 a v c 包括了一个视频编码层( v c l ) 和一个网络提取层( n a l ) 。其中，前 者有效地描述了视频的内容：后者将视频的v c l 形式格式化，并且根据不同的传输 层或者存储媒介加上头信息，如图2 1 所示【1 9 j 。 相对于以前的视频编码方法，如h 2 6 3 + ，h 2 6 4 a v c 之所以能达到更好的编码 效率，是因为它对预测图像的方法等进行了有效的改进。v i l l el a p p a l a i n e n 2 0 】等人 在同样的测试平台中比较了两者p s s r 值以及比特率之间的差别。其中，参数设置如 表2 一l 所示。 华中科技大学硕士学位论文 表2 一lh ，2 6 4 和h ，2 6 3 + 编码器的编码参数 参数 h 2 6 4 h 2 6 3 + 每帧q r , 值 1 6 ，2 0 ，2 4 ，2 8 ) 8 ，1 3 ，2 0 ，3 0 ) h a d a m a r dt r a n s f o i t l lo nn a 块匹配算法全搜索全搜索 最大搜索范围 1 51 5 运动矢量精度1 4 象素1 2 象素 参考帧数 ll 错误健壮性( 额外的块内编码宏块刷新) o 霞o f f 速率控制o f ro f f r d 优化运动矢量和模式选择o no n r d 优化的量化 o f f o f r 跨越图像边界的运动矢量 o n 0 r l 重叠块运动补偿n ao n 运动块大小1 6 1 6 ，1 6 8 ，8 x 1 6 ，1 6 1 6 ，8 8 8 8 ，8 4 ，4 8 ，4 4 帧内预测0 1 3o n 解块边缘滤波器块大小 4 4 8 8 改进的色度系数量化o no n 以“c o n t a i n e r ”q c i f ( 1 7 6 t 4 4 ) 序列为例，在帧率为l o f p s 的情况下，p s n r 值的对比如图2 _ 2 所示。 图2 - - 2 对c o n t a i u e r 序列的压缩性能对比 华中科技大学硕士学位论文 图2 3 n 示n h 2 6 4 a v c 编码器框图【2 ”。在本节中，将介绍s 1 i c e 和s l i c e 组、帧 内预测技术、帧间运动估计与运动补偿以及l 4 象索精度差值等关键技术。 2 2 1s l i c e 和s l i c e 组 图2 3h 2 6 4 a v c 编码器框图 s l i c e 是一组以光栅顺序扫描而菲可变宏块顺序- = 4 次 图2 1 8h 2 6 4 码流网络传输实验效果图 图2 1 4 不同重传次数下p s n r 值对比 从图2 1 3 和图2 一1 4 可以看出，在简单的错误隐藏算法和不加入信道编码的 情况下，在网络中传输的h 2 6 4 视频的p s n r 值有很多下降，主观效果随着重传次数 的增加略有好转。所以视频解码中的差错隐减技术研究将非常重要。我们在下一 章将详细介绍差错隐减的具体算法。 2 5 本章小结 本章介绍了最新视频编码标准h 2 5 4 ，对其中的关键技术如s l i c e 和s l i c e 组、 帧内预测、p 、b - - s 1 i c e 运动估计与补偿算法做了详细的探讨。接着描述了无线网络 传输仿真平台的仿真环境、要求和步骤，最后给出了h 2 6 4 码流在该仿真平台上的 试验结果和评价，引出了在视频解码端进行差错隐藏的必要性，为下一