（信号与信息处理专业论文）基于h264的无线传输差错控制及解码器的arm实现.pdf

摘要 信息化社会的到来以及i p 技术的兴起，正深刻的改变着电信网络的面貌以及 未来技术发展的走向。无线通信技术的发展为实现数字化社区提供了有力的保证。 而视频通信则成为多媒体业务的核心。如何在环境恶劣的无线环境中，实时传输 高质量的视频面临着巨大的挑战，因此这也成为人们的研究热点。 对于无线移动信道来说，网络的可用带宽是有限的。由于多径、衰落、时延 扩展、噪声影响和信道干扰等原因，无线移动通信不仅具有带宽波动的特点，而 且信道误码率高，经常会出现连续的，突发性的传输错误。无线信道可用带宽与 传输速率的时变特性，使得传输的可靠性大为降低。 视频播放具有严格的实时性要求，这就要求网络为视频的传输提供足够的带 宽有保障的延时和误码率。为了获得可接受的重建视频质量，视频传输至少需 要2 8 k b p s 左右的带宽。而且视频传输对时延非常敏感。然而无线移动网络却无法 提供可靠的服务质量。 基于无线视频通信面临的挑战，本文在对新一代视频编码国际标准h 2 6 4 a v c 研究的基础上，主要在提高其编码效率和h 2 6 4 的无线传输抗误码性能，以及如 何在嵌入式环境下实现h 2 6 4 解码器进行了研究。 结合低码率和帧内刷新，提出一种针对感兴趣区的可变帧内刷新方法。实验 表瞬该方法可以使用较少的码率对感兴趣区域进行更好的错误控制，以提高区域 图像质量，同时能根据感兴趣区及信道的状况自动调整宏块刷新数量，充分利用 有限的码率。 为了有效的平衡编码效率和抗误码能力的之间的矛盾，笔者提出了一种自适 应，m o ( f l e x i b l em a c r o b l o c ko r d e r ) 编码方法，可根据图像的复杂度自适应地选 择编码所需的f m o 模式。仿真结果表明这种f m o 编码方式完全可行，且在运动 复杂度频繁变化时效果更加明显，完全可应用在环境恶劣的无线信道中。 在对嵌入式p 墟7 0 硬件结构和x 2 6 4 研究的基础上，基本实现了基于h 2 6 4 的嵌入式解码，在p 墟7 0 基础上进行环境的配置，定制w i n e e 操作系统，并编 译、产生开发所用的s d k 和下载内核到目标机。利用开发工具e v c 实现在p c 机 上的实时开发和在线仿真调试，最终实现了对无差错h - 2 6 4 码流实时解码。 关键词：h 2 6 4 ；低码率；错误控制；无线传输；帧内刷新；f m o ；嵌入式 i i i _ - _ _ _ _ _ _ _ _ - _ _ _ - _ i _ _ _ _ - _ _ _ _ l _ _ _ - l _ _ - _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ - - - - _ - - _ i - _ - _ _ _ _ _ _ _ _ _ l _ _ _ - _ _ _ - _ _ - - - _ _ _ l _ _ - _ _ - - _ _ _ _ - - _ _ _ _ _ _ _ - _ _ _ _ _ - _ - 一 a b s t r a c t t h ea d v e mo fi n f o 姗a t i o ns o c i e 吼嬲w e na st h ee m e 玛e n c eo fi pt e c l l l l o l o g y ，a r e p r o f o l l l l d l yc h a n g i n gt 1 1 ef a c eo ft e l e c o m m u i l i c a t i o n sn e t 、) l ，o r i ( sa n dt h e 如t u r ed i r e c t i o n o ft e c l l l l o l o g y d e v e l o p m e n t w i r e l e s sc o r n m l 】1 l i c a t i o n t e c l l l l o l o g i e sp r o v i d es 仃o n g p l e d g e 五) r m er e a l i z a t i o no ft h e d e v e l o p m e n t o f d i g i t a l c o n u n u i l i t i e s v i d e o c o m m l l r l i c a | t i o ni st h ek e m e lo fm u l t i i n e d i ao p e r a t i o n t h e 仃a n s m i s s i o no fv i d e oc o n t e n t o v e r 州r e l e s sn e t w o r k sp o s e sb i gt e c l l i l i c a lc h a l l e n g ed u ot ot l l es p e c i f i cc h a r a c t 嘶s t i c s o f 淅r e l e s sc h a l l n e ls u c ha l sb a de l w i r o m n e n t ，s oi tb e c o m e sah o t s p o tf o rm er e s e a r c h f o rm e 、析r e l e s sc h 锄e l s ，t h ea v a i l a b l eb a n d w i d t hi sl i m i t e d d u et ot h em u l t i p a 也 e 虢c t ，m u l t i p a t l ld e l a y ，m u l t i p a t hf a d i n ga n ds o m e o t l l e rr e a s o n s，也em o b i l e c o m m u m c a t i o nh a st h ec h a r a c t e r i s t i c st l l a ti t sb a l l d w i d t hi su n d u l a t ea 1 1 dk 曲b i te r r o r r a t e ，s os o m ec o m i m l o u sa 1 1 dg u s t ye n o ro ft r a n s m i s s i o nu s u a l l y 印p e a r s t h er e l i a b i l i t y o ft l l et r a n s m i s s i o nd e c r e a s eb e c a u s eo ft h ea v a i l a b l eb a u l d w i d ma n dn l et r a n s m i s s i o n r a t e 孤et i m e v a r i 锄t d e od i s p l a yn e e d s 、v e l lt i m e l i n e s s ，m i sr e q u i r e st h es u m c i e mb a l l d w i d t h 、 婴珈铷1 t e e dt i m el a ga 1 1 dt 1 1 eb i te r r o r r a t e i no r d e rt or e p l a yt h ev i d e o ，w en e e da tl e a s t 2 8k b i t sb a j l d w i d m d e o 仃a i l s m i s s i o ni sv e r ) rs e n s i t i v et ot 1 1 et i m el a g b u tm o b i l e n 撕r kc o u l 出1 tp r o v i d l ec r e d i b l es e r v i c e s b a s e do nt h ec h a l l e n g eo ft h ew i r e l e s sv i d e oc o m m u n i c a t i o n ，t h i sp 印e rd o s es o m e r e s e a r c ho nt h eh 2 6 4 ，e s p e c i a l l yo nh o wt o 、 ，e l lc o n t r o le r r o rd i f m s e n e s sa n di m p r o v e c o d i n ge f f i c i e n c ya s 、v e l la sh o wt or e a l i z em eh 2 6 4d e c o d i n go n 删p l a t f o 衄 i n w i r e l e s sc o m m u n i c a t i o n s y s t e m ， t 1 1 e r ea r e m a n y掣e a tc h a l l e n g e s i n 臼a n s f o 加f l i n gr e l i a b l ev i d e os i g n a l s s o ，h o wt oe f r e c t i v e l yc o n t r o lb i t se r r o rb e c o m e s u 唱e n ta 1 1 ds i g n i f i c a m i nt h i sm e m o d i sp r o p o s e dt 0c o n t r o lb i t se r r o ri nl o wb i tr a t e 诹r e l e s st r a n s m i s s i o ns y s t e m t h i sm e t h o dc a i lu s el e s so v e r h e a db i t st oc o n t r o lb i t s e r r o ro ft l l ei n t e r e s t i n ga r e a st oi m p r 0 v et h eq u a l i 哆o ft 1 1 ea r e ao ft h ei m a g e ，a n dc a n a u t o m a t i c a l l ya d j u s tt h en l l m b e ro fm b ( m a c r o b l o c k ) t om a k e 如1 l yu s eo ft h e1 i m “e d b i t sr a t ea c c o r d i n gt 0t 1 1 el o c a t i o n ，t h es i z e ，a n dt 1 1 es h a p eo f 血ei n t e r e s t i n ga r e a i no r d e rt oe 侬c t i v eb a l a n c ec o n t r a d i c t i o nb e t w e e nc o d i n ge 伍c i e n c ya n dm e 如t i - e n o rc o d ea b 订时，n l ea u t l l o rp r o p o s e do n ea u 【t o - a d 印t e df m oc o d em e t h o d ；c o u l d a u t o a d a p t e da n dc h o i c ef m oe n c o d i n gp a t t e mn e e d e da c c o r d i n g t o 血ei m a g e c o m p l e x 吼t 1 1 es i m u l a t i o n r e s u l ti n d i c a t e dt h a t“sf m oe n c o d i n gm e t h o di s c o i n p l e t e l yf e a s i b l e ，e s p e c i a l l yt h ee f - f e c ti sm o r eo b v i o u sw h e nm o v e m e mc o m p l e x i t ) ， 行e q u e n tc h a n g e i tc a l l 印p l yi nt h eb a dw i r e l e s sc h a l l n e le n v i r o l l i l l e n t b a s e do nt h er e s e a r c ho nt h eh a r d w a r eo ft h ep x a 2 7 0a i l dt h ex 2 6 4 ，、eb a s i c a l l y r e a l i z e dd e c o d i n g p r o c e s s o na r mp l a t f o n l l d os o m ee n v i r o n m e n t s e t t i n g o n p x a 2 7 0 ，c u s t o m i z ew i n c eo p e r a t i o ns y s t e m ，c o m p i l e ，p r o d u c es d kf o ra p p l i c a t i o n e x p l o i t a t i o na n dd 0 、) m l o a dk e m e l i n t ot a r g e ts h i p m a k eu s eo fe x p l o i tt o o le v c ，m a k e a p p l i c a t i o np r o 铲锄r e a l t i m ea 1 1 dd e b u go n1 i n e ，f i n a l l yr e a l i z e dr e a l t i m ed e c o d i n gf o r n oe 仃o rh 2 6 4c o d e k e yw o r d s ：h 2 6 4 ； l o wb i t s r a t e ； e r r o r c o n t r o l ； w i r e l e s s t r a n s m i s s i o n ； i m r a r e 行e s h ；f m o ；e m b e d d e ds y s t e m 7 4 扬州大学硕士学位论文 扬州大学学位论文原创性声明和版权使用授权书 学位论文原创性声明 本人声明：所呈交的学位论文是在导师指导下独立进行研究工作所取得的研 究成果。除文中已经标明引用的内容外，本论文不包含其他个人或集体已经发表 的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。 本声明的法律结果由本人承担。 学位论文作者签名：璨e 揿 签字日期：为了年6 月! 日 | 学位论文版权使用授权书 本人完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向 国家有关部门或机构送交学位论文的复印件和电子文档，允许论文被查阅和借阅。 本人授权扬州大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。同时授权中国科学 技术信息研究所将本学位论文收录到中国学位论文全文数据库，并通过网络向 社会公众提供信息服务。 学位论文作者签名：兼乏林导师签名： 签字日期：弩年月岁日 签字日期： 绍睾 d 9 年易月歹日 l ( 本页为学位论文末页。如论文为密件可不授权，但论文原创必须声明。) 桑亚林：基于h 2 6 4 的无线传输差错控制及解码器的a r m 实现 1 绪论 1 1 课题的研究背景及意义 视频信号既是利用人的视觉获取的信息，它具有直观性、确定性、高效性、 广泛性等优点。随着多媒体技术的发展，视频除了在i n t e m e t 中得到广泛应用外， 在无线和移动网络( g s m g p r s 、c d m a 2 0 0 0 、3 g ) 环境中需求日益增加，它可 以应用在火场搜救、单兵侦察、矿井、远程监控等多种场合中。这些特殊场合需 要实时的掌握态势的发展，必须采用无线视频通信。无线视频传输有着广泛的应 用前景，人们只用一个手持移动终端就可以随时随地通过无线网络查询视频、音频 资料，欣赏最新的电影和电视直播，进行电子商务活动。可以相信，随着无线视 频传输技术的发展，将对人们的日常生活与工作产生深远的影响。 但视频信号的信息量大，传输网络所需要的带宽相对较宽。例如，一路可视 电话或会议电视信号，由于其运动的内容较少，所需的带宽较窄，但要达到良好 的质量，不压缩约需要若干m b i t s ，压缩后需要3 8 4k b i t s ：又如一路高清晰电视 信号( h d t v ) ，由于其信息量相当巨大，不压缩需要1 g b i t s ，利用m p e g 2 标准 压缩后尚需2 0 m b i t s t 。 要实现无线环境下的视频通信，就必须了解无线信道的物理特性。无线信道 与有线信道不同，它是开放的变参量信道。无线通信是以传输环境中的电磁波传 播为基础，发送的电磁波会发生散射、折射和衰落。各种散射成分的干扰，形成 分布不规则的场强，因此接收信号会产生衰落且失真。这种干扰的严重程度取决 于散射环境的具体物理性能。 因此，无线信道环境恶劣，具体来说无线信道主要存在三个问题： ( 1 ) 带宽有限。g s m 时代移动网络提供给用户的传输带宽非常有限，所以彩 信传输的收费价格也一直不便宜。尽管这个瓶颈在去年国家下发3 g 牌照后情况会 有所缓解，当想在线网络上传输高质量的高清晰视频仍然是个富有挑战性的任务。 ( 2 ) 带宽波动。无线信道由于多径衰落、同频干扰和噪声扰动带来其吞吐量 的降低，并且基站和移动终端之间距离的变化、位置的移动以及不同网络间的移 动等情况均会使信道发生剧烈波动。 ( 3 ) 误码率高。无线信道一般具有强噪声、多径和阴影衰落的特点，使得无 线信道的误码率( b e r ) 非常高。由于视频数据压缩采用了编码和变长编码，这 2 扬州大学硕士学位论文 使得视频压缩数据对差错变得极其敏感，一点错误都可能影响到后面图像的解码。 极差的信道环境加上高敏感的压缩数据，使的视频在无线网络中的传输是一 个富有挑战性的任务。视频的播放帧频一般为3 0 帧s 或2 5 帧s ，这么高的速率需 要视频传输系统的高实时性。否则在解码端视频播放时会出现画面停顿现象。 1 2 面l i 备的困难 h 2 6 4 标准是由国际标准化组织i s o 的m p e g ( m o v i n gp i c t u r ee x p e r t sg r o u p ) 和i t u 下属的v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 联合制定的最新视频压缩编码 标准。它代表了当前业界最先进的视频压缩技术，拥有超强的压缩率，在相同的 重建图像质量下，h 2 6 4 比m p e g 4 平均节约了大约4 0 的码率，比h 2 6 3 平均节 约了大约5 0 的码率【2 ，3 】，因此h 2 6 4 是所有视频编码中压缩能力最强的编码方式， 为视频的低码率传输提供了可能。 但是压缩效率提高的同时也意味着压缩码流对传输错误也变的非常敏感。如 果不做一定的差错控制，在传输环境恶劣的无线信道中一旦出现随机错误或突发 错误，将严重影响解码端图像的重建质量，甚至导致解码端无法正常解码。h 2 6 4 采用了视频编码层和网络适应层的分层结构，提高了网络友好性，同时它还提供 了多种容错工具，如：数据分割、参数集、f m o 等。 这些差错控制方法各有自己的优缺点，根据实际情况对他们的实现算法提出 改进就先显的非常有意义了。 视频的高压缩比要求尽可能地去除视频之间的冗余信息，而为了在环境恶劣 的无线信道相对可靠地传输视频信号又要求增加冗余信息提高抗误码能力，二者 是一对矛盾的统一体，如何将编码效率和传输效率取一个平衡点，得到最好的效 果是值的深入研究的。 1 3 主要研究工作和成果 研究了视频传输中的常见差错控制方法及其优点和缺点；提出了一种基于反 馈信道的宏块级可变帧内刷新方法，可根据反馈信息自动调整宏块刷新的位置、 大小和快慢，并且和前人的研究方法作了详细的比较，给出了仿真效果图，得到 了不错的效果；提出了一种基于图形运动复杂度的自适应f m o 编码方法，并和已 有的f m o 编码模式做了详细的比较，给出了仿真效果图；最后在a r m 平台上基 桑亚林：基于h 2 6 4 的无线传输差错控制及解码器的a r m 实现 本实现了h 2 6 4 解码器的解码过程，给出了解码后的图像效果。 1 4 论文的内容安排 第一章分析了视频信号及无线信道的特点，指出了在无线网络上传输视频的 困难，以及当前国内外的研究现状。 第二章分析视频编解码的基本原理，然后重点阐述了视频信号在无线信道中 传输的差错控制方法。 第三章提出了一种基于反馈信道的宏块级可变帧内刷新方法，和前人的研究 方法作了详细的比较，给出了仿真效果图。 第四章提出了一种基于帧间模式选择的自适应f m o 方法，实验证明这种新 的自适应方法完全可行。 第五章最后在a r mp x a 2 7 0 平台上基本实现了h 2 6 4 解码器的移植。 第六章总结和展望 4 扬州大学硕士学位论文 2 视频编码及差错控制技术 2 1 常见的视频压缩编码技术 根据解码后视频数据是否与原始视频数据一致，将视频压缩方法划分为两大 类： ( 1 ) 可逆编码( 无损编码) j 解码图像与原始图像严格相同，压缩比大约在 2 ：1 到5 ：1 之间。如h u f f m a n 编码、算术编码、行程长度编码等。 ( 2 ) 不可逆编码( 有损编码) ：解码图像与原始图像存在一定的误差，但并 不影响视觉效果，压缩比可以在几倍到上百倍之间变动。常用的有变换编码和预 测编码。常用的视频数据压缩编码技术主要有预测编码、变换编码、信息熵编码 等。 2 1 1 预测编码 预测编码是利用空间上和时间上相邻数据的相关性来预测未来点的数据，可 分为帧内预测编码和帧间预测编码。 以同一帧内邻近像素为例( 如图2 1 所示) ，当前像素为x 。根据距离与相关 性的关系可知：a 和b 像素与x 的相关性较强，如c 、d 、e 、f 等像素与x 相关 性较弱。以p 作为预测值，按与x 的距离不同给以不同的权值，把这些像素的加 权和作为x 的预测值，与实际值相减，得到差值q 。由于邻近像素之间相关性强， q 值非常小，故可达到压缩编码的目的。 图2 1 邻近像素间的相关性 把接收端差值q 与预测值( 事先已定义好，比当前x 早到达接收端像素，如 a ) 相加，恢复原始值x 。归纳如下： 桑亚林：基于h 2 6 4 的无线传输差错控制及解码器的a r m 实现 5 编码端：彳一彳= q( 2 1 ) 解码端：口+ 彳= 彳( 2 2 ) 下图2 2 所示为预测编码解框图。其中，x ( n ) 为当前像素的实际值，p ( n ) 为其 预测值，d ( n ) 为差值或残差值。该差值经量化后得到残差量化值q ( n ) 。预测值p ( n ) 经预测器得到，预测器的输入为已存储在预测器内前面的各像素以及当前值，它 们的加权和即为下一个预测器的输出。而解码过程则是编码过程的逆过程。 d ( m 2 1 2 变换编码 ( a ) 编码框图 图2 2 预测编解码框图 ( b ) 解码框图 变换编码是将图像时域信号变换到频域空间上处理。时域空间有强相关的信 号，反映在频域上就是在某些特定的区域内能量常被集中在一起。 绝大多数图像都有一个共同的特征：平坦区域和内容缓慢变化区域占据一幅 图像的大部分，而细节区域和内容突变区域则占小部分。也可以说，图像中直流 和低频区占大部分，高频区占小部分。这样，如果将空间域的图像变换到频域或 所谓的变换域就会产生相关性很小的一些变换参数，并可对其进行压缩编码，即 所谓的变换编码。 自1 9 6 8 年利用快速傅立叶变换( f f t ) 进行图像编码以来，出现了多种正交 变换编码方法，如k 。l 变换、离散余弦变换( d c t ) 等等。其中，编码性能以k - l 变换最理想，但缺乏快速算法且变换矩阵随图像而异，不同图像需要计算不同的 变换矩阵，因而只用来作参考比较。d c t 编码性能最接近于k l 变换，且它具有 快速算法，因此被广泛应用于图像编码。 h 2 6 4 标准中的编解码算法主要采用了d c t ，因此对d c t 做详细介绍。一维 d c t 变换时，设厂( x ) = 【厂( 0 ) ，厂( 1 ) ，f ( n - 1 ) f ，对f 变换后得： 6 扬州大学硕士学位论文 脚) = 污嘶) 篓m ) c 。s 嗓( 2 川) 】，u _ 0 ，1 ，肿l ( 2 3 )脚) 2 专嘶) 萎m ) c o s 嗓( 2 斛1 ) 】，u _ 0 ，1 ，n 1 ( 2 3 ) l l 4 2 ， u = o 其中，c ( “) 2 - l ，2 ，洲 ( 2 4 ) 可以写成矩阵形式， 彳= 历l 霉“t 每) 亿5 ， 对应地，一维离散余弦反变换i d c t 为： m ，= 后篓咖州c o s b m 叫一叭，泣6 ， 由于a = a r ，f 可写成如下矩阵形式： f = a f = a r f ( 2 7 ) 对于图像变换编码，最理想的变换操作应对整个图像进行变换，以便去除所 有像素间的相关性。但这样的操作计算量太大。实际上，往往把图像分为若干块， 以块为单位进行d c t 变换，通常取1 6 1 6 或8 8 组成小块。在h 2 6 4 标准中还 2 1 3 熵编码 熵编码是根据信息熵原理，让出现概率大的用短的码字表达，反之用长的码 字表示。最常见的方法有变长编码( 也称哈夫曼编码即h u f f m a n 编码) 、s h a n n o n 编码以及算术编码。在h 2 6 4 标准中采用的熵编码有两种：一种是基于内容的自 适应变长编码( c a v l c ) ；另一种是基于内容的自适应二进制算术编码( c a b a c ) 。 c a v l c 与c a b a c 根据相临块的情况进行当前块的编码，以达到更好的编码效率。 c a b a c 比c a v l c 压缩效率高，但要复杂一些。在后续的章节中将作具体介绍。 桑亚林：基于h 2 6 4 的无线传输差错控制及解码器的a r m 实现 7 2 2 视频压缩标准发展概述 2 2 1h 2 6 1 标准 h 2 6 1 是i t u t 为在综合业务数字网( i s d n ) 上开展双向声像业务( 可视电 话、视频会议) 而制定的，是最早的运动图像压缩标准，其速率为6 4 k b s 的整数 倍。h 2 6 1 主要应用d c t 、v l c 、m e m c 技术，它只对c i f 和q c i f 两种图像格 式进行处理，每帧图像分成图像层、宏块组( g o b ) 层、宏块( m b ) 层、块( b l o c k ) 层来处理。 2 2 2m p e g - 1 标准 m p e g 1 标准号为i s o i e c l l l 7 2 ，标准名称为“信息技术用于数据速率 最高达1 5 m b p s 的数字存储媒体的运动图像及其伴音编码 。在h 2 6 1 的基础上加 入了b 帧。码流分为宏块条s l i c e ，每一个s l i c e 都有自己的头，当出现比特错误时， 用来重同步。错误的宏块用相应解好的宏块代替，直到下一个宏块正确解码。 m p e g 1 的图像质量相当于v h ( s v i d e oh o m es y s t e m ) 视频的质量，不能满足广 播级的要求。 2 2 3m p e g - 2 标准 在m p e g 1 的基础上，i s o i e c 专家组和i t u t 专家组于1 9 9 4 年合作开发完 成的m p e g 2 h 2 6 2 标准。它的目的是支持高的图象分辨率，包括符合c c i r 6 0 1 格式的标准分辨率的数字电视和更高分辨率h d t v 。同时支持包括高速体育运动 在内的活动图像。m p e g 2 和m p e g 1 的主要不同之处在于：m p e g 一2 采用分层结 构和支持多格式输入、支持场格式、数字电视( 标清、高清) 和网络通讯。分层 的结构把码流分为基本层和增强层，这样不同的网络条件和性能不同的解码器就 会有相应的码流。此外它还引入错误掩盖以及相关技术。 2 2 4h 2 6 3 标准 h 2 6 3 在h 2 6 1 的基础上作进一步的改进，它在更低的码率下有更好的视频质 8扬州大学硕士学位论文 量。最重要的是：它引入了半象素运动估计。在第一版中加入了四种编码选项： 非限定运动矢量、算术编码、高级预测和p b 帧。在它的后续版本h 2 6 3 + 、h 2 6 3 抖 中又加入了一些更先进的技术。h 2 6 4 是在充分吸取了它们优点的基础上才取得很 大成功的。 2 2 5m p e g 一4 标准 m p e g 4 是一个全新概念上的编码标准，它支持的码率从5 k b i t s s 到1 0 m b i t s s 。 它把图像中的物体看作为独立的对象进行编码。m p e g 4 在m p e g 2 的基础上加 入纹理编码、形状编码、静止纹理编码、脸部对象编码、网格对象编码、s p r i t e 对 象编码以及可分级编码等。 2 2 6h 2 6 4 标准( m p e gp a r t1o ) h 2 6 4 是两大国际组织i t u 和i s o f l e c 联合研究并制定的一个面向未来i p 和 无线环境下的视频压缩标准，其视频压缩比较目前任何的视频压缩标准都要高( 在 相同的图像质量下，其压缩输出码率大约为原来m p e g 2 的二分之一) f 4 】。 表2 1 视频编解码标准发展 标准主要应用时间 h 2 6 1 视频会议 1 9 9 0 年 h 2 6 2 m p e g 一2d t v 、s d t v1 9 9 5 年 h 2 6 3 视频电话1 9 9 8 年 h 2 6 3 +1 9 9 9 年 h 2 6 3 + + 2 0 0 0 年 h 。2 6 3 l v l b r 视频 2 0 0 2 年 m p e g - iv c d1 9 9 2 焦 m p e g - 2d t v 、s d t v 、h d t v 、d v d1 9 9 5 年 m p e g 一4v l交互式视频 1 9 9 9 年 v 2 交互式视频 2 0 0 0 年 m p e g - 7 多媒体内容描述接口 2 0 0 1 年 m p e g - 1 2 多媒体构架 2 0 0 2 年 h 2 6 4 m p e g - 4p a r tl oa v c ( 先进视频编码) 2 0 0 3 焦 h 2 6 4 标准在整体上分为视频编码层( v i d ec o d i n gl a y e r ，即v c l ) 和网络抽 象层( n e t w o r ka b s t r a c t i o nl a y e r ，即n a l ) ，其中v c l 专注于视频信号的压缩， 桑亚林：基于h 2 6 4 的无线传输差错控制及解码器的a r m 实现 9 而n a l 则定义了编码器和传输信道之间的接口。这种分层处理的结构使得h 2 6 4 能够灵活适应不同的传输环境，提高传输效率。h 2 6 4 的这些优点将使其在视频通 信领域得到非常广泛的应用，如实时视频通信、视频流媒体服务、异构网上的多 点通信、视频存储等。在未来的移动视频通信领域，h 2 6 4 也具有非常广阔的应用 前景。 2 3h 2 6 4 及其视频传输特性 2 3 1 h 2 6 4 总体特性及应用 如前所述，h 2 6 4 的应用范围非常广泛，如：不同信道上的广播级应用、不同 网络上的会话业务等方面。性能优越的h 2 6 4 其总体特性可以用三个方面来概括： 1 高视频压缩率：同等图象质量下，其压缩率为m p e g 2 的2 倍以上， m p e g 4 的1 5 2 倍，适合在无线窄上传输视频。 2 容错能力强：提供了解决在不稳定网络环境下容易发生错误的丢包等错误 的必要工具。无线通道误码率高，干扰严重，所以h 2 6 4 是首选。 3 网络适应性强：h 。2 6 4 按功能可分为视频编码层( v c l ) 和网络适应层 ( n a l ) 。这是其他视频编码标准所没有的。 a v c l 可以根据当前的网络情况来调整编码参数来适应网络的变化。 b n a l 的误码控制包括顽健打包、复用技术、信道编码和传输策略。 表2 2q o s 业务分类 业务分类基本特征实例 保持流中实体之间的时间关系，对话 会话式 音频电话、视频会议 模式要求保持的低时延 流多媒体( 视频、音频 媒体流保持流中实体之间的时间关系 等) 请求反应模式，要求保持数据完整 交互式网络游戏、网络浏览 性 目的端不限制得到数据的时间，要求 文件、e - m a i l 等的背景 背景式 保持数据的完整性 下载 h 2 6 4 在无线网络中的应用主要分为3 类( 5 】：电路交换分组交换会话业务 ( p c s ) 的可视电话和视频会议：实时或预先记录的视频分组交换流业务( p s s ) ： 1 0扬州大学硕士学位论文 多媒体短信业务( m m s ) 中的视频。视频通信中压缩效率是关键，抗误码在无线 通信中也是必要的。抗误码同时要提高无线系统流量。因此在分组无线系统中视 频q o s 模型的研究非常重要，q o s 业务分类见表2 2 。 2 3 2h 2 6 4 的无线视频传输技术 h 2 6 4 编解码器在概念层次上被分为v c l 和n a l ( 如图2 3 所示) 。h 2 6 4 标 准不仅是一个视频压缩标准，而且还涵盖了部分视频压缩码流的传输问题。n a l 接收从v c l 传过来的视频压缩码流，并将这些数据打包成n a l u ( n a lu n i t ) 数据 单元，从而使得视频码流能够适合在各种基于包交换的网络上进行传输【6 j 。在n a l 解码器端，h 2 6 4 标准假定n a l u 数据单元按照解码顺序到达，发送端发送的数 据包到达解码器端时存在以下三种状态：( 1 ) 数据包成功到达并被解码器端正确 接收，( 2 ) n a l u 数据包丢失，( 3 ) 数据包到达解码器端但数据包有错误1 7 j 。h 2 6 4 标准不涉及n a l u 在具体网络上传输和协议封装细节，也就是说，n a l 只是定义 了一种接口，其存在的目的主要是为了把视频压缩和传输在概念上分离，从而使 标准的结构更清晰灵活。 h 2 6 4 t 0h 2 6 4 t oh 2 6 4 t o h 2 6 4 t 0h 2 6 4 t o h 3 2 0咿e g 2h 3 2 4 m r t p ，i pf o r m a tt e n n 弋c 、 、 i 7 之褰 无线网络有线网络 图2 3h 2 6 4 结构和传输环境 在n a l 层包含有单数据片模式( s s m ) 和数据分割模式( d p m ) 两种工作模 式【8 】o 属于同一数据片的编码视频信息在s s m 模式下被封装在一个r t p 数据包中； 桑亚林：基于h 2 6 4 的无线传输差错控制及解码器的a r m 实现 1 1 而在d p m 模式下则将其分为a 区( 数据片和宏块的头信息) 、b 区( 帧内编码信 息和帧内变换系数) 、c 区( 帧间编码信息和帧间变换系数) 三部分。属于各数据 分区的信息分别封装在不同的r t p 数据包中。 2 3 3h 2 6 4 中的无线视频鲁棒编码技术 h 2 6 4 标准中包含了用于差错控制和恢复的工具，增强了h 2 6 4 视频码流的鲁 棒性，有利于h 2 6 4 视频包在误码、丢包多发的移动环境中传输【9 】。 在视频压缩编码中，一些关键信息( 例如：序列头代码、帧头代码等) 的丢 失将会严重地影响解码质量。为了重点保护这些关键信息，在h 。2 6 4 中把这些关 键信息分离出来单独编码，进行高优先级的保护后再进行传输【1 0 1 。 h 2 6 4 编解码器中采用多种错误控制和恢复的工具，可分为两类：一类是当 数据错误发生时，把错误控制在最小范围( 尽量把错误的范围控制到一个切片或 一帧内) ；另一类是当数据错误难以避免时( 错误数据难以准确恢复) ，利用视频 信息时间空间域上的平滑性，采用错误隐藏法1 1 1 1 把错误的数据近似地恢复出来， 以避免因错误传播带来更大范围内视频质量的降低。h 2 6 4 标准中提出的鲁棒编码 技术有：切片结构化编码技术、f m o 技术、数据分区技术、多参考帧( m u l t i p l e r e f e r e n c ef r a m e ，即m i 强) 等。这些技术在一定程度上可以控制丢包、错误传播 等问题，但对于无线视频传输而言，视频数据丢失仍然难以避免。当数据无法恢 复时，解码器只能通过错误隐藏技术来预测丢失的数据【1 2 】。但是这种预测出来的 数据是不准确的，有时甚至是完全错误的。采用帧间预测编码时，这种错误会在 时间域上进行传播。为了抑止这种错误传播，必须采用帧内编码来刷新被损坏的 宏块数据【1 3 1 。但是如果通过增加i 帧进行刷新时，又会导致压缩码流突然增大， 这样一方面有可能导致编码器输出缓冲区溢出，另一方面会突然加大传输延迟【1 4 1 。 在h 2 6 4 中通过随机或者按照一定模式选取若干个宏块进行帧内编码的方法( 若 存在反馈信道，可以获得准确的宏块损坏信息，从而准确地刷新出错的宏块) ，有 效地避免了错误传播，同时又不会突然增大传输延迟。 2 4 视频传输中的差错控制技术 在无线传输环境中，视频传输面临着巨大的挑战，这是因为( 1 ) 高度压缩后 的码流存在很强的相关性，对传输误码非常敏感。而现有的一些编码标准如m p e g 1 2 扬州大学硕士学位论文 2 4 ，h 2 6 3 4 等主要采用预测编码技术和变长编码技术，使得一旦传输中发生错误， 往往会造成解码段失去同步，这样后续码流即使能正确接收，也无法正确解码， 会造成误码在时域、空域的“扩散 。误码扩散后重建出来的图像质量非常低，使 得原来的图像面目全非。( 2 ) 无线传输网络都具有时变的特点，因此难以根据信 源、信道的统计模型得到最优的传输方案。 传输差错可以分为两类，一类是突发错误或连续突发错误，比如存储媒体的 物理损伤、分组交换网络中的数据包丢失等等。有时候随机比特也会导致突发错 误。由于突发错误会照成连续的数据包丢失，它可能带来比随机比特错误更严重 的影响。另一类是比特流中出现的随机差错比特。 一直以来，视频通信中的抗误码技术沿着三个方向发展： ( 1 ) 把数据通信中的差错控制技术扩展到视频通信1 t ：1 1 1 5 , 1 6 】。例如前向纠错f e c ( f o r w a r de r r o rc o n t r 0 1 ) 、错误控制编码e c c 、自动请求重传等等。但信道误码情 况是多变的，目前还没有一个精确的数学模型来描述信道的变化。因此，如果根 据信道最差的情况来加入冗余信息进行保护，那么信道变差时会出现误码倍增效 应。 ( 2 ) 采用冗余信源编码的方法，分层编码【1 7 】、多描述编码m d c ( m u l t i p l e d e s c r i p t i o nc o d i n g ) i s 】等都是从编码端考虑尽量使编码后的码流少受误码影响的 方法。 ( 3 ) 采用原始信息来近似，或者根据人眼视觉特性的差错掩码技术【1 9 1 。例如， 对于视频图像来说，入眼可以容忍一定程度的失真，或者是某些失真人眼根本无 法觉察到，因此不需要像数据通信那样要求绝对的无差错恢复。 视频通信中的抗误码技术按其在视频编解码系统的位置可分为5 个部分：分 别为容错编码、传输层的差错控制技术、误码检测和隐藏、交互式抗误码技术。 2 4 1 编码端容错编码技术 容错编码是在有无码的情况下用最少量的冗余信息来获的最大的增益。通过 在编码是时候适当的保留部分冗余信息来增加抵抗误码的能力，在码流传输过程 中发生误码的情况下，可以利用码流中含有的冗余信息来进行恢复或部分恢复图 像，从而提高图像的重建质量。例如，在m p e g 2 中，即使是帧内编码模式的图 像块，也可以传送它的运动矢量。这样，当图像块在传输中受损时，可以利用它 的运动适量由前一帧图像估计受损图像块。c h a n gs uk i m 等把图像序列分为误码 桑亚林：基于h 2 6 4 的无线传输差错控制及解码器的a r m 实现 1 3 恢复组( e r g , e r r o tr e c o v e r yg r o u p ) ，类似于m p e g 中的g o p ，每组图像中的最后 一帧都要附加传送d c 系数的奇偶校验数据。因为容错编码的抗误码性能是以牺牲 编码效率为代价，这一点限制了它的使用。 目前已有的增加码流冗余信息的方法，比如鲁棒熵编码( r o b u s te n t r o p yc o d i n g ) 2 0 】容错预测( e r r o rr e s i l i e n tp r e d i c t i o n ) t 2 z 】等。这些方法有助于解码器在检测到误 码时能进行误码隐藏，防止解码端的误码扩散。例外，像多描述编码、分层可扩 展编码等方法能保证视频图像基本的重建质量，在产生误码的情况下逐步降低重 建质量。 ( 1 ) 鲁棒熵编码 熵编码可以优先提高编码效率，因此在视频编码中得到了广泛的使用。但是 熵编码是造成压缩码流对误码非常敏感的主要原因。当采用定