（计算机应用技术专业论文）无线网络h264视频传输的自适应不等错误保护机制.pdf

中文摘要 随着无线网络的迅猛发展，随时随地的视频传输需求日趋强烈。无线网络带 宽有限且波动、误码率高，而视频传输对网络带宽和延迟有较高要求，因此无线 网络中的视频传输面临着巨大挑战。新的视频编码标准h 2 6 4 提供了面向网络传 输的编码技术，但是仅从信源编码考虑并不能实现整体传输性能最优，联合信源 信道编码是一种兼顾视频传输效率和质量的有效解决方案。 本文针对无线网络带宽波动和丢包率变化的特点，结合h 2 6 4 的数据分割特 性，提出了一种新的基于联合信源信道编码的自适应不等错误保护( u e p , u n e q u a le r r o rp r o t e c t i o n ) 机制。该机制首先针对h 。2 6 4 码流中的p 帧建立一个 联合信源信道r d ( r a t ed i s t o r t i o n ) 模型，解决了p 帧的信源信道编码比特最优 分配的问题。然后对p 帧中的数据分割a 采用基于包的r s ( r e e d - s o l o m o n ) 编 码，对数据分割b c 采用重复包编码。该机制可以根据带宽的波动、丢包率的变 化和视频输入信号的不同，实时地计算出信源编码的q p ( q u a n t i z a t i o np a r a m e t e r ) 值和信道编码的r s 编码强度及重复包编码强度，从而对无线网络视频传输进行 自适应优化。 本文采用代表性视频序列，在不同带宽和丢包率条件下，将r d 模型值与实 际值进行比较，验证了r d 模型的准确性。多组无线网络仿真结果表明，采用自 适应u e p 机制后，视频流对波动场景有较强的自适应能力，接收端视频的平均 p s n r ( p e a ks i g n a l t o n o i s er a t i o ) 值较不采用任何保护方案增加了约6 1 0 d b 。 关键词：无线网络视频传输联合信源信道编码不等错误保护h 2 6 4 a b s t r a c t v i d e oa p p l i c a t i o ni s b e c o m i n g a l l i m p o r t a n ta p p l i c a t i o nu n d e rt h e n e x t g e n e r a t i o nw i r e l e s sn e t w o r k s h o w e v e r , s u p p o r t i n gv i d e oc o m m u n i c a t i o n so v e r w i r e l e s sn e t w o r k sp o s e sm a n yc h a l l e n g e sd u et of l u c t u a t i o n so fw i r e l e s sc h a n n e l c o n d i t i o n s a d v a n c e dv i d e oc o d e c ，l i k eh 2 6 4 ，c a no b t a i nm u c hh i g h e rc o m p r e s s i o n ， b u to n l ys o u r c ec o d i n gc a n n o ta c h i e v eo p t i m a lv i d e ot r a n s m i s s i o np e r f o r m a n c e t h e j o i n ts o u r c e c h a n n e lc o d i n gi sc o n s i d e r e dt ob eap r o m i s i n gs o l u t i o n i n t h i sd i s s e r t a t i o n ，w ep r o p o s e dan e w u n e q u a le r r o rp r o t e c t i o n ( u e p , u n e q u a l e r r o rp r o t e c t i o n ) m e c h a n i s mb a s e do nj o i n ts o u r c e - c h a n n e lc o d i n g ，a c c o r d i n gt ot h e d a t ap a r t i t i o n i n gm e t h o do fh 2 6 4a n dt h ec h a r a c t e r i s t i c so fw i r e l e s sn e t w o r k s t h i s m e c h a n i s me n c o d e st h ed a t ap a r t i t i o n i n ga u s i n gr s ( r e e d s o l o m o n ) c o d e ra n df o r t h ed a t ap a r t i t i o n i n gb c ，u s i n ga r e p e a t - p a c k e tc o d e r a j o i n ts o u r c ea n dc h a n n e lr d ( r a t ed i s t o r t i o n ) m o d e lw a se s t a b l i s h e df o rpf r a m e si no r d e rt oo p t i m i z et h eb i t a l l o c a t i o nb e t w e e ns o u r c ec o d i n ga n dc h a n n e lc o d i n g u s i n gt h i sm e c h a n i s m ，t h e o p t i m a lp a r a m e t e r ss u c ha sq p ( q u a n t i z a t i o np a r a m e t e r ) ，t h er sc o d i n gs t r e n g t ha n d t h er e p e a t - p a c k e tc o d i n gs t r e n g t h ，c a l lb ec a l c u l a t e di nr e a lt i m e t h ej o i n ts o u r c e c h a n n e lr dm o d e lw a sv e r i f i e db yt e s t i n g t y p i c a ls t a n d a r d v i d e os e q u e n c e su n d e rv a r i e dn e t w o r kb a n d w i d t ha n dl o s sr a t e e x t e n s i v ew i r e l e s s n e t w o r ks i m u l a t i o n sw e r ep e r f o r m e dt oe v a l u a t et h ep r o p o s e du e pm e c h a n i s m t h e s i m u l a t i o nr e s u l t ss h o w 廿l a t ，c o m p a r e dw i t ht h a tw i t h o u ta n yp r o t e c t i o n ，t h ev i d e o s t r e a mc a na d a p tt ot h ef l u c t u a t i o no ft h ew i r e l e s sc h a n n e lc o n d i t i o n s , , a n dt h ep s n r ( p e a ks i g n a l t o - ，n o i s er a t i o ) o ft h er e c o v e r e dv i d e oi nt h er e c e i v e ri si n c r e a s e du pt o a b o u t6 1 0d b k e yw o r d s ：w i r e l e s sn e t w o r k , v i d e ot r a n s m i s s i o n , j o i n ts o u r c e - c h a n n e lc o d i n g ， u n e q u a le r r o rp r o t e c t i o n h 2 6 4 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得鑫鲞盘鲎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名： 乏善 签字日期：7 7 年g 月，扩日 学位论文版权使用授权书 本学位论文作者完全了解苤鲞盘堂有关保留、使用学位论文的规定。 特授权鑫变盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 签字目期： 7 年 丸隹多 只f 苦b 导师签名：起讼 一 签字日期：汹7 年；月，矿日 第一章绪论 1 1 概述 第一章绪论 近年来，无线通信技术的发展进入了空前活跃的历史时期。呼之欲出的第三 代( 3 g ) 移动通信不仅能提供现有的各种移动电话业务，还能提供高速率的宽 带多媒体业务，支持高质量的语音、分组数据业务以及实时的视频传输。3 g 开 创了无线通信与因特网、多媒体融合的新时代，由此产生的无线多媒体和无线i p 业务必将成为未来无线移动通信业务新的增长点，面向无线网络和因特网的视频 编码与传输技术已成为当今信息科学与技术的前沿课题。 视频传输相对于传统i n t e m e t 应用，对网络延迟和带宽有较高的要求。为满 足这些需求，必须解决四个q o s ( q u a l i t yo f s e r v i c e ) 问题：吞吐量、传输延迟、 延迟抖动和误码率。由于原始视频信号的数字表示需要较高的容量，传输需要非 常大的带宽，无论是从经济的角度，还是从技术的角度，对视频信号进行高效压 缩成为了必然。 目前的视频编码压缩标准主要有m p e g x 和h 2 6 x 两大系列，这些压缩算法 都是基于宏块的，分别从三个方面改善编码效率： 1 ) 运动估计运动补偿( m p m c ) 消除时间冗余( 预测编码) 。 2 ) 图像差值的离散余弦变换( d c t ) 消除空间冗余( 变换编码) 。 3 ) 量化系统的可变长编码( v l c ) 消除统计冗余( 统计编码) 。 通过上述方法，视频编码标准获得了极高的压缩效率，但压缩后的码流在 i n t e m e t ，特别是无线信道上的传输仍然存在着一些棘手的问题。一方面，压缩后 的码流对信道比特误码非常敏感；而另一方面，无线信道由于多径反射和衰落引 入了大量的随机误码和突发误码，影响了码流的正常传输。尤其是当采用了v l c 方案后，码流更加容易受到误码的影响，使其在解码端失去与编码端的同步，导 致在遇到下一个同步码字之前无法对v l c 码字进行正确的解码；同时预测编码 技术会将错误扩散到整个视频序列中，极大地降低重建图像的质量。 因此，在无线信道这种有损环境下，为了实现良好质量的视频传输，必须结 合实际应用信道的传输特性，采取一定的差错控制机制f 1 - 3 】。 第一章绪论 1 2 研究现状 差错控制指在数据通信过程中，发现、检测差错，对差错进行纠正，从而把 差错控制限制在数据传输所允许的尽可能小的范围内的技术和方法。它的出发点 主要有两个：一是采用一些手段尽可能的减少差错的产生；二是当差错产生之后， 采用一些措施减少差错造成的影响。在视频传输领域中，根据差错控制在视频传 输系统中的位置不同，差错控制技术还可以细分为以下三类：基于编码端的差错 控制算法；基于解码端的差错控制算法和基于反馈信道的差错控制算法【4 】。 基于编码端的差错控制算法，从编码端考虑，通过在编码比特流中添加冗余 信息来增加码流的抗干扰性。由于这些冗余信息添加在信源或信道编码器中，降 低了编码的效率，增加了实现的复杂度。但其优点是只需对编码端进行修改，解 码端做少量甚至不做修改，这样就能在控制客户端的成本基础上，提高服务的质 量。在以后的移动通信环境下，一些视频业务，比如手机电视，用户的配置不需 要很高，其视频传输也能获得一定质量保证。一些典型的技术有i n t r a 帧i n t r a 宏 块刷新【5 矧，插入同步标记【7 】前向纠错f e c 8 。1 1 】，r v l c ( r e v e r s ev a r i a b l el e n g t h c o d i n g ) 7 , 1 2 , 1 3 ，多描述编码【1 3 】，分层编码，不等错误保护u e p ( u n e q u a le r r o r p r o t e c t i o n ) 0 4 - 1 6 以及限定预测区域【1 3 】等。 基于解码端的差错控制算法一般是对已经发生的错误，利用视频信息的特性 进行估计，从而将信息恢复出来。由于视频信息在空域和时域都有很强的相关性， 在以人眼为最终信宿的视频应用中，对于传输中的误码，不必像数据传输那样追 求绝对的无损恢复，所以可以通过寻找一些相关数据来代替误码数据，实现差错 隐藏，即利用人眼的差错遮蔽特性，恢复出人眼可以接受的视频图像。差错隐藏 并非真正消除传输中的误码，而是尽可能弥补误码带来的视频损伤，达到“以假 乱真”的效果。这种方法既不会降低编码效率也不会破坏码流结构，而且不影响 标准的兼容性。但由于它是通过己知信息预测丢失信息，除了给解码端增加了复 杂度外，性能好坏受具体数学模型和具体视频序列影响较大。现有的视频编码标 准，一般把码流信息分为两类：一是纹理信息；二是宏块的编码模式信息与运动 矢量信息。对纹理信息的恢复主要利用图像视频的平滑特性，采用的方法包括 运动补偿时域预测【1 3 1 、空域插值1 捌、最大平滑时空域插值 1 - 3 1 、凸集投影法【1 7 1 以及空频域插值【18 】等。估计受损宏块编码模式的一个方法是收集相邻宏块编码模 式的统计特性，并从中选择最有可能的编码模式。基于视频信号的平滑特性，运 动矢量也可以采用类似的插值方法加以恢复【1 9 】。 反馈信道的差错控制算法通过编解码两端的交互信息来进行针对性的数据 恢复和编码控制。一方面，编码端可以根据解码端反馈的信息来自适应地调整编 第一章绪论 码参数和编码模式等；另一方面，解码端可以要求编码端重发关键数据来进行误 码恢复。这种方法由于依赖反馈信道，不可避免要带来一定的延时，而且反馈信 道的可靠性也会影响其准确性。另外，因为需要额外信息进行传输，也带来了带 宽花销的问题。对于实时性要求比较高的视频业务，这种方法必然要受到一定的 限制。但除去延时影响，在差错控制技术中这种方法是比较高效的，因为大部分 视频编码都包含了预测编码部分，如果编码端明确知道信息的丢失情况，就能避 免采用丢失信息进行之后的预测，从而阻断错误的扩散。典型的技术有a r q ( a u t o m a t i cr e p e a tr e q u e s t ) 【2 0 】和参考帧选择模式r p s ( r e f e r e n c ep i c t u r es e l e c t ) 2 1 - 2 4 竺 可。 不等错误保护u e p 作为一种基于编码端的差错控制算法，是一种非常常用 而且有效的差错控制机制。由于在无线信道条件下，干扰因素增多，为了使压缩 后的比特流对传输错误具有抗干扰性，必须在流中加入冗余数据，利用这些冗余 数据和有效数据之间的关系，才有可能检测并修正错误。但由于比特流不同组成 部分的重要性不同，如果不对其加以区分，其性能提升必然受限。不等错误保护 作为解决这个问题的有效方法，提出了对重要的部分施加强的保护，对次要的部 分施加稍弱的保护，从而达到整体码流性价比的一致( 性价比指的是考虑传输中 有损信道的丢失，接收端单位丢失比特导致图像质量的失真程度。) 。这事实上提 出了一个联合信源信道编码的问题。如何对码流的不同部分进行不同的保护，即 如何将比特合理地分配给信源编码和信道编码成为了制约不等错误保护的性能 的主要因素。 为了实现这种分配的最优，不少研究者对联合信源信道编码进行了研究h 。 v a n 等【2 5 】对信源编码中残余的冗余进行估计，将信源信道联合编码器看作是隐形 马尔可夫模型，研究了信源信道联合编码中的调制、信道编码和码率分配等问题。 z h a n g 等 2 6 贝j j 研究了功率最优约束条件下，基于p f g s ( p r o g r e s s i v ef i n eg r a n u l a r s c a l a b l e ) 编码方法的视频信源信道联合编码闯题。p e i 掣z 7 j 采用h 2 6 3 对视频进 行压缩，采用了r c p t ( r a t ec o m p a t i b l ep u n c t u r e dt u r b o ) 码作为信道编码方法， 研究了如何保证视频信息在无线口通信环境下能可靠传输的问题。b y s t r o m 等弘驯 采用r c p c ( r a t e c o m p a t i b l ep u n c t u r e dc o n v o l u t i o n a lc o d e s ) 码作为信道编码方 法，然后分别采用m p e g - 2 和小波子带编码器作为信源编码方法，研究了高斯白 噪信道中的视频信源信道联合编码问题。h e 等【2 9 】在分别建立了基于m e p g - 4 信 源失真模型和信道失真模型的基础上，提出了自适应的帧内编码模式选择和信源 信道联合码率控制方法，显著提高了端到端的重建视频质量。s u 掣3 0 j 提出了一 种基于块的信源率失真模型，根据这种模型对图像进行分类，不同类型的块采用 不同的量化步长和不同程度的信道编码码率，以提高重建视频的主观感受水平。 第一章绪论 上述研究方案并没有很好的解决信源信道联合优化问题，而且有些需要网络层或 更底层的支持，在实现过程中存在一定的困难。另外随着新的编码标准h 2 6 4 的 出现，联合信源信道编码又有了新的应用方向。因此，本文主要从应用层和h 2 6 4 作为切入点进行联合信源信道编码的研究。 在视频编码中大多含有预测编码模块，根据预测类型可以将视频帧分成i 帧， p 帧和b 帧。其中i 帧采用帧内编码模式，即编码不依赖于其它帧；p 帧采用帧 间预测方式，即编码依赖于前面的参考帧；b 帧一般采用双向预测，即编码依赖 前面和后面的参考帧。对于流媒体业务，考虑到延迟和复杂度，一般视频编码过 程中只采用i 帧模式和p 帧模式。为了更有效的利用帧问相关性来压缩码流，i 帧一般是周期插入的，比如说每3 0 帧插入一帧i 帧，其它的都为p 帧。从这个 角度来看，p 帧构成了视频流的主要部分，因此，如何合理地分配p 帧的信源编 码占用比特和信道编码占用比特是联合信源信道编码研究中的重要内容。为了解 决这个问题，本文作者广泛阅读相关领域文献，基于当前的研究成果，从应用层 角度，结合h 2 6 4 新特性与无线信道特点提出了一种自适应不等错误保护机制， 并建立了联合信源信道编码的模型，给出了最优算法。 1 3 内容安排 在第二章中，首先介绍了无线信道的特点及在其下的视频传输所存在的一些 问题，然后对h 2 6 4 标准作了简单的介绍和分析，主要对其具有的一些差错控制 特性进行阐述，之后给出联合信源信道编码的原理及其模型，由于本文采用的不 等错误保护机制的保护策略中涉及到了r s ( r e e d - s o l o m o n ) 码，所以会对r s 码从应用者的角度给出一部分理论分析。 在第三章中，先给出本文提出的u e p 方案中两种应用层上的信道编解码方 案，一种是基于包的r s 编解码，另一种是重复包编解码，之后给出u e p 方案的 一个总流程框架图，然后是该u e p 方案对应的联合信源信道模型的理论部分， 包含问题描述，模型建立，和最优算法描述三部分，最后是实验部分，先给出模 型的准确性实验数据和对结果的分析，之后给出不同场景下模型的自适应情况并 对其性能做出分析和评价。 在第四章中，对全文进行总结，并给出以后可以改进和完善的一些思路。 第二章理论分析 第二章理论分析 面向无线网络的视频编码与传输技术是当今信息科学与技术的前沿课题。随 着从有线网络到无线网络的转变，视频传输面临着一些新的挑战和问题。先进的 视频编码技术h 2 6 4 标准的提出为无线网络视频传输创造了条件，但是仅从信源 编码考虑并不能实现整体最优。针对这种局限性，联合信源信道编码可以作为一 种兼顾视频传输效率和质量的有效方法。在信道编码中，r s 码作为一类具有极 强纠错能力的线性分组码，具有非常好的数学性质，因此被广泛应用到各种领域。 2 1 无线信道的特点 通信信道可分为有线信道和无线信道【3 1 1 。有线信道可视为恒定参量的信道， 它从起初的明线、同轴电缆，直到今天的光纤组成的光缆，通信容量越来越大， 通信质量也越来越好，其性能指标正趋向于理想的传输信道。但无线信道却与之 不同，它是开放的变参量信道。无线通信是以传输环境中的电磁波传输为基础， 发送的电磁波会产生散射、折射和衰落。各种散射成分的干扰，形成分布不规则 的场强，导致接收信号产生衰落且失真。这种干扰的严重程度取决于散射环境的 具体物理性能。由于无线信道相比于有线信道而言，传输环境比较恶劣，要实现 无线网络上高质量的视频传输是一个富有挑战性的任务。下面主要描述一下无线 信道存在的一些问题，并介绍一些常用的无线信道模型。 2 1 1 无线信道视频传输存在的问题 目前无线信道存在的问题主要有以下几个方面【3 1 】： ( 1 ) 带宽有限 当前的移动通信网络为用户提供的传输带宽仍是非常有限的，尽管这个问题 在3 g 会得到某种程度上的缓解。但由于多媒体信息的信息量异常庞大，随着视 频业务的普及，即便是以后带宽有所提升，也仍难以满足视频增长的带宽需求。 ( 2 ) 带宽波动 无线信道会因为多径衰落、同频干扰和噪声扰动等造成其吞吐量降低，而且 基站和移动终端之间距离的变化以及不同网络之间的移动等情况均会使信道带 宽发生剧烈波动，严重影响无线网络实时视频的传输质量。 第二章理论分析 ( 3 ) 误码率高 与有线信道相比，无线信道一般具有大得多的噪声，而且具有多径和阴影衰 落，使得误码率非常高。误码严重影响视频传输的质量，因此，视频编码标准是 否具有很强的抗误码能力是确保无线视频传输q o s 的关键之一。 2 1 2 无线信道常用模型 要实现无线视频传输，建立一个既实用又有一定精度的无线信道模型是十分 必要的。下面总结了在理论研究和系统仿真中经常使用的几种无线信道模型3 。j ： ( 1 ) 高斯白噪声衰减模型 加性高斯白噪声( a w g n ，a d d i t i v e 讹i t eg a u s s i a nn o i s e ) 是最常见的一种 噪声，它表现为信号围绕平均值的一种随机波动过程。加性高斯白噪声的均值为 0 ，方差表现为噪声功率的大小。一般情况下，噪声功率越大，信道的波动幅度 就越大，接收端信号的误码率也就越大。加性高斯白噪声信道的研究是研究通信 系统的误码率与信道质量关系的基础。 ( 2 ) m a r k o v 模型 由于用户的移动和外界自然条件的变化，无线信道容易产生r a y l e i g h 衰减和 多用户干扰，传输码流往往会引起突发性错误，表现为几个几十个毫秒时问内 连续出现误码。误码持续时间与环境特性以及接收端的运动速度有关。在此原理 基础上建立了m a r k o v 模型，如图2 - 1 所示为最简单的二阶的m a r k o v 无线信道 模型。其中，信道有两个状态s 0 和s l 。当信道处于状态s 0 时，报文正确传送 和接收，当信道处于状态s l 时，报文将会出错。突发性错误造成的连续出错报 文的数量由信道处于s 1 的时间长短和每个报文大小所决定。状态s 0 和状态s 1 之间的关系为： i1 一p 0 1 p 0 1l p = i 尸1 01 一p 1 0 i 第二章理论分析 其中，p 0 1 表示信道传输状态由s 0 到s l 的概率，p i o 表示信道传输状态由 s 1 到s o 的概率。 广 f p i o l i 一 图2 1 二阶的m a r k o v 无线信道模型 ( 3 ) 随机出错模型 随机出错模型是最简单的有损信道模型，它假设每个数据位按照一定出错率 出错，而且每个数据位的出错事件都是相互独立的。这个模型非常简单，容易被 运用到数学推导中去。但事实上，无线信道比较多的是突发性出错，一种将突发 性出错转换为随机性出错的方法是交织( i n t e r l e a v i n g ) 编码模式。要实现出错类 型的转变，需要一定的交织编码深度，但交织编码深度越大，带来的延时越大， 这就限制了交织编码技术在实时传输中的应用。 在基于i p 的网络中，随机性出错会带来报文丢失。位出错率和报文丢失率 满足以下关系： = ，- ( t p ) 其中，为报文丢失率，p 为位出错率，为报文长度。 2 2h 2 6 4 标准 h 2 6 4 是由i t u t 的v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 和i s o h e c 的 m p e g ( m o v i n gp i c t u r ee x p e r t sg r o u p ) 组成的j 、丌( j o i n tv i d e ot e a m ) 共同开发 的一个新的数字视频编码国际标准，它既是i t u t 的h 2 6 4 ，又是i s o i e c 的 第二章理论分析 m p e g - 4 的第1 0 部分。1 9 9 8 年1 月份开始草案征集，1 9 9 9 年9 月，完成第一个 草案，2 0 0 1 年5 月制定了其测试模式t m l 一8 ，2 0 0 2 年6 月的t 第5 次会议 通过了h 2 6 4 的f c d 板。2 0 0 3 年3 月正式发布。 h 2 6 4 和以前的编码标准一样，也是d p c m ( d i f f e r e n t i a lp u l s ec o d e m o d u l a t i o n ) 加变换编码的混合编码模式【。但它采用“回归基本”的简洁设计， 不用众多的选项，获得比h 2 6 3 + + 好得多的压缩性能；加强了对各种信道的适应 能力，采用“网络友好的结构和语法，有利于对误码和丢包的处理；应用目标 范围较宽，以满足不同速率、不同解析度以及不同传输( 存储) 场合的需求。 在技术上，h 2 6 4 标准中有多个闪光之处，如统一的v l c 符号编码，高精 度、多模式的位移估计，基于4 4 块的整数变换、分层的编码语法等。这些措 施使得h 2 6 4 算法具有很高的编码效率，在相同的重建图像质量下，能够比h 2 6 3 节约5 0 左右的码率。h 2 6 4 的码流结构网络适应性强，增加了差错恢复能力， 能够很好地适应i p 和无线网络的应用。 h 2 6 4 的算法在概念上可以分为两层：视频编码层( v c l ，v i d e oc o d i n g l a y e r ) 负责高效的视频内容表示；网络提取层( n a l ，n e t w o r k a b s t r a c t i o nl a y e r ) 负责以网络所要求的恰当方式对数据进行打包和传送。在v c l 和n a l 之间定义 了一个基于分组方式的接口，打包和相应的信令属于n a l 的一部分。这样，高 编码效率和网络友好性的任务分别由v c l 和n a l 来完成。 v c l 层包括基于块的运动补偿混合编码和一些新特性。与前面的视频编码 标准一样，h 2 6 4 没有把前处理和后处理等功能包括在草案中，这样可以增加标 准的灵活性。 n a l 负责使用下层网络的分段格式来封装数据，包括组帧、逻辑信道的信 令、定时信息的利用或序列结束信号等。例如，n a l 支持视频在电路交换信道 上的传输格式，支持视频在i n t e m e t 上利用r t p u d p i p 传输的格式。n a l 包括 自己的头部信息、段结构信息和实际载荷信息，即上层的v c l 数据。( 如果采用 数据分割技术，数据可能由几个部分组成) 。 可以说h 2 6 4 无论是在压缩性能上，还是在增强码流鲁棒性上都有很大的提 升。下面，进一步阐述其与差错控制相关的特性，并分别从视频编码层和网络提 取层两方面进行分析。 2 2 1h 2 6 4 视频编码层的差错控制机制 在h 2 6 1 、h 2 6 3 、m p e g 一1 、m p e g - 2 、m p e g - 4 中，许多差错控制工具已 经得到了很好的应用：图像分割的不同形式( 片、块组) ，i 模式宏块( m b ，m a c r o b l o c k ) 、片和图像的内插，参考图像选择( 带有和不带反馈、图像级别、g o b 第二章理论分析 ( g r o u po f b l o c k ) s l i c e 或m b 级别) ，数据分割等。 h 2 6 4 标准继承了以前视频编码标准中某些优秀的差错控制工具，同时也改 进和创新了多种差错控制工具。这里主要介绍h 2 6 4 的视频编码层的差错控制工 具，包括参数集、灵活的宏块排序和冗余片等【3 1 1 。 ( 1 ) 参数集 参数集是h 2 6 4 标准的一个新概念，是一种通过改进视频码流结构增强错误 恢复能力的方法。h 2 6 4 的参数集又分为序列参数集和图像参数集。其中，序列 参数集包括一个图像序列的所有信息，即两个i d r ( i n s t a n t a n e o u sd e c o d i n g r e f r e s hs l i c e ) 图像间的所有图像信息。图像参数集包括一个图像的所有分片的 所有相关信息：图像类型、序列号等，解码时某些序列号的丢失可用来检验信息 包的丢失与否。多个不同的序列和图像参数集存储在解码器中，编码器依据每个 编码分片头部的存储位置来选择适当的参数集，图像参数集本身也包括使用的序 列参数集参考信息。 众所周知，一些关键信息比特的丢失( 如序列和图像的头信息) 会造成解码 的严重负面效应，而h 2 6 4 把这些关键信息分离出来，凭借参数集的设计，确保 在易出错的环境中能正确地传输。这种码流结构的设计无疑增强了码流传输的抗 干扰能力。 参数集具体实现的方法也是多样化的：一是通过带外传输，这种方式要求参 数集通过可靠的协议，在首个片编码到达之前传输到解码器；二是通过带内传输， 这需要为参数集提供更高级别的保护，例如发送复制包来保证至少有一个到达目 标；三是在编码器和解码器采用硬件处理参数集。 ( 2 ) 片、片组和f m o ( f l e x i b l em a c r o b l o c ko r d e r ) 一幅图像由若干片( s l i c e ) 组成，每片包含一系列的宏块( m b ) 。m b 的排 列可按光栅扫描顺序，也可不按扫描顺序。每个片独立解码，不同片的宏块不能 用于自身片中作预测参考。因此，片的设置不会造成误码扩散。 灵活的宏块排序f m o 是h 2 6 4 的一大特色，适用于h 2 6 4 的基本档次和扩 展档次的应用。图像内部预测机制，例如帧内预测或运动矢量预测，仅允许用同 一片组里的空间相邻的宏块。f m o 通过宏块分配映射技术，把每个宏块分配到 不按扫描顺序的片中。f m o 模式划分图像的模式各种各样，重要的有棋盘模式、 矩形模式等。当然f m o 模式也可以使一帧中的宏块顺序分割，使得分割后的片 的大小小于无线网络的m t u 尺寸，经过f m o 模式分割后的图像数据分开进行 传输。 第二章理论分析 除了不会造成误码扩散之外，适当的分组方式还能为差错隐藏技术提供支 持。比如说，当采用棋盘模式时，相邻的宏块都分别属于不同的片。当其中一片 丢失时，就可以利用邻域相关性，根据其周围的宏块插值出丢失的宏块出来。使 用f m o 的代价是稍微降低了编码效率( 因为它打破了原先非邻居m b 之间的预 测) ，而且在高度优化的环境中，有较高的延时。 ( 3 ) 数据分割 通常情况下，一个宏块的数据是存放在一起而组成片的，数据划分使得一个 片中的宏块数据重新组合，把宏块语义相关的数据组成一个分割，由分割来组装 片。h 2 6 4 视频编码标准使用了三种不同类型的数据分割： 数据分割a ：指头信息分割，包括宏块类型、量化参数和运动矢量，这 个信息是最重要的。 数据分割b ：指帧内信息分割，包括帧内c b p ( c o d e db l o c kp a t t e r n ) 和帧内系数。帧内信息可以阻止错误的传播，该型数据分割要求给定分 片的数据分割a 有效，相对于帧问信息，帧内信息能更好地阻止漂移效 应，因此它比帧问信息分割更为重要。 数据分割c ：指帧间信息分割，包括帧问c b p 和帧间系数，一般情况下 它是编码分片的最大分区。帧间分割是最不重要的，它的使用要求数据 分割a 有效。 当使用数据分割时，源编码器把不同类型的分割安排在3 个不同的缓冲器 中，同时分片的尺寸必须进行调整以保证小于m t u ( m a x i m u mt r a n s m i s s i o nu n i t ) 长度，因此是编码器而不是n a l 来实现数据分割。在解码器上，所有分割用于 信息重建。这样，如果帧内或帧阅信息丢失了，有效的帧头信息仍然能用来提高 错误隐藏效率，即有效的宏块类型和运动矢量，保留了宏块的基本特征，从而仍 可获得一个相当高的信息重构质量，而仅仅丢失了细节信息。 ( 4 ) 冗余片方法 h 2 6 4 中参考图像的选择与以前在h 2 6 3 中的一样，在基于反馈的系统中， 解码器接收到丢失或被破坏的图像信息时，选择参考图像序列中正确的参考宏 块，来进行错误恢复；而对于无反馈的系统，h 2 6 4 提出了冗余分片编码。 冗余分片允许编码器在同一个码流中添加同一m b 的一个或更多冗余表示。 需要注意的是这些冗余片的编码参数与非冗余片的编码参数不同，例如主片可用 低q p ( 高质量) 来编码，而冗余信息中使用一个高q p ( 低质量) 的方式来编码， 这样质量粗糙一些但码率更低。解码器在重构时，首先使用主片，如果它可用就 第二章理论分析 抛弃冗余片；如果主片丢失( 比如因为包的丢失) 冗余片也能用于重构。冗余片 主要用于支持高误码的移动环境。 ( 5 ) 帧内编码 h 2 6 4 中帧内编码大体上类似于以往的视频编码标准，但也进行了重要的改 进，主要体现在： h 2 6 4 中帧内预测宏块的参考宏块可以是帧间编码宏块，这使得它具有 更好的编码效率，但另一方面这又降低了帧内编码的重同步性能，可以 通过设置限制帧内预测标记来恢复这一性能。 只包含帧内宏块的片有两种，一种是帧内片( is l i c e ) ，一种是立即刷新 片( i d rs l i c e ) 。立即刷新片需存在于立即刷新图像( i d rp i c t u r e ) 中。 与短期参考图像相比，立即刷新图像有更强壮的重同步性能。 为了更适应无线i p 网络环境中的应用，h 2 6 4 通过采用率失真优化编码和设 置帧内预测标志来提高帧内图像的重同步性能。 2 2 2h 2 6 4 网络提取层的差错控制机制 h 2 6 4 的网络提取层的设计主要是考虑到传输信道的多样性。通过抽象出网 络提取层，使得视频编码的设计者能把精力集中在信源编码的效率上，而不至于 让底下信道的不同分散其注意力。毫无疑问，网络提取层的设计是非常有效和新 颖的，它为不同的信道提供了一个统一的平台，将信道的差异留给了视频应用的 设计者来应付，从而具有很好的灵活性。下面简单介绍n a l 层的基本处理单元， 并给出它所对应的一些简单的差错控制机制【3 1 】。 每个n a l 单元是一个一定语法元素的可变长字节字符串，包括一个字节的 头信息( 用来表示数据类型) ，以及若干整数字节的负荷数据。一个n a l 单元可 以携带一个编码片、剐b c 型数据分割或一个序列或图像参数集。 n a l 单元按r t p 序列号按序传送。如图2 2 所示，其中，t 为负荷数据类 型，占5 b i t ；r 为重要性指示位，占2 个b i t ；最后的f 为禁止位，占l b i t 。具体 如下： 二二二二圃 图2 - 2 n a l 单元示意图 ( 1 ) n a l u 类型位 可以表示n a l u 的3 2 种不同类型特征，类型l 1 2 是h 2 6 4 定义的，类型 第二章理论分析 2 4 3 1 是用于h 2 6 4 以外的，r t p 负荷规范使用这其中的一些值来定义包聚合 和分裂，其它值为h 2 6 4 保留。 ( 2 ) 重要性指示位 用于在重构过程中标记一个n a l 单元的重要性，值越大，越重要。值为0 表示这个n a l 单元没有用于预测，因此可被解码器抛弃而不会有错误扩散；值 高于0 表示此n a l 单元要用于无漂移重构，且值越高，对此n a l 单元丢失的影 响越大。 ( 3 ) 禁止位 编码中默认值为0 ，当网络识别此单元中存在比特错误时，可将其设为l ， 以便接收方丢掉该单元，主要用于适应不同种类的网络环境( 比如有线无线相结 合的环境) 。例如对于从无线到有线的网关，一边是无线的非i p 环境，一边是有 线网络的无比特错误的环境。假设一个n a l 单元到达无线那边时，校验和检测 失败，网关可以选择从n a l 流中去掉这个n a l 单元，也可以仍把它传送给接收 端o 在这种情况下，智能的解码器将尝试重构这个n a l 单元( 已知它可能包含 比特错误) 。而非智能的解码器将简单地抛弃这个n a l 单元。 n a l 单元结构规定了用于面向分组或用于流的传输子系统的通用格式。在 h 3 2 0 和m p e g 2 系统中，n a l 单元的流应该在n a l 单元边界内，每个n a l 单元前加一个3 字节的起始前缀码。在分组传输系统中，n a l 单元由系统的传 输规程确定帧界，因此不需要上述的起始前缀码。一组n a l 单元被称为一个接 入单元，定界后加上定时信息s e i ( s u p p l e m e n t a le n h a n c e m e n ti n f o r m a t i o n ) ，形 成基本编码图像。该基本编码图像p c p ( p r i m a r yc o d e dp i c t u r e ) 由一组已编码的 n a l 单元组成，其后是冗余编码图像r c p ( r e d u n d a n tc o d e dp i c t u r e ) ，它是p c p 同一视频图像的冗余表示，用于解码中p c p 丢失情况下恢复信息。如果该编码 视频图像是编码视频序列的最后一幅图像，应出现序列n a l 单元的结束标志。 表示该序列结束。一个图像序列只有一个序列参数组，并被独立解码。如果该编 码图像是整个n a l 单元流的最后一幅图像，则应出现流的结束标志。 h 2 6 4 采用上述严格的接入单元，不仅使h 2 6 4 可自适应于多种网络，而且 进一步提高其抗误码能力。序列号的设置可发现丢的是哪一个v c l 单元，冗余 编码图像使得即使基本编码图像丢失，仍可得到较“粗糙”的图像。 第二章理论分析 2 3 联合信源信道编码 目前的信息系统是构建在s h a n n o n 信息传输理论基础上的，s h a n n o n 信息传 输理论的核心是信源编码和信道编码可以各自独立分开进行的分离理论【3 2 1 。信源 编码( 或称为压缩算法) 主要是为了提高通信系统的有效性，提高信息传输速率， 减少信息存储空间；信道编码( 或称为差错控制编码) 用于纠正传输或存储过程 中引起的错误，提高信息系统的可靠性。 在信息论的发展历史中，信源编码和信道编码各自独立分开进行的分离理论 之所以可能并得到迅速的发展有其内在的原因，分离理论把一个复杂问题分成了 两个相对简单的问题，便于问题的求解，它使得信源编码和信道编码系统理论和 设计实现的研究取得了显著的进步，使人们对最优信源编码和信道编码方法以及 其性能有了更好的理解。但是这一重要结论的假设前提是1 3 3 ： 无论对于信源编码，还是对于信道编码，都需要假定可以容忍无限长的 延时，即允许编码块无限长； 必须预先掌握传输信道的统计特性。 显然，上述两条假设在实际的通信系统设计中往往得不到满足。例如，视频 通信是一种对延时相当敏感的实时业务，不可能使用过长的编码块。视频通信业 务的传输信道，如无线信道、i p 网络等都具有时变性质，干扰因素复杂，事先 难以预料。因此，s h a n n o n 信息论存在的假设在实际工作中难以满足，仍采用局 部优化的设计方法将造成通信系统的冗余，从而使系统的整体性能达不到最优。 另一方面，s h a n n o n 信息论最初是针对数据的传输而提出来的。对于数据来 说，高斯信源的假设很容易满足，而图像视频信息中存在着很大的相关性，高 斯信源的假设往往难以成立。虽然s h a n n o n 信息论对信息技术的发展有着重要的 指导意义，但对于图像视频等多媒体信息来说，s h a n n o n 信息论还需要不断发展 和完善。 针对s h