（通信与信息系统专业论文）h264在80216系统中的抗错机制研究.pdf

h 2 6 4 在8 0 2 1 6 系统中的抗错机制研究 h 2 6 4 在8 0 2 1 6 系统中的抗错机制研究 摘要 h 2 6 4 标准是由运动图像专家组m p e g 和i t u 下属的视频编码 专家组v c e g 联合制定的新一代低比特率视频压缩编码标准。因为 其良好的压缩效率，对网络传输的支持性，使其成为网络传输中主流 的视频压缩技术。未来的趋势是视频数据将主要在无线网络中传输， 随着3 g 网络的逐步发展和成熟，业界把目光更多的转向了以8 0 2 1 6 w i m a x 为代表的4 g 网络。正因为如此，在8 0 2 1 6 网络中传送h 2 6 4 视频数据将是未来应用十分广泛的一个情况，那么研究在这个场景中 如何保障业务的q o s 有实际的意义和重要性。同时，在h 2 6 4 协议 和8 0 2 1 6 协议中都各自有一些抗错机制和o o s 保障机制，将两种协 议各自的机制结合在一起来统一的调度和分配资源也是十分必要的。 本文通过对h 2 6 4 帧内预测算法的优化和场景变换帧的检测，使 得i d r 帧的编码耗时减少了4 1 - 4 6 ，同时将传递i 帧的机制变成 了按需传送，而不是以固定间隔发送。同时本文将h 2 6 4 中抗错机制 和8 0 2 1 6 协议的m a c 层、数据链路层进行了有效的配合，提出了一 种跨层的q o s 设计。在这个架构里我们提出了基于优先级的带宽分 配算法和自适应链路调制算法。仿真结果表明，本论文提出的机制能 有效的减少h 2 6 4i d r 机制所需要的编码时间，同时能有效的保证 h 2 6 4 中重要数据包在8 0 2 1 6 无线系统传输时的q o s 。 关键字：8 0 2 1 6 ，h 2 6 4 ，i d r ，帧内预测，场景检测，跨层设计 t t 2 6 4 在8 0 2 1 6 系统中的抗错机制研究 h 2 6 4v i d e ot ra n s m i s s i o no v e ri e e e8 0 2 16 t h r o u g hac r o s s i 。a y e ra r c h i t e c t u r e a b s t r a c t t h ee m e r g i n gv i d e oc o d i n gs t a n d a r dh 2 6 4 a v c ，w h i c hi sj o i n t l y d e v e l o p e db yl 砸玎a n dm p e g , c a np r o v i d eh i g hc o m p r e s s i o ne f f i c i e n c y w i t h o u tl o s so f v i d e oq u a l i t ya n dg o o dn e t w o r ka d a p t i v et r a i t m e a n w h i l e ， t h ed e m a n df o rf a s ta n dl o c a t i o n i n d e p e n d e n ta c c e s st om u l t i m e d i a s e r v i c e so f f e r e do nt o d a y si n t e r n e ti ss t e a d i l yi n c r e a s i n g h e n c e ，m o s t c u r r e n ta n df u t u r ec e l l u l a rn e t w o r k s ，l i k eg s m - g p r s ，u m t s ，o r c d m a - 2 0 0 0 ，a n di e e e8 0 2 1 6c o n t a i nav a r i e t yo fp a c k e t - o r i e n t e d t r a n s m i s s i o nm o d e sa l l o w i n gt r a n s p o r to fp r a c t i c a l l ya n yt y p eo fi p - b a s e d t r a f f i ct oa n df r o mm o b i l et e r m i n a l s h 2 6 4v i d e ot r a n s m i s s i o no ni e e e 8 0 2 1 6w i l lb eaw i d e l yu s e ds c e n a r i oi nt h ef u t u r e s ot h a tr e c e r c ho n h o wt og u a r a n t e et h eq o sf o rh 2 6 4v i d e ot r a n s m i s s i o no ni e e e8 0 2 16 i t sn e c e s s a r ya n di m p o r t a n t t h i sp a p e rp r o p o s e sa ni m p r o v e di n t r am o d ed e c i s i o na l g o r i t h ma n d v i d e ot r a n s i t i o nd e t e c t i o na l g o r i t h mt oo p t i m a i z et h ei d rt e c h n i q u ei n h 2 6 4 ac r o s s l a y e ra r c h i t e c t u r ei sa l s op r o p o s e di nt h i sp a p e r w eg i v ea h 2 6 4 在8 0 2 1 6 系统中的抗错机制研究 n e wb a n d w i d t ha l l o c a t i o n a l g o r i t h m i n8 0 2 1 6m a ca n dan e w l i n k - a d a p t i v ea l g o r i t h mi n8 0 2 1 6r l c b a s e do nt h ep r i o r i t yo ft h eh 2 6 4 d a t a p a c k e t s i m u l a t i o n r e s u l t ss h o wt h a to u r p r o p o s e d i n t r am o d e d e c i s i o na l g o r i t h mc a ns a v et h et i m eb yu pt o4 0 w i t hn e g l i g i b l el o s so f p s n ra n di n c r e m e n to fb i tr a t e a n do u rc r o s s l a y e ra r c h i t e c t u r ec a n e f f e c t i v e l yg u r a n t e et h eh 2 6 4t r a n s m i s s i o nq o s k e yw o r d s ：8 0 2 1 6 ，h 2 6 4 ， i d r ，i n t r ap r e d i c t i o n ， t r a n s i t i o nd e t e c t i o n ，c r o s s - l a y e ra r c h i t e c t u r e h 2 6 4 在8 0 2 1 6 系统中的抗错机制研究 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特s a j = ! j n 以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资抖若有不实之处，本人承 本人签名： 挫坦 日期： 担一切相关毒任。 似p 易 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学 本人签名 位论文不属于保密范围，适用本授权书。 ， ：监吵日期：槲仁占 导师签名：日期：全q q 佥：望：当 h 2 6 4 在8 0 2 1 6 系统中的抗错机制研究 1 1 视频通信的发展 第一章绪论 随着网络和多媒体技术的飞速发展，人们已不仅仅满足于传统网络上的文件 传输和文字浏览，开始向互联网提出更高的要求一在互联网上实现更直观、更 丰富的多媒体信息的实时交互，例如：在线视频点播、视频会议、视频电话、远 程教育、远程医疗、数字图书馆等。剖析这些业务本身发现它们有一个共同的特 征，就是其所包含的视频信息中数据量大、实时性强。视频信息数字化后所产生 的数据率相当大的，以分量编码的数字视频信号为例，其数据数率高达 2 1 6 m b i t s ，在此情况下，1 小时的电视节目需要近8 0 g b 的存储容量，显然这样 大的数码率在现有的数字信道中传输或在现有的媒体上存储，其成本是十分昂贵 和不现实的。因此，为了提高信道利用率和在有限的信道容量下传输更多的信息， 必须对视频数据进行压缩。然而传统的媒体传送方式和数据压缩算法却限制了上 述业务的功能实现，很难满足信道带宽的波动性大、信道的误码率高和视频实时 传输的要求。因此，高效的视频压缩编码标准和流媒体技术应运而生，并立即得 到了重视和普及应用。 为了适应视频通信的迫切要求和各种视频通信业务本身的特点，近几十年来 对视频压缩编码技术进行了大量的标准化工作，制定了许多国际标准，如h 2 6 1 、 h 2 6 3 、m p e g 1 、即m p e g 2 和m p e g 4 等f 1 3 1 。 然而，这些视频压缩编码标准由于存在种种局限和不足，均难以满足无线移 动网络和口网络对视频传输提出的更高要求。因此，为了克服现有视频压缩算 法的局限和不足，适应更广的传输信道，提供更高的视频质量、更大的灵活性和 更多的功能，有必要制定新的视频压缩编码标准。h 2 6 4 就是为了满足这种要求 而由运动图像专家组m p e g 和n u 下属的视频编码专家组v c e g 联合制定的。 h 2 6 4 作为新一代的视频压缩编码标准，具有广阔的应用前景，例如实时视频通 信、因特网视频传输、视频流媒体服务、异构网上的多点通信、压缩视频存储、 视频数据库等。并且与以往压缩标准相比，它具有更高的压缩比，更好的信道适 应性，满足非常广泛的业务要求。在同等的图像质量条件下，h 2 6 4 的数据压缩 比能比当前d v d 系统中使用的m p e g 2 高2 3 倍，比m p e g - 4 高1 5 2 倍。正 因为如此，经过h 2 6 4 压缩的视频数据，在网络传输过程中所需要的带宽更少， 也更加经济。在m p e g 2 需要6 m b p s 的传输速率匹配时，h 2 6 4 只需要 1 m b p s 2 m b p s 的传输速率。此外，它的基本系统是开放的，无需使用版权。因 h 2 6 4 在8 0 2 1 6 系统中的抗错机制研究 此，在网络带宽不是很高的情况下，选用h 2 6 4 编码技术作为网络多媒体应用是 非常明智的，对h 2 6 4 标准，特别是对其编码技术和网络传输技术进行研究具有 十分重要的意义。 以视频传输为主要特征的多媒体通信不仅仅在互联网上发展迅猛，在电信网 络上也得到了快速的发展和应用。传统的电信网络只能提供最基本的语音通信业 务，随着网络沿着2 g ，2 5 g ，3 g ，4 g 向前演进，电信网络开始能够提供各种 数据业务，比如视频电话，在线会议，v o d 等等。从我国的情况来看，电信网 络上大规模的视频业务还没有完全的展开，还有很大的发展空间。因为h 2 6 4 良 好的压缩性能和网络特性，其也成为在电信网络上视频压缩标准的首选。 1 2 视频通信面临的挑战 随着视频通信的快速发展，如何提高i n t e r n e t 上实时多媒体信息传输质量的 研究也面临着许多挑战，主要集中在解决以下几个问题： ( 1 ) 带宽。为了获得用户可接收的视频质量，网络视频流式传输需要一定的 带宽。但目前的i n t e m e t 并不给此类应用提供带宽预留，而且传统的路由器并不 积极参与网络拥塞控制，过高的通信量会导致拥塞，使得实时传输难以进行。 ( 2 ) 丢包。丢包使得接收视频质量下降，实时多媒体的传输可以允许一定的 丢包率，但必须进行严格的控制。i n t e r n e t 不对丢包率提供保证，当网络拥塞时 会造成丢包率的上升，难以保证实时视频流式传输的质量。 ( 3 ) 延时。普通的数据传输没有严格的延时限制，但实时传输对端到端的延 时是有严格限制的，比如小于1 5 ，否则就谈不上实时传输了。为了保证视频的 连续播放，每个数据包必须及时到达服务请求端，供解码并播放，如果数据包在 限制时间之后才到达，那么就被认为是无用包，将被丢弃。i n t e m e t 不提供延时 保证，其上的网络拥塞、数据包传输的路径不同，都会造成延时，不能满足实时 传输的需要。 到目前为止i n t e m e t 中有很多的o o s 控制机制，从总体上来说，大致分为基 于网络和基于终端系统两种。基于网络的方法是由网络中的路由器、交换机等提 供q o s 支持，比如增加带宽、根据优先级进行通路优先算法( d i f f s e r y ) 、资源预 留服务( r s v p ) 等【4 】。其中，资源预留是最直接的方法，但它要求沿途所有的路由 器都支持该协议，否则o o s 得不到保障，而目前大多数的路由器都没有此功能。 此外，为了提供o o s 的保障，r s v p 经常造成网络资源的过度分配，未能充分利 用网络资源。根据优先级进行通路优先算法则是对不同的网络应用分配不同的优 先级，优先保证优先级最高的应用所需要的网络资源。但如何根据不同的网络应 h 2 6 4 在8 0 2 1 6 系统中的抗错机制研究 用设置不同的优先级，并将优先级映射到不同的路由器优先级，以及该方法所带 来的性能增益仍在研究之中【5 】。 基于终端系统的方法是在应用层对q o s 进行控制，由服务器和客户端采取 q o s 控制措施来提高视频质量，通过对网络状态的估测来获取网络状态信息，然 后按某种策略调节源端的输出业务流量与可用带宽匹配来防止拥塞的发生，减少 丢包，降低时延，这种方法的好处在于并不需要对当前的网络和路由器进行任何 改造，只是由端系统的应用程序来实现q o s 控制，因此可以适应于现有的和未 来的网络。 在无线网络中，q o s 的控制则更为重要和复杂。在无线网络中，无线终端的 移动性，网络拓扑结构的不断变化，无线信道易受干扰的特点使得链路状态时好 时坏，因而无线网络并不像有线网络那样有固定的带宽。另外，无线信道访问存 在竞争，这样就不可避免地带来隐藏终端、暴露终端等不同于有线网络的问题。 因此，无线网络不能照搬有线网络的q o s 机制。当前对无线网络q o s 资源支持 的研究主要集中在q o s 模型、q o s 媒体访问控制( m a c ) o o s 路由以及o o s 资 源预留信令协议等几个方面。先通过o o s 模型来确定q o s 目标，规定媒体访问 控制、路由和信令协议的功能，再通过后三者各自的具体实现，互相协作，共同 完成q o s 支持的目标。 1 3 论文要解决的问题及论文结构 本文要讨论的主要问题就是采用8 0 2 1 6 接入技术的宽带无线网络如何保证 视频传输的q o s 质量。在h 2 6 4 协议中采用可一些可选的机制，这些机制可以 用来增强h 2 6 4 编解码的抗错能力，提高解码端的图像质量。同时，在8 0 2 1 6 协议的m a c 层中也给出了q o s 的框架，但没有给出具体的实现机制，很多研究 也都集中在具体实现的算法上，在8 0 2 1 6r l c 层上也有自适应的链路调整机制 来提供对q o s 的支持。 本论文的贡献在于没有独立的去研究每一部分的q o s 机制，而是用跨层设 计的思想将h 2 6 4 和8 0 2 1 6 q o s 机制进行了结合，这样的好处在于能够对分散在 网络各个子层的特性参数协调融合，h 2 6 4 编码层，网络层可以和8 0 2 1 6 的m a c 层，r l c 层交互信息，使得我们设计的整个跨层体系能够以全局的方式适应特 定应用所需的q o s 和网络状况的变化并根据系统的约束条件和网络特征来进行 综合优化，实现对网络资源的有效分配，提高网络的综合性能。 本文的关键技术点包括： 对h 2 6 4 帧内预测机制做了改进，使得采用帧内预测的i d r 抗差错机制 降低了其复杂度，减少了额外耗时 h 2 6 4 在8 0 2 1 6 系统中的抗错o l n r 0 f 究 提出了一种新的对i d r 帧传送的时机机制，提高了i d r 帧的使用效率， 减少了使用i d r 带来的额外耗时 提出了在8 0 2 1 6m a c 层根据h 2 6 4 数据特征的带宽分配机制 提出了在8 0 2 1 6r l c 层根据h 2 6 4 数据特征的自适应链路调制机制 论文的安排如下： 第一章是绪论，通过对视频通信的发展及面临的挑战的分析引出了本论文要 研究的课题。 第二章是研究了h 2 6 4 整体的编码框架，和帧内块刷新，数据分割，f m o 等抗错机制。 第三章研究了i e e e8 0 2 1 6 协议的整体框架，重点是m a c 层的带宽分配机 制，r l c 层的自适应链路调制机制。 第四章对h 2 6 4 帧内预测方法做了改进，并提出了新的i d r 帧的传送机制。 第五章运用跨层设计的思想，提出了一种涵盖h 2 6 4v c l 层，n a l 层，8 0 2 1 6 m a c 层，r l c 层的q o s 架构模型。 第六章对课题研究进行了总结，并对课题未来的方向进行了总结。 第二章h 2 6 4 概述及o o s 机制 2 1h 2 6 4 编解码过程 h 2 6 4 采用的是编码和预测的混合编码方法，整体编码框图如图2 - 1 所示， 从编码器的框图可以看出编码器包括两个数据流程：前向路径和重构路径【6 7 】。 图2 - 1h 2 6 4 整体编码框图 h 2 6 4 在8 0 2 1 6 系统中的抗错机制研究 在前向路径中，一幅输入帧或者场r 将在宏块单元处理。每一个宏块以帧 问或者帧内预测模式进行编码，对于宏块中的每一个块，预测量值p r e d ( 虱2 - 1 中以p 表示) 的形成基于重构的帧采样。对于帧内模式，p r e d 通过当前s l i c e 中 的采样形成，这些采样已经被编码，解码和重构( 图2 - 1 中用“n 表示；注意未 经滤波的采样用于形成p r e d ) 。对于帧间模式，p r e d 的形成基于运动补偿，运 动补偿利用一到二幅参考帧，它们从列表o 也可以从列表1 中选择。图2 1 中， 参考帧为先前编码帧凡j ，但是每一个宏块划分的预测参考可以从过去和将来 ( 展示顺序) 的帧中选择，这些帧已经被编码，重构和滤波。当前帧减去预测量的 p r e d 产生残块仇，残块经过变换( 使用块变换) 和量化产生x ，x 是一系列变换 系数的量化值，它们将重新排序和熵编码。熵编码后的系数和用于解码的附带信 息( 编码模式，量化参数，运动矢量信息等) 形成压缩比特流，比特流通过网络抽 象层n a l 进行传输或者储存。 在编码器的重构路径中，在编码和传送宏块中每一个块的同时，编码器也将 解码( 重构) 每一个块用于以后预测的参考。系数x 被扩展( q 1 ) 和反变换f f l ) 后 产生一个差异块协。预测块p r e d 加上d k 构造重构块峨( 原始块的解码版本， u 表示没有被滤波处理) 。滤波器的使用减少了块状扭曲效应，重构的参考帧由一 系列块p 厅构造而成。 解码过程为编码过程的逆过程，整体编码框图如图2 2 所示。解码器从n a l 层中接收到压缩后的比特流。数据元素进行嫡解码，然后重新排序，恢复出来量 化后的系数x ，x 再经过反量化和反变换得到残差比利用从该比特流中的解码 出来的头信息，解码器产生一个预测块p r e d ，它和编码器中的原始p r e d 是相 同的。当该解码器产生的p r e d 与残差相加后，就产生以，再经滤波后，最后 就得到重建的n ，这个n 就是最后的解码输出图像。 图2 - 2h 2 6 4 整体解码框图 h 2 6 4 枉8 0 2 1 6 系统中的抗错机制研究 2 2 h 2 6 4 编码核心技术 2 2 1 帧内预测编码 帧内编码用来缩减图像的空间冗余。为了提高h 2 6 4 帧内编码的效率，在给 定帧中充分利用相邻宏块的空间相关性。因此，在对一给定宏块编码时，首先可 以根据周围的宏块预测( 典型的是根据左上角的宏块，因为此宏块已经被编码处 理) ，然后对预测值与实际值的差值进行编码，这样，相对于直接对该帧编码而 言，可以大大减少码率。h 2 6 4 提供9 种模式进行4 x 4 像素宏块的预测，包括一 种直流预测和8 种方向预测，对于图像中含有很少空间信息的平坦区，h 2 6 4 也 支持1 6 x 1 6 的帧内编码。 2 2 2 帧间预测编码 对于视频图像来说，前一帧图像和后一帧图像之间有很多的相同( 相似) 部 分，这是一种冗余信息，叫做时间冗余。对于序列图像来说，这是最主要的一种 冗余。通常可以用前一帧图像中的相同( 相似) 部分的数据来预测当前帧中的数 据，然后对于预测数据与实际数据的差值进行编码压缩，能够大幅度的压缩视频 数据。帧间预测编码就是利用连续图像序列之间的相关性来进行压缩的。在h 2 6 4 中，除了具有在原有标准( h 2 6 3 ，m p e g 4 等) 中的p 帧，b 帧预测方法外，还增 加了许多新的功能，如采用不同大小的块进行预测；采用1 4 甚至1 8 像素精度 的运动补偿算法；采用多参考帧进行帧间预测编码；采用去块滤波器消除由于块 预测误差产生的块效应等。 2 2 3 整数变换 目前绝大多数视频编码标准采用的都是基于变换的混合编码算法。变换将在 空间域内以像素值形式表示的图像信息变换到变换域中，以变换系数的形式加以 表示。显然，如果变换选择得当的话，所得的变换系数之间的相关性要明显小于 原像素值之间的相关性，从而达到去除图像冗余度的目的。变换后再根据人眼的 视觉特性，即人眼对高频信息不如低频信息敏感的特点，对不同的变换系数进行 不同步长的量化，便可以进一步实现有效的数据压缩。 h 2 6 4 相比于以前的视频编码标准的一个重要区别就是用4 x 4 整数变换算法 取代了传统的离散余弦变换编码算法由于h 2 6 4 使用的是以整数为基础的空间 变换，具有效果好、计算快( 只需要加法与移位运算) ，反变换过程中不会出现失 配问题等优点，并且结合量化过程，保证了在1 6 位计算系统中，计算结果有最 h 2 6 4 在8 0 2 1 6 系统中的抗错机制研究 大精度且不会溢出。同时，由于变换块大小从8 x 8 变为4 x 4 ，能够减小块效应和 震铃效应。 2 2 4 去块滤波器 基于块的编码特性之一在于它的块结构。重建块时，往往由于块边界像素值 的量化误差形成影响图像主观质量的“块效应 。为了消除块效应，提高解码图 像的主观与客观质量，同时为了提供更好的参考图像，h 2 6 4 标准中引入了基于 内容的去块滤波器。去块滤波是基于4 x 4 块边界的，也就是说对于每个宏块的 1 6 x 1 6 亮度分量，需要对其4 条水平边界和4 条垂直边界进行滤波，而8 x 8 的色 度分量则只需要对其2 条水平边界和2 条垂直边界进行滤波。在块边界上，滤波 的强度是和块的编码模式、运动矢量和残差数值相关的，而对于单个像素，基于 量化系数的门限值可以取消对任意单个像素的滤波。 2 2 5 嫡编码 利用信源的统计特性进行码率压缩的编码方式称为嫡编码，也叫统计编码。 嫡编码是视频编码处理的最后一步，也是编码算法中一个重要环节。 嫡编码( 变长编码) 的基本原理是给出现概率高的符号分配短的码字，而对出 现概率低的符号分配较长的码字。h 。2 6 3 之前的编码标准通常是将符号和对应的 码字以码表的形式保存起来，编码算法通过查表来获取符号对应的码字以形成码 流。 h 2 6 4 标准中制定了两种嫡编码方式t 基于内容的自适应二进制算术编码 ( c a b a c ) 和基于内容的自适应可变长编码( c a v l c ) 。h 2 6 4 中的c a v l c 码表提 供了一个简单的方法，不管符号表述什么类型的数据，都使用统一变字长编码表。 其优点是简单，缺点是单一的码表是从概率统计分布模型得出的，没有考虑编码 符号间的相关性，在中高码率时效果不是很好。c a b a c 算术编码是使编码和解 码两边都能使用所有句法元素( 变换系数、运动矢量) 的概率模型。为了提高算术 编码的效率，通过内容建模的过程，使基本概率模型能适应随视频帧而改变的统 计特性。内容建模提供了编码符号的条件概率估计，利用合适的内容模型，存在 于符号间的相关性可以通过选择目前要编码符号邻近的已编码符号的相应概率 模型来去除，不同的句法元素通常保持不同的模型。 h 2 6 4 在8 0 2 1 6 系统中的抗错机制研究 2 3v c l 和n a l 层 h 2 6 4 采用分层模式定义了视频编码层( v c l ) l 和网络提取层( n a l ) 。图2 3 显 示了h 2 6 4 整体的分层结构图。其中v c l 层完成了传统视频的压缩编码工作， 而后者专为网络传输设计，能适应不同网络中的视频传输，进一步提高网络的“亲 和性”。并且引入了面向口包的编码机制，有利于网络中的分组传输，支持网络 中视频的流媒体传输；具有较强的抗误码特性，特别适应丢包率高、干扰严重的 无线视频传输的要求。 图2 3h 2 6 4 层次结构图 n a l 支持众多基于包的有线无线通信网络，诸如h 3 2 0 、m p e g 2 和r t p i p 等。但目前绝大部分的视频应用所采用的网络协议层次是r t p a j d p i p 8 1 2 1 ，因 此在下面的描述中主要基于这个传输框架。下面分析n a l 层的基本处理单元 n a l u 以及它的网络封装、分割和合并的方法。 每个n a i l , 单元是一个一定语法元素的可变长字节字符串，包括包含一个字 节的头信息( 用来表示数据类型) ，以及若干整数字节的负荷数据。一个n a l 单 元可以携带一个编码片、觥型数据分割或一个序列或图像参数集。 n a l 单元按r t p 序列号按序传送。其中，t 为负荷数据类型，占5 b i t ；r 为重要性指示位，占2 个b i t ；最后的f 为禁止位；占l b i t 。具体如下： ( 1 ) n a l u 类型位 可以表示n a l u 的3 2 种不同类型特征，类型1 1 2 是h 2 6 4 定义的，类型 h 2 6 4 存8 0 2 1 6 系统中的抗错机制研究 2 4 一- 3 1 是用于h 2 6 4 以外的，r t p 负荷规范使用这其中的一些值来定义包聚合 和分裂，其他值h 2 6 4 保留。 ( 2 ) 重要性指示位 用于在重构过程中标记一个n a l 单元的重要性，值越大，越重要。值为0 表示这个n a l 单元没有用于预测，因此可被解码器抛弃而不会有错误扩散o ，值 高于o 表示此n a l 单元要用于无漂移重构，且值越高，对此n a l 单元丢失的 影响越大。 ( 3 ) 禁止位 编码中默认值为0 ，当网络识别此单元中存在比特错误时，可将其设为1 ，以 便接收方丢掉该单元，主要用于适应不同种类的网络坏境。例如对于从无线到有 线的网关，一边是无线的非口环境，一边是有线网络的无比特错误的环境。假 设一个n a l 单元到达无线那边时，校验和检测失败，网关可以选择从n a l 流 中去掉这个n a l 单元，也可以把已知被破坏的n a l 单元请 f 传给接收端。在这 种情况下，智能的解码器将尝试重构这个n a l 单元( 已知它可能包含比特错误) 。 而非智能的解码器将简单地抛弃这个n a l 单元。 n a l 单元结构规定了用于面向分组或用于流的传输子系统的通用格式。在 h 3 2 0 和m p e g 2 系统中，n a l 单元的流应该在n a l 单元边界内，每个n a l 单元前加一个3 字节的起始前缀码。在分组传输系统中，n a l 单元由系统的传 输规程确定帧界，因此不需要上述的起始前缀码。一组n a l 单元被称为一个接 入单元，定界后加上定时信息( s e i ) 。形成基本编码图像。该基本编码图像( p c p ) 由一组已编码的n a l 单元组成，其后是冗余编码图像( r c p ) 。它是p c p 同一视 频图像的冗余表示。用于解码中p c p 丢失情况下恢复信息。如果该编码视频图 像是编码视频序列的最后一幅图像，应出现序列n a l 单元的e n d 。表示该序列 结束。一个图像序列只有一个序列参数组，并被独立解码。如果该编码图像是整 个n a l 单元流的最后一幅图像，则应出现流的e n d 。h 2 6 4 采用上述严格的接入 单元，不仅使h 2 6 4 可自适应于多种网络，而且进一步提高其抗误码能力。序列 号的设置可发现丢的是哪一个v c l 单元，冗余编码图像使得即使基本编码图像 丢失，仍可得到较“粗糙 的图像。 2 4h 2 6 4 中的抗错工具 2 4 1 帧内块刷新 在没有反馈信道的情况下，随机帧内块刷新( r a n d o mi n t r am a c r o b l o c k h 2 6 4 在8 0 2 1 6 系统中的抗错机制研究 r e f r e s h e s ) 和i 帧插入( i n s e r t i o no fi n t r ac o d e df r a m e s ) 是用来对抗丢包的两种最 普遍的方法f 1 3 】。因为帧间预测都是依据参考帧来恢复当前帧，如果参考帧出现 差错，那么恢复帧也不可避免的会产生差错，并且一直会传递下去产生“差错蔓 延”的现象( e l l o rp r o p a g a t i o n ) ，而当传了若干个p 帧之后再采用i 帧的话，整 个预测过程将会重新开始，从而有效的阻止了错误蔓延。但是这种做法也有它的 局限性，因为l 帧的编码效率比p 帧要低很多，频繁的使用i 帧会消耗更大的带 宽，并且传输的视频码流的比特率也会不断的变化。相比之下，使用帧内块刷薪 要更有效率和更加灵活，因为这种方法并不是将整个帧都进行帧内预测，而只是 随机的将单独的宏块进行帧内预测，这样既可以阻止宏块之间的错误蔓延也使得 码流的比特率不会有太明显的变化。 2 4 2f m o 片条( s l i c e s ) 的使用是另一种被广泛使用的用来减小空间错误蔓延( s p a t i a l e r r o r - p r o p a g a t i o n ) 的方法【1 3 1 4 】。片条就是由一系列的宏块组成，在没有使用到 下文将要介绍的f m o 机制时，片条的分割基本上是按照顺序扫描的，一帧图像 会被分割成几个片条，如图2 4 所示。片条和片条之间的编码和预测都是独立的。 s lc 9 柏 s i i c e j j f l s l i c e 毒2 图2 - 4 帧图像的片条分割 正是因为片条和片条之间的这种独立性，使得属于一个片条的宏块可以独立 于其它片条的宏块进行解码，从而有效的降低了错误的连续传播。 f m o ( f l e x i b l em a c r o b l o c ko r d e r i n g ) 就是基于s l i c e 的一种抗错机制，不同之 处在于属于同一个s l i c e 的m r c r o b l o c k 在空间上并不是顺序的，而是按照其它的 规则进行映射。这种映射规则可以预先定义，术语叫做m a c r o b l o e ka l l o c a t i o n m a p ( m b a m a p ) 。常用的m a p 有：i n t e r l e a v e dm a p ( 交织映射) ，d i s p e r s e dm a p ( 离 散映射) ，f o r e g r o u n da n db a c k g r o u n dm a p ( 前景和后景映射) ，分别如图2 5 ，图 2 6 ，图2 7 所示。 h 2 6 4 在8 0 2 1 6 系统中的抗错机制研究 o 1 2 o 1 2 o 1 2 图2 - 5i n t e r l e a v e dm a p ( 交织映射) 图2 - 6d i s p e r s e dm a p ( 离散映射) 图2 7f o r e g r o u n da n db a c k g r o u n dm a p ( 前景争后景映射) f m o 机制对传输过程中的突发性错误有很好的处理。因为突发性错误会造 成连续的丢包，采用f m o 机制后，丢掉的包虽然是连续的，但包里的宏块在图 像中的位置却不是连续的，所以错误就这样被分散了。对于解码端，恢复离散的 错误要比恢复连续性的错误要容易得多。 2 0 2 0 2 0 2 0 2 1 3 l 3 l 3 l 3 l 0 2 o 2 o 2 0 2 o 3 l 3 1 3 l 3 l 3 2 o 2 o 2 0 2 o 2 1 3 l 3 l 3 l 3 1 o 2 o 2 o 2 o 2 o 3 l 3 l 3 l 3 1 3 2 o 2 0 2 0 2 o 2 l 3 l 3 l 3 l 3 1 o 2 0 2 o 2 o 2 0 h 2 6 4 在8 0 2 1 6 系统中的抗错机制研究 2 4 3 数据分割 d a t ap a r t i t i o n i n g ( 数据分割) 是另一项抗错机铝t 1 1 1 3 1 4 】。一般来讲，代表一个 宏块信息的比特被编成单一的比特流用来形成一个s l i c e 。而采用数据分割机制 后，代表一个s l i c e 的是不止一个比特流的，一个s l i c e 里包含的所有信息被按照 语义划分成了不同的p a r t i t i o n 。在h 2 6 4 中，一共有三种不同的p a r t i t i o n 被用到， 它们分别是： 头信息。包括宏块类型，量化参数，运动矢量。这些信息是最为重要的，如 果这些信息丢失的话，其它p a r t i t i o n 的信息就无法用来恢复图像了。这种分割类 型叫做t y p eap a r t i t i o n 。 t h ei n t r ap a r t i t i o n ，也叫做t y p eb p a r t i t i o n 。它里面包含的是帧内预测的模式 信息和预测系数。b p eb 必须还t y p ea 结合起来才能正确恢复出图像。因为帧 内预测信息能有效的阻止错误偏移和传播。所以它比下面提到的帧间预测信息部 分要重要。 t h ei n t e rp a r t i t i o n ，也叫做t y p ec p a r t i t i o n 。它里面包含的是帧间预测的模式 信息和预测系数。一般来讲t y p ec 类型是数据量最大的，但又是最不重要的。 t y p ec 必须还t y p ea 结合起来才能正确恢复出图像。 从上面的描述可以看出，三种不同的分割类型在重要性上是不一样的，t y p e a 的信息是最重要的。所以我们可以在传输过程中对t y p ea 信息采取一些保护 措施，本文研究的重点也就是在8 0 2 1 6 传输框架中如何采取有效的措施来降低 重要信息的丢包率。 第三章8 0 2 16 概述及0 0 s 机制 8 0 2 1 6 m a c 层定义了两种媒体共享方式：p m p 和m e s h 。 ( 1 ) p m p 在p m p 工作模式下，b s 与广域网相连，并且调控网络中所有的信息传递， s s 之间没有直接的数据通信。普通用户通过多种接口( 如以太网卡，无线局域 网卡，电话接口等等) 与s s 通信，申请多种具有不同q o s 参数的服务，在s s 中形成基本服务集流，进而s s 与b s 建立通信连接，实现广域的数据交换。 s s 和b s 之问的通信链路有两个方向，上行链路( 从s s 到b s ) 和下行链 路( 从b s 到s s ) 。在上行链路上，多个s s 以时分多址的方式共享上行信道资 源。这种共享方式是基于按需分陪多路寻址协议d a m a ( d e m a n da s s i g n e d m u l t i p l e a c c e s s ) 方式的。b s 在其中充当调度者的角色，根据业务连接所属的服 h 2 6 4 在8 0 2 1 6 系统中的抗错机制研究 务类别可以采取如下几种方式来分配带宽：周期性的为其分配数据分组传输机 会：周期性的进行问询，获取业务突发的改变信息，从而重新为其分配数据分组 传输机会；分配竞争方式的带宽请求机会，从而获得分组传输机会。 在下行链路中，b s 是唯一的传输者，通过广播的形式发送数据。在d l - m a p 没有指定具体接受端时，所有的s s 接受广播的数据包，并且根据数据包的头部 连接号判断接受属于自己的数据包。 ( 2 ) m e s h m e s h 是i e e e8 0 2 1 6 d 中新增的一种拓扑结构。这种拓扑结构和p m p 的主 要区别是，在p m p 拓扑中，传输仅存在于b s 和s s 之间，而在m e s h 拓扑中， 数据可以直接在s s 之间传输，并且可以通过多跳的形式传输。 在m e s h 网络中，与外网相连的节点被称为m e s hb s ，其它的节点被称为 m e s hs s ，上行链路和下行链路的方向分别被定义为流向m e s hb s 和离开m e s h b s 的方向。m e s h 中所有的节点必须相互协调才能发送信息。在m e s h 中定义了 两种调度方式，分布式调度和集中式调度，如图3 - 1 所示。如果运用分布式调度， 包括m e s hb s 在内的所有节点都必须在内的所有节点都必须在两跳内协调调度。 其传输。必须向自己一跳之内的邻节点提供其可用资源、请求、允许等信息。如 果使用集中式调度，则由m e s hb s 负责搜集所有节点的请求信息，并且在一定 的区域之内对资源进行匹配。 分布式调度链路 图3 - 1m e s h 中的集中式调度和分布式调度 3 1 m a c 各子层简介 i e e e8 0 2 1 6 协议m a c 层由3 个子层组成【1 6 】：特定服务汇聚子层( c s ) ，公 共部分子层( c p s ) ，安全子层( s s ) ，如图3 - 2 所示。特定服务汇聚子层提供了对来 h 2 6 4 在8 0 2 1 6 系统中的抗错机制研究 自外部网络的数据进行转换或者映射的机制，包括对来自外部网络的服务数据单 元( s d u ) 进行分类，并将它们与j 下确的m a c 服务流标识( s f i d ) 和连接标识( c i d ) 相关联。公共部分子层实现m a c 层的所有核心功能，包括系统接入、带宽分配、 连接建立和连接维护。安全子层提供鉴权、安全密钥交换和加密功能。这三层的 具体功能如下： u a c , 罄- i 特定服务汇聚子层 ( c s ) 公共部分子层 ( c p s ) 安全子层 ( s s ) 搠( p i i y 甓) 州 w 一 数据，控制平面 ； ； k - - 管理实体 特定强务荔：聚子层 管理实体 公共部分子屡 r 硒磊j 管理实体 物理层 管理平隧 网 络 管 理 系 统 图3 - 28 0 2 1 6 协议结构 ( 1 ) 特定服务汇聚子层 特定服务汇聚子层( c s ) 负责接收高层协议数据单元( p d u ) ，并将接收到的 p d u 映射到m a c 层连接上，或者进行相反的操作。其主要功能有： 从高层接收高层协议数据单元( p d u ) 对高层p d u 进行分类 基于分类对高层p d u 进行处理 将c sp d u 传递给正确的m a c 服务接入点( s a p ) 从对等层接收c sp d l i i e e e8 0 2 1 6 协议定义了两种特定服务汇聚子层：a t m 汇聚子层和分组汇聚 子层。a t m 汇聚子层用于支持基于a t m 连接的各类数据单元，分组汇聚子层 ( p a c k e tc s ) 贝j j 用于映射类似于i p v 4 、i p v 6 、以太网和虚拟局域n ( v i a n ) f 拘分组 业务数据单元。 分组汇聚子层用于传输所有基于分组的协议，例如点对点协议( p p p ) 、i e e e s t d8 0 2 3 ( 以太网) 协议、i e e es t d8 0 2 1 q 1 9 9 8m a n 协议等。一旦分组被分类并 与某条m a c 连接相关联时，高层p d u 将被封装到m a cs d u 中。当相关连接 定义