（通信与信息系统专业论文）基于h264的视频传输技术研究.pdf

摘要 j j j l i f j i f j 洲f i l f j | f 舢i f f j j y 2 0 6 6 9 4 5 随着网络技术和多媒体通信的迅速发展，视频业务在网络通信中占据越来越 重要的位置。人们对视频会议、流媒体在线观看等视频通信服务的需求迅速增长。 然而目前的i n t e m e t 和无线网络环境不能提供高可靠、高质量的保证，常常导致视 频数据在传输过程中发生丢失或者错误的现象。对于网络视频业务的特殊性，口 网络的体系结构不能满足视频传输的q o s 保证，难以保证视频传输所需带宽，而 且会导致网络拥塞等问题，使得视频传输过程中丢失重要的数据内容，解码端的 图像恢复质量大大下降。 本文针对无线网络视频传输过程中遇到的网络拥塞、解码端错误隐藏的高效 性等问题，设计了一套保证q o s 的视频传输方案。采用对特定的视频帧类型使用 不同的优先级传输方案。并使用n s 2 网络仿真工具模拟h 2 6 4 视频码流在无线多 跳网络结构中的传输过程，验证了该方案在保护重要视频内容上的有效性。 在无线网络的解码端，本文深入的研究了当前错误隐藏的多种算法，针对当 前多种错误隐藏方法的特点，提出了一种新的基于多模式的多方向扩展边界的错 误隐藏算法。算法通过对隐藏宏块在垂直、对角线和反对角线方向上进行准确的 边界匹配以及使用阈值判断隐藏宏块的分割模式，大大提高了隐藏宏块运动矢量 的精确度。并通过实验验证了本算法具有较高的重建图像质量，视频传输恢复后 在主观和客观上都有一定的提高。 关键词：h 2 6 4 视频优先级传输错误隐藏n s 2 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fn e t w o r kt e c h n o l o g ya n dm u l t i m e d i at e c h n o l o g y , v i d e os e r v i c e sa l ep l a y i n gam o r ea n dm o r ei m p o r t a n tr o l ei nt h ef i e l do fn e t w o r k c o m m u n i c a t i o n s n l ed e m a n d so fv i d e oc o m m u n i c a t i o ns e r v i c e s s u c ha sv i d e o c o n f e r e n c e s ，s t r e a m i n gm e d i ao n l i n ea r ei n c r e a s i n ga sw e l l h o w e v e r , t h ei n t e m e ta n d w i r e l e s sn e t w o r kn o w a d a y sc a n n o ts u p p l yh i 曲r e l i a b i l i t y , h i g hq u a l i t y , a n dr e s u l t si n t h ev i d e od a t a sl o s sa n de r r o rw h e nt r a n s m i t t e d d u et ot h ep a r t i c u l a r i t yo ft h en e t w o r k v i d e os e r v i c e ，t h es t r u c t u r e so fi pn e t w o r kc a n n o tg u a r a n t e et h eq o sa n dt h eb a n d w i d t h f o rt h ev i d e ot r a n s m i s s i o n , w h i c hm a yb r i n gn e t w o r kc o n g e s t i o na n di m p o r t a n td a t a s l o s tw h e nv i d e ot r a n s m i s s i o n ，n l ed e c o d e rq u a l i t yi m a g er e s t o r a t i o nd r o p sg r e a t l y i nt h i sp a p e r , s p e c i a le m p h a s i si sg i v e no nt h en e t w o r kc o n g e s t i o nf o rv i d e o t r a n s m i s s i o na n dt h eh i g he f f i c i e n c yo ft e m p o r a le r r o rc o n c e a l m e n tt e c h n i q u ef o rh 2 6 4 ， a n dag u a r a n t e eq o sq u a l i t yv i d e ot r a n s m i s s i o ns c h e m ei sd e s i g n e d w ea d o p t e da d i f f e r e n tt r a n s m i s s i o np r i o r i t ys t r a t e g yb a s e do nv i d e of r a m et y p e m e a n w h i l e ，s i m u l a t e t h ep r o c e d u r eo fh 2 6 4s t r e a mt h r o u g ht h ew i r e l e s sm u l t i h o p sn e t w o r ks t r u c t u r e sa n d v e r i f yt h ea v a i l a b i l i t yo f t h i ss c h e m e a tt h ed e c o d e ro fw i r e l e s ss t r u c t u r e s ，w es t u d yt h ee r r o rc o n c e a l m e n ta l g o r i t h m s n o w d a y s ，a n dt h e na ne r r o rc o n c e a l m e n ta l g o r i t h mn a m e dm u l t i - m o d em u l t i - d i r e c t i o n e x t e n d e db o u n d a r ym a t c h i n ga l g o r i t h mi sp r o p o s e d t h en e wa l g o r i t h mu t i l i z e st h e m u l t id i r e c t i o ni nv e r t i c a l ，d i a g o n a l ，a n da n t i d i a g o n a lt oc a l c u l a t et h eb o u n d a r yp i x e l s e r r o r sa n du s e st h et h r e s h o l dt oe s t i m a t et h el o s tm a c r o b l o c kp a r t i t i o nm o d e t h i s m e t h o do v e r c o m e st h ed r a w b a c ko fl o wm o t i o nv e c t o rp r e d i c t i v ep r e c i s i o n t h e e x p e r i m e n t a lr e s u l t ss h o wt h a t t h ep r o p o s e dm e t h o d h a sh i i g hr e c o n s t r u c t e di m a g e s ，a n d a l s oh a sb e t t e rq u a l i t yi nb o t hs u b j e c t i v i t ya n do b j e c t i v i t y k e y w o r d s ：h 2 6 4 v i d e op r i o r i t yt r a n s m i s s i o ne r r o rc o n c e a l m e n tn s 2 第一章绪论 第一章绪论 1 1 引言 随着人们对网络通信、通信质量要求的不断提高，日趋成熟的多媒体技术的 不断发展，人们越来越倾向使用更加直观、快速、丰富的数字视频通信，可以用 更加简单的方式来获取更多的信息。通过互联网和移动通信网络传输视频信息的 应用越来越多，可视电话、视频监控、流媒体在线观看及下载、多媒体点播、数 字网络图书馆、无线及i n t e m e t 视频流高清电视广播等得到广泛的应用。其中，无 线及i n t e m e t 进行视频传输通信已经在视频应用了领域占据越来越重要的地位。由 于视频内容本身具有数据量大、占用带宽大等特点对通信系统的有限带宽和存储 空间提出了更高的要求，而无线网络视频通信的时延变化和较高的丢包率特点， 对视频内容的可靠传输提出了更高的要求。 无线网络视频通信允许各个接入点具有不同的q o s ( q u a l i t yo f s e r v i c e ) 等级，同 样的信源能够按照各个接入点以不同的分辨率、帧率、码率的要求编码。与此同。 时，无线网络中较大的丢包、延时以及抖动都会对视频流的解码造成很大的影响。 当前的无线网络中，视频流的传输会发生两种类型的差错：第一、比特差错； 第二、丢包差错。在基于电路交换的网络结构中，会发成比特差错。如3 g p p 中采 用h 3 2 4 m o 作为电路交换的多媒体业务传输协议。而产生丢包差错主要由于网络 的拥塞、信道的高误码率和不稳定性以及网络异构【2 3 】等。另外，视频编码标准中 使用帧内预测、帧间预测、运动估计、运动补偿等技术，使得后帧解码需要前帧( 或 者前几帧、前后几帧) 的数据。比如丢失视频的重要部分：参数集( 负责各帧的解码 参数) 那么本帧图像就会无法解码，其后面的帧也会受到影响，导致连帧扩散( e r r o r f r a m ep r o p a g a t i o n ) ( 直到下一个i 帧出现才能消除) 和错误漂移( e r r o rd r i r ) 现刻2 6 1 。 视频编码标准使用变长编码( v l c ：v a r i a b l el e n g t hc o d i n g ) 提高编码效率，若其中 的某比特位发生错误，解码端无法跳过出错码字，导致同步失效，后续的多个比 特流都无法解码。 针对以上视频通信问题，需要设计出一种高效的、鲁棒的无线视频传输系统， 解决或改善网络视频通信带来的问题。目前，在无线视频传输网络中，提供端到 端的q o s 保证主要有三大类方法：第一、基于网络的解决方案；第二、基于终端 的解决方案( 包括编码端和解码端) ；第三、基于网络和编解码相结合的解决方案。 为提高视频流的抗误码特性，通过在原始码流增加冗余【4 - 5 1 。具体的方法有： 前向纠错编码( f e c ：f o r w a r de r r o rc o r r e c t i o n ) ：接收端不但能够发现差错，而且能 2 基于h 2 6 4 的视频传输技术研究 确定码元发生错误的位置，在一定程度上纠正错误。编码端的差错控制，使用灵 活的宏块排序( f m o ：f l e x i b l em a c r o b l o c ko r d e r ) 1 6 - r 1 将不同的宏块编入不同的片 ( s l i c e ) ，多个s l i c e 组成s l i c e g r o u p ，降低相邻宏块的同时发生差错的概率。使用 加入冗余片( r e d u n d a n ts l i c e ) 等方法使得信源具有更强的抗误码能力。解码端的差 错控制，使用错误隐藏( e c ：e r r o rc o n c e a l m e n t ) t 5 0 。5 9 】方法，对丢失的数据利用时间 上和空间上的相关性进行估计，从而恢复出原始的图像序列。 鉴于视频内容的特殊性，视频传输需要考虑视频内容的重要程度，在纠错编 码系统中，编解码端要与网络传输相互合作 8 - 9 1 。例如，网络传输过程中，各种数 据都要竞争网络带宽资源，当网络路由器暂存的数据超过容限时，会导致一部分 数据包的丢失，而由于视频流中某些数据包或者比特的重要性，应该尽量确保不 被丢弃，那么需要优先考虑这些重要的数据包，对不同等级的视频流设置不同的 优先级，优先传送，满足顺利解码的q o s 保证。同时为了阻止错误扩散，网络应 该提供一条反馈信道，通知编码端在接下来的编码方案中采用相应的控制策略。 1 2 视频压缩编码的发展 在视频压缩编码标准的进程中，i s o i e c 运动图像专家组m p e g ( m o t i o np i c t u r e e x p e r t sg r o u p ) 和国际电信联盟i t u t 做出了最重要的贡献。制定和统一发布了一 系列的编解码标准，为不同领域的视频压缩编解码提供了有章可循的统一的接口 与规范。i t u 主要针对实时视频通信标准，这类标准通常以h 2 6 x 来命名。而 i s o i e c 的运动图像专家组针对多媒体存储领域的标准，多以m p e g - x 来命名。 1 9 8 9 年，i t u t 推出了h 2 6 1 视频编解码标准。该标准主要应用于视频会议 中，输出码率为p x6 4 k b i t s ，p 的范围l 3 0 。其中，基于块的编码、运动估计、 运动补偿、d c t 等关键技术的首次提出，是视频编解码上的里程碑。之后，i t u t 、 i s o 公布的一系列编码标准都基于此。1 9 9 1 年，m p e g 专家组公布了m p e g 一1 编 码标准。该标准主要应用于多媒体存储，如家用v c d ，输出码率1 5 m b p s 。该标 准的推出使得基于光盘存储介质的多媒体系统广泛应用于教育、教学、娱乐等领 域。1 9 9 4 年1 1 月，发布了m p e g 2 标准，该标准主要应用于d v d 存储领域、数 字卫星电视、数字卫星广播( d v b ) 及高清晰度电视( h d t v ) 等系统，码率为 4 1 5 m b p s ，直到1 0 0 m b p s ，分别适用于不同档次的视频压缩应用中。而i t u - t 在 h 2 6 2 标准中同样适用了m p e g 2 ，故有时其称为h 2 6 2 m p e g 2 标准。 1 9 9 5 年，i t u t 在h 2 6 2 的基础上发布了h 2 6 3 标准，用于甚低比特( 码率小 于6 4 k b p s ) 的视频传输，应用于p s t n ( p u b l i cs w i t c h e dt e l e p h o n en e t w o r k s ) 中的可 视会议、多媒体通信和无线移动网络的多媒体业务。随后分别于1 9 9 8 年和2 0 0 0 第一章绪论 3 年又发布了两个改进版本h 2 6 3 + 1 明和h 2 6 3 + + 【1 1 】。 1 9 9 9 年，i s o i e c 发布了m p e g - 4 标准，该标准使用基于对象和基于模型的 编码技术，突出了多媒体通信的交互性和灵活性，大大提高了视频编码效率，但 其复杂度较高、成本较高的特点，导致m p e g - 4 技术未能得到预期的应用结果。 为了进一步降低编码效率，提高图像质量，i t u t 和m p e g 专家组与1 9 9 7 年 成立了联合视频组j v t ( j o i n tv i d e ot e a m ) 。t 的目标是将h 2 6 l 6 】发展成为一个 国际性的新标准，其中l 表示两者具有长期合作的含义。并成功的在2 0 0 3 年发布 了第一个版本，称为h 2 6 4 标准，也是m p e g - 4 的第1 0 部分。官方名称为 a v c ( a d v a n c e dv i d e oc o d i n g ) ，一般称为h 2 6 4 。 与以往的压缩标准相比，h 2 6 4 具有： ( 1 ) 压缩率更高、图像质量更好。它使用更先进的帧内预测编码、帧间预测编 码、整数变换、熵编码和混合编码等技术，使得h 2 6 4 的编码效率有了大幅度的 提高。在同等视频质量下，比h 2 6 3 标准相比，能够节省5 0 的码率。 ( 2 ) 网络的亲和性更好。h 2 6 4 中采用分层编码思想，分为视频编码层( v c l ： v i d e oc o d i n gl a y e r ) 和网络提取层( n a l ：n e t w o r ka b s t r a c t i o nl a y e 0 。视频编码层 主要采用运动补偿、变换编码、循环滤波、熵编码混合编码技术实现对视频的高 效编码；n a l 层主要完成数据封装格式的定义，包括统一的数据包格式，为v c l 提供适合不同网络结构传输的统一接口。使得h 2 6 4 码流更适合于不同网络中的 传输，满足非常广泛的实时和非实时业务。 ( 3 ) 抗误码性更好。通过使用灵活的宏块排序、冗余片、数据分割、错误隐藏 等方法，加强了丢包及抗误码处理，提高了h 2 6 4 码流的鲁棒性以及解码图像质 量。 本文的无线传输网络中就是采用基于h 2 6 4 编码的码流结构。 1 3 视频网络传输的研究现状 针对视频通信的特点：第一、时延要求；第二、信道的随机性和突发性；第 三、带宽的限制。需要视频压缩编码技术、实时传输协议( r t p ：r e a l t i m et r a n s p o r t p r o t o c 0 1 ) 、实时传输控制协议( r t c p ：r e a l t i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) ，流媒体 传输技术等来解决视频传输过程中遇到的问题。如何研究一种保证可靠传输的网 络视频传输系统，极富有挑战性。 实时传输协议r t p 是一种针对多媒体数据传输协议，它是由i e t f 开发的。提 供端到端的网络传输功能，可靠性低于t c p i p 协议，但是适合多媒体数据的实时 传输。但是r t p 没有为实时服务提供资源预功能，不能保证q o s ，它依赖于低层 4 基于h 2 6 4 的视频传输技术研究 服务去实现这一功能。r t p 位于u d p ( u s e rd a t a g r a mp r o t o c 0 1 ) 之上，它没有t c p 可靠，无法保证实时业务的服务质量，需要r t c p 实时监控数据传输和服务质量。 但u d p 的传输延时低于t c p ，能与音视频很好的结合，因此在是实际的应用中， 使用r t p r t c p u d p 的方法传输流媒体，而使用t c p 用于数据和控制信令的传输。 r t c p 在r t p 的会话期间，各个参与者周期性地发送r t c p 数据包，主要包含已发 送数据包数量、丢失数据包数量等信息，为发送端提供一定的q o s 保证，r t p 、 r t c p 的共同作用，使得最佳化反馈的质量和最小化额外的开销，适合于网络中实 时流媒体数据的传输。 在当前的网络环境中，视频传输过程中往往会由于网络本身的问题导致数据 包的丢失。当网络中负载超过了资源的处理能力，或者用户提供到网络中的负载 大大超过了网络资源的容量时，此时，出现网络延时加剧、丢包率增大、传输效 率降低等问题，称为网络拥塞。当用户的业务流量小于网络可承受能力时，网络 资源没有得到很多的利用；当用户的业务流量大于或者等于网络可承受能力时， 此时网络资源充分利用，但是长时间的处于较饱和状态会导致网络崩溃。 目前基于网络的拥塞控制技术主要通过在路由器使用队列调度和管理策略 【1 2 l 。队列管理策略包括被动式队列管理策略和主动式管理策略。弃尾d r o p t a i l 是 早期的被动队列管理机制，当路由器的队列达到最大长度时，通过标记或者丢弃 来缓解拥塞，先到来的数据包优先传送。并通知发端当前的拥塞状态，及时调整 发送速率。d r o p t a i l 实现简单，但是将网络拥塞的处理推脱到网络边缘，没有真正 实现网络中的拥塞控制，而且会带来t c p 全局同步( t c pg l o b a ls y n c h r o n i z a t i o n ) 的 问题。与d r o p t a i l 类似的还有r a n d o md r o p 和d r o p f r o n t 。为了改进拥塞的控制算 法，1 9 9 3 年f l o y d 提出了随机早期拥塞r e d ( r a n d o me a r l yd e t e c t i o n ) u j j 控制策略， 是一种主动式的拥塞控制机制，它采用提前检测网络发生拥塞的概率，使用平均 队列长度来度量网络拥塞程度，然后将拥塞程度反馈给发端系统。当即将发生网 络拥塞时，丢弃进入的分组，而不是等到发生网络拥塞时再丢弃的方案，大大减 少了t c p 全局同步的发生。但是r e d 算法本身有一定的问题：第一、对参数的设 置敏感，参数的改动会大大影响网络的性能；第二、随着网络中接入点的增多， 中间节点上的平均队列长度会逐渐增大；第三、对于数据流混有t c p 以及非t c p 流时，r e d 算法不能有效地保证t c p 流的可靠传输。 自适应随机早期检测a r e d 1 4 】改进了r e d 算法，通过使平均队列长度保持在 一个长度范围内，当平均队列长度增大时，同时增大长度阂值，增加丢包的概率， 控制进入队列中的分组。克服了t c p 连接数目增加平均队列长度增加的问题。与 此同时还有s r e d b 5 1 、b l u e t l 6 】算法等。文【1 7 】中，通过为缓冲区设置最大和最小 阂值并且根据当前缓冲区中的负载实时调整不同数据包类型的优先级，而在不影 响建立路由的前提下，提高网络的吞吐量、降低网络时延。而k a l i l 等提出的基于 第一章绪论 5 m a r k o v 模型方法为跳数更多的数据包提供更高的优先级，提高了重要数据包的传 输质量。 1 4 本文的主要工作 本文主要针对无线网络中实时视频传输的研究，主要工作包括以下几个部分： 第一、设计了一种能够保证q o s 无线网络中高质量视频传输系统的方案。使用 n s 2 t 4 1 - 4 4 1 网络仿真工具模拟h 2 6 4 码流的整个视频传输过程，并利用 e v a l v i d r i g j 评估方案评价整个系统的性能。 第二、提出了一种新的错误隐藏方法。针对无线视频传输系统低时延、高q o s 的 特点，本文提出了一种基于多模式的多方向扩展边界的错误隐藏算法 m e b m a ( m u l t i d i r e c t i o ne x t e n d e db o u n d a r ym a t c ha l g o r i t h m ) 。利用帧间时域相关 和帧内空间相关的特点，最大程度的保证了差错宏块的原本分割模式，并 使用更加精准的边界匹配准则重构丢失宏块。 第三、设计了一种网络传输中基于视频内容的队列优先级方案。使用a r e d 算法 和h 2 6 4 码流的优先队列管理策略，最大程度的保证视频中重要数据的高 可靠传输。 1 5 本文的结构安排 第一章简要介绍了无线网络中的视频传输系统中涉及到的相关技术，无线网络中 传输视频面临的一些问题，简要介绍了h 2 6 4 编解码标准，视频网络传输的研究。 第二章具体的介绍了h 2 6 4 编解码标准中使用的差错控制技术。 第三章详细的介绍了整个系统的设计过程以及实验仿真环境。 第四章主要分析当前时域错误隐藏算法的特点，详细的介绍了本文提出的一种新 的多模式多方向的错误隐藏算法，并验证了新算法的有效性。 第五章总结全文，提出该领域存在的一些问题以及今后的设想和展望。 第二章基于h 2 6 4 的视频高质量传输技术 7 第二章基于h 2 6 4 的视频高质量传输技术 2 1 视频传输的特点 随着i n t e m e t 和移动通信的迅速发展，视频传输在i n t e m e t 和移动网络中的处 理和传输技术成为现阶段研究的重要内容。视频的传输也得到了越来越多的应用， 但视频内容的信息量大、网络时延小等特点必然对传输网络在网络带宽、传输延 时、抖动等方面提出了更高的要求。 一般来说，视频传输系统要求以下几个方面： ( 1 ) 网络带宽。视频内容在传输更多信息量的同时，也使得它的数据量非常庞 大，使用先进的压缩编码技术可以得到很高的压缩比，从而大大降低传输速率， 减小网络带宽，但视频质量却无法保证，要保证实时视频质量，却要求更大的网 络带宽，这两者是相互矛盾的，那么压缩编码方案的选取成为关键。 ( 2 ) 网络时延。视频在网络中的传输要求网络时延尽可能的小，在主观上才能 得到较好的效果，如果时延较大，视频传输也就没有了它本身的优势。 ( 3 ) 传输信道的随机性和突发性。对于在无线网络中传输视频，信道的突发特 性会使得视频包的连续丢失，随机性导致数据包中比特差错，如何在减小视频包 的连续丢失以及丢失后的错误恢复方面都提出了更高的要求。 2 2 h 2 6 4 中的编码结构及特点 2 2 1h 2 6 4 中的应用档次 基于h 2 6 4 编解码的视频传输系统，首先考虑的是h 2 6 4 是如何编解码以及 如何对丢失数据进行恢复的。本节主要介绍新一代的视频编解码标准h 2 6 4 及其 关键技术，为之后的系统设计以及算法描述奠定必要的理论基础。 h 2 6 4 视频压缩编解码标准是由i s o i e c 运动图像专家组m p e g ( m o v i n g p i c t u r ee x p e r t sg r o u p ) 和i t u t 视频编码专家组v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 联合开发的一项全新的视频编解码标准。该标准在i s o i e c 中被之称为m p e g 4 的第1 0 部分，正式称为a v c ( a d v a n c e dv i d e oc o d i n g ) 。 h 2 6 4 标准草案中定义了三个类：b a s e l i n ep r o f i l e 、m a i np r o f i l e 和e x t e n t e d p r o f i l e 。 基本档次( b a s i c l i n ep r o f i l e ) ：支持i 片、p 片、c a v l c ( c o n t e x t b a s e da d a p t i v e v a r i a b l e l e n g t hc o d i n g ) 熵编码模式、f m o ( f l e x i b l em a c r o b l o c ko r d e r ) 和 8 基于h 2 6 4 的视频传输技术研究 r s ( r e d u n d a n ts l i c e ) 等，具有简单、应用广泛特点。主要应用于视频电话，会议电 话，无线通行等实时视频传输系统。 主要档次( m a i np r o f i l e ) ：支持i 片、p 片、b 片编码，使用c a b a c ( c o n t e x t - b a s e d a d a p t i v e b i n a r y a r i t h m e t i cc o d i n g ) 熵编码模式，多项改进提高压缩比的方案。主要 用于数字电视广播和数字视频存储。 扩展档次( e x t e n d e dp r o f i l e ) ：支持i 片、p 片、b 片、s p s i 片、f m o 、数据分 割等技术，主要用于流媒体传输系统。 h 2 6 4 的视频编码采用与h 2 6 3 和m p e g 相似的基于块的混合编码方式，它 集成了以往标准的优点，在编码效率上，它比m p e g - 4 和h 2 6 3 提高了近5 0 ， 在网络适应方面，h 2 6 4 标准引入了分层概念，具有更好的网络亲和性，这对实时 视频传输提供了更好的保证。 2 2 2h 2 6 4 的分层结构 h 2 6 4 的主要目标是高效编码以及更加灵活的适应网络。在不同环境下的高效 传输不仅与编码效率有关，而且也与编码后的视频如何无缝地集成入当前和今后 多元化协议中的容易程度有关。h 2 6 4 引入一个分层概念，l i j - 视频编码层( v c l ： v i d e oc o d i n gl a y e r ) 和网络抽象层( n a l ：n e t w o r k a b s t r a c t i o nl a y e r ) ，如图2 1 所示。 v c l 层 n a l 层 传输层 v c l 编码器 多 n a l 编码器 之 忏加l 卜g 之fl i曰口 图2 1h 2 6 4 的分层结构 其中，v c l 层主要包括v c l 编码器和v c l 解码器，主要完成视频内容的高 效压缩，使用高效的时域与空域压缩方法，采用帧间预测、运动估计、运动补偿， 变换编码，循环滤波，熵编码混合编码技术实现对视频的高效编码；n a l 层主要 包括n a l 编码器和n a l 解码器，主要完成数据封装格式的定义。包括统一的数 据包格式定义，为v c l 提供适合不同网络结构和多元环境传输的统接口。 在网络中传输或者存储视频数据时，首先要将v c l 数据，即被压缩编码后的 视频数据序列，封装入n a l 单元中。其中每个n a l 单元中主要包含：一组对应 于视频编码数据的n a l 头信息和一个原始字节序列负荷( r a wb y t es e q u e n c e p a y l o a d ，l m s p ) ，如图2 2 。 第二章基于h 2 6 4 的视频高质量传输技术 9 n a l h e a d e ri r b s p f i n r j in a l - 1 、y p e 0 i 1 i 2 l 3 i 4 ii 3 1 露n 面而系t 1 鬲r _ 广 丽f 1 面订阳研 图2 2n a l 单元结构 n a l 头字段含义如下： ( 1 ) f ：1 位，隐藏比特位，必须为0 。 ( 2 ) n r i ：3 位，取o o 、0 1 、1 0 、1 1 ，0 0 值表示n a l 单元的内容不用于重建引用 图像的帧，那么这样的n a l 单元可以被丢弃，而大于o o 的值则表示n a l 单元的 解码要求维护引用图像的完整性。除此，根据r t p 的荷载规范，大于0 0 的n r i 值 指示相对传输的优先级，最高传输优先级是l1 ，接下是1 0 ，o l ，而o o 最低。 ( 3 ) t y p e ：5 位，标识本单元内的r b s p 数据结构的类型，取值范围o 3 1 。 h 2 6 4 标准采用两层结构，更加注重视频内容在网络中的传输。同时引入面向 i p 数据包的编码机制，使得码流具有更强的抗误码性，更加适应复杂的、干扰严 莺的无线网络。 2 2 3h 2 6 4 的r t p 数据包封包格式 h 2 6 4 的r t p 封包格式，来源于r f c 3 9 8 4 1 9 j ( r f c 3 5 5 0 ) n 范，它是为了满足媒 体数据的实时传输要求，以及高校的传输效率而提出的。借助于实时传输控制协 议i 玎c p ，可以更好地保证可靠传输以及网络中的拥塞控制。r t p 协议位于t c p u d p 协议之上，u d p 虽然没有t c p 可靠，但是考虑到多媒体应用的实时要求， 在实际中主要使用r t p r t c p u d p 协议，t c p 则用于数据以及控制信令的传输。 目前，主要支持流媒体实时传输的协议主要有r t p ，实时传输控制协议r t c p 和 实时流协议r t s p 等，图2 3 是r f c 3 9 8 4 中r t p 的封包格式： ol 2 i3 i4 i5 678 9 1 0 f1 23456 j7 i89o2 i34 i567 l8 i 9 10 ll v p 1 ) 4 c cmp t s ，e q u e n c en u m b e r t i m e s t a m p s y n c h r o n i z a t i o n $ 0 u 嗽( s s r c ) i d e n t i f i e r c o n t r i b u t i n gs o u r g g ( c s r c ) i d e n t i f i e r s p a y l o a d p a d d i n g c o u n t 图2 3r t p 数据封包格式 1 0 基于h 2 6 4 的视频传输技术研究 r t p 数据包头有固定的1 2 个字节，而c s r c 标识列表仅当混合器插入时存在。 r t p 数据包各个字段含义如下： ( 1 ) v ：2 位，表示r t p 版本号。 ( 2 ) p ：l 位，填充位，当设置该位后，在包尾结束后将包含填充字，填充 不属于有效载荷，填充字节的最后一个数据表示填充数据的长度。 ( 3 ) x ：1 位，扩展标识，当设置该位后，标识r t p 头的后面跟一个头扩 展，如果有c s r c 列表，那么头扩展要紧跟其后。 ( 4 ) c c ：4 位，c s r c 计数，包括紧接在固定头后c s r c 标识符个数。 ( 5 ) m ：1 位，标记位，由具体的应用档次来定义，目的在数据流中标记重 要事件。 ( 6 ) p t ：7 位，载荷类型，说明负载类型的格式，r t p 支持1 2 8 种不同的 负载类型。对于视频流，主要要来指示视频编码的类型，例如 h 2 6 1 h 2 6 3 。m p e g l m p e g 2 等。解码端根据此类型使用相应的解码器。 ( 7 ) s e q u e n c en u m b e r ：1 6 位，序列号，表示每发送一个r t p 数据包，该 位就加1 。序列号初值是随机的，接收端可以用它来检测数据包是否有丢失， 或者按顺序处理丢失的数据包。 ( 8 ) t i m e s t a m p ：3 2 位，时问戳，记录r t p 数据包中第一个字节的采样时 间，采用时间必须来源于单调增加、线性的时钟。时间戳为接收端播放数据提 供同步的功能，同样也可以据此判断是否抖动。 牟牟牟牟 t i m e s t a m p5 0 0 05 0 1 05 0 2 05 0 3 0 +牟 6 0 0 06 0 l o 图2 5 数据流中的时间戳 由图2 5 可知，对于网络中传输的实时数据流，在某时刻是没有数据流的，显 示为空白，此时如果仅仅根据序列号来接收显示，会造成错误，因此使用时间戳 来标识才能得到正确的结果。 ( 9 ) s s r c ：3 2 位，同步源标识，目的在于使得同一r t p 包连接中没有两个同步源 有相同的s s r c ，要确保同一个r t p 会话中s s r c 的唯一性。如一个源改变源传输 地址，也必须选择一个新s s r c 标识以避免插入成环行源。 ( 1 0 ) c s r c ：贡献源列表，0 到1 5 项，每项3 2 位。c s r c 列表表示包内对载荷 起作用的源。具体数量由c c 字段给出。如果超出1 5 个作用源，也仅标识1 5 个， c s r c 标识由混合器插入，采用作用源的s s r c 标识。 第二章基于h 2 6 4 的视频高质量传输技术 ( 11 ) p a y l o a d 负载数据，变长，真正用于存放数据。 h 2 6 4 中r t p 的p a y l o a d 定义了三种不同的负载类型结构，接收端可以通过 p a y l o a d 中的第一个字节来识别，如图2 6 所示： 图2 6r t p 数据包的n a t , 结构 ( 1 ) f ：l 位， f o r b i d d e nz e r ob i t ，在h 2 6 4 规范中规定了这一位必须为0 。 ( 2 ) n r i ：2 位，n a lr e fi d c ，取0 0 、o l 、1 0 、1 1 ，0 0 值表示n a l 单元的内容 不用于重建引用图像的帧，那么这样的n a l 单元可以被丢弃，而大于0 0 的值则 表示n a l 单元的解码要求维护引用图像的完整性。除此，根据r t p 的荷载规范， 大于0 0 的n r i 值指示相对传输的优先级，最高传输优先级是11 ，接下是1 0 、0 l ， 而0 0 最低。对于任意非零的n 对值，在h 2 6 4 的解码端处理是相同的。 ( 3 ) t y p e ：表示p a y l o a d 中n a l 单元的类型。这个字段与h 2 6 4 中n a l u 类型 字段的区别是，当t y p e 的值为2 4 3l 表示这是一个特殊格式的n a l 单元，而h 2 6 4 中，只取1 2 3 。 h 2 6 4 采用三种打包方式。分别为单n a l 单元方式、非交错方式和交错方式。 对于单n a l 单元方式，即一个r t p 包中含有一个n a l 单元，目标为常规系统， 该系统兼容i t u th 2 4 1 ；非交错方式，即n a l 单元按照n a l 单元的解码顺序发 送，适合于实时性较强的传输，适用于常规系统，但是可以不符合h 2 4 1 的建议； 交错方式，即允许n a l 单元不按照解码的解码顺序发送，适合于实时性较弱的系 统。表2 1 所示为n a l 单元类型的打包方式。 表2 1n a l 单元打包方式 类型数据包单n a l 方式 非交错方式 交错方式 0 忽略 1 2 3 n a l 单元 yyn 2 4s t a p anyn 2 5s t a p bnny 2 6m t a p l 6nny 2 7m t a p 2 4nny 2 8 f u any y 2 9f u bnny 3 0 3 1忽略 其中s t a p a 、s t a p b 、m t a p l 6 和m t a p 2 4 表示聚合分组方式的数据包， 即将多个n a l 单元封装在一个r t p 数据包中。分别称为单一时间聚合分组a 、单 1 2 基于h 2 6 4 的视频传输技术研究 一时间聚合分组b 、1 6 位偏移的多时聚合分组和2 4 位偏移的多时聚合分组。 而f u - a 、f u b 正好相反，即将一个n a l 单元分割到不同的r t p 中去。分 别称为分片单元a 、分片单元b 。由于分片是在应用层，这比依赖于下层i p 层的 分片有很大好处。 针对视频传输的实时性要求，必须使用好的打包方式，这样对于打包原则就 有了一些限制，考虑到本文的无线网络传输，那么必须考虑每个包最大单元m t u 的限制，对于较为重要的数据包要优先考虑，以及n a l 单元的分割原则，多个 n a l 单元的聚合问题等。 2 2 4h 2 6 4 的差错控制技术 在视频传输的过程中，不可避免的出现传输错误，h 2 6 4 标准采用了多种差错 控制方法，用来提高码流的抗误码能力，主要包括：参数集( p a r a m e t e rs e t ) ，灵活 的宏块排序( f l e x i b l em a c r o b l o c ko r d e r ) ，数据分割( d a t ep a r t i t i o n ) ，s p s i 切换帧， 冗余片( r e d u n d a n ts l i c e ) 。本节中主要讨论h 2 6 4 中的差错控制技术。 a 参数集( p a r a m e t e rs e t ) 参数集是图像编码的公用信息在编码过程中很少变化的信息，用于大量 v c l n a l 单元的解码，包括图像的大小、运动矢量的分辨率、熵编码方式等。这 些信息在解码的过程中是非常重要的参数，缺失了这些信息，会导致图像的无法 解码，严重影响图像的主观水平。参数集在h 2 6 4 中包括两种类型：序列参数集 ( s p s s e q u e n c ep a r a m e t e rs e t ) 和图像参数集( p p s ：p i c t u r ep a r a m e t e rs e t ) 2 0 j 。 s p s ：包含一幅图像的所有公共信息，作用于一幅图像序列，即一串连续的图 像的解码。 p p s ：包含了一幅图像的所有分片信息，作用于图像序列中的一帧或者几帧图 像的解码。 s p s 和p p s 将不经常改变的公共信息与图像内容编码分割开来，使用v c l n a l 单元将图像参数信息包含进来。在解码端，当收到一个包含参数集的包时，存储 了一张用于解码的参数集列表，以后对每个n a l 单元的解码时，只需要读取已编 码片片头来选择不同的参数集。 h 2 6 4 考虑到传输过程中发生的丢包、丢比特现象，将参数集使用更安全的方 法保证在传输过程中的正确性。通过使用和n a l 数据包相同的信道传输或者使用 不同的信道传输以及重复发送参数集备份更有效地保证了参数集信息。从而大大 增强了编解码端的抗误码能力，为实时高质量解码提供必要条件。 b 灵活的宏块排序( f m o ：f l e x i b l em