（计算机应用技术专业论文）H264可分级编码与码率控制研究.pdf

硕士论文h 2 6 4 可分级编码与码率控制研究 摘要 为提高流媒体视频传输的传输效果和视频质量，缓解实时视频传输面临的若干问 题，特别是网络带宽不稳定问题，本文对流媒体视频传输中的可分级编码和码率控制 技术进行了深入的研究。主要工作如下： 在深入分析可分级编码发展情况的基础上，针对目前交换机不支持可分级编码码 流的现状，设计了一套可分级编码分组标记策略。首先设计了一个能使交换机识别可 分级编码不同层次分组的标记字段；然后对实时传输协议( r t p ) 进行扩展，从而简 化了该标记字段映射并实现了动态优先级；最后对基于该标记字段和r t p 扩展的数据 传输过程作了深入分析。 针对h 2 6 4 码率控制过程中相关算法的弊端和缺陷，采用提前跳帧策略对码率控 制关键算法一跳帧算法进行了分析和改进，该算法充分结合了可分级编码的特点， 实现了基于可分级编码的流媒体传输速率控制。 以流媒体传输基础理论为指导，提出了一种基于可分级编码标记字段( s c t f ) 及 码率控制技术的流媒体传输框架，并进行了详细介绍。该传输框架能够自适应网络带 宽，可有效提高流媒体传输速率和传输质量。 关键字：h 2 6 4 ，流媒体，可分级编码，标记策略，码率控制 a b s t r a c t 硕士论文 a bs t r a c t i no r d e rt oi m p r o v et h et r a n s m i t t i n ge f f i c i e n c ya n dv i d e oq u a l i t y , r e s o l v et h ep r o b l e m s d u r i n gt h er e a l t i m ev i d e ot r a n s m i t t i n ge s p e c i a l l yt h eu n s t a b l eb a n d w i d t ho fn e t w o r k ，t h e s c a l a b l ev i d e oc o d i n ga n dr a t ec o n t r o ld u r i n gp r o c e s so fs t r e a m i n gm e d i at r a n s m i t t i n ga r e s t u d i e di nt h i sp a p e r t h em a i nr e s e a r c hw o r k sa r ea sf o l l o w s b a s e do nt h ea n a l y z i n go ft h ed e v e l o p m e n to fs c a l a b l ev i d e oc o d i n g ，as c a l a b l ev i d e o c o d i n gp a c k e tm a r k i n gs t r a t e g yw a sd e s i g n e d ，a c c o r d i n gt ot h a tt h ee x i s t i n gs w i t c hd o e s n o ts u p p o r tt h es c a l a b l ev i d e oc o d i n g a st ot h i sm a r k i n gs t r a t e g y , am a r k e df i e l dw h i c h c a nm a k es w i t c hs u p p o r ts c a l a b l ev i d e oc o d i n gw a sd e s i g n e d ，t h er t pp r o t o c o lw a s e x t e n d e dt os i m p l i f yt h ef i e l dm a p p i n ga n dt or e a l i z ed y n a m i cp r i o r i t y , a n dt h e nt h ed a t a t r a n s m i t t i n gp r o c e s sb a s e do nt h em a r k e df i e l da n dt h ee x t e n d e dr t pp r o t o c o lw a sd e e p a n a l y z e d 。 a c c o r d i n gt ot h el i m i t a t i o no ft h ee x i s t i n ga l g o r i t h m sd u r i n gt h ep r o c e s so fr a t e c o n t r o lo fh 2 6 4 ，t h ef l a m es k i p p i n gs c h e m e ，o n eo ft h ek e ya l g o r i t h m so fr a t ec o n t r o l ，w a s i m p r o v e db yu t i l i z i n gf i a m ep r e s k i p p i n g t h es c a l a b l e v i d e oc o d i n gf e a t u r e sw e r e c o n s i d e r e de m p h a t i c a l l yi nt h i sf l a m es k i p p i n gs c h e m et oc a r r yo u tt h ec o n t r o lo ft h e s t r e a m i n gm e d i at r a n s m i t t i n gs p e e db a s e du p o ns c a l a b l ev i d e oc o d i n g an e ws t r e a m i n gm e d i at r a n s m i t t i n gs c h e m eo nt h eb a s i so fs c a l a b l ec o d et a gf i e l d ( s c t f ) a n dc o d ec o n t r o lw a si n t r o d u c e da c c o r d i n gt ot h eb a s i ct h e o r yo fs t r e a m i n gm e d i a t r a n s m i t t i n g t h i st r a n s m i t t i n gs c h e m ec a ns e l f - a d a p tt h en e t w o r kb a n d w i d t h i tw i l l e f f i c i e n t l yi m p r o v et h et r a n s m i t t i n gs p e e da n dq u a l i t yo fs t r e a m i n gm e d i a k e yw o r d s ：h 2 6 4 ，s t r e a m i n gm e d i a , s c a l a b l ev i d e oc o d i n g ，m a r k i n gs t r a t e g y , r a t e c o n t r o l 1 1 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名： 呕年f 月户日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：幽垒塑车 。矿年r 月汐日 硕士论文 h 2 6 4 可分级编码与码率控制研究 1 绪论 1 1 课题的研究背景及意义 近年来，随着计算机、数字通信和网络技术的迅猛发展，图像信息和多媒体信息 的处理和传输越来越成为人们研究的热点，它广泛应用于视频存储、会议电视、视频 点播、视频监控和可视电话等方面，由此带来了流媒体的出现及蓬勃发展。目前，流 媒体技术已广泛应用于新闻发布、在线直播、网络广告、信息插播、金融证券、电子 商务、互动游戏、视频点播、远程教育、远程医疗、网络电视、实时视频会议等互联 网信息传播的方方面面。 大多数传统的媒体数据不允许有数据丢失，但能够容忍一定的时间延时和延时抖 动 1 】，已有的t c p i p 协议族以及通信子网设旋已经满足它们的需要。然而流媒体数据 与传统数据不同，它能够容忍一定的数据丢失，但要求较为严格的延时和延时抖动保 证，并且流媒体数据流量还具有长期突发性的特征，这进一步增加了对其分析的复杂 性。此外视频信息的数据量很大，要想对其进行有效的存储和传输，必须对其信息量 进行压缩，但压缩编码又会造成视频图像质量下降，而这两者又相互矛盾。因而目前 视频编码面临的重要问题是，一方面要保证有较大的压缩比以便于有效地存储和传 输，同时又要保证一定的主客观视频质量。因此，流媒体传输需要新的方法和机制来 提供一定的质量保障。 由于t c p 协议无法满足流媒体对实时性的要求，而u d p 在某些方面又不能很好 地支持流媒体数据，因此i e t f ( t h ei n t e m e te n g i n e e r i n gt a s kf o r c e ，互联网工程任务 组) 设计出许多针对流媒体的传输协议。包括实时传输协议r t p ( r e a l t i m et r a n s p o r t p r o t o c o l ，r f c18 8 9 r f c 3 5 5 0 ) 、实时传输控制协议r t c p ( r e a l t i m et r a n s p o r tc o n t r o l p r o t o c o l ，r f c l 8 8 9 r f c 3 5 5 0 ) 、实时流协议r t s p ( r e a l t i m es t r e a m i n gp r o t o c o l ， r f c 2 3 2 6 ) 及资源预留协议r s v p ( r e s o u r c er e s e r v a t i o np r o t o c o l ，r f c 2 2 0 5 ) 等。针对不 同的应用场合、不同的网络传输速率和不同的视频质量要求，自1 9 8 8 年以来，国际 电信联n ( i t u t ) 的视频编码专家组( v c e g v i d e oc o d i n ge x p e r tg r o u p ) 矛h 国际标准化 组织o s o ) 国际电工委员会( m c ) 的活动图像专家组( m p e g ：m o t i o np i c t u r ee x p e r t g r o u p ) 分别制定了h 2 6 x 2 】和m p e g x 1 2 j 两大系列的视频编码标准。2 0 0 3 年由两大组 织的专家共同组成的联合视频组( j v t ) 提出了最新的视频压缩编码标准h 2 6 4 a v c 2 1 ， 也称为m _ p e g 4 的第十部分。h 2 6 4 a v c 与以往的视频编码标准相比，不仅具有极高 的压缩性能，而且具有良好的网络亲和性，使得其在数字电视广播、视频实时通信、 网络流媒体传输以及多媒体短信等各方面都发挥了重要作用。 这些措施和机制促进了流媒体的发展，但它仍然不能彻底解决i n t e m e t 网诸多复杂 l 绪论硕士论文 问题，还必须依靠信源端视频编码技术的发展。网络带宽的不足是流媒体发展所遇到 的较大障碍，因此具有对时变网络带宽自适应能力的视频编码技术及传输控制策略就 显得尤为重要。在硬件条件受限的前提下，可以从可分级编码和码率控制两方面着手 考虑以期获得更好的传输效果和视频质量。 可分级编码是一种高级视频编码技术，具有较好的可扩展性和对带宽的适应性， 成为当前视频编码的研究热点，其应用前景非常广阔。随着网络通信技术的发展，特 别是宽带网络的发展，要求视频编码能适应不同的信道传输速率。可分级编码的编码 输出为基本层码流和增强层码流，可以根据信道以及接收端设备的能力灵活地选择， 达到最佳的视频显示。但是可分级编码的应用只限于终端，网络中间设备在进行核心 调度时，针对可分级编码码流并没有采取相应的措施，即不区分增强层和基本层数据 包。这影响了可分级编码流的发展，一定程度上限制了它的优势。本文根据可分级编 码流的特点，设计了一种为网络中间设备能够在调度时识别可分级编码及不同层次的 标记字段。其主要思想是由终端对可分级编码的不同层次区分出优先级，而由网络中 间设备在调度时能够对不同层次的数据包采取不同的措施。这样在尽量不增加网络中 间设备复杂度的基础上，可分级编码得到了支持，从而在视频质量上得到提高。 码率控制则是编码传输控制策略中最为重要的部分之一，由于可用信道带宽是变 化的，就要求信源输出码率应作适时调整，否则将导致信源码率和信道带宽不匹配， 如果不采用码率控制，在传输压缩比特流时缓冲区很容易上溢或下溢。而流媒体传输 由于要求实时性高、延迟小，故缓冲区设置比较小，因而更易产生缓冲区上溢或下溢 现象。视频编码器若没有码率控制机制则很难实用，而且码率控制的好坏直接影响图 像的编码质量。因此码率控制策略的选择对于能否成功地在信道上传输视频数据起着 至关重要的作用。本文对该方面内容做了深入的研究，并在分析了码率控制过程相关 算法的基础上，对跳帧策略和码率控制算法做出改进。 1 2 国内外研究现状 1 2 1 可分级编码及交换机调度算法研究现状 流媒体涉及的技术较多，因此其发展所面临的问题亦复杂和广泛，其中包括延时、 抖动、丢包、误码、网络异构及带宽的波动等问题。这就要求信源端编码技术必须自 适应网络带宽及网络异构性的问题。流媒体工作者对以上问题提出了种种解决策略， 其中可分级编码则是目前研究的热点。 分级编码的基本思想是将视频信息分成多个重要性不等的层，一般包括基本层和 增强层，其中基本层包含了视频最重要的基本信息，可以保证最基本的图像质量，增 强层则是在基本层的基础上进一步提高图像质量。在传输的过程中，基本层一般被赋 2 硕士论文h 2 6 4 可分级编码与码率控制研究 予更高的传输优先级或是更多的纠错保护，而增强层则被赋予较低的传输优先级。这 样在网络发生拥塞或丢包时，可以先丢弃优先级较低的增强层，或者因基本层和增强 层的不同保护机制使得基本层发生误码或是丢包的几率比增强层小，从而保证在误码 或是丢包的情况下仍然有一个可以令人接受的图像质量。除此之外，分级编码还可以 应用于事先无法知道信道带宽及接收端处理能力的情况，通过分层传输信息以达到适 合于多种传输速率的信道和多种处理能力的接收端的目的。 早期的分级编码的思想是在m p e g 一2 和h 2 6 3 + 中提出的【3 1 ，其中规定了多种不同 形式的可分级编码方法。根据对视频信息的不同分割和编码方式，分级编码可以分为 四种形式：空域分级、时域分级、质量分级和频率分级。在m p e g 一2 和h 2 6 3 + 中己经 广泛采用了可分级编码技术。 另一方面，为了适应网络视频的发展，各种先进的视频编码标准相继产生：h 2 6 4 a v c 视频编码标准于2 0 0 3 年3 月正式被i t i j t 通过，并在国际上正式颁布。与之前的 各视频编码标准相比，在技术上，h 2 6 4 标准有多个闪光之处，如统一的变长符号编 码，高精度、多模式的唯一估计，基于4 x 4 块的整数变换，以及分层的编码语法等。 这些措施使得h 2 6 4 算法具有很高的编码效率，在相同的重建图像质量下，能够比 h 2 6 3 节约5 0 左右的比特率。h 2 6 4 的码流结构对网络的适应性强，增加了差错恢复 能力，能够很好地适应d 及无线网络的应用。 交换机调度算法是按照一定的规则对交换节点的不同业务进行缓存、调度和服 务，同时实现流量的管理与控制、冲突处理、带宽的分配与管理等功能【4 】，是能够指 示交换机性能的关键技术。根据缓存队列的位置不同，可以将交换机调度算法分为输 入排队算法、输出排队算法和输入输出排队结合算法。 目前高速交换机的核心调度算法都是基于输入排队的调度算法。通常可以将输入 排队算法分为基于二分图匹配算法和矩阵分解算法。二分图匹配算法又可以分为基于 最大数量匹配( m a x i m u ms i z em a t c h i n g ，m s m ) 算法、基于最大权重匹配( m a x i m u m w e i g h tm a t c h i n g ，m w m ) 和稳定婚姻匹配算法【5 】。基于最大数量匹配算法包括p i m ( p a r a l l e li t e r a t i v em a t c h i n g ) 、r r m ( r o u n dr o b i nm a t c h i n g ) 、i s l i p ( i t e r a t i v es l p ) 、 f i r m 和d r r m ( d u a lr o u n dr o b i nm a t c h i n g ) 等。基于最大权重匹配算法包括l q f ( l o n g e s tq u e u ef i r s t ) 、o c f ( o l d e s tc e l lf i r s t ) 芹d l p f ( l o n g e s tp o r tf i r s t ) 等。j 稳定婚姻 匹配算法包括g s a ( g a l e s h a p l e ya l g o r i t h m ) 、m u c f a ( m o s tu r g e n tc e l lf i r s ta l g o r i t h m ) 、j p m ( j o i n e dp r e f e r r e dm a t c h i n g ) 和c c f ( c r i t i c a lc e l lf i r s t ) 等算法。矩阵分 解算法包括b v n 分解等算法。比较成熟的商用算法有i s l i p 算法、w f a 算法、p i m 算 法【4 , 6 - 8 】等。 基于输入排队的调度算法不论如何优化，其侧重点仍在于如何最大的匹配二分 图，即如何提高交换机的吞吐量。它们对于q o s 的支持比较弱，不能保证延迟、抖动。 1 绪论硕士论文 显然要使其支持实时业务就必须作一定的修改。 随着q o s 的概念的普及，目前研究者们在研究交换机的时候，普遍向q o s 的方向 发展。为了保证q o s 同时也保证吞吐量，学者们提出了很多基于输入排队的支持优先 级机制的交换机调度算法。而本文设计的标记字段其实质也是基于优先级划分的。 文献 9 提出了一种基于优先级的i s l i p 算法，其具体算法是每个输入端1 ：2 对每个 单独的优先权等级保持一个单独的f i f 0 队列。即对于一个n x n 的有p 个优先权 的交换机来说，每个输入端口保持了p x n 个f i f 0 队列。把从输入i 到输出，的优 先权为，的队列标记为q ( f ，j ) ，这当中1 f ，j n ，1 z p 。文献 1 0 提出了一种硬件 支持优先级的缓冲队列组织方式，包括基于v o q 方式的优先级缓冲队列p v o q 和基 于f i f o 方式的优先级缓冲队列p f q 。这些研究增强了输入排队算法支持q o s 的能力， 从一定程度上也为实现实时业务在高速交换机上的优先调度打下了基础。当然这些算 法仍处于研究阶段，将来是否能用于实践，仍需进一步发展。 从前面介绍的几种交换机常用的调度算法，以及两种改进的基于优先级的调度 算法可以看出，交换机是有能力对某些分组进行优先调度的。但分流或者分级的标准 通常是按源目的p 地址、源目的端口、协议、优先级标签( 如i pp r e c e d e n c e 、d s c p 等) 、输入接口或者如延时、带宽等q o s 参数来匹配，并不强调对可分级编码基本层 和增强层分组的划分。 1 2 2 基于可分级编码的码率控制研究现状 码率控制目前己成为视频压缩和传输领域的重要研究课题。针对不同的视频编码 标准，国内外众多学者和研究机构提出了许多不同的码率控制算法，其中经典的码率 控制算法有用于h 2 6 1 的r m 8 码率控制算法 1 1 1 ，m p e g 一2 的t m 5 码率控制算法 1 2 1 ， h 2 6 3 的t m n 8 码率控制算法【1 3 1 ，m p e g 一4 的v m 8 码率控制算法以及h 2 6 4 a v c 的 t 系列码率控制算法等。除了这些标准中推荐的算法，还有很多其他的改进算法。 按照传输方式，这些码率控制算法可以分为两大类：常比特率( c b r ：c o n s t a n tb i tr a t 0 和变比特率( v b r v a r i a b l eb i tr a t e ) ，它们分别用于信道带宽不变或可变情况下的视 频传输。按照码率控制基本单位的不同，可分为帧层、切片层和宏块层码率控制。 其中r m 8 码率控制模型是最基本的模型，它是通过一个缓冲区来平滑输出码率 的波动，码率控制器通过监视缓冲区饱和度改变量化因子以达到调节码率的目的，防 止缓冲区的上溢和下溢。其他经典的码率控制算法基本上也是通过缓冲区来平滑输出 码率的波动，但在实现细节上都有不同程度的改进。 但是以前经典的码率控制算法都不能直接用于h 2 6 4 ，因为h 2 6 4 标准把量化参 数同时用于码率控制和率失真优化，从而导致蛋鸡悖论：即为了完成当前帧中宏块的 率失真优化，需利用当前帧或宏块的平均绝对残差( m a d ：m e a na b s o l u t ed i f f e r e n c e ) 4 硕士论文h 2 6 4 可分级编码与码率控制研究 来预测每个宏块的量化参数q p ，而当前帧或宏块的实际m a d 只有在完成r d o 后才 能计算出来。因此必须对以往的码率控制算法做出改进，现有的h 2 6 4 码率控制提案 主要有j v t - d 0 3 0 、f 0 8 6 、j v t - g 0 1 2 、j v t - h 0 1 7 和j v t - 0 0 1 6 等。其中j v t - d 0 3 0 是由s w m a 等人【1 4 】在t m 5 码率控制算法基础上提出的，该算法运算量较大且没有 解决蛋鸡悖论问题。为了解决蛋鸡悖论问题，s ，w ，m a 等人【1 5 】又提出了基于m a d 线 性预测模型的码率控制算法，即j v t - f 0 8 6 ，此提案利用前一帧的实际m a d 通过线性 模型来预测当前帧的m a d ，然后用这个预测的m a d 通过二次率失真模型计算出当 前帧的量化参数q p ，最后用这个q p 对每一个宏块进行率失真优化得到最佳编码模 式。这种算法解决了蛋鸡悖论，但是由于m a d 预测的不准确，会导致序列图像的编 码性能不高且图像质量波动很大。z gl i 等人【1 6 】提出的t g 0 1 2 提案也是用线性 m a d 预测模型来解决蛋鸡悖论，根据流量传输模型来分配每个基本单元的目标比特 数，并在帧层和基本单元层采用二次率失真模型来计算量化参数，获得了较好的码率 控制效果，是目前h 2 6 4 码率控制的基础模型。j - v t - h 0 1 7 提案【l7 j 是在j v t - g 0 1 2 的 基础上通过h r d 模型对每帧的目标比特数进行限制。而提案j v t - 0 0 1 6 1 8 】是在 j v t - g 0 1 2 的基础上进一步挖掘视频序列的时间和空间相关性，在目标比特分配和二 次r d 模型方面都提出了较好的改进。 上述经典提案都是编码标准中推荐的基本算法，很多学者针对不同的应用环境， 在原有经典提案的基础上提出了一些改进算法。比如针对视频存储类应用，由于编码 时间没有严格限制，所以可以使用较为复杂的控制算法，比如二次编码，即通过第一 次扫描获得信源的统计信息，然后根据第一次扫描的统计信息进行第二次优化编码， 这样可以在获得更好的压缩性能，代价是计算复杂度和编码时间大大增加。y u 等人【四】 利用预测的量化参数( q p ) 对所有宏块编码模式进行率失真优化( v , d o ) 以找出最小失 真，然后利用二次r d 模型计算出失真最小时的量化参数( q p ) ，最后再根据此最终 q p 利用r d o 准则计算宏块编码模式。对于实时低码率的应用环境，延时要求较高， 必须采用低复杂度的算法。j i a n g 等人 2 0 , 2 1 利用当前图像组( g o p ) 中已编码帧的信息 和当前帧本身的信息来调整当前帧的目标比特分配，在一定程度上缓解了由于场景变 换而导致的m a d 预测不准确、图像质量显著降低和序列质量不一致等问题。但此算 法只在计算当前帧目标比特数时考虑了已编码帧和当前帧的信息，计算q p 时当前帧 的m a d 仍是通过前一帧的m a d 预测得到，显然场景变换时用二次r - d 模型得到的 q p 仍然不准确。x u 等人【2 2 】分析了h 2 6 4 码率控制中的四个问题，分别在帧层和宏块 层进行控制，得到了平滑的视频质量，每一帧的实际编码比特数更接近于目标比特数， 且此算法在很大的码率范围内的控制性能都很好。针对无线和丢包网络中的应用环 境，c h e n 等人【2 3 】提出了一种联合信源信道码率控制算法，该算法克服了以往码率控 制方法和误码复原技术互不关联的弊病，在统计率失真模型的基础上，联合最优地计 l 绪论硕士论文 算图像级量化参数和寻找最佳宏块编码模式，在给定的受限码率下能充分利用可用信 道带宽，使得视频信源编码和信道传输总失真最小。此算法在丢包网络环境中能够根 据网络状况及时自适应调整比特分配和量化参数，很好地抵抗信道误码。 编码缓冲区的大小由具体应用环境来确定。对于实时低码率的应用，要求时延很 小，所以缓冲区通常也较小，这样在编码过程中缓冲区很容易发生上溢而导致跳帧。 跳帧是为了防止缓冲区上溢，当缓冲区的充满度达到某一阈值时，就跳过下一帧不对 其编码，此时缓冲区只有输出没有输入，从而降低缓冲区的占用量。在解码时用前面 己编码帧来代替被跳过的帧，所以跳帧会引起图像空间和时间编码质量显著降低。p a n 等人【2 4 2 5 】提出了基于帧内容的自适应跳帧机制，基本思想是根据帧空间运动复杂度、 量化参数和缓冲区充满度的大小来选择不同跳帧模式。这种跳帧机制控制效果较好， 但计算量较大不适合实时应用。提案j v t - h 0 1 7 中的跳帧策略是当缓冲区充满度达到 某一阈值时( 如缓冲区大小的8 0 ) ，则不管下一帧复杂度如何，直接跳过不对其编码。 跳帧后也要对缓冲区进行更新，此时若发现缓冲区充满度仍超过阈值，则继续跳帧， 直到缓冲区充满度低于阈值时才继续对下一帧进行编码。 1 3 本文主要研究工作 1 3 1 可分级编码分组标记策略的提出与实现 讨论目前网络给流媒体带来的各种问题，详细研究和总结已有的各种解决方法， 说明可分级编码技术等是视频编码技术的研究热点和发展方向。本文首先对目前交换 机的常用调度算法进行了深入探讨，分析出交换机不支持可分级编码的关键原因之一 是现有的相关字段没有针对可分级编码以及可分级编码的基本层和增强层分组进行 特别标识。 基于上述分析对面向交换机的可分级编码分组标记策略进行了深入分析、设计和 讨论，主要包括三个方面。首先研究可分级编码的特点以及交换机支持的p p r e c e d e n c e 字段、d s c p 字段和i p v 6 流标签，讨论了其用于支持可分级编码的不足，并 设计出一种能够使交换机识别可分级编码的标记字段，该字段的实质是分层优先级， 便于交换机实施扩展，并且详细分析可分级编码分组在该字段中的设定值。然后在该 字段的基础上俨设计r t p 包的扩展和动态优先级，其中r t p 包头扩展便于字段映射， 动态优先级则进一步提高了网络的适应能力。最后根据可分级编码标记机制，以 r t p r t c p 单播模型为基础，对整个流媒体数据传输过程进行详细分析。该策略在尽 量避免增加原网络架构复杂度的基础上，可在一定程度上发挥可分级编码的优势。 1 3 2 分级编码传输速率算法设计与实现 首先详细分析了h 2 6 4 码率控制的过程，对其中的几个关键算法做了较深入的分 6 硕士论文h 2 6 4 可分级编码与码率控制研究 析和研究。其中主要针对码率控制技术的关键算法之一跳帧算法进行详细分析，并进 行改进，依此设计分级编码传输速率控制算法。跳帧算法是防止缓冲区上溢的有效手 段，本文提出的跳帧策略是提前跳帧法，主要思想是预先跳过一些不重要的帧，为复 杂度高的优先级高的帧保留缓冲区空间以防止跳过重要的帧，且不允许连续跳帧以期 获得较好的图像重构质量。该跳帧算法充分利用了可分级编码的特点，可以有效实现 基于可分级编码的流媒体传输速率控制。 其次，结合设计的可分级编码标记字段及改进的速率控制技术，设计出综合的流 媒体传输框架，并进行详细分析该框架能够有效提高流媒体实时传输的网络自适应能 力。 1 3 3 研究思路 结合以上两部分研究内容，本课题的研究思路如图1 1 所示。 图1 1 本课题研究思路框图 一一- 一_ _ 一一一1 l i i 7 2 流媒体与h 2 6 4硕士论文 2 流媒体与h 2 6 4 2 1 流媒体及其发展 2 1 1 流媒体简介 所谓流媒体( s t r e a m i n gm e d i a ) ，指的是在网络中使用流式传输技术的连续时基媒 体，即在因特网上以数据流的方式实时发布音频、视频多媒体内容的媒体。流媒体在 播放前并不下载整个文件，只将开始部分内容存入内存，在计算机中对数据包进行缓 存并使媒体数据正确地输出。流媒体的数据流随时传送随时播放，只是在开始时有些 延迟。流媒体最大的特点在于互动性，这也是互联网最具吸引力的地方。 完整的流媒体传输系统通常由以下6 个方面构成： 1 前端编码压缩工具：用于创建、捕捉和编辑多媒体数据，形成流媒体数据格式。 2 流媒体数据：流媒体数据实体。 3 流媒体服务器：存放和控制流媒体数据的硬件及软件平台。 4 流媒体传输协议：适合流媒体传输的协议。 5 客户端播放器：供客户端播放、浏览流媒体文件的应用程序。 6 传输网络j 适合流媒体传输的网络，需要网络中间设备的优先支持和调度，以 达到快速传输的目的。 2 1 2 流媒体发展及问题 流媒体涉及的技术众多，传输模型范围广泛，因此它的发展不仅要面临在单个范 畴中遇到的问题，还要面临多个范畴综合起来所遇到的问题。比如，流媒体的海量管 理问题 2 6 1 ，又如如何对大量用户同时传输影视流【2 7 1 的问题。 ， 然而传输网络的不确定性，是流媒体发展所面临的最大和最根本的问题。因为流 媒体更强调对高速、稳定和连续的访问流支持。而流媒体运行的口网络提供的是无连 接的尽力而为服务，它无法保证流媒体所需的q o s 。另外随着流媒体传输模型的发展， 视频编码也不再以单一码率上的质量提高为主要目的。故而流媒体发展面临着若干问 题，本文主要介绍几种情况。 ( 1 ) 延时和延时抖动 流媒体对实时性要求比较高，流媒体数据需要保证一定的延时才能使用户及时观 看到视频。当延时过大时，会造成播放的不流畅，严重影响用户的观感 2 8 】。 流媒体数据包的到达需要满足严格的时间间隔才能保证数据的播放连续。但是p 网络不能保证相等的延迟，因丽造成延迟抖动。目前的对应措施是客户端进行缓冲， 以平滑播放速率。但当延时抖动过大时，仍会影响观看的效果。 硕士论文h ，2 6 4 可分级编码与码率控制研究 ( 2 ) 丢包 在公平竞争的p 网络中一旦发生网络拥塞，中间交换设备会把包括流媒体分组在 内的部分数据包丢弃。尽管能够忍受一定的数据丢失，但是流媒体丢包率必须控制在， 一定范围内。有关研究表明对于m p e g 视频流来说，3 的丢包率将导致3 0 的误帧率 2 9 】。因此过分的丢包率不仅影响用户的观看质量，同时也因为传输了不能解码的数据 而浪费了带宽。 ll t ；l ；l il ； lli ；m 滋羹。 。i l 量- h矗j 重i矗。i j- 矗阪蕊 盯i 驯讫p ) 图2 1 网络传输中视频数据丢失率随时间变化示意图 9 1 从图2 1 可以看出，通常网络的丢包率控制在0 1 0 之间，但是某一时刻，丢包 率会出现尖峰，甚至会超过8 0 。 人们对这种情况提出了三种解决方法 3 0 , 3 1 】：减少帧内编码的间隔；仅对那些变化 量超过某一门限的块进行编码和传输；同时使用帧内编码和帧间编码，而且对于帧内 编码的间隔根据网络状态动态地进行调整。另外也可以使用简单的包丢失恢复技术如 f f c ( 前向纠错技术) 在目的端进行丢包的恢复和视频的平滑 3 2 】。 ( 3 ) 误码 在整个p 传输网络中，不可避免地会发生误码现象，传统的解决方案或者是丢弃 或者是重传。但不论哪种办法对于流媒体来说都不适合。一旦误码发生而没有相应的 机制进行纠错或者是恢复，那么产生的后果与丢包类似。相应的措施是差错控制。 ( 4 ) 带宽过窄和带宽变化 为了保证一定的播放质量视频的实时传输，通常需要满足一定的带宽要求。现在 的i n t e m e t 上由于没有提供资源预留一类的协议保障，当网络拥塞发生时，媒体流数据 的有效传输带宽会突然降低，影响媒体流的播放质量，甚至造成图像无法观看。当带 宽过窄，媒体视频播放的质量大打折扣甚至无法播放；当带宽变化波动太大时，会影 响视频播放的流畅性。 从图2 2 可以看出，某个时刻传输带宽通常比较稳定，但是偶尔会出现极低峰， 9 5姗水咐硒爨察i葛 2 流媒体与h 2 6 4硕士论文 体现了网络提供带宽的不稳定性。目前对这个问题的处理通常从两方面入手，一方面 采用适当的拥塞控制策略，另一方面编码源采用可分级编码技术。 l l 。l 。 l 枞鹣 l雄融蚀蝴陬 飘 l -ti 时i 司0 眇) 图2 2 实际网络带宽随时间的变化示意图【9 】 通过以上的分析可以看到除了误码外，延时、延时抖动、丢包可以归结到网络带 宽的原因，可见网络带宽的不足是流媒体技术所面临的最大的困难。但是单纯提高网 络带宽除了需要成本和带来一定的复杂性外，并不能彻底解决这些问题，还需要各种 技术的综合运用。 2 2h 2 6 4 简介 2 0 0 3 年3 月，由i t u t 和i s o e c 共同推出的新视频编码国际标准正式被批准， 官方名称分别为n u th 2 6 4 1 】和i s o i e cm p e g 4p a r t l 0 或i s o i e cm p e g 一4 a v c i 。 h ，2 6 4 着重解决的是压缩的高效率和传输的高可靠性，应用范围十分广泛。具体 分为三个档次，即基本档次、扩展档次和主要档次。基本档次则主要用于低码率的视 频电话等；扩展档次主要用于网络视频流的传输比如视频点播；而主要档次用于消费 电子类比如数字电视转播和视频存储等。不同档次有不同的功能，所使用的技术也不 尽相同。 h 2 6 4 有几个技术亮点：首先它进行了分层设计。h 2 6 4 的算法在概念上可以分 为两层：视频编码层( v c l ：v i d e oc o d i n gl a y e r ) 负责高效的视频内容表示，网络提取 层( n a l ：n e t w o r k a b s t r a c t i o nl a y e r ) 负责以网络所要求的恰当的方式对数据进行打包 和传送。这样，高编码效率和网络友好性的任务分别由v c l 和n a l 来完成。在编码 技术上，h 2 6 4 还采用高精度、多模式运动估计，4 x 4 块的整数变换，u v l c 熵编码， 帧内预测等技术，大大提高了编码效率和压缩比，同时h 2 6 4 还采用多种用于差错消 除的工具，便于压缩视频在误码、丢包多发环境中传输。 1 0 一：h1二q)锵瑚殛嗓霜鲁 硕士论文h 2 6 4 可分级编码与码率控制研究 2 2 1h 2 6 4 编解码框架 h 2 6 4 视频编码标准和以前的标准一样，仍然采用基于块的预测加变换的混合编 码框架，但h 2 6 4 a v c 在每一个功能模块都引入了新的技术，对每一个技术细节都进 行了精雕细琢，使得编码效率大大提高。据统计，在相同的编码质量下，h 2 6 4 能比 h 2 6 3 节省5 0 左右的码率，而且对网络传输具有更好的支持功能。但是，编码性能的 提高是以编码计算复杂度的大幅增加为代价的，实验表明在相同的编码条件下，h 2 6 4 的编码计算复杂度是h 2 6 3 的三倍，而解码复杂度是h 2 6 3 的二倍。 ( 1 ) h 2 6 4 编码器框架 图2 3 所示为h 2 6 4 的编码器结构框架，其中包含两条数据流路径：一条前向编 码路径( 从左到右，用实线表示) 和一条重建路径( 从右到左，用虚线表示) 。 一基一 一霉一一一拯 二王k 图2 3h 2 6 4 编码框架图 如上图所示，输入的帧或场c 以宏块为单位被编码器处理，每一个宏块按照帧 内或帧间预测编码的方式得到预测值p 。在帧内模式下，p 由当前帧r 中宏块经编码 和解码后产生；在帧间模式下，_ p 由一个或多个参考帧经过运动补偿预测得到，图中 用f j n l 表示参考图像。预测值p 与当前宏块相减后产生个残差块眈，经过变换和 量化后产生一组量化后的变换系数正再经过熵编码，与解码所需的一些辅助信息( 比 如宏块预测模式、量化步长、运动矢量等) 一起组成一个压缩后的码流，经过网络提 取层m a l ) 后进行传输、存储和解码。 如上所述，为了得到参考图像，编码器必须有重建图像的功能。即解码后的宏块 量化系数x 要经过反量化与反变换形成d 。与预测值p 相加后得到u f 。( 未经滤波的 帧) 。为了去除编码解码环路中产生的噪声，提高参考帧的图像质量，从而提高压缩 图像性能，使。经过一个环路滤波器减轻图像的方块效应，滤波后的输出f 。即为 重建图像，可用作参考图像。 2 流媒体与h 2 6 4 硕士论文 ( 2 ) h 2 6 4 解码器框架 解码器从n a l 中接收到压缩码流后，经过熵解码和重排序得到量化变换系数x ， 再经过反量化和反变换得到残差块d 。再利用从比特流中解码出来的头信息，解码 器产生一个预测块尸，它与编码器中的预测块尸是相同的，该解码器产生的尸与残 差块d 。相加后产生u f 。，经过环路滤波器去除掉方块效应后得到重建图像f 。，这 就是解码器最后的输出图像。其解码框架如图2 4 所示。 p ? 捌二：h ! ! i 秽 图2 4 h 2 6 4 解码框架图 2 2 2h 2 6 4 关键技术 h 2 6 4 引入了很多新技术，比如分层设计、帧内预测、多模式运动估计、多参考 帧、1 4 像素精度的运动矢量、基于4 x 4 块的整数变换和量化、高效的自适应熵编码、 去方块滤波等一系列新的编码方法。本小节将对几种主要技术做简要介绍，并分析其 编码增益和计算复杂度。 ( 1 ) 分层设计技术 h 2 6 4 a v c 视频编码在功能上分为两层，即视频编码层v c l ( v i d e oc o d i n gl a y e r ) 和网络提取层n a l ( n e t w o r k a b s t r a c t i o nl a y e 0 。如图2 5 所示为相应的体系结构图。 其中v c l 层主要负责高效率的视频数据压缩，采用了基于块的混合编码方式，并引 入了许多新技术以提高其压缩效率。n a l 层负责根据传输网络的特性，以恰当的方 式对压缩后的数据进行打包和分发，以便于数据在网络上高效和可靠的传输。在v c l 与n a l 两层之间定义了一个基于分组的接口，这样高效压缩的视频数据就可以在各 种有线或无线网络中进行有效的传输。n a l 层的产生不但使h 2 6 4 a v c 对目前现存 的各种不同网络具有很强的网络友好性，而且使它对未来的网络同样具有很强的适应 性。 v c l 数据在被传输或存储之前，先被映射或封装进n a l 单元中。每个n a l 单 元包括一个原始字节序列负荷( r b s p ) 、一组对应于视频编码数据的n a l 头信息。n a l 单元序列的结构如图2 6 所示。 1 2 硕士论文h 2 6 4 可分级编码与码率控制研究 h 2 6 4 a v c 概念层 视频压缩编码层视频压缩解码层 i 视频压缩n a l 层接1 ：3 v c l - 一一一 一- 一一一一一_ 一一一一 一一一一 ，i 、t t 视频压缩编码层视频压缩解码层 jk n a l 层编码接口n a l 层解码接口 p 传输层 h 3 2 0m p e g 一2h 3 2 4 m艘殴t c p 艘 、必( 、心乡、遗 有线网络无线网络 图2 5h 2 6 4 标准的分层体系结构 图2 6n a l 单元序列的结构图 n a l 单元头格式如图2 7 所示。首先是1 位的f o r b i d d e nz e r ob i t ，主要用于适应 不同种类的网络环境。接下来是2 位的n a lr e fi d c ，表示当前n a l 的重要性。取值 范围为肚3 。取值越大，表示该n a l 单元越重要。标准中