（通信与信息系统专业论文）低比特率视频编解码及其抗误码能力研究.pdf

华中科技大学硕士学位论文 捅要 n 随着信息高速公路的发展，计算机技术和数字通信网络技术的进步，人类已经从 单二媒体通信时代跨入了多媒体通信时代。当前如何有效压缩多媒体信息特别是视频 信息，使其适合在窄带网上传输是极富挑战的前沿课题，也是电信界关注的焦点之一。_ j 本文在研究低比特率视频编解码协议和讨论运动估计的搜索算法、多线程技术、 ： m m x 技术及量化方案选择的基础上，提出了一种基于h 2 6 3 的视频编解码方案。并 通过计算机进行模拟实验取得了满意的效果，可以对运动不太剧烈的图像实现实时传 输。 h 2 6 3 活动图像编码算法有很高的压缩效率。但另一方面，运动补偿、d c t 变换 等技术的使用大大削弱了h 2 6 3 码流的抗误码能力。随着信道误码率的升高，解码后 的重建图像质量急剧下降。因此误码恢复机制是在存在包丢失的环境下实现视频可靠i 传输所必须的，而帧内编码是一项广泛采用的避免时域误码产生的技术。本文描述了 5 一个基于r t p 的方法，在存在包丢失的网络( 如i n t e r n e t ) 上，结合考虑网络环境和 解码器所采用的误码隐藏方法，通过使速率和失真加权折衷最优来选择编码模式，从 而有效提高系统的误码恢复能力，并且使由此产生的计算复杂度和时延较小。对于l i n t e r n e t 上的不同的包丢失率和典型的包尺寸进行试验，将其结果与随机帧内模式更新 ! 法进行比较，证实了这个方法的优势。 ： 关键词：视频通信，柢匿垂至事视频编码，h 2 6 3 ，抗误码能力 华中科技大学硕士学位论文 a b s t r a c t w i t ht h ea d v a n c e m e n to fi n f o r m a t i o nh i g h w a y ，c o m p u t e rt e c h n o l o g y a n dd i g i t a l c o m m u n i c a t i o nn e t w o r kt e c h n o l o g y , t a k i n gt h ep l a c e o fs i m p l e xm e d i ac o m m u n i c a t i o n ， m u l t i m e d i ac o m m u n i c a t i o nh a db e c a m ea l li m p o r t a n tw a yo f c o m m u n i c a t i o ni nn e w a g e n o w a d a yc o m p r e s s i n g m u l t i m e d i ai n f o r m a t i o n ，e s p e c i a l l yv i d e od a t a ，a n de n a b l i n gi t t ob e e f f i c i e n t l yt r a n s m i t t e d o nn a r r o w b a n dn e t w o r ki so n eo fw h a tp e o p l ec o n c e n t r a t eo nn o w b e g i n n i n g w i t ht h e s t u d y o fl o wb i tr a t ev i d e o c o d i n g d e c o d i n gp r o t o c o l a n d c o r r e l a t i v e m e t h o d ，t h e t h e s i s p r e s e n t am e t h o do f i m p l e m e n t i n g h 2 6 3 p r o t o c 0 1 s a t i s f a c t o r yr e s u l ew a s a c h i e v e di nc o m p u t e rs i m u l a t i o n h 2 6 3v i d e oc o d i n g d e c o d i n gm e t h o dt a k eo nah i g hc o m p r e s s i o n ，o nt h eo t h e rh a n d ， m o t i o n c o m p e n s a t o na n d d i s c r e t ec o s i n et r a n s f o r me t c e n o r m o u s l yw e a k e nt h ee r r o r r e s i l i e n c eo fh 2 6 3s t r e a m f o rt h i sr e a s o n e r r o rr e c o v e r ym e c h a n i s mi si n d i s p e n s a b l ef o r r e l i a b l et r a n s m i s s i o no fc o m p r e s s e dv i d e o 证ap a c k e tl o s s ye n v i r o n m e n t a n di n t r ac o d i n g i saw e l lk n o w nt e c h n i q u ef o re l i m i n a t i n gt e m p o r a le r r o rp r o p a g a t i o ni nap r e d i c t i v ev i d e o c o d i n gs y s t e m w ed e s c r i b e am e t h o d b a s e do nr t pp r o t o c 0 1 w h i c hi n c r e a s e se r r o r r e s i l i e n c eo fv i d e ot r a n s m i s s i o no v e rp a c k e tl o s s yn e t w o r k ss u c ha st h ei n t e r n e t i tt a k e si n t o a c c o u n tt h en e t w o r kc o n d i t i o n sa n dt h ee r r o rc o n c e a l m e n tm e t h o dt l l a tu s e da tt h ed e c o d e r a n d o p t i m i z et h ep e r f o r m a n c eo f t h es y s t e mw i t har a t e d i s t o r t i o no p t i m i z e dm o d es e l e c t i o n m e t h o dc o m p a r e dw i t ht h a to fr a n d o mi n t r ac o d i n go fa l lb l o c k s ，t h es i m u l a t i o nr e s u l t sf o r d i f f e r e n tp a c k e tl o s sr a t e sa n d t y p i c a lp a c k e ts i z e so f t h ei n t e r n e ti l l u s t r a t et h ea d v a n t a g e so f t h ep r o p o s e dm e t h o d k e y w o r d s ：v i d e oc o m m u n i c a t i o n ，l o w b ! t r a t ev i d e oc o d i n g ，h 2 6 3 ，e r r o rr e s i l i e n c e i i 华中科技大学硕士学位论文 1绪论 人们对视觉信息的需求，多年来一直是社会科技进步的推动力之一。由于数字图 像和模拟图像相比，有很多突出优点：适合于多次中继的远距离传输，易于多重复制； 适于高质量的通信：通信的抗干扰能力强；容易实现保密通信等。因此图像数字化己 成为图像发展的重要推动因素。但是未压缩的视频图像的数据量非常大，其存储和传 输都有很大困难，于是人们很早就开展了对视频图像进行压缩编码的研究。 1 1 视频编码的发展历史 视频图像信息量巨大，因此不经过压缩的数字视频图像数据量非常之大。以常见 的视频信号p a l 信号( 分辨率5 7 6 5 7 6 、1 6 b i t s 像素) 为例，视频图像的数据量为5 7 6 5 7 6 1 6 = 5 3 i m b 帧。这样，一个1 g 容量的硬盘也只能存放大约1 5 0 0 帧这样的静 止彩色图像。若仍以2 5 帧秒的帧速率传输，则视频信号的传输速率大约为1 3 2 7 m b s 。 由此可见，视频图像若不经过压缩，对它的存储和传输将有很大困难，更难于实际应 用。 视频数据量大和网络带宽有限之问的矛盾是网上进行视频通信的一大问题。以 c i f ( c o m m o ni n t e r m e d i a t ef o r m a t ) 格式( 分辨率3 5 2 x 2 8 8 、1 2 b i t s 像素、传输速度 1 49 8 , n 秒) 为例，未压缩时的比特率为1 8 2 m b s ，假定在p s t n ( p u b l i cs w i t c h e d t e l e p h o n en e t w o r k ) 上以6 4 k b p s 的信道传输这样的彩色视频信号，则压缩比需高达 l ：2 8 5 。即使采用q c i f ( q u a r t e rc o m m o n i n t e r m e d i a t ef o r m a t ) 格式( 分辨率17 6x1 4 4 、 1 2 b i t s 像素、传输速度9 9 9 帧秒) ，压缩比仍需达1 ：7 l 。 这样高的压缩比需求确实对视频压缩技术提出了挑战。尽管通信网络和存储媒体 也正在向高速率、大容量方向发展，如d w d m 等技术。但是随着社会信息交互的同 益广泛和新型的多媒体业务不断出现，个人通信量会成指数型的增长，信道的容量永 远不会绰绰有余。因此对视频信息进行压缩处理，使它能在较低速率的信道上实时传 输是人们多年来孜孜以求的目标“。 事实上，人们很早就展开了对视频图像特征的研究，并且发现视频图像本身有很 大的冗余度。同时，人类也有自身的视觉冗余，比如人眼对色度信号和高频信号都不 敏感。图像本身的冗余度和人眼的视觉特征，使人们能够在信息损失很小的前提下， 将图像数据量大大压缩。早在五、六十年代，人们就以信息论和数字信号处理为理论 华中科技大学硕士学位论文 基础，根据图像本身的特性进行压缩，形成了预测编码、变换编码、熵编码等一系列 的编码方法。这些传统的编码方法奠定了视频编码的基础，并最终把视频图像的存储 和传输推向了实用化。 八十年代开始，人们对视频信息需求剧增，这有力地促进了视频压缩和通信的发 展。学者们结合模式识别、计算机图形学、 * - 经n n 、小波分析和分形几何等新兴学 科以及人的视觉生理、心理特征，提出了许多新型的视频图像编码方法”：m k u n t 于1 9 8 5 年提出利用人眼视觉特性的第二代图像编码技术，1 9 8 8 年m b a m s l e y 提出基 于迭代函数系统( i f s ) 的分形图像编码技术。1 9 8 9 年s m a l l a t 、i d a u b e c h e 将小波分 析理论应用于图像编码，1 9 世纪9 0 年代初又发展了基于模型的图像编码方法。 随着视频应用的日益普及，近十几年来，人们制定了一系列视频编码标准。最著 名的两个标准化组织是i s o i e cm p e g 活动图像专家组和i t u t 视频编码专家组。 i s o i e cm p e g 推出的编码协议包括用于视频图像存储的m p e g 1 、用于数字电视的 m p e g 2 、以及后来的具有广泛应用的m p e c 4 及m p e g 2 0 0 0 等；i t u t 先后制定的 标准有专用于视频会议的h 2 6 1 、以及应用于可视电话和无线通信中视频传输的 l 2 6 3 、 h 2 6 3 + 和h 2 6 3 + + 等】。 1 2 低比特率视频编码的前景和发展方向 近年来多媒体数据压缩技术的巨大进展，使得多媒体通信行业焕发了活力，目前 国内外已有许多相应的实用化产品面世。可以相信，多媒体数据压缩技术与视频技术 及网络技术相结合的应用前景十分可观，它将对今后的社会进步产生重大影响。 在视频编码发展中，一方面，编码效率是人们不断追求的目标，虽然很多业已存 在的标准和算法已经大大的提高了编码速率，但是在可预见的未来，快速运动估计算 法几个方面仍然是视频压缩编码发展的努力方向和目标“： 1 、快速运动估计算法：预测编码可以有效去除时间域上的冗余信息，运动估计则 是预测编码的核心环节。运动估计是要在参考帧中找到一个和当前帧图像块最相似的 图像块，即最佳匹配块。运动估计算法的优劣直接影响着图像的重建质量和压缩比。 目前的研究热点集中在两个方面：快速搜索算法和块匹配准则。全搜索法f f s 、精度高， 但计算量过于庞大，为了克服这个缺点，人们提出了很多快速算法”，如：三步法( t s s ) 及基于三步法的改进算法、二维对数搜索法( t d l ) 、共轭搜索法f c d s ) 、交叉搜索法 ( c s a ) 、四步法( 4 s s ) 、预测搜索法( p s 、钻石搜索法f d s 、等。 2 、d c t 快速算法：视频图像信号在原始空间域中的能量分布比较均匀，不利于 # 戳“ ，# 髓。， 建 华中科技大学硕士学位论文 2 、d c t 快速算法：视频图像信号在原始空间域中的能量分布比较均匀，不利于 压缩编码；经过d c t 变换之后，能量在频率域中将集中分布在低频部分。此外，由于 人眼对高频信号十分不敏感，编码时可以被大幅度压缩。因此d c t 变换编码可以大量 去除视频信号的空间冗余信息。 3 、并行化处理：为了尽量利用系统硬件资源，降低硬件成本，在h 2 6 3 实现的过 程中，还要实现算法的优化。其中很多运算环节，包括运动估计和d c t 变换，均有很 强的并行性m - ”，。经过适当调整算法结构，可以在支持并行处理的系统上更有效地运 行。例如，p e n t i u m m m x 系统提供了单指令多数据指令集“”1 ，利用这些指令优化h 2 6 3 算法后，用纯软件方法就可实现编码器的近实时运行。 低码率活动图像压缩编码标准i t u th 2 6 3 建议广泛应用于可视电话、会议电视 等多媒体通信系统中。h 2 6 3 活动图像编码算法采用了运动位移估计运动补偿“1 、 d c t 变换、变长编码等技术大大提高了压缩效率。 但另一方面，这些技术的使用明显削弱了h 2 6 3 码流的抗误码能力。随着信道误 码率的升高，解码后的重建图像质量急剧下降。因此提高视频应用的抗误码能力是窄 带视频通信另一个非常关键的问题，尤其是在数据网络越来越多的采用i p 技术的今 天。 提高图像编码器抗误码能力的方案分三类1 ： 1 、前向误码控制方法：通过在编码输出码流中加入额外的冗余信息( 如前向纠错 码f e c ) 来实现。然而，信道误码情况是时变的，目前还没有一个比较精确的数学模 型来描述信道的变化。而且，额外冗余信息的加入会改变原来图像码流的结构，损害 标准图像编解码器的兼容性。 2 、后处理方法”：通过解码器的误码掩盖模块，根据正确接收到的图像信息的有 效冗余来补偿被信道误码损害的部分。利用相邻图像帧以及一帧图像内相邻部分的相 关性进行时间域或空间域的插值是进行误码掩盖的重要途径。后处理方法既不会降低 编码效率，又不破坏码流结构，不影响兼容性。但是当信道误码率较高时，图像受损 的部分过多，仅仅靠后处理的方法很难获取可以接受的图像质量。 3 、编码器和解码器互相配合进行交互式误码控制“1 1 “：基于从解码端来的反馈信 息，编码器自适应地调整编码参数，选择编码模式等，从而适应信道误码变化的情况， 取得最佳的解码重建图像质量。这类方法需要一条从收端到发端的反向信道来传递反 馈信息。 华中科技大学硕士学位论文 1 3 本课题的目的、意义和论文概要 由以上讨论可以看出，为取得好的误码恢复能力并同时保持低复杂度和低延迟通 信，误码恢复机制是在有包丢失的环境下实现视频压缩码流的可靠传输所必须的。改 善图像质量的容错技术以提高视频传输性能是人们热切关注并积极研究的课题。 本课题的目的就是以h 2 6 3 协议为基础，提出一个窄带视频传输编码方案，然后 提出一个基于r t p 的方法，在有包丢失的网络( 如i n t e m e t ) 上，结合网络环境和解 码器所采用的误码隐藏方法，通过使速率和失真折衷最优来选择编码模式，从而有效 提高系统的误码恢复能力，并且使由此产生的计算复杂度较低和时延较小。对于 i n t e r n e t 上的不同的包丢失率和典型的包尺寸进行试验，证实这个方法的优势。 文章共分为五部分：1 绪论，介绍了视频传输系统的历史与现状及其发展趋势和 面i 临的问题。2 低速率实时视频通信编解码基础，分别对h 2 6 3 标准和r t p r t c p 进 行了全面的研究与论述，选择了一种切实有效的对h 2 6 3 视频流进行r t p 打包的方法。 并介绍了衡量视频失真率的客观方法。3 基于 l 2 6 3 的窄带视频编解码系统的实现。 分析了h 2 6 3 窄带视频编码的关键技术，提出了一种切实有效的基于h 2 6 3 的低速率 视频编解码实现方案。4 通过选择编码模式提高视频传输的抗误码能力。分析不同的 编码方式对编码性能的影响和视频通信的帧内编码更新误码恢复机制，提出的一种基 于r t p 的方法，均衡考虑r d 加权折衷进行帧内更新，提高视频传输的抗误码能力。 5 结论及展望对本研究试验的成功和不足做出总结，并提出进一步完善的方向。 华中科技大学硕士学位论文 2 低速率实时视频通信编解码基础 在人们制定的一系列视频编码标准中，h 2 6 3 是得到广泛应用的的一个，其前身 是i t u t 于9 0 年代初制定的视频编码协议h 2 6 1 。为了保证多媒体实时传输，i e t f 开发了一种实时传输协议r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) ，它可以在面向连接或无连 接的下层协议上工作，通常和u d p 协议一起使用。 2 1 低速率视频编解码h 2 6 3 ( + ) 协议 2 i 1 h 2 6 3 ( + ) 概述 根据i t u t 给出的h 2 6 3 协议标准”。h 2 6 3 的实现主要有运动补偿预测、离散 余弦变换( d c t ) 、量化、熵编码和编码控制几部分。h 2 6 3 最初仅支持s u b - q c i f 、 q c i f 、c i f 、4 c i f 和1 6 c i f 等5 种图像格式，h 2 6 3 + 则支持自定义分辨率，可应付大 小可调的用户窗v l ，允许更高的帧刷新频率。其整体结构依i h t g 续了常规视频编码系 统的模式。在编码上，它利用帧间预测减小时间冗余度，利用变换编码减小空间冗余 度，传输上采用可变长编码技术，解码恢复中应用运动补偿。为提高预测正确度和压 缩比等性能，它提供四个可选技术项，并在后来的h 2 6 3 + 、h 2 6 3 + + 等标准中增加了 1 5 个可选技术项a 其差错控制功能可对块采用前向纠错实现，也可由其它协议提供。 视频 信号 扩展控制 信源编码 视频解码 编码控制 视频复用编码 a ) 视频编码 视频复用解码 b ) 视频解码 传输缓存 接收缓存 图2 - 1 h 2 6 3 编解码器系统的原理框图 编码 比特流 h 2 6 3 编解码器系统的原理框图如图2 1 所示。在h 2 6 3 中，原始视频信号在y u v 暨皇兰型! 丝竺：墨堡堡兰垫璺里堡查墨箜坌塑至墨壁：鱼鏖堡呈垄兰塑塑￥塑直回 5 华中科技大学硕士学位论文 的采样分辨率都是亮度信号采样分辨率的一半。一帧图像被划分为若干宏块 ( m a c r o b l o c k ) ，相邻的若干个宏块被定义为一个宏块组( g o b ) 。j - i 2 6 3 就以这些宏 块为单位进行视频编码。 2 1 2 h 2 6 3 ( + ) 编码流结构 h 2 6 3 以共四层的分层结构形成复接的视频编码数据流，即依次为图像层( p i c t u r e l a y e r ) 、块组层( g r o u p o f b l o c k sl a y e r ) 、宏块层( m a c r o b l o c kl a y e r ) 及块层( b l o c k l a y e r ) 。整个码流结构如图2 2 所示“： 图2 - 2 视频数据流的复合结构 以q c i f 为例，一帧图像对应1 7 6 x 1 4 4 个象素，分为9 个块组，每个块组对应 1 6 行象素，从上至下依次编号为o 8 。每个块组有1 1 个宏块，从左至右依次编号。 一个宏块对应1 6 x 1 6 个象素，包含4 个亮度块和1 个色度块。 一、图像层( p i c t u r el a y e r ) 每帧图像数据包括一个图象头部，一些连续的块组数据，以及一个序列尾部的结 束码和一些填充比特。图像层的数据结构如图2 3 ： 厂_ r 广- t r _ - r r r _ 一一 19 s c lt rf9 t y p e lp q u a n tjc p m | p s b il t r bld b q u a n t l p e i ll l 1 j l 一 l l； 厂_ t t 一丁- 1 广_ r _ 1 l p s p a r 5 l p e i i lg r o u po f b l o c k sf e s t u f l e o s l p s t u f f “jl_j 图2 - 3 图像层的数据结构 盯 盯 盯 倒 倒 华中科技大学硕士学位论文 图象起始代码( p s c ) ：p s c 是一个2 2 b i t 的字。它的值是0 0 0 00 0 0 00 0 0 00 0 0 0 l 0 0 0 0 0 。所有图象起始代码都将进行字节对齐。 时间参考( t r ) ：其实际意义是指当前编码图像在原始图像序列中的序号。第一帧 图像序号为0 ，每隔一帧序号增1 ，序号以3 2 为模。在解码端用这个时间参考可 简单地算出当前正在解码的图像与刚刚解码出来的图像之间有多少幅图像在编码 时被跳过，即说明当前正在解码的图像在显示时需被重放多少次。在可选的p b - 帧模式中，t r 仅用于p 一图象。 图像类型信息( p t y p e ) ：p t y p e 包含图像编码的各种重要信息。图像编码时可 以选择各种不同的方式，以达到最佳的编码效率，这些方式由建议提供。编码时 是否采用了这些方式由p t y p e 指出，p t y p e 由1 3 比特码字表示。 一b i t1 ：总为“1 为避免与开始代码竞争。 一b i t2 ：总为0 ，以与i - i 2 6 1 相区别。 一b i t3 ：分裂屏幕指示器，0 断，“l ”通。 一b i t4 ：文档摄相指示器0 断“l ”通。 一b i t5 ：冻结图象释放0 断，1 通。 一b i t s6 - 8 ：信源格式“0 0 0 ”禁止“0 0 1 ”s u b q c i e “0 1 0 ”q c i f “0 1 1 ”c i f , “1 0 0 ” 4 c if “1 0 1 ”1 6 c if “1 1 0 ”保留，“1 1 1 ”保留。 一b i t9 ： 图象编码类型，0 1 n t r a ( i - p i c t u r e ) ，“1 ”i n t e r ( p - p i c t u r e ) 一b i t1 0 ：可选的非限制运动矢量模式0 断“1 ”通。 b i t1 l ：可选的基于语法的算术编码模式，0 断，1 通。 一b i t1 2 ：可选的高级预报模式0 断1 通。 一b i t1 3 ：可选的p b 一帧模式，“o 般的i 一或p 一帧，1 ，p b 一帧。 量化信息( p q u a n t ) ：5 b i t ，编码时事先用p q u a n t 作为假定的宏块量化级 ( q u a n t ) ，如果实际的量化级与假定值相同，宏块层量化级不再被编码传递， 当这两个值不一致时，宏块层中的d q u a n t 会指出。 连续多点显示模式( c p m ) ：l b i t ，表示可选的持续存在多点模式的用法( c p m ) ，0 ， 断“1 ”通。 图象子b j t 流指示( p s b i ) ：2 b i t s ，仅在c p m 指示持续存在多点模式时才存在。 b 一图象的时问参考( t r b ) ：3 b i t s ，当p t y p e 指示为“p b 一帧”时，t r b 出现。它指 示了自上一p 或i 一帧以后，在b 一图像之前的未传输图像的数目。非传输图像的数 目的最大数为6 。 b - 图像的量化信宫, ( d b q u a n t ) ：2 b i t s ，当p t y p e 指示为“p b 一帧”时，才出现 d b g u a n t 。在解码过程中每个宏块得到一个量化参数q u a n t 。在p b ，帧中 华中科技大学硕士学位论文 q u a n t 用于p - ：央，当在b 块中，一个不同的量化参数b q u a n t 被使用a q u a n t 的范围是从1 到3 1 。d b q u a n t 表明q u a n t 和b q u a n t 2 _ n 的关系 额外附加信息f p e i ) ：置为“1 ”时表示下面可选数据项的存在a 附加信, g ( p s p a m ! ) ：附加信息为码长8 的倍数，当p e i = “0 ”时，码长为零；p e i = “l ”时，后面跟着9 个比特的数据，其第1 到第8 比特是附加信息( p s p a r e ) ， 第9 比特是另外一个p e i ，由此比特( “1 ”或“0 ”) 指明后面是否继续跟着这种结 构的附加信息。 填充i ( e s t u f l ：变长，为少于8 位的0 比特。译码器将在e o s 代码字前直接插 入这个代码字以保证e o s 码字的起始字节对齐。解码器将设计为丢弃e s t u f 。 序列末端( e o s ) ：2 2 b i t s ，它的值是0 0 0 00 0 0 00 0 0 00 0 0 01 1 1 1 1 1 。由译码器决定是 否插入这个代码字。e o s 字节对齐。 填充( p s t u f ) ：变长，为少于8 位的“0 ”比特。编码器插入这个码字，以保证下 一个p s c 对齐。 二、块组层( g r o u p o fb l o c k sl a y e r ) 块组层数据包含块组头和宏块数据，每个块组包含一整行宏块。其数据结构如图 2 4 ： 图2 4 块组层数据结构 填充( g s t u f ) ：变长，为少于8 位的“o ”比特。译码器将在g b s c 的前面直接插 入这个代码字，以保证g b s c 码字的起始字节对齐。 块组起始码( g b s c ) ：1 7 b i t s ，所有块组的起始码值为0 0 0 00 0 0 00 0 0 00 0 0 01 。g b s c 的起始码字节对齐。 块组号( g n ) ：5 b i t s ，给出当前块组在图像中的位置，块组号由零开始，每隔个 块组，组号增1 。块组号为零时，块组头不写入码流，其余的块组头是否写入码 流则由编码器决定。 g o b 子比特流指示器( g s b i ) ：2 b i t ，仅在持续多点模式被c p m 指示时存在。这个 代码字是g o b 头部和所有后面信息的子比特流数目的二进制表示直到另一个图 象或g o b 起始代码。 块组帧标识符( g f i d ) ：用来判别相邻两帧图像编码类型是否相同，同一帧图像的 g f i d 值处处相同。 块组层量化信窟, ( g q u a n t ) ：编码时用该信息作为这一块组中宏块的量化级，直 到被宏块层中的g q u a n t 更新为止。 华中科技大学硕士学位论文 三、宏块层 宏块数据由宏块头部和后面的块数据组成。在宏块的头部包含解码器的解码，这 些变字长的码通过宏块头可得到恢复图像所需的信息。宏块层的数据结构如图2 - 5 所 示。 宏块编f f 2 j 指t , , ( c o d ) ：l b i t ，在帧间编码图像中，编码器用c o d 指明宏块层中除 c o d 字段外是否还有其它字段或块层信息。若宏块运动矢量和量化系数全部为零， 则宏块中没有被编码的信息，c o d 字段( = “l ”) 后的信息为空，可直接为下 一宏块编码，帧内编码图像没有c o d 字段。 图2 - 5 宏块层的数据结构 宏块类型及色度编码形式( m c b p c ) ：变长，标明宏块的编码类型。同时也标明色 度块的编码形式，例如标明在u 块和( 或) v 块内除了i n t r a d c 以外是否还有 需要传送的变换系数。 b 宏块形式( m o d b ) ：变长，给出了b 宏块的编码信息，包括六个块的量化系数信 息( 若存在非零系数，由c b p b 给出其具体形式) 和运动矢量信息( 若存在非零 矢量，由m v d b 给出) 。 b 宏块编码形式( c b p b ) ：6 b i t s ，b 宏块含有编号从0 到5 的六个块，若第n 个块 中有非零量化系数，则c b p b n = “1 ”，反之c b p b n = “0 ”。 亮度块编码形式( c b p y ) ：变长，给出了四个亮度块的编码形式( 在pb 帧模式下 指p 宏块的亮度块) ，当c b p y n = “l ”时，表示块n ( 块号) 中有非零的非帧 内直流系数被编码传送。 量化信，n , ( d q u a n t ) ：2 b i t s ，这个字段给出了当前宏块量化级和前一宏块量化级的 变化量，因而有助于降低宏块效应。 运动矢量( m v d ) ：变长，在宏块运动估值时，水平和垂直方向的搜索范围在f 1 5 5 1 6 ) 之问，可进行运动矢量与预测运动矢量差分之后的再编码( 先水平分量后垂直 分量) 。 华中科技大学硕士学位论文 先进预测方式下的块运动矢量( m v d 2 4 ) ：变长，宏块类型为i n t e r 4 v 时每个 宏块对应了四个运动矢量( m v d 、m v d 2 、m v d 3 、m y d 4 ) ，即每一个亮度块对应 一个运动矢量，编码方法同上。 b 宏块运动矢量( m v d b ) ：在采用p b 帧模式编码时，b 宏块在前一p 帧作运动估 值，可由m v d b 给出最佳匹配块的运动矢量。 四、块层( b l o c kl a y e r ) 如果不在p b 一帧模式下，一个宏块包括4 个亮度块和两个色差块。原始或经运动 补偿后的宏块经过d c t 变换、量化和z i g z a g 扫描后，成为按频率上升顺序排列的 一维系数串。块层的数据结构如图2 - 6 所示。 fi n t r a d cit c o f fl 帧内直流系数( i n t r a d c ) ：帧内块的第一个系数称为帧内直流系数( i n t r a d c ) ， 该系数不与其它任何系数构成事件，可单独进行8 比特二进制编码。 非帧内直流系数( t c o f f ) ：除了帧内直流系数之外，其它系数( 包括帧间块的第一 个系数) 都称为非帧内直流系数( n o n i n t r a d c ，也称t c o f f ) ，这些系数构成 一个个独立的事件，对事件可作变字长的编码。 当然，不是所有的块都需要编码，例如，当个帧间块的6 4 个系数都为零时就不 要作相应的块层编码。对帧内交流系数都为零的帧内块，仅须编码i n t r a d c 系数。 字段c o d 、c b p y 提供了一些块t c o f f 被编码的信息。 2 2 r t p 数据传输协议 r t p 的工作机理主要实现一种端到端的多媒体同步控制机制，既不需要事先建立 连接，也不需要中阳j 节点的参与，为其保留资源。r t p 主要用于多媒体数据实时传输， i t u 的视频会议标准h 3 2 3 采用了r t p 协议。在i n t e r n e t 网用r t p r t c p 传输实时视 频流的层次结构如图2 7 华中科技大学硕士学位论文 图2 7i n t e m e t 上传输视频流的层次结构 视频压缩层 r t p 层 u d p 层 i p 层 r t p 协议针对实时数据传输的支持包括时戳、顺序号、荷载类型标识和源标识等 其帧格式如图2 - 8 所示。 0123 012345 678 9o12 34567 89 0l23 456 789 01 v = 2 l p i x | c ci m i p t i序号 时间戳 同步源( s s r c ) 标识符 贡献源( c s r c ) 标识符 图2 ，8 r t p 包头的前1 2 个字节出现在每 ( m i x e r ) 的情况下各字段的含义如下： r t p 头 r t p 包头结构 一个r t p 包中，c s r c 列表仅出现在有混合器 版本号( v ) ：2 b i t s 。定义r t p 的版本。当前版本是2 。( 版本l 用于r t p 草案) 补齐位( p ) ：1 b i t 。如果补齐位被设置成l ，一个或多个附加的字节会加在包头的 最后，附加的最后一个字节放置附加的字节数。补齐是一些加密算法所必需的， 在下层网络数取包携带多个r t p 包时也需要补齐。 扩展位( x ) ：1 b i t 。如果扩展位被设计成1 ，一个头部扩展域会加在r 1 、p 包头后。 c s r c 源个数( c c ) ：4 b i t s 。定义了本头部包含的c s r c 源数目。 标已( m ) ：l b i t 。其解释由具体的应用所定义。一种应用可不定义标记字段，也 华中科技大学硕士学位论文 可以定义多个标记字段。 负载类型( p t ) ：7 b i t s 。定义了i 盯p 负载的格式。 顺序号：1 6 b i t s 。每发出一个r t p 包，顺序号加1 ，它可以被接收方用来检查包丢 失及重组包的顺序。顺序号的初始值是随机的( 不可预料的) ，这样即使源的本身 没有被加密，但随着包流通过翻译器被加密后，不可预料的顺序号创始值将使对 加密的攻击变得更加困难。 时问截：3 2 b i t s 。表示r t p 包中数据的第一个字节的采样瞬间。它必须依赖于一个 单调线性递增的允许同步和抖动计算的时钟。该时钟应有足够高的分辨率用来进 行准确的同步处理和测量各个包的到达时间抖动。时钟频率的确定依赖于负载数 据。它可以在每个应用中被静态定义，也可以用非r t p 方式来动态定义。如果r t p 包是周期地产生的，额定采样瞬间应由采样时钟而不是系统时钟来决定。例如， 对于一个音频信号，时间截可定为每一个采样周期加1 。如果一个应用程序读取了 1 0 0 个采样周期的数据块，那么时间截就应该增加1 0 0 ，不管该数据块最终是被丢 弃了，还是被传送了。时间截的初贻值也是随机的，一些串行的r t p 包的时间截 如果在时间上是同时发生的，则应该相等。例如那些属于同一个视频帧的包；一 些串行的r t p 包的时阳j 截也可以是非单调的，如果它们不按顺序传送，例如m p e g 的bl 喷，但它们的顺序号必须是单调的。 同步源( s s r c ) 标识符：3 2 b i t s 。它对同步源( s s r c ) 进行定义。同步源( s s r c ) 表示某个r t p 包流所对应的源。同步源标识符可以被随机选取，但是在同一个r t p 会话中，不同的同步源应该有不同的同步源标识符。 贡献源( c s r c ) 列表：0 到1 5 段，每段3 2 b i t s 。它定义此r 1 p 包中负载的贡献源 ( c s r c ) 。贡献源( c s r c ) 是指贡献给某个r t p 混音器产生的合成流的r 1 p 源。 贡献源( c s r c ) 列表的个数由前面的c c 字段决定，它最多有1 5 个c s r c 。贡献 源列表中的标识由混音器使用多个同步源的标识符来插入。 2 3 r t c p 数据控制协议 r t c p 依据携带控制信息的不同，分为5 种分组类型：发送方报告( s r ) 、接收方 报告( r r ) 、资源描述条目( s d e s ) 、结束参与显示包( b y e ) 以及应用功能( a p p ) 。s d e s 包又根据参与者的不同信息可分为c n a m e 、n a m e 、e m a i l 、p h o n e 、l o c 、t o o l 、 n o t e 、p r i v 几种类型其中c n a m e 是必须的。 华中科技大学硕士学位论文 ! 篡竺竺篡景苎! ! i i i i i i一i i i i i i i 鬯i i i i i 詈竺苎! 苎! 紫竺苎鼍苎曼! 兰 r t c p 主要实现以下功能： 1 1 通过给所有参与者发送s r 、r r 报告包朱提供数据分配质量的反馈。这些反馈功 能与流量控制、捅塞控制密韶相关，也可以用于故障诊娅。 2 ) r t c p 为每一个r 评资源提供一个持久的传输标准识别号，即c n a m e 。s s r c 标 识在发现冲突藏程序重启时可能发生改变，接收方需要根据c n a m e 来区分多个 媒体流中给定应用的应用成员。 3 ) 司以用来观察参与考的数县，据此可以计算数据的发送速率，并可对其进行动态 调整以合理地刹用网络资源。 4 ) 传送最少童的控制信息，以保证系统可以容易地扩展成为大靓模的松敬耦合系统。 在典型的基于r t p r t c p 的应用中，接收方通过发送s r 或r r 包来提供网络q o s 状态的反馈信息。s r 年舀r r 包的区别在于接收方是否同时是发送方。如果是则月s r ， 反之，则厢r r 。s r 包的数据格式如图2 - 9 。 v = 2 p r c l p t = s r = 2 0 0 l r 度 发送方的s s r c n t p 时间戳的高位芦节 n t p 时间戳韵低位字节 r t p j i q 闯戳 发送万赶计数 发送的8 位元节计数 s s r c 一1 ( 第一个同步源) 丢包率积累丢包数 扩展的接收擐大序列号 到达间隔抖动 lsr fo l s r s s r c 一2 ( 第一二个同步源) 。 i特定应用扩聪 图2 - 9s r 包撂式 第部分为头部，8 字节，分剐有 版本号( v ) ：定义阊r t p 龟。 补齐位( p ) ：定义阁r t p 包。 华中科技大学硕士学位论文 接收报告计数( r c ) ：5 b i t s 。统计报告块计数，0 是允许的。 包类型( p t ) ：8 b i t s 。s r 包定义为2 0 0 。 长度( 1 e n g t h ) ：1 6 b i t s 。r t c p 包以3 2 b i t s 为单位计算整个r t c p 包的长度。( 包括 头部和填充位) 同步源( s s r c ) ：发送此s r 包的同步源标识。 第二部分共2 0 字节，必须包括每个发送方的报告包，它描述发送方的数据传送。 n t p 时间戳：6 4 b i t s 。定义本包发送时间。它可以与接收方报告包中的时间戳比较， 估计往返传播时延。所以n t p 时间戳的分辨率必须大大高了这种估计所要求的精 确度。 r t p 时间戳：3 2 b i t s 。与n t p 时阳j 戳对应。但是形式上同r t p 包的时间戳有相同 的初始值，它由n t p 时间戳根据r t p 时间戳计数器与实际时间的比例计算出来。 发送r t p 包计数：3 2 b i t s 。发送方从开始发送到发送本报告为止共发送的r t p 包 数。如果s s r c 定义符被改变，本字段将被重置。 发送8 位元字节计数：3 2 b i t s 。发送方从开始发送到发送本报告为止共发送的负载 8 位元字节数。如果s s r c 定义符被改变，本字段被重置。 第三部分是报告块，可以是0 个或多个块，块的数目取决于有多少源能被本发送 方听到，从上次报告结束时起每个块统计从一个s s r c 收到包的情况。 s s r cn ：3 2 b i t s 。指本块统计的s s r c 。以下各个字段的说明均指这个s s r cn 。 丢失率：8 b i t s 。自发出上一个发送方报告后丢失的包数除以期望得到的包数，得 到丢失率，乘以2 5 6 放入本字段。 累计丢失包数：2 4 b i t s 。接收开始后丢失包数的累计，它等于期望得到的包