（计算机软件与理论专业论文）移动网络视频传输技术的研究.pdf

浙江大学硕士学位论文 a b s t r a c t a sw i r e l e s sm o b i l en e t w o r ki sw i d e l yu s e d ，e s p e c i a l l y3 gn e t w o r k ，m u l t i m e d i a s e r v i c e so v e rm o b i l en e t w o r kw i l lg a i ng r e a to p p o r t u n i t yt ob ew i d e l yp o p u l a r i z e d b u tt h e r ei sa l s oag r e a tc h a l l e g ef o rm u l t i m e d i ae s p e c i a l l yv i d e oc o n t e n t se 币c i e n t d e l i v e r yw i t h1 i m i t a t i o no fm o b i l en e t w o r kw h i c hi sc h a r a c t e r i z e db yb a n d w i d t h v a r i a t i o n ，h i g he r r o rr a t e ，n e t w o r kh e t e r o g e n e i t y ，e t c i nt h i st h e s i s ，t h ek e yt e c h n i q u e s o nv i d e oc o n t e n td e l i v e r yo v e rm o b i l en e t w o r ka r es t u d i e d t h et e c h n i q u eo fr o b u s t d e l i v e r yo fv i d e op a c k e ti sp r e s e n t e dt h r o u g ht h ec o m b i n a t i o no fp a c k e tp e r m u t a t i o n f p p la n df o r w a r de r r o r c o r r e c t i o n ( f e c ) t op r o t e c ts i g n i f i c a n tp a c k e t s p a c k e t g r o u p ( p g ) s c h e m et h a tp a c k e t sa r es e n tg r o u pb yg r o u pw i t hn od e l a yi nag r o u pi s p r o p o s e dt od i s t i n g u i s ht h eb u r s t yp a c k e tl o s s e sf r o mr a n d o mp a c k e tl o s si no r d e rt o i m p r o v ep a c k e tj o s s e sd e t e c t i o n c l i e n tb u f f e rm e c h a n i s mi sd e s i g n e dt op r o v i d e c o n t i n u o u sv i d e oc o n t e n tt r a n s m i s s i o n h 2 6 4v i d e os t a n d a r dw i mh i g l lc o m p r e s s i o n ， g o o dn e t w o r ka d a p t a t i o na n dh i g he r r o r r e s i l i e n c ei s s t u d i e d i nt h ee n d 。av i d e o d e l i v e r yp r o t o t y p e ( h s t r e a m ) t a r g e t e da tv i d e oo nd e m a n d ( v o d ) s c e n a r i oi s p r o p o s e da n di m p l e m e n t e d ，w h i c hc o m b i n e st h ea b o v ek e yt e c h n i q u e s t h ep r o t o t y p e c o n s i s t so fs t r e a ms e r v e ra sv i d e oc o n t e n ts e n d e r , w h i c hi sr e s p o n s i b l ef o rd a t a s e n d i n gc o n t r o la n ds t r e a mp l a y e ra sr e c e i v e r , w h i c h i sr e s p o n s i b l ef o rn e t w o r k d e t e c t i o n ，f e e d b a c k k e y w o r d s ：m o b i l en e t w o r k ，h s t r e a m ，h2 6 4 ，b u r s t yp a c k e tl o s s e s ，p a c k e tg r o u p ( p g ) 2 浙江大学硕士学位论文 摘要 随着无线移动网络的普及，特别是3 g 的大规模商用，为无线移动多媒体的 应用提供了很大的契机，特别是无线视频流的服务将会得到很大的改善。但是由 于移动网络的带宽波动、误码率高和异构网络性等特征，无线视频流传输技术将 面临着很大的挑战。无线视频流的传输涉及到几个关键方面的技术：数据报容错、 网络错误检测、缓冲区管理以及视频的编解码等技术。为此，本文针对视频传输 中这些关键技术进行了研究和设计，提出了新的错误检测技术一- - p g 。p g 是通 过一组一组地发送数据报( 每一组中的数据报是连续发送的) 来区分网络报丢失 的类型，能够有效区分随机丢失和突发性的报丢失，同时设计相应的错误恢复机 制，在本文中还把p p 和f e c 有机地结合在一起，防止重要数据报的连续丢失， 在视频编解码方面，由于h 2 6 4 具有很高的压缩性能和良好的网络适应性，特别 适合于移动网络传输，因此我们把h 2 6 4 的算法进行分析和研究，最后对这些 技术进行整合，设计和实现了一个基于无线移动网络的、面向v o d 的视频流传 输控制的系统框架称为h s t r e a m ，它是由服务端和播放端组成，服务端作为发送 者，负责发送控制，提供视频发送服务，播放端作为接收者，负责网络检测和反 馈，提供播放服务。 关键词：移动网络，h s t r e a m ，h 2 6 4 ，突发性报丢失，p g 浙江大学硕士学位论文 第一章绪论 这篇论文主要是研究移动网络视频流传输的几项关键技术：视频编解码、数 据报容错、错误检测、错误恢复技术。在本文中，我们提出了新的错误检测技 术一- - p g ，并设计相应的错误恢复机制；还把p p 1 和f e c 结合在一起，防止重 要的数据报的连续丢失；同时也研究了视频的h 2 6 4 编解码技术 2 3 ，和标准 3 。 最后对这些技术进行整合，设计和实现了基于一个无线移动网络的视频流传输控 制的框架，包含服务端系统和播放端系统，以及它们之间的交互协议。 1 1 研究背景和动机 随着无线移动网络技术的发展，无线移动网络能够提供越来越多的业务。 当前无线移动网络，主要形式有蜂窝网络、w l a n 、蓝牙技术、以及卫星通信等等。 以3 g 4 为代表的蜂窝网络，正在提供了越来越丰富的业务，其中多媒体就是其 中的重要业务。在移动网络上不仅要提供语音、图像等常规的多媒体业务，随着 移动网络带宽的增加，同时也有能力提供良好的视频流服务；不仅能够提供分配 式，也要能提供交互互动的视频传输服务；从简单的通话服务，到流畅的视频流 服务；从视频直播到视频点播，从视频电话到视频会议，从一般性流媒体到p 2 p 流媒体等等。 3 g 移动网络的应用将给多媒体展示了一个崭新的前景。当前也有运营商推 出了流媒体业务，但都受限于网络速率。中国联通和移动都推出了基于2 5 g 网 络的视频流媒体业务，但是根据实际应用的情况来看，由于受到2 5 g 网络带宽 的局限，目前的流媒体业务使用效果并不理想。但不管怎样，在国内，中国移动 和联通两家未来3 g 市场主要的竞争者已经在准3 g 业务领域展开竞争。业内分析 人士预计，随着3 g 业务的正式展开，未来三年移动流媒体业务的用户数将会不 断增加，预计到2 0 0 7 年，移动流媒体视频用户在流媒体总用户中将占2 0 以上。 丽这一切都为无线移动多媒体的业务提供了很好的应用机会，但是无线移 动网络终究是无线的，在带来机遇的同时，也给无线多媒体特别是视频流的传输 浙江大学硕士学位论文 带来了很大的挑战。下面以3 g 网络为例首先分析一下无线移动网络的特点，再 分析一下移动视频流传输碰到的问题。 3 g 一般是由核心网络、接入网络和移动终端组成。它的传输性能主要是受 要受到天气、环境、位置等因素的影响。这种网络由无线网络和有线网络组成。 一般的传输网络结构如图1 1 所示。 图1 1 移动视频传输网络 上面的无线移动网络具有下面几个特点： 非对称性的、不断变化的传输速率 上行带宽和下载带宽不一样，同时传输速率时刻在变化。 数据报传输的延迟时间比较长以及延迟时间经常波动 比起有线网络来，无线数据报的传输延迟比有线的大很多。主要原因是在无 线网络中，物理层传输信号不稳定，给数据链路层带来了更多的数据控制开 销，影响了实际的传输速率。 移动终端在快速移动中，通讯链接经常中断 在移动终端快速移动的时候，移动终端可能在多个蜂窝区进行切换，可能会 导致数据传输链接的断开和重新连上。 误码率高和导致丢报的随机性 有线网络很少发生误码，而在无线网络中，这是经常的事情，在有线网络中 丢报的原因往往是由于网络拥堵造成的；而在无线网络上，丢报却是链路误 码造成的。 网络的异构性 浙江大学硕士学位论文 一般的无线业务的数据传输要穿越无线和有线网络。 在这样的复杂的环境下，进行有效的视频流传输，是一个非常大的挑战。接下来， 我们分析一下无线移动网络上进行视频传输将会遇到的几个问题： 视频传输将遭遇强烈的带宽波动的影响 即使是在3 g 网络上传输流媒体，理论上，3 g 的带宽也能满足流媒体传输的 需要，但是在实际中，由于3 g 传输的带宽波动，将给流媒体传输带来很大的 问题。 常规的传输协议不能应用无线流媒体传输 目前在有线网络里应用的传输控制主要是t c p 协议，这个协议在有线网络上 应用比较不错，但是在无线网络上应用效果不好。针对有线网络而提出的 r t p r t c p 2 0 传输控制协议也提供了流媒体的传输控制的框架，但如何具体 地传输控制，没有上下文。所以在无线移动网络上有必要提出一种新的流媒 体传输协议。 常规的编鳃码标准不能很好适应无线网络的需要 当前比较新的h 2 6 4 标准，针对无线网络的应用作了很多的改进，分别在压 缩率方面和无线网络适应性方面都提高了很多。 无线网络的视频传输其它问题 在无线网络进行视频传输还受到其他的因素的影响，比如移动终端的电源和 能量等问题，本论文不将讨论。 1 。2 本文工作和创新点 通常解决这些无线网络视频传输的问题主要从信道和信源方面来解决。对于 基于i p 网络的无线移动或互联网，信道方面是从网络层或传输层上来考虑的， 信源方面主要是从视频编解码方面来解决。一般的流媒体内容应该包含视频数据 和音频数据，但是目前流媒体传输中的关键问题是视频传输控制的问题。基于 上面的考虑，本文的研究的核心是如何在基于i p 交换的移动网络上进行有效的 视频传输。在移动网络上进行有效视频传输涉及到数据报容错、网络错误检测、 错误恢复和视频的编解码等技术。为此，本文针对视频传输中这些关键技术进行 浙江大学硕士学位论文 了研究和设计，提出了新的错误检测技术一- - p g ，p g 是通过一组一组地发送数 据报( 每一组中的数据报是连续发送的) ，来区分网络报丢失的类型，能够有效 区分随机丢失和突发性的报丢失，同时设计相应的错误恢复机制。在本文中还把 p p 1 和f e c 结合在一起，防止重要的数据报的连续丢失。在视频编解码方面， 由于h 2 6 4 具有很高的压缩性能和良好的网络适应性，特别适合于移动网络传 输，因此我们把h 2 6 4 的算法进行了分析和研究。最后对这些技术进行整合， 设计和实现了一个基于无线移动网络的面向应用层的视频流传输控制框架，称为 h s t r e a m ，见图1 2 ，包含服务端系统和播放端系统，以及它们之间的交互协议。 1 3 本文组织结构 图1 , 2 系统结构 在接下来的文章里，我们是这样安排的。第二章分析移动视频传输技术的现 状：第三章介绍和分析了h 2 6 4 编解码技术：第四章对面向无线移动网络视频传 输关键问题进行分析，并针对这些问题进行相关的设计。第五章对移动网络视频 传输技术进行设计和实现；并对实现的结果作了一下演示。最后是总结。 浙江火学硕士学位论文 第二章移动网络视频传输控制技术的研究现状 目前，针对在移动网络传输上如何进行有效传输视频提出了很多的新的思 路，但解决的思路主要从视频的两个方面的内容出发：一个是面向视频内容的， 研究如何给视频内容进行分类，进而在不同的网络状态下传输不同的内容；另一 方面的内容是面向网络方面的，主要研究网络状态的检测和监控，通过有效地检 测和监控网络状念的变化来调整视频的发送速率。当把研究重点放在第一方面的 时候，我们称为内容的自适应，研究重点放在第二位的时候，我们称为网络的自 适应。另外，分析目前在这方面的相关的工作的时候，考虑到基于无线的报交换 网络和基于有线的报交换网络的视频流有很大的共同点，所以在分析它们的时 候，对他们的描述不作区分。 2 1 内容自适应 研究的重点是如何有效区分视频数据的重要性，如何有效对视频内容进行分 类，如何采用更加有效的编码以适应不同网络状态，进而在不同的网络进行不同 的视频内容传输。这个方面技术目前有两种思路： 2 1 1 码流切换技术 采用此技术时，服务器保存同一个视频节目不同质量的多个拷贝。在客户请 求时，鼹务器根据客户端的网络带宽状况选择一个合适的码流传送。该技术的优 点是计算复杂度低，缺点是需要大量的存储空问，因为存在很多重复的数据。而 且一般只能选择某几个带宽码流，灵活性差，带宽利用率不高。现在r e s l 公司的 s u r e s t r e a m 6 与m i c r o s o f t 公司的i n t e 1 i g e n ts t r e a m 7 就是采用了这种机 制。 2 1 2 可扩展性编码 可扩展l 生编码包括：时域可扩展性、空域可扩展性和质量可扩展j | 生。 时域可扩展性( t e m p o r e ls c a l a b i l i t y ) 编码通常是通过在码流中添加b 帧来 实现的。b 帧是使用与它在时间上最近邻的前后两个i 帧或者p 帧来预测的，而自 己不作为其它任何帧的参考图像，因此在传输中丢弃b 帧并不影响其它帧的质量， 己不作为其它任何帧的参考图像，因此在传输中丢弃b 帧并不影响其它帧的质量， 浙江大学硕士学位论文 第二章移动网络视频传输控制技术的研究现状 目前，针对在移动网络传输上如何进行有效传输视频提出了很多的新的思 路，但解决的思路主要从视频的两个方面的内容出发：一个是面向视频内容的， 研究如何给视频内容进行分类，进而在不同的网络状态下传输不同的内容；另一 方面的内容是面向网络方面的，主要研究网络状态的检测和监控，通过有效地检 测和监控网络状态的变化来调整视频的发送速率。当把研究重点放在第一方面的 时候，我们称为内容的自适应，研究重点放在第二位的时候，我们称为网络的自 适应。另外，分析目前在这方面的相关的工作的时候，考虑到基于无线的报交换 网络和基于有线的报交换网络的视频流有很大的共同点，所以在分析它们的时 候，对他们的描述不作区分。 2 1 内容自适应 研究的重点是如何有效区分视频数据的重要性，如何有效对视频内容进行分 类，如何采用更加有效的编码以适应不同网络状态，进而在不同的网络进行不同 的视频内容传输。一这个方面技术目前有两种思路： 2 ，1 1 码流切换技术 采用此技术时，服务器保存同一个视频节目不同质量的多个拷贝。在客户请 求时，服务器根据客户端的网络带宽状况选择一个合适的码流传送。该技术的优 点是计算复杂度低，缺点是需要大量的存储空间，因为存在很多重复的数据。而 且一般只能选择某几个带宽码流，灵活性差，带宽利用率不高。现在r e a l 公司的 s u r e s t r e a m 6 与m i c r o s o f t 公司的i n t e lli g e n ts t r e a m 7 就是采用了这种机 制。 2 1 2 可扩展性编码 可扩展性编码包括：时域可扩展性、空域可扩展性和质量可扩展性。 时域可扩展性( t e m p o r a ls c a t a b i t i t y ) 编码通常是通过在码流中添加b 帧来 实现的。b 帧是使用与它在时间上最近邻的前后两个i 帧或者p 帧来预测的，而自 己不作为其它任何帧的参考图像，因此在传输中丢弃b 帧并不影响其它帧的质量， 浙江大学硕士学位论文 而仅仅降低帧率。 空域可扩展性( s p a t i a ls c a l a b i l i t y ) 编码是通过为视频中的每一帧都创建 多分辨率的表示来实现的。当进行空域可扩展性编码时，原始视频首先通过下采 样得到低分辨率的视频，编码得到基本层码流：然后编码原始视频和基本层视频 的差生成增强层码流。不过空域可扩展性编码在视频传输中应用较少，因为任何 个用户都不能接收在前一帧中观看高分辨率视频，而到下一帧只能获得低分辨 率视频。因此即使增强层在传输中被丢弃，客户端的解码器也要对低分辨率的图 像进行插值，这实际上是一种质量可扩展性的特殊情形。 质量可扩展性( s n rs c a l a b i l i t y ) 编码的思想和空域可扩展性编码很类似， 只不过这里不需对原始视频进行下采样，而是进行一次很粗的量化形成基本层码 流。然后对原始视频和基本层视频的差再进行一次量化，生成增强层码流：如果 有多个增强层码流则重复上面的过程。质量可扩展性编码方案提供了一种效率较 高的编码方式，因为它采用的是增强层作为参考帧，但是容错性比较差，因为一 旦增强层丢失，只有到下一个1 帧到来时，图像的质量才能得到恢复。 现在有两种新的可扩展性编码方案称为精细可扩展编码：f g s ( f i n e g r a n u l a rs c a l a b l e ) 和m d c 8 ，前者的核心思想是把视频分为基本层和增强层， 基本层可采用己知的各种编码方法。而增强层采用位平面技术进行编码。后者的 思路是把视频内容分为多个平等层，只要收到其中的几层就能够解码播放。 2 2 网络自适应 网络自适应主要是研究如何检溯网络状态的变化，再者研究相关的自适应传 输技术，特别是在有线和无线组成的异构网络上。这个研究的内容主要集中在有 效的错误检测和相应的恢复机制。特别是在包含有线网络和无线网络的异质环境 中研究有效的错误检测机制和有效的错误恢复机制。在包含有线网络和无线网络 的异质环境中缺乏有效的错误检测机制。常规的t c p 协议只能检测到发生了错 误即数据包被丢弃，但无法区分出错误的原因。对传输过程中出现的错误，t c p 假设丢包都是由于网络拥塞造成的。由于有线网络的b e r 很低，这种假设基本 上是成立的。但是在无线网络环境下存在许多与拥塞无关而可以导致丢包的原 因。如无线信道突发性位错误、移动设备处在切换过程中、衰减信道等。t c p 浙江大学硕士学位论文 则将丢包都归结于网络拥塞的发生，而无法检测出错误的属性。一旦检测出丢包， t c p 便触发拥塞控制处理过程，首先重传未被确认的包，减小拥塞窗口从而降低 发送速率；然后激活拥塞控制机制。包括超时时钟指数回退、减小慢启动闽值 ( s s t h r e s h o l d ) 最后进入拥塞避免阶段以确保拥塞得以解除。如果丢包是由于无 线网络的b e r 高或者移动设备切换时发生的而不是网络的拥塞，那么t c p 的这 种错误恢复机制会导致协议性能下降，包括吞吐量的下降和延迟的增加。所以 研究网络自适应的焦点问题停在如何在一个诸如有线和无线网络组成的网络上 负责网络上有效检测错误，并区分错误。目前检测网络丢包的方法分为两类：隐 式错误检测和显式错误通知 2 2 1 隐式错误检测 对于隐式方法来说，报丢失主要是通过计算网络上网络关键参数来实现 的，这些参数有：时延，数据接收速率，相对到达时间，其中时延是相对比较重 要的参数。当网络要发生拥塞的时候，在网络上的一些路由节点中的数据包有可 能堆积起来，这样导致了数据包的来回时间( r t t ) 和单向行程时间会比平常时 间来的长这样，我们可阻通过数据包传输时延。来确定是什么原因造成了数据 报的丢失。s a m a r a w e e r a 等提出了一种称为“非拥塞数据包丢失检测”的方法( n o n c o n g e s t i o np a c k e tl o s sd e t e c t i o n ，n c p l d ) 【9 】。n c p l d 是通过检钡i r t t 的值来测 量是拥塞的还是不拥塞的。如果是所测量的r t t 比较长，那么说明网络发生了拥 塞了，如果不是，那么说明网络丢报是由随机引起的。在【3 9 】中，也是根据r t t ， 提出了一个基于以前的拥塞避免算法 4 0 】【4 1 】【4 2 的一个包丢失预测器。l i u 4 3 把包丢失对( 1 0 s sp a i r s ) 和隐式马尔科夫模型( h m m ) 结合在一起，提出了 个非常精确测量方法。这里的包丢失对是指这样的对数据包，它们一起被发送 的，并且只有其中的一个数据包在传输过程丢失的。这种技术的原理是无线网络 上发生丢失对的丢失分布不同于有线网络的丢失对的丢失的分布。 在b i a z 4 4 ，提出了用到达时问间隔( i n t e r - a r r i v a lt i m e ( i a t ) ) 来区分报丢失 的原因。当无线网络上发生包丢失的时候，这个i a t 刚好是传输一个数据包的时 间。所以在这个方案中，就通过i a t 来区分数据包丢失产生的原因。但是在无线 网络上，i a t 经常发生波动，所以用这种方法来解决问题有很大的局限性e c e n 在 4 5 1 提出了集成的解决思路称为z b s ，它集成了b i a z 4 4 ，s p i k e 4 6 】 浙江大学硕士学位论文 和z i g z a g 4 5 方法，可以根据网络的状况在这三种情况下切换。但是z b s 也是依 赖于i a t , r t t 等网络参数的精确测量。 在t c p - - r e a l 1 1 中使用了数据接收速率( d a t a - r e c e i v i n gr a t e ( d r r ) ) ，当网络 上发生拥塞的时候，d r r 可能发生很大的波动，而当网络由于误码发生的时候， 那个d r r 基本上不发生变化。 2 2 2 显式的错误通知 这类方法又可以分为两类：显式拥塞错误通知和显式无线错误通知。前者对 网络上发生拥塞造成的丢包向源端发送通知；后者则对无线链路上或移动过程中 造成的丢包向源端发送通知。具体的参见【3 8 】。 浙江大学硕士学位论文 第三章h 2 6 4 编解码技术 本章主要是介绍h 2 6 4 的编解码技术，在这篇论文中，分析了在移动网络上之 所以选择h 2 6 4 作为实验编解码标准。是因为h 2 6 4 的算法的高压缩性和同时也 提供了很多的编码选项更好地适应实现良好的网络适应性和很强的抗误码能力。 本章主要就h 2 6 4 的这这些特性进行分析。 3 1 概述 t t 2 6 4 是建立在块匹配混合编码的基础上，采取一系列高效压缩编码技术的开 放式标准。其特点是：基于宏块层率失真优化( r d o ) 理论，用小尺寸、多模式 预测提高空域和时域压缩率，用整数变换量化提高频域压缩率，用增强的熵编码 高效压缩符号冗余，详细规定了新标准内涵，又提供了灵活算法。以便根据不同 的应用背景调整相应的算法和编码参数，力求在各种开放环境下实现最小失真的 最佳熵编码，达到高压缩率、低时延、容错性好、编解码复杂度可分级，对i p 网和移动网适应性强等主要功能的设计目标。 为了实现这个核心技术，增强编码视频对复杂、异构的视频传输网的适应性， h 2 6 4 在设计上将整个编、解码系统分成视频编码层( v c l ) 和网络适配层( n a l ) 两个具有不同功能的层次，并在每个层次上进行了一系列的性能提升。如多尺寸 块模式帧内和帧间预测编码、多方向模式空间预测技术、1 4 、1 8 像素精度和 多参考帧运动估计算法、4 4 块的整数正交变换、去除块效应的环路滤波器、 基于内容的变长编码( c a v l c ) 和基于内容的自适应算术编码( c a b a c ) 、引入完 成流切换的刷新帧技术代替过去的分级编码进行码率控制和差错控制等。下面对 h 2 6 4 的v c l 层压缩性能、n a l 层的网络适应性、编解码器的容错性能逐步展开分 析。 3 2v c l 层的压缩性 h 2 6 4 视频编码层v c l 主要通过改进各种成熟的压缩技术和先进算法，对数字 1 4 一 塑望查堂堡主兰垡笙奎 视频进行高效率编，解码，提供具有高质量、高压缩比、健壮性、可分级等特性 的视频编码流，分别从空域、时域、频域、熵编码、滤波等 图3 1h 2 6 4 编码过程 3 2 1 空域和时域压缩方面 ( 1 ) 小尺寸、多模式帧内预测 传统的对i 帧图像进行帧内压缩是将单帧内相邻块之间存在的形状、纹理和 彩色冗余，以及视频序列中存在的所有空域冗余( 如动体后面的静止区) 都进 行直接变换编码，存在着较多的空间相关冗余。h 2 6 4 增加了单个图像的帧内预 测编码，充分利用被预测块左边和上边己解码重构的邻近宏块像素对当前块进行 预测，只将实际块与预测块的残差进行编码，帧内编码的像块信息可以用较少的 比特数有效表达，减少了空间相关的冗余比特数。 h 2 6 4 对i 帧作帧内预测时将宏块分割为3 种，即对静止或慢变的亮度图像用 1 6 1 6 宏块预测模式，对复杂或剧烈运动的亮度图像用4 4 块预测模式，对彩色 图像用8 8 宏块预测模式。每一种预测模式又提供多种方向的空间预测方法， 即提供了7 种4 4 亮度块、4 种1 6 1 6 亮度宏块和4 种8 8 色度宏块( 包含u ， v n 个相等的色度宏块，每个色度宏块有6 4 个被预测像素) 共1 7 种帧内空间预测 方法。帧内预测前要对当前块左。上边邻近的解码重构块，根据r d 0 和s a e 进行最 佳模式分类和选择，使预测帧内属于不同位移物体的像素数减少，在空域内更加 浙江大学硕士学位论文 贴近原始帧。这种多尺寸宏块和多方向预测，提高了帧内编码的空域压缩率。 ( 2 ) 多尺寸、高精度、多参考帧帧闻预测 过去帧间预测是利用邻帧相关性以1 种1 6 1 6 。或将其1 个分为4 个8 8 ( 非 限制运动矢量模式时) 两种正方形宏块作为基本单元，来描述所覆盖的全部运动 细节，特别是对于复杂或剧烈的运动区域，时域预测精度误差较大。h 2 6 4 采用7 种树型宏块结构作为帧间预测的基本单元，即将过去1 6 1 6 模式分割为1 6 1 6 、 1 6 8 、8 1 6 、8 8 宏块，8 8 模式再分割为8 8 ，8 4 ，4 4 子宏块，通过 r d o ，来选择不同的宏块尺寸。在多种不同尺寸和形状宏块的预测模式下，1 个宏 块可以用1 个或最多1 6 个正方形或矩形的运动矢量来描述运动细节，更利于贴近 实际实现最佳的块匹配，提高了运动补偿的精度。 从h 2 6 1 至u m p e g 一4 运动矢量的估值精度，只从整像素、半像素提高到1 1 4 像 素，使搜索区内块匹配误差较大，影响时域压缩率。而h 2 6 4 的运动估计从支持 亮度分量的1 4 像素精度提高到支持色度分量的1 8 像素精度，并详细定义了相应 更小分数像素的插值实现算法，如利用6 抽头f i r 滤波器产生1 2 像素、继续利用 1 2 像素双向线性内插产生1 4 像素、利用4 抽头滤波器产生1 8 像素。因此，帧问 运动矢量估值精度的提高，使搜索到的晟佳匹配点( 块或宏块中心) 尽可能接近 原图，减小了运动估计的残差，提高了运动视频的时域压缩效率。 h 2 6 4 与以往的单参考帧预测不同。它支持多参考帧预测编码，即通过在当 前帧过去的多个参考帧中进行运动搜索，寻找出当前编码块或宏块的最佳匹配。 在出现复杂形状和纹理的物体、快速变化的景物、物体互相遮挡或摄像机快速的 场景切换等一些特定情况下，多参考帧的使用会体现更好的时域压缩效果。 宏块的忽略( s k i p p e d ) 模式，使用此模式的宏块不需要传送预测误差或运动 矢量及参考索弓h 其预测信号的构建与帧间1 6 x1 6 宏块相同，只使用上懈码参 考帧、通常运动矢量与周围的预测因子相同，在特定情况下，运动矢量为零。 3 2 2 频域方面 ( 1 ) 整数块变换 帧内、帧间预测的差值要从空域、时域变换到频域进一步压缩处理。传统的 d c t 变换以8 8 像素块为基本单元，变换过程采用复杂的浮点运算因取舍误差 浙江大学硕士学位论文 引起像素值漂移，造成反变换失配。较大的像块变换时不仅计算量较大，还会因 邻块间相关性降低、强度不连续而出现块效应。h 2 6 4 主要采用基于d c t 技术的新 型4 4 块整数变换，变换的目的在于在给定的失真条件下，通过整数变换在频域 内给出最大的零系数值，通过有效量化编码达到较高的压缩率。 h 2 6 4 主要采取3 种方式对每一个4 x 4 块进行整数变换，即4 x 4 块残差a c 变 换( 含有量化校正矩阵信息) ，4 x 4 亮度d c 系数哈达码( d h t ) 变换( 1 6 1 6 帧内模式下1 6 个4 x 4 块的d c 系数组成的二次4 x 4 块) ，2 x2 色度d c 系数d h t 变换。 两个色度块( u ，v ) 的变换在完成相应的亮度块变换后进行。这种4 x 4 整数变换 是通过d c t 变换的演化来实现的，其演化过程是：先将输入的4 4 像素矩阵x 用整 系数矩阵h 逼近为y = h x h t 只有整数的“去浮点”运算；再用量化校正矩阵e 进行 特殊的核心变换为y = h x h t e 只有整系数正负1 ，正负2 的加法与移位的运算，式 中“表示h x h t 与e 中的元素对应相乘。然后将整数变换的比例系数移入量化 器中通过查表执行( 变换的最后一步) 。这种将“乘”变“加”运算的特殊处理， 使d c t 的变换特性得到巨大提升：1 ，系数变换只用定点运算，避免复杂的浮点运 算，提高了速度；2 ，只用加法与移位运算，避免开销巨大的乘法运算，使操作 简单；3 ，只用4 x 4 点的整数运算，避免了小数系数造成微机运算偏差j 提高了 精度，也使反变换严格匹配；4 ，更小的4 x 4 变换块，使运动体边缘衔接处误差 减小，有效减轻了图像的块效应失真。 ( 2 ) 可变步长量化 h 2 6 4 采用和以往定步长量化不同的可变步长量化，等比例分级实现，以进 一步增强在一定失真条件下的码率控制能力。变换系数矩阵先与量化矩阵进行元 素相乘，再对量化起点值修正后进行量化。正向量化公式为 z h = r o u n d ( y n fq m j ， 反向量化为y i j = z ；。q 其中z 为量化后的系数；r o u n d 为取整；y i 为变换后的象素系数；q 蛐印为量化步长。 每个宏块的量化步长由5 2 个量化参数q p 值决定，色度分量步长比亮度分量略小， 以提高彩色的逼真度。5 2 个量化矩阵含有量化步长信息和量化校正信息，帧内预 测时校正值为2 - ，6 。率控制能力为q p 值每加1 ，q 。变化幅度增加1 2 5 ，q p 每加6 ，q 腓叩加倍。由于量化后的系数要取整，减小了量化精度，有效降低了数 浙江大学硕士学位论文 据量。 3 2 3 熵编码方面 h 2 6 4 在h 2 6 3 多码表交长编码( v c l ) 和h - 2 6 l 单码表通用变长编码( u v c l ) 的基础上，采用，采用统一的两种高性能的熵编码。一种是基于内容的自适应变 长编码( c a v c l ) ，另一种是基于内容的自适应二进制算术编码( c o n t e x t - - b a s e d a d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ，c a b a c ) 。仿真测试表明c a b a c 比c a v c l 压缩 率高1 5 。c a v a l 利用游程码对经预测、变换、量化后的系数块内大量的连零串 进行压缩编码，对块内非零系数+ i 、一l 序列和相邻块间相关的非零系数，采用 从高端向接近直流处逆向“之”字扫描，根据数据的统计特性进行自适应选择量 级参数查表编码，充分利用信源相关性和人眼视觉特性，有效压缩代码数据冗余， 降低码率。 c a b a c 分3 步进行：二值化。将所有经预测、变换和量化的待编码符号， 根据不同的语法元素所要求的二进制映射规则( 如常用的一元二进制) ，映射成 二迸制符号串( b i n s ) ，送到后续的二进制算术编码器。选择内容模型。根据 上下文宏块类型、运动矢量、参考帧数、预测模式等不同的语法元素预先定义概 率模型；据当前待编码符号的类型及左上邻块符号给当前待编码符号选定相应 已定义概率的内容模型；对当前待编码符号进行更加准确的概率估计，h 2 6 4 定 义了6 4 种概率模型和2 6 7 ( 编号0 2 6 6 ) 种内容模型，以便为编码符号提供准确的 条件概率估计，压缩符号间冗余，从其中一种概率状态转化到最为可能符号的状 态即完成概率估计。鲁适应算术编码并自动更叛概率。根据已完成待编码符号 的概率估计，给每个符号分配：n 个分数比特，随着编码符号的增加，对应小数 概率区间不断缩小，符号可以逼近它的熵编码极限。c a b a c 可以在每编码：n 个符 号后，根据该符号位的上下文变化，不断动态调整内容模型。自动完成新的概率 估计。 3 2 4 滤波方面 基于块的编码特性之一在于它的块结构。重建块时，往往由于块边界像素值 的量化误差形成影响图像主观质量的“块效应”。为改善图像主观质最，h 2 6 4 浙江大学硕士学位论文 使用了去块效应滤波器当块边界h 两边差较小则使用滤波器使差别“平滑”掉， 若边界仁图像特征明显则不使用滤波。这样既减弱“块效应”的影响又避免滤掉 图像的客观特征，同时在相同主观质量下使比特率减少5 1 0 。 3 3n a l 层的网络适应性 h 2 6 4 包含一个内建的网际网络通信协议适配层n a l ，并用存取层接口在概念 上来描述和分开v c l 层高效压缩和n a l 层无缝集成的功能。n a l 作为h 2 6 4 标准的 一部分，正式定义了视频编解码器和外部网络之间基于包的接口，以便将v c l 层视频流进行协议封装后，通过n a l 无缝集成到传输层。解码时n 从对v c l 的承载 过程相反。n a l 层的引入将编码与信道隔离，大大提高了h ，2 6 4 适应复杂信道的能 力，对目前现存或未来的各种不同网络都有很强的网络友好性。n a l 的无缝集成 性能如图3 2 所示。 图3 2n a l 的无缝集成 n a l 通过存取层接口从v c l 获得已编码的视频数据，并通过编码器接口，按外 部网络特性要求对v c l 数据进行打包，即用下层网络协议的分段格式来封装组帧、 逻辑信道的信令、定时或发序列结束标志等数据，定制包头信息、段结构信息和 浙江大学硕士学位论文 有效载荷信息。n a l 支持视频的电路交换和因特网包交换格式，将v c l 层的编码数 据头和数据信息正确映射到大部分网络协议上，如h 3 2 0 ，h 3 2 3 ，h 3 2 4 ， r t p u d p i p 和m p e g - - 2 等。如果n a l 单位已经通过解码命令，那么被打好的数据 包要么被正确接受，要么被丢弃，或因有效载荷里包括了错误的数据被n a l 单元 头产生的错误标记( 还用于其他目的) 标识到网络中。n a l ) f 部接口规范要求标 准化主体对不同的网络传送协议进行描述，使已通过的数据包能正确集成到各种 异构网络中传输。打包和相应的信令属于n a l 的一部分，但错误标记和网络协议 在h 2 6 4 标准的范畴之外。图3 3 为h 2 6 4 网络适配层n a l 支持因特网r t p u d p i p 协议包交换格式的一个典型的视频信息打包过程。 w n v u d p 虹p f r a m i n gr o b c 箍臻羼 街理唇 图3 3 视频信息打包过程 对于基于i p 包交换的3 g 移动通信，3 g p p 3 g p p 2 提供了一个基于i p 的协议栈， n a l 单元通过3 g p p 2 用户平面协议堆栈被封装在r t p u d p i p 包中。在包头压缩 ( r o h c ) 后，i p u d p r t p 包被封装进一个p d c p p p p 2 包，变成频率链路控制( r l c ) 和服务数据单元( s d u ) 。r l c 协议为用户和数据提供分段和重传服务，在透明、 确认和非确认三种模式下工作：透明和非确认模式下，r l c 被定义为单向的，确 认模式下为双向的。对r l c 所有的模式，循环冗余检查( c r c ) 的错误检测在物理 层上运行，而且c r c 检查的结果和真实的数据一起被送到r l c 。在透明模式中，设 有上层的协议被增加到较高层的数据中，错误的协议数据单元( p d u s ) 被丢弃或 标记为错误。在非确认模式中，没有重传n a l 的协议被使用，而且数据传送的可 靠性没有保证，接收到的错误数据根据配置来决定丢弃或标记为错误。在确认模 式中，一种自动的重复请求机制被用于错误纠正。 由于视频包是自然改变长度的，r l c s d u 的长度也随之改变。如果1 个r l c s d u l p , 1 个r l c - p d u 长，p d u 就会被分割成几个p d u 。在非确认模式中，如果任何包含特 浙江大学硕士学位论文 定r l c s d u 数据的r l c s d u 数据没有被正确地接收到，那么r l c s d u 将被丢弃。在 确认模式，r l c r l p 层可以执行重传。h 3 2 4 ，r t p u d p i p 协议栈使用可靠的调整 和控制协议，表明少量数据可在一定的范围内町靠地传输。确认和非确认两种情 形中实时、低时延的视频传输情况相似。包通过底层的传输协议和信道来传输， 提供校位、封包、错误检测和可靠性调整。无线信道中基于r t p u d p i p 协议传 输的视频信息包与通过服务器层协议栈的封装过程相仿。 3 4 编解码的失真消除和容错能力 h 2 6 4 形式上将编解码和信道隔离，实际上编码算法本身的鲁棒性除了 体现为消除失真外，还更多地兼顾到信道的特点，特别是针对无线环境采取了许 多有效的消除失真和差错控制技术，主要有： ( 1 ) 自适应解块滤波器消除块效应。h 2 6 4 针对d c t 变换中由低频系数量化导致 的邻块间虚像，在反变换后与宏块重构前设置了解块滤波器，在高压缩比情况下， 根据每个4 4 块的每条边界强度b s 的强弱、量化参数大小、量化过程中对计算 样点阈值的高低，自适应地通过解块滤波器调整，平滑块间亮度落差，消除块间 失真，使重构图像更贴近原始图像。 ( 2 ) 采用基于语法的数据分割模式进行等级保护。图像分段后，段内宏块数据 被划分为宏块头、运动矢量和d t c 系数3 部分，分别由标识符分隔，便于解码器 检测出受损数据类型，也利于信道编码时生成不同优先级的视频数据，对重要的 数据进行较高等级的保护，加强了n a l 码流结构的网络适应性，支持用户q o s 。 ( 3 ) 利用差错消除工具，提高视频传输的健壮性。h 2 6 4 标准包含基于i p 的有线 和无线传输的容错特征，提供一个在较窄范围内针对错误倾向环境下基于丢包的 解码，同时根据r t p 草案关于h 2 6 4 有效载荷的定义，允许在缓、律区溢出时丢弃 不太重要的位信息。这样，一个错误的有效载荷通过网络被定向接收器发现时， 解码器或任何网关能决定是否将这个含有错误的n a l 单元解码或丢弃，或进行差 错恢复处理，减少误码对图像质量造成的损伤。 ( 4 ) 利用同步抵御传输差错。h 2 6 4 视频流中的时间同步可以通过采用帧内图像 刷新来完成，空间同步由条结构编码来支持；同时视频数据中提供了一定的重同 浙江大学硕士学位论文 步点，一旦出现比特流错误，与变换系数对应的统一的码表比以往不同的码表目l 更快实现再问步。 ( 5 ) 利用快速码率控制防止可变带宽信道拥塞。h 2 6 4 实现码率控制的措旋， 除了通过在宏块层改变量化精度外，还利用流切换技术代替无线信道常用的空间 时间分级编码，并定义了s p 切换预测) 、s i ( 切换起始) 两类新的切换帧，透 过周期性刷新来完成流切换，并利用多个s p 帧预测同一帧来进行错误恢复。 浙江大学硕上学位论文 第四