（计算机应用技术专业论文）面向网络传输的视频编码研究.pdf

摘要 视频通信存在两大问题，一是网络异构性，二是传输的可靠性。在视频编码方面， 分层编码用来解决网络传输异构性问题，多描述编码是解决传输可靠性的有效手段，而 多描述分层编码则是= 者的结合 首先，本文在块基编码的基础上，提出了一种基于宏块分裂的多描述编码方法、相 应的冗余度控制策略以及误匹配控制方法。所提出的视频多描述编码与h 2 6 3 标准相兼 容实验结果表明，与优化分裂d c t 系数多描述编码方法和多描述变换编码相比，所提 出的宏块分裂多描述视频编码方法显示出更好的鲁棒性编码性能。 其次，本文从c d n ( c o n t e n td d v e r yn e t w o 呔) 技术角度出发，分析了多描述视频编 码在c d n 中的应用，提出了三种应用于c d n 的多描述视频编码方案，分析了视频序列 在时间和空间上的相关性，并比较了这三种编码方案的性能。实验表明，基于时间相关 性的奇偶帧分解多描述编码方案的编码效率优于基于空间相关性的奇偶行、奇偶列分解 多描述编码方案。 最后，本文在分层编码技术的基础上，结合基于宏块分裂的多描述编码，提出了一 种基于宏块分裂的多描述分层编码，并将基于宏块分裂的多描述分层编码与分层编码、 多描述编码和基于行、列、帧分解的多描述分层编码进行了比较。实验结果表明，所提 出的多描述分层编码方案在网络异构的适应性和传输可靠性上具有明显的优越性 关键词：视频通信；分层编码；多描述编码；多描述分层编码； r e s e a r c ho nv i d e oc o d i n gf o rn e t w o r kt r a n s i m i s s i o n x i a of a n g r n i n g ( c o m p u t e r a p p l i c a t i o n ) d i r e c t e db yy um e i t h e r ea r et w op r o b l e m si nv i d e oc o m m u n c a t i o n , o n ei sh e t e r o g e n e i t yo f n e t w o r k , a n dt h e o t h e ri sr e l i a b i l i t yo ft r a n s m i s s i o n i nv i d e oc o d i n g ，l a y e r e dc o d i n gi sp r o p o s e dt os o l v ec l i e n t h e t e r o g e n e i t yp r o b l e m s ，a n dm u l t i p l ed e s c r i p 吐o nc o d i n gi sa l le f f e c t i v em e t h o df o rr o b u s t t r a n s m i s s i o n m u l t i p l ed e s c r i p t i o nl a y e r e dc o d i n gc o m b i n e sa d v a n t a g e so fl a y e r e dc o d i n ga n d m u l t i p l ed e s c r i p t i o nc o d i n g f i r s t l y , w ep r o p o s e dam a c r o b l o e ks p l i t t i n gm u l 卸l ed e s c r i p t i o ns c h e m eb a s e do nb l o c k c o d i n ga n dc o r r e s p o n d i n gr e d u n d a n c ya n dm i s m a t c hc o n t r o lm e u h o d si nt h i sp a p e r t h e p r o p o s e ds c h e m ei sc o m p a t i b l ew i t hv i d e oc o d i n gs t a n d d , a n de a c hd e s c r i p t i o nc a nb e d e c o d e db yh 2 6 3d e c o d e r e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep e r f o r m a n c eo fm a c r o b l o c k s p l i t t i n gi sb e t t e rt h a nt h a to f o p t i m a ld c t c o e f f i c i e n ts p l i t t i n ga n dm d t c s e c o n d l y , w ea n a l y z e da p p l i c a t i o n so fm u l t i p l ed e s c r i p t i o nc o d i n go nc d n ( c o n t e n t d e l i v e r yn e t w o r k ) i nt h i sp a p e r w ea l s op r o p o s e dt h r e em u l t i p l ed e s c d p t i 0 1 1c o d i n gs c h e m e s f o rc d n , a n a l y z e dt e m p o f a la n ds p a t i a lr e l a t i v i f i e so f d i f f e r e n tv i d e os e q u e n c e s ，a n dc o m p a r e d t h e i rp e r f o r m a n c eo f t h et 1 t r e es c h e m e s e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ec o d i n ge f f i c i e n c yo f o d d - e v e nf r a m e sd e c o m p o s i n gm u l t i p l ed e s c r i p t i o ns c h e m eb a s e do nt e m p o r a lr e l a t i v i t i e si s b e t t e rt h a nt h a to fo d d - e v e nc o l u m n sd e c o m p o s i n ga n do d d - e v e nr o w sd e c o m p o s i n gs c h e m e s b a s e do ns p a t i a lr e l a t i v i t i e s f i n a l l y ，an e wm u l t i p l ed e s c r i p t i o nl a y e r e dc o d e ro fv i d e oi sp r o p o s e d , b a s e do n m a c r o b l o c ks p l i t t i n gt e c h n i q u e a tt h es a n l et i m e ，o t h e rt h r e em u l t i p l ed e s c r i p t i o nh y e r e d c o d i n gs c h e m e sa l ea l s og i v e i l b a s e do nr o w - d e c o m p o s i t i o n , c o l u m n - d e c o m p o s i t i o n , o r f r a m e - d e c o m p o s i t i o n , r e s p e c t i v e l y t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e dm u l t i p l e d e s c r i p t i o nv i d e ol a y e r e dc o d i n gw i t hm a c r o b l o c ks p l i t t i n gh a so b v i o u sa d v a n t a g e si n a d a p t a b i l i t yo f n e t w o r kh e t e r o g e n e i t ya n dt r a n s m i s s i o nr e l i a b i l i t y k e y w o r d s ：v i d e oc o m m u n i c a t i o n ；l a y e r e dc o d i n g ；m u l t i p l ed e s c r i p t i o nc o d i n g ；m u l t i p l e d e s c r i p t i o nl a y e r e dc o d i n g 图2 1 时间可分级扩展编码示意图 图2 2 空间可分级扩展编码示意图 图目录 图2 3 信噪比可分级扩展编码示意图。8 图2 4 混合多层可分级扩展编码示意图8 图2 5 多描述编解码示意图。 图2 6 多描述编码的传输可达区域 图2 7 冗余率失真r r d 函数 图2 8 对交换结构图。 图2 9 多描述分层编码示意图( 一) 图2 1 0 多描述分层编码示意图( 二) 图3 1 视频编码框图 图3 2 宏块分裂多描述编码结构 图3 3 宏块编号示意图 。1 3 1 6 j 7 图3 4i 帧模式误匹配控制策略 图3 5p 帧模式误匹配控制策略 。2 4 图3 6 钡4 试序列为f o r e m a n ( q c i f 格式) ，本文方法与m d t c 、优化分裂d c t 系数多描述 编码的r r d 性能比较 图3 7 冗余度为6 0 时，单个描述重建的第2 0 0 帧f o r e m a n 图n ( q c w 格式) ，以及收到 两个描述的重建图像2 6 图3 8 测试序列为m i s s a ( c i f 格式) ，m b s p i i t l 与m b s p l i t 2 的r r d 性能比较2 7 图3 9 测试序列为m o t h e r & d a u g h t e r ( c i f 格式) ，i v m s p h t l 与m b s p l i t 2 的r r d 性能比较 图3 1 0 测试序列为m o t h e r & d a u g h t e r ( c l f 格式) ，m b s p l i t l 与m b s p l i t 2 的r r d 性能比 v i 面向网络传输的视频编码研究t 图目录 图3 1 1 测试序列为m o b i l e ( o f 格式) ，m b s p l i t l 与m b s p l i t 2 的r r d 性能比较。2 8 图3 1 2 测试序列为m i s s a ( c i f 格式) ，两种方案的丢包表现比较 图3 1 3 测试序列为m o t h e r & d a u g h t e r ( c i f 格式) ，两种方案的丢包表现比较2 9 图3 1 4 测试序列为f o r e m a n ( c i f 格式) ，两种方案的丢包表现比较3 0 图3 1 5 测试序列为m o b i l e ( c i f 格式) ，两种方案的丢包表现比较3 0 图4 1c d n 及其简化模型 图4 2 基于c d n 的多描述编码网络结构 图4 3c d n 多描述视频编码结构图 图4 4 基于运动矢量恢复丢失帧示意图 ：l ：! 3 3 ： 3 图4 5m i s s a 、m o t h e r & d a u g h t e r 、f o r e m a n 、m o b i l e 序列原图像 3 5 图4 6 m i s s a 序列在不同码率下的平均单边重建峰值信噪比3 7 图4 7m i s s a 序列在不同码率下的冗余度 图4 8m i s s a 序列中央重建第5 0 帧( 码率约为l o o k p b s ) 3 8 图4 9 m o t h e r & d a u g h t e r 序列在不同码率下的平均单边重建峰值信噪比3 8 图4 1 0m o t h e r & d a u g h t e r 序列在不同码率下的冗余度3 9 图4 1 1m o t h e r & d a u g h t e r 序列中央重建第5 0 帧( 码率约为1 2 s k p b s ) 3 9 图4 1 2f o r e m a n 序列在不同码率下的平均单边重建峰值信噪比4 0 图4 1 3f o r e m a n 序列在不同码率下的冗余度 图4 1 4f o r e m a n 序列中央重建第5 0 帧( 码率约为3 0 0 k p b s ) 4 1 图4 1 5m o b i l e 序列在不同码率下的平均单边重建峰值信噪比4 l 图4 1 6m o b i l e 序列在不同码率下的冗余度 4 2 图4 1 7m o b i l e 序列中央重建第5 0 帧( 码率约为1 1 0 0 k p b s ) 4 2 图5 1 基于宏块分裂的多描述编码结构 图5 2 梅花桩式下采样 4 5 面向网络传输的视频编码研究 图5 3h 2 6 3 + 的分层编码预测方式4 5 图5 4 本文的分层编码预测方式 4 5 图5 5 基于宏块分裂的多描述分层编码结构4 6 图5 6i 帧中描述内的宏块位置示意图 4 7 图5 7i 帧描述内的宏块方向相关性4 7 图5 8 基于行、列、帧分解策略的多描述分层编码结构 图5 9 二进制对称信道f b s c ) 图5 ，1 0 分层编码，多描述编码、多描述分层编码编码效率比较( m l s s a 序7 0 ) 5 3 图5 1 1 分层编码，多描述编码、多描述分层编码编码效率比较( m o t h e r & d a u g h t e r 序列1 5 3 图5 1 2 分层编码，多描述编码、多描述分层编码编码效率比较( f o r e m a n 序列) 5 4 图5 1 3 分层编码、多描述编码、多描述分层编码编码效率比较( m o b i l e 序列) 。5 4 图5 1 4 分层编码、多描述编码、多描述分层编码的各种重建序列的第5 0 帧5 5 图5 1 5 分层编码、多描述编码、多描述分层编码编码鲁棒性比较( 码率约为2 0 0 k p b s ，m i s s a 序列) 图5 1 6 分层编码、多描述编码、多描述分层编码编码鲁棒性比较( 码率约为2 5 0 k p b s ， 。5 7 图5 1 7 分层编码、多描述编码、多描述分层编码编码鲁棒性比较( 码率为4 5 0 k p b s ， f o r e m a n 序列) 。5 7 图5 1 8 分层编码、多描述编码、多描述分层编码编码鲁棒性比较( 码率为2 0 0 0 k p b s ，m o b i l e 图5 1 9 不同多描述分层编码方案的编码效率比较( m i s s a 序列1 5 8 5 9 图5 2 0 不同多描述分层编码方案的编码效率比较( m o t h e r & d a u g h t e r 序列) 5 9 图5 2 1 不同多描述分层编码方案的编码效率比较( f o r e m a n 序列) 图5 2 2 不同多描述分层编码方案的编码效率比较( m o b i l e 序列1 图5 2 3 不同多描述分层编码方案的各种重建序列的第5 0 帧 v m 6 0 6 0 6 1 面向阿络传输的视频编码研究t圈冒录 图5 2 4 不同多描述分层编码方案的编码鲁棒性比较( 码率约为2 0 0 k p b s ，m i s s a 序列) 6 2 图5 2 5 不同多描述分层编码方案的编码鲁棒性比较f 码率约为2 5 0 k p b s ，m o t h e r & d a u g h t e r 图5 2 6 不同多描述分层编码方案的编码鲁棒性比较( 码率约为4 5 0 k p b s ，f o r e m a n 序列) 6 3 图5 2 7 不同多描述分层编码方案的编码鲁棒性比较( 码率约为2 0 0 0 k p b s ，m o b i l e 序列) 6 4 图5 2 8 各种多描述分层编码最后5 0 帧比较( f o r e m a n 芋歹0 ，码率约为4 5 0 k b p s ，误码率为 i x 6 5 表2 1 图像编码类型与预测方式 表4 1c d n 网络的五个组成部分 表目录 表4 2 四个图像序列在不同码率下的单描述编码结果3 6 x 声明 我声明本论文是我本人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，本论文中不包含 其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做 的任何贡献均已在论文中作了明确的说明并表示了谢意。 作者签名：。降哏 日期：为略f 、； 论文版权使用授权书 本人授权中国科学院计算技术研究所可以保留并向国家有关部门或机 构送交本论文的复印件和电子文档，允许本论文被查阅和借阅，可以将本 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编本论文。 ( 保密论文在解密后适用本授权书。) 储躲悯导师躲每侈嗍心 第一章绪论 人类社会的发展史，也是通信和信息技术的发展史从原始社会的甲骨文到封建社 会的烽火狼烟，一直到现今的互联网、无线通信、移动通信，人类社会的每一次变革都 伴随着信息技术的进步如今，网络已经成为了人们生活中必不可少的一部分，网络在 给人们提供各种便利的同时，也改变着人们生活和工作的方式。包括视频通信和音频通 信在内的多媒体服务，是网络服务的主要内容，其中，视频在通信领域中扮演着越来越 重要的作用。不论是互联网，还是无线网络和移动网络，提供可靠稳定的音频服务已经 不是难题。随着网络的快速发展，在互联网和无线网上提供实时视频服务变得迫切而重 要。可靠稳定的视频传输有一系列的应用【l 】，例如：互联网视频，无线局域网视频、移 动无线会议视频、视频点播、现场直播、端对端互联网，无线视频传播、多渠道内容制作 和分发、储存应用、内容分层保护、多点监测等。随着多媒体技术和网络技术的发展， 把视频作为娱乐，训练和电子商务的一种方法将越来越变得普遍特别是随着视频解码 设备的出现和普及，视频的应用越来越广泛，出现越来越多新的服务，例如：移动娱乐、 远程训练和本地电子商务随着视频在网络中的深入应用，出现了很多新的技术和应用： 如可视电话成为远程办公必不可少的工具：视频会议系统使得分布在全球的各个分公司 能及时地交换信息。然而，由于网络的异构性和网络传输的不可靠性，再加上视频数据 量大、传输带宽高，对网络性能要求较高等特点，在网络上提供可靠稳定的视频传输还 是一个难点视频编码是解决这个难题的关键技术，因此，面向网络传输的视频编码已 经成为多媒体通信技术研究和应用的热点。 1 1 视频编码的发展历史及现状 视频包含大量的数据，如果这些数据不经过压缩编码，现今的网络难以承载如此大 的数据量。例如，如果要在网络上传输大小为c i f ( 分辨率为3 5 2 2 8 8 ) 的视频，视频 图像的每个像素用2 4 个比特来存放颜色信息，假设帧率为3 0 f p s ，如果不经压缩，则传 输码率为 3 5 2 2 8 8 2 4 3 0 = 6 9 6 1 i f o p s 显然，这样大的码率在网络上传输是不现实的。 1 9 4 3 年1 0 月，香农在贝尔系统技术学报发表了通信的数学原理，打开了现 代信息论研究的开端，奠定压缩编码的理论基础。自2 0 世纪6 0 年代以来，视频编码得 到了迅速发展，前后经历了两个发展阶段田第一代视频编码技术是基于像素的编码方 法呻】，主要编码技术有熵编码，变换编码，预测编码，矢量量化和运动补偿等这些编 码技术能够有效地去除视频数据的相关冗余，高效地压缩视频数据，使得视频在阿络中 传输成为可能，从而获得了巨大的成功，得n t 广泛的应用2 0 世纪8 0 年代中后期， l 面向网络传输的视频编码研究 人们提出了利用人眼视觉特性的第二代视频编码思想伊u 】。第二代编码技术是基于内容 的，要求充分利用人类视觉系统的各种特性去除视频信号内容的冗余，如基于对象的压 缩编码方法、基于语义的压缩编码方法等。但是，第二代编码技术由于其计算复杂度高， 内容难以有效提取等困难，不像第一代编码技术那样普及应用，尚处于研究阶段。 为实现压缩后的视频信息的通信，在视频通信中通常使用标准化的编解码。视频编 码标准主要由国际电联r r u - t 和国际标准化组织( i s 0 ) 制订其中由r r u - t 制定的标 准有：用于视频会议系统的建议h 2 6 1 ，珏2 6 2 ，h 。2 6 3 ，h 2 6 4 等1 3 - 6 1 ，主要是用于i s d n ， a t m 、p s t n 以及i p 等电信网络上视频信息的传输。由i s 0 的押e g 制订的标准有：h i p e g l ， 聍e g 2 ，m p e g 4 。i “i p e g 7 ，聍e g 2 l 等 7 - n 】，主要用于数字电视、视频点播( v o d ) 等交互式 视频通信业务。其中。m 7 1 建议h 2 6 2 与i s 0 的 嗍二者是相互兼容的。自1 9 9 7 年 以来，u - tv c e g 与i s o p i e cm p e g 再次合作，成立了j o i n tv i d e ot e a m ( j v t ) ，致力 于开发新一代的视频编码标准h 2 6 4 1 6 1 。日前，t 建议h 2 6 4 和i s o 的聍e g 4 标准是 2 0 0 3 年最新完成的，有些内容仍处于发展之中，具体的实施软件也在研制阶段，其目标 为适合于i p 及移动通信网络上视频信息可变比特速率传输的视频信息编码。 1 2 视频在网络传输中存在的问题以及解决办法 编码技术的发展促进了视频在网络中的应用，视频通信交得愈加广泛和深入特别 是3 g 、4 g 移动通信技术的研究和应用，使人们在任何时刻，任何地方获取视频服务成 为可能。但是，网络的异构性和传输的可靠性成为视频通信的障碍，是视频传输亟需解 决的关键问题 1 2 1 网络的异构性问题 最早的网络可以追溯到无线电视网络时代，正因为它的诞生，使得人类获取信息的 渠道发生了革命性的变化，人们可以足不出户而知天下事上世纪7 0 年代，互联网的发 明和应用，是人类通信历史上的又一次变革，宣告了信息时代的到来。从此以后，人们 为了获取信息的便利，发明了各种各样的网络，也带了网络的异构性闯题本文所指的 网络异构性不仅包括不同的网络类型、不同的网络连接以及不同的带宽所带来的网络异 构性，也包括不同的客户端接收能力和用户的不同需求所带来的网络异构性。另外，目 前的网络有数字和模拟两种类型，本文讨论的网络都是指数字网络。 目前的数字网络都是i p 网络，同时也是异构网络，服务器和客户之间的连接因用户 的不同而不同1 1 j 。无线形式的i p 网络有g s m 、g p i l s 、3 g 、w i r e l e s sl a n 、b l u e t o o t h 等， 有线的网络有d i a l - u p 、i s d n 、c a b l e ，x d s l 、f i b e r 、l a n 、w a n 等网络的连接带宽范 围从9 6 k p s 到1 0 0 m b p s 及以上 在不同的网络中，用户设备如p d a 、l a p t o p 、d c s k t o p 、s e t - t o p t a x 、t v 、h d t v 等的 接收能力变化很大即使在同一种类型的网络中，用户也可能使用不同的设备来接收视 2 第一簟绪论 频数据，例如在无线局域网内，用户可能用分辨率较低的p d a 来接收视频数据，也可能 用分辨率较高的笔记本电脑来接收视频数据 此外，客户的不同需求也会带来不同的视频数据传输。这种应用的一个具体例子就 是：在个典型的机顶盒中，人们希望有一个频道能够给出所有能获得的频道电视节目 的概况，其获得方法是以精简的形式给出许多频道节目的矩阵列图。这需要已有的空间 可扩展性( 在终端上。以需要的分辨率解码) 。因为所用的设备计算能力有限，不可能每 个频道的节目都以最高信噪比的方案解码( 即使所有的信道都是最低的空间分辨率) 。因 此，用户注意力所在的频道( 用鼠标点击的频道) 以最高信噪比的方案缮码，而其他的 频道以较低的信噪比解码 很明显，为了满足不同消费群体的不同需要和应付不同的网络条件( 网络类型、带 宽、设备接收能力、错误敏感性) ，视频需要以可扩展的形式传输。同时，也应该意识到， 在数字网络中，为了不浪费终端的计算能力，消费者也能够通过移动和缩放不同的视频 目标任意操作显示场景，不仅是分辨率和质量可扩展性，也包括实践和复杂度的可扩展 性 1 2 2 网络传输可靠性问题 目前的网络传输也存在可靠性的问题由于诸多因素，互联网和无线通信网等的网 络信道并不十分可靠【1 2 1 。互联网信息传输过程中由于网络拥挤可能造成数据包丢失和延 时等现象无线通信网信道的出错率更高，无线通信网信息传输的问题主要有随机比特 错误、长时突发错误和掉线等。这种错误的猝发将导致所传输视频数据的大量字段丢失 或无用。无线通信系统的误码率常随地理位置，大气环境，地形特征等变化而变化很 多分组交换网络不仅不能确保数据可靠地传输到目的地，而且信号时间延迟要受到路由 选择、信道容量、网络业务和节点处理能力等因素的影响。a t m 网络通过延时、延时方 差和信元丢失率等参数，提供不同应用的服务质量保证但a t m 网络中仍然存在信元 丢失，很多a t m 网络协议不能提供很高的端到端的服务质量的保证，未知的包组丢失 不可避免 传输错误可以粗略地分为两类：随机比特错误和擦除错误随机比特错误由物理信 道的不完整性引起，导致比特倒置，比特插入和比特删除。根据编码方法和影响信息的 内容，随机比特错误的影响可以是忽略不计或非常显著的。当采用定长编码时，一个随 机比特错误只会影响一个码字，引起的损坏通常是可以接受的但采用变长编码( v l c ) 时，随机比特错误会使得解码端信息失去同步，结果随后的比特变成不可解码，直至下 一个同步码字出现。在许多情况，即使同步得到以后，因为无法确定解码信息的时空定 位，解码信息仍然是没有用处的。擦除错误可由包交换网络的包丢失、物理缺陷导致的 存储媒体突发错误、系统短时故障等引起。因为一个比特错误会导致随后许多比特的不 可解码，v l c 中的随机比特错误也能引起有效的擦除错误由于会使相邻片段的比特损 坏或丢失，擦除错误( 包括随机比特引起的) 的影响比随机比特错误更具破坏性而现 3 面向网络传输的视频编码研究 存的几乎所有视频压缩标准都采用了某种方式的v l c ，所以没有必要区分随机比特错误 和擦除错误，可以用更一般性术语传输错误表示随机比特错误和擦除错误。 另外，目前的视频编码普遍采用基于运动补偿的编码技术，个别比特的错误或数据 包丢失可能会造成后续的数据无用，使得参考帧不能正确重构，从而严重影响后续帧的 内容1 1 3 1 。因此，如何提供对数据丢失具有鲁棒性的视频流也成为视频传输中的一个挑战。 1 2 3 解决办法 以上这些情况的存在，使得视频在网络中的实时传输面i 艋很大挑战，如何给每个客 户提供他们能够接收到的质量最优的视频信号成为一个难题。应对网络异构性，简单的 解决方案是服务器把相同的内容编码成数日庞多的比特流，以支持各种不同的网络连接 和设备类型。显然，这种解决方案会带来难以估量的空间和计算度复杂性。另一个解决 方案就是分层编码方法。在解决视频传输可靠性问题的过程中，视频编码起到了非常重 要的作用目前的面向网络传输的视频编码方法有g 分层编码、多描述编码多描述分 层编码等 由于网络的异构性。客户的接收能力各不相同。为了解决这一问题，人们提出了分 层编码的方法伍5 印】分层编码技术就是对视频序列进行统一编码，然后，服务器依据客 户的带宽和接收能力，传输相应的码流这样做的优点有：比特流可即时调节以适应信 道带宽，有助于减少信道阻塞，不需要切换和重新缓存；服务器不必为不同的客户制作 各种不同版本视频流，节约储存空间和制作成本；在一定的比特流、分辨率和设备能够 承受的复杂度的条件下，每个用户都可以获得最优的视频质量 为了解决视频传输可靠性的问题，人们提出了f e c ( f o r w a r d e r r o r c o r r e c t i o n ) 1 4 1 、错 误隐藏盼1 6 1 7 1 、多描述编码等视频编码技术0 2 , 1 s 1 多描述编码技术通过引入描述间的冗 余来提高传输鲁棒性。多描述编码技术具有无需重传、延时小，易于实时视频传输的特 点，特别适合于不具有优先权的网络实时视频传输【1 2 1 近来，为了结合多描述编码和分层编码的优点，人们提出了多描述分层编码的方法 【j 蝴”多描述分层方法既考虑了视频传输中各客户带宽和接收能力不同的问题，又考虑 了视频在传输中的可靠性问题，从而为客户提供最优的视频质量 t 3 本文研究工作 分层编码有比较长的研究时间，在应用上有相对成熟的技术。对于分层编码，我们 的研究侧重点在于分层编码的应用以及与多描述编码的结合。近几年来，多描述编码技 术是视频编码研究中的一个热点，人们提出了许多多描述编码方法，它是本文研究的重 点内容。最后，我们在分层编码和多描述编码的基础上，研究和分析了多描述分层编码， 提出了新的多描述分层编码结构和算法本文主要工作包括： l 、分析了现有的多描述编码方法，并在块基编码的基础上，提出了一种基于宏块分 第一章绪论 裂的多描述编码方法、相应的冗余度控制策略以及误匹配控制方法。这种宏块分裂的多 描述方法利用块基编码方法的特性，从而能有效地提高编码的性能。实验表明，这种方 法的编码性能优于另外两种经典的多描述编码方法优化分裂d c t 系数多描述编码 方法和多描述变换编码方法。本文还从不同的编码帧类型出发，相应地提出了i 帧误匹 配策略和p 帧误匹配策略，有利于多描述编码中的误匹配问题的解决。 2 、从c d n ( c o n t c n t d e l i v e r y n e t w o r k ) 技术角度出发，分析了多描述视频编码在c d n 中的应用，提出了三种应用于c d n 的多描述视频编码方案，分析了视频序列在时间和 空间上的相关性，并比较了这三种编码方案的性能。本文对c d n 和多描述视频编码的 分析和多描述方案在c d n 网络上的应用，有利于促进视频编码技术和现代网络技术的 结合，从多方面解决视频在网络上传输的问题 3 、在分层编码技术的基础上，结合基于宏块分裂的多描述编码，提出了基于宏块分 裂的多描述视频分层编码。同时，本文还给出了基于行、列、帧分解的多描述视频分层 编码方案，并与基于宏块分裂的多描述分层编码方案进行了比较这种方案与视频编码 标准兼容，简单易行，算法复杂度低，在提高编码的鲁棒性的同时又使编码具有一定的 带宽适应性。实验表明，这种多描述分层编码方法虽然在编码效率上比分层编码和多描 述编码略有下降，但其鲁棒性能比分层编码大大提高，而与多描述编码相差不大，并且 比多描述编码具有更强的带宽适应能力相对于基于行、列、帧分解的多描述分层编码 方案，本文所提出的方案具有较高的编码效率。同时，由于具有较好的错误恢复能力， 基于宏块分解的多描述分层编码方案的编码鲁棒性能优于基于行，列、帧分解的多描述 分层编码方案，特别适合背景复杂、运动剧烈的视频场景。 1 4 论文的组织 论文共分为六章。第一章为绪论部分，本章介绍了视频编码的发展历史以及研究现 状，指出了视频在网络中传输所存在的问题和解决方法，阐述了本文所做的工作。 第二章分析了面向网络传输的视频编码技术以及它们的优缺点，主要介绍了分层编 码、多描述编码以及多描述分层编码。 第三章和第四章是多描述编码的内容。其中，第三章是基于宏块的多描述编码，阐 述了基于宏块多描述编码的原理、算法、结构以及误匹配控制策略，并给出了相应的实 验结果和分析第四章是基于c d n 网络的多描述编码，本章介绍了c d n 网络，分析了 c d n 与多描述编码的结合，提出了相应的编码方案，最后给出了实验结果。 第五章是多描述分层编码的内容。在本章中，我们在宏块分裂的多描述编码和信噪 比可分级的分层编码基础上分析了多描述编码和分层编码的结合，提出了相应的编码结 构，并给出了实验结果。 第六章对本文进行了总结，给出了进一步研究的方向。 第二章面向网络传输的视频编码技术简介 本文将从分层编码、多描述编码、多描述分层编码三个方面分析面向网络传输的视 频编码方法。 分层编码是一种研究较早，也比较成熟的编码技术，主要面向不同客户带宽和带宽 动态变化。目前，分层编码被各种视频协议( 如h 2 6 x 系列和m p e gx 系列) 广泛采纳。 多描述编码是近年来兴起的一种面向不可靠信道传输的编码方法，是目前图像，视频编码 中的一个热点。多描述图像编码主要始于1 9 9 7 年，而多描述视频编码研究则主要从1 9 9 9 年开始。多描述分层编码是近两年提出来的一种新的编码技术，处于发展的初始阶段 2 1 分层编码技术及优缺点 分层编码是依据不同网络带宽和动态网络阻塞提出来的，可以用来解决网络异构性 问题。分层编码的基本思想是在编码端将视频序列编码为基本层和增强层，其中，增强 层可以是多层。在解码端，由基本层的码流可以重建图像质量可接受的视频信号，由基 本层和增强层的码流联合解码则可获得更好的图像质量在不同的环境下，服务器端依 据网络状况和客户端的实际情况，可以只发送基本层的视频码流，也可以将基本层和增 强层一起发送同样地，用户也可以根据需要进行解码，即使增强层的数据丢失或者被 抛弃，也能够使恢复的图像质量达到一个可接受的水平分层编码可以分为以下几类： 时间可分级、空间可分级、信噪比可分级和精细可分级等 2 1 1 时间可分级扩展编码 根据采取的压缩方法的不同，视频中的图像帧一般可以分为i 帧和p 帧。i 帧采用帧 内编码，即对当前帧的图像直接分块，并进行变换编码，量化和熵编码。p 帧则是指由 i 或p 帧预测编码压缩的视频图像帧。对于p 帧，要进行帧间预测，并仅对预测残差和 运动参数( 运动矢量) 进行编码。 国固曰国曰 图2 1 时间可分级扩展编码示意图 6 第二章面向网络传输的视频编码技术简介 如图2 1 所示，时间可分级通过增加帧频来改善视觉效果，它是通过b 帧来实现 的阁b 帧是由前后两帧双向预测得到。但是，b 帧不作为任何帧的预测参考帧。因此， 在网络条件不理想的情况下，抛弃b 帧不影响后续图像的重建。 由于b 帧采用双向预测的方式，b 帧总是在它可能的参考帧编码完毕后再编码，因 此，其在码流的位置与视频序列的原始时间顺序并不一致。在图2 1 中，视频序列的顺 序为i l ，b 2 ，p 3 ，b 4 ，1 5 ，而其编码的顺序应该是i l ，p 3 ，b 2 ，p 5 ，b 4 ，由于使 用了双向预测，b 帧的压缩性能得到改善，但同时也会付出更多的存储空间和额外延时 的代价 2 1 2 空间可分级扩展编码 空间可分级是将视频在空间上编码为基本层和增强层四。基本层以普通的方式预测 和编码。在进行空间域增强层图像预测之前，编码端先对参考帧( 基本层) 进行内插。 增强层图像可由基本层图像预测，也可由前一幅增强层图像预测。增强层图像空阅分辨 率是基本层图像的两倍。其编码示意图如图2 2 所示。 图2 2 空间可分级扩展编码示意图 空间可分级扩展编码可以满足用户不同分辨率的要求，这种不同分辨率要求可能是 不同设备的显示分辨率产生的，也可能是不同的客户需求产生的为了适应空间的可扩 展性，相应的解码器需要能对专用的图像格式进行解码，而这种图像格式可能不是标准 形式。 2 1 3 信噪比可分级扩展编码 信噪比可分级扩展编码的主要目的是在于实现不同质量的视频服务的兼容性嗍。如 图2 3 所示，如果增强层的图像仅由基本层预测得到，则称之为e i 帧；如果增强层的图 像由增强层的前一帧图像和基本层的图像通过双向预测得到，则称之为e p 帧；图中的垂 直的箭头表示增强层是由基本层图像预测得到。信噪比可分级扩展编码的编码器在对 7 面向膀络传输的视频编码研究 d c t 系数进行量化时，先采用量化级较大的量化矩阵，得到信噪比较低的基本层数据得 到e i 帧的方法有两种：一是将基本层数据的量化误差用一个量化较小的量化矩阵进行量 化，将第二次量化的结果作为增强层数据。另一种方法是，在发送端对基本层数据进行编 码，将解码图像与原始图像的差值再进行d c t 变换，并用量化级较小的量化矩阵进行量 化。由于d c t 变换是线性变换，如果不考虑误差积累等因素，这两种方法得到的结果是一 致的。对于e p 帧，只有在发送端先重构基本层图像，再使用基本层的重构图像和增强层 的前一帧重构图像双向预测原始图像，然后将预测差值行d c t 变换，并用量化级较小的量 化矩阵进行量化才能得到。在解码端如果只利用基本层数据，可重建出低信噪比的图像， 而同时利用基本层和增强层数据可重建出高信噪比的图像。 图2 3 信噪比可分级扩展编码示意图 图2 4 混合多层可分级扩展编码示意图 8 第二章面向网络传输的视频编码技术简介 至此，按照压缩编码预测方式的不同类型，可将视频中的图像分为i 帧，p 帧，b 帧，h 帧和e p 帧，如表2 1 所示。此外，时间可分级扩展编码，空间可分级扩展编码 和信噪比可分级扩展编码可以相互结合，形成多层次的混合的可分级扩展编码嘲，b 帧 不仅可以插到i 帧和p 帧之间，也可以插到帧和e p 帧之问，如图2 4 所示在混合 可分级扩展编码中，b 帧不能使用向上预测的方式。 表2 1 图像编码类型与预测方式 图像编码类型预测方式 i 帧无预测帧 p 帧由i 帧或p 帧预测 b 帧由i 帧和p 帧双向预测 e i 帧由基本层预测 e p 帧由基本层和增强层的前一帧双向预测 2 1 4 精细可分级扩展编码 精细可分级扩展编码的基本原理如下网：对视频进行编码时，产生一个基本层码流和 一个嵌入式的增强层码流。基本层采用常用的基于运动补偿预测的d c t 编码。基本层包含 了最重要的、质量较低的视频信号，因此对于基本层要能保证它能安全地在网络上传输， 即r s 御j n i n ，r m i n 是网络带宽的下界嵌入式的增强层码流保存着基本层的量化差值 嵌入式码流是指在码流的任意位置截断，解码器均能恢复出一定质量的视频信号。这就使 得当网络带宽变化时( 码流可能在某处截断) 视频信号的改变是渐进的，平滑的。视频的 增强层以基本层的图像作参考进行预测编码，接收到的增强层码流越多，对基本层所恢复 的图像质量的增强也越多，视觉效果越好。与传统分层编码的算法相比，精细可分级扩展 编码的增强层不需要进行码率控制，只需在一定速率范围内即可。也就是说增强层的分层 是连续的，即精细粒度分层。 精细可分级扩展编码相对于前述三种可分级扩展编码，由于其扩展的连续性，从而具 有更好的带宽适应性但是，精细可分级扩展编码对编解码器的要求高，常常需要较大的 内存存储容量，计算复杂度也比一般的扩展编码高出很多。 2 1 5 小结 网络的一个很重要的目标就是在不同网络之间进行有效的通信，而网络的异构性成为 视频通信的障碍之一分层编码是适应于网络异构性的行之有效的视频编码方法。它不仅 可以适应由不同的网络类型和不同的网络连接所带来的带宽异构性，也可以适应不同接收 设备所带来的分辨率的异构性 但是，分层编码不能很好地适应易错网络，在数据包丢失或出现误码的情况下，没有 9 面向网络传输的视频编码研究 很好的错误隐藏和恢复能力特别是，基本层的丢失会导致灾难性的后果所以，分层编 码在易错网络中往往无法提供可靠的视频传输所以，我们应该另辟蹊径以解决视频传输 可靠性问题 2 2 多描述编码技术及其发展 为了达到视频数据的高效压缩，目前的视频编码技术普遍采用可变长编码策略这 样编码的视频码流一旦在不可靠信道传输，发生误码或数据丢失时，将发生灾难性的后 果，导致视频质