（信号与信息处理专业论文）低比特率视频通信中的差错控制.pdf

低比特率视频通信中的差错控制 王进( 信号与信息处理) 导师：涂国防教授 摘要： 本文主要研究低比特率视频通信中的差错控制问题。由于带宽的不确定性和 噪声的存在，数据在i n t e r n e t 和无线信道中传输时几乎不可避免地发生丢失和误 码。传统的数据通信通过出错重传的方法保证数据的无差错传输，但是这种方法 不适合实时视频通信。因为视频通信对延迟有严格的要求，不可能使用无限制的 重传。同时视频数据能够容忍一定的误码和丢失，并不需要绝对的无差错传输， 而且视频数据流的不同部分对错误的敏感度也不同，因此有必要也有可能根据视 频通信的特点研究新的差错控制方法。 差错控制可以在信源编码和信道编码的各个环节进行，如：预测、变换、量 化、可变长编码、比特流结构、复用以及解码等。本文对国内外差错控制研究进 行了较详尽的分析，并在此基础上提出了一种新颖的应用于因特网视频通信的差 错控制方法，取得了良好的效果。同时本文还分析了视频编码中的最佳资源分配 问题，详细讨论了率失真优化理论在信源编码和信道编码中应用的最新进展。本 文主要内容如下： 第一：比较了不同视频业务的通信模式，并结合目前典型的通信网络，详细 分析了影响视频通信服务质量的网络性能参数。 第二：总结了针对不同应用而制定的视频编码国际标准包括h 2 6 x 和m p e g 系列，较详细的介绍了h 2 6 3 编解码算法和码流语法结构。 第三：深入探讨了现有视频通信差错控制技术，包括传输层差错控制、容错 编码、错误隐藏以及编解码其交互式差错控制等，详细分析了每种技术的核心算 法及其性能特点和适用范围。 第四：提出了一种新颖的可应用于因特网视频通信的差错控制方法，称为自 适应帧内编码刷新。该方法能及时准确地刷新受损的图像区域，并能根据视频序 列的活动性和信道特性自适应地调节刷新比率，从而有效提高视频传输的抗包丢 失能力，与现有非自适应帧内编码刷新方法相比，重建视频质量有明显提高。 第五：介绍了率失真优化基本原理和工具，详细讨论了率失真优化理论在编 码模式选择、联合信源信道编码和码率控制中的应用。 关键词：视频通信差错控制错误隐藏自适应刷新率失真 a b s t r a c t ： e r r o rc o n t r o li nl o wb i t r a t ev i d e oc o m m u n i c a t i o n s j 讯w a n g ( s i g n a la n d i n f o r m a t i o np r o c e s s i n g ) d i r e c t e db yg u o - f a n gt u t h i st h e s i sp r e s e n t st h er e s u l t so fa l li n v e s t i g a t a i o ni n t ot h ee r r o rc o n t r o li nl o w b i tr a t ev i d e oc o m m u n i c a t i o n s d u et ot h el i m i t a t i o no fb a n d w i d t ha n dt h ee f f e c to f c h a n n e ln o i s e ，d a t ae r r o ro rl o s si sa l m o s ti n e v i t a b l e a r q ( a u t or e p e a to nr e q u e s t ) i su s e di nd a t ac o m m u n i c a t i o nt og a r a u n t e ee r r o r - f r e et r a n s m i s s i o n b u ti t i sn o t s u i t a b l ef o rv i d e oc o m m u n i c a t i o nb e c a u s ev i d e oc o m m u n i c a t i o nh a ss t r i n g e n td e l a y r e q u i r e m e n ta n d1 i m i t l e s s r e t r a n s m i s s i o ni sn o ta l l o w e d h o w e v e r ,v i d e o c o m m u n i c a t i o nc a nt o l e r a t es o m ek i n do fd a t ae r r o ro rl o s sa n dd i f i e r e n tp a r t so f v i d e ob i t s 仃e a mh a v eu n e q u a ie r r o rs e n s i t i v i t i e s s ow en e e dn e we r r o rc o n t r o l m e t h o d sd e s i g n e de s p e c i a l l yf o rv i d e oc o m m u n i c a t o n e r r o rc o n 仃o lc a nb ed o n ei n a n ys t e ps u c ha sp r e d i c t i o n ，t r a n s f o r m ，q u a n t i z a t i o n ，v l c ，b i t s t r e a ms y n t a xs t r u c t u r e ， c h a n n e lc o d i n g d e c o d i n ga n de t c t h i st h e s i sr e v i e w st h er e s e a r c ho ne r r o rc o n t r o li n d e t a i la n d p r o p o s e sa n o v e le r r o rc o n t r o lm e t h o df o ri n t e r a c tv i d e oc o m m u n i c a t i o n a t t h es a m et i m e ，t h i st h e s i sa n a l y z e st h eo p t i m a lr e s o u r s ea l l o c a t i o np r o b l e mi nv i d e o c o d i n ga n dr e v i e w sr e c e n ta d v a n c e si nr a t e d i s t o r t o mo p t i m i z e dv i d e oc o d i n g t h e m a i np o i n t sa r ea sf o l l o w s ： f i r s t ，c u r r e n tv i d e oa p p l i c a t i o n sa r ec l a s s i f i e db yt h e i rc o m m u n i c a t i o nm o d e s ，t h e n e t w o r kp a r a m e t e r sa r ed i s c u s s e di nd e t a i lw h i c ha f f e c tt h eq u a l i t yo fv i d e o c o m m u n i c a t i o n sa n dt h ep e r f o r m a n c eo f t y p i c a ln e t w o r k sa r ed e s c r i b e d s e c o n d ，t h ei n t e r n a t i o n a ls t a n d a r d sf o rv i d e oc o d i n ga r eb r i e f l yd e s c r i b e d i n c l u d i n gh 2 6 xa n dm p e gp a r t i c u l a r l y , t h ee n c o d i n ga n dd e c o d i n ga l g o r i t h ma n d b i t s t r e a ms y n t a xo fh 2 6 3a r ei n t r o d u c e di nd e t a i l t h i r d ，t h es t a t eo fa r t so fe r r o rc o n t r 0 1i nv i d e oc o m m u n i c a t i o n si si n v e s t i g a t e d i n c l u d i n gt r a n s p o r t l e v e le r r o rc o n t r o l ，e r r o rr e s i l i e n tc o d i n g ，e r r o rc o n c e a l m e n t ，a n d e n c o d e ra n dd e c o d e ri n t e r a e t i v ee r r o rc o n t r 0 1 t h ec o r ei d e aa n dp e r f o r m a n c eo fe v e r y t e c h n i q u ea r ed i s c u s s e d f o r t h ，an o v e le r r o rc o n t r o lm e t h o df o ri n t e r n e tv i d e oc o m m u n i c a t i o ni sp r o p o s e d n a m e da d a p t i v ei n t r au p d a t e t h i sm e t h o dc a ne f f e c t i v e l ye n h a n c ep a c k e tl o s s r e s i l i e n c ea n di m p r o v et h eq u a l i t yo f d e c o d e dv i d e o l a s t ，t h eb a s i cr a t e - d i s t o r t i o nt h e o r ya n d t w oo p t i m i z a t i o nt o o l sa r ei n t r o d u c e d 。 a n dt h e i ra p p l i c a t i o n si nm o d es e l e c t i o n ，j o i n ts o u r c e c h a n n e lc o d i n ga n dr a t ec o n t r o l a r ed i s c u s s e di nd e t a i l k e y w o r d s ：v i d e oc o m m u n i c a t i o n ，e r r o rc o n t r o l ，e r r o rc o n c e a l m e n t ， a d a p t i v ei n t r au p d a t e ，r a t e d i s t o r t i o n 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作以及取得的 研究成果。就我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡 献均已在论文中作了明确的况明并表示了谢意。 作者签名：玉见 日期：t 1 2 年j j 2 月日 关于论文使用授权的说明 本人完全了解中国科学院研究生院有关保留、使用学位论文的规定，即：学 校有权保留送交论文的复印件，允许论文被查阅和借阅：学校可以公靠论文的全 部或部分内容，可以采用影印、缩映或其他复制手段保存论文。 作者签名：；壶l导师签名：三彖至幽f | 期：巫年生月j 日 第一章；【击 1 研究背景 第一章引言 视频通信技术给人类生活带来巨大影响，如：卫星电视、可视电话和电视会 议等在通信、教育和娱乐等领域发挥了重要作用。随着计算能力的提高和通信网 络的发展，新的视频业务彳i 断涌现，如：视频点播、基于i n t e r n e t 的流媒体业 务、网络可视电话、h d t 7 、无线多媒体业务、远程医疗和远程教育等。高质量的、 交互式的视频通信技术j 卜成为研究发展的热点。 由于带宽的不确定性和信道噪声的存在，数据在传输过程中会发生错误或者 丢失。例如因特网，在传输过程中，由于缓存溢出或者等待超时，数据包会被抛 弃，发生包丢失，在网络拥塞时包丢失率可达3 0 以上；对于无线网，由于信道 衰落和多径效应等，会发生随机比特错误和突发错误，典型的比特错误率为1 0 一 1 0 “1 。此外，因特网和无线网都属于时变信道，带宽、延迟和误码率等网络服 务质量参数时刻发生变化。信道传输错误会导致解码无法正常进行，使视频图像 中山现马赛克，甚至使通信中断。网络服务质量的时变特性也严重影响视频通信 质量，例如实时视频通信通常对延迟和延迟抖动非常敏感，传输速率的大小则直 接决定视频质量的好坏。 另一方面，数字视频本质上具有很高的码率，例如3 5 2 x 2 8 8 大小、8 比特 y u v 4 2 0 格式、3 0 帧秒的视频，其码率为3 7 m b s 。因此，视频在传输之前必须 经过压缩以减少数据量。现有的视频编码国际标准，如h 2 6 1 、h 2 6 3 ”1 、 m p e g1 ”l 2 ”1 和m p e g - 4 “1 ，通常采用d c t 变换和运动补偿预测编码减少视频数据 的时间和空问冗余度，能够将原始数据压缩2 0 5 0 倍以上。压缩后的视频数据 对传输错误更加敏感。现有大多数视频压缩算法使用可变长编码，单个比特的错 误会导致后续码字无法解码或者错误解码，当错误严重时甚至会使解码端失去同 步，使通信中断。出于使用时问和空间预测编码，当前图像中的错误会在时间和 空间上扩散，进一步降低后续图像质量。 为了减少传输错误对视频质量的影响，保证通信的f 常进行，必须在视频编 码端和解码端采取适当措施，以增强视频通信系统的稳健性即进行差错控制。 早在1 9 9 3 年为了在综合业务数字网( i s d n ) 中可靠地传输会议电视和可视 电话，c c i t t ( i t u t 的前身) 制定的1 t 2 6 1 建议就使用b c i 码进行检错和纠错。 随着i n t e r n e t 的巨大成功和无线网络的飞速发展，因特网和无线网多媒体通信 成为可能。抗包丢失和抗比特误码的差错控制技术成为当今研究的热点。在1 9 9 8 年的h 2 6 3 第二版中就增加了四个增强抗误码能力的可选模式：分片结构模式、 低比特牢视频通信中的差错控制 参考帧选择模式、独立分段模式和数据分割模式。在1 9 9 9 年颁布的m p e g 一4 标准 中也包含了重同步、数据分区、可逆变长编码和n e w p r e d 等差错控制方法。m p e g 一4 是第一个将增强抗误码能力作为目标之一的国际标准。由i t u 和i s o 组成的联合 专家组j v t 正在制定下一代视频编码标准，并且把容错性( e r r o rr e s i l i e n c e ) 作为新标准的重要目标。国外的许多著名大学，如斯坦福( s t a n f o r d u n i v e r s i t y ) 、伯克利( u c b ) 、卡耐基梅隆( c m u ) 和纽约理工( p o ，y ) 等，以及 许多大型公司，如微软( m i c r o s o f t ) 、英特尔( i n t e l ) 和p i c t u r e t e l 等都在进 行这方面的研究。国内的研究机构主要有微软亚洲研究院、中国科学院、清华大 学、北京大学、上海交通大学、南京邮电学院和天津大学等。 0 i 同的视频通信业务有不同的服务质量要求，如交互式的实时通信对延迟和 延迟抖动非常敏感，而视频流点播业务允许较大的初始延迟。交互式双向通信通 常，叮以利用反馈信道进行差错控制，而广播通信没有反馈信道。不同的网络，其 信道错误特性也不同如因特网和无线网。因此必须根据通信业务、通信方式和信 道的特点，研究和使用不同的差错控制技术。 当前的主要差错控制技术可归纳为四类”。7 1 ：1 ) 传输层差错控制，包括信道 编码、打包复用和传输协议：2 ) 信源编码端差错控制；3 ) 解码端差错控制， 包括错误检测和错误隐藏等：4 ) 编码器和解码器交互式差错控制。 2 本文的工作 本文的贡献主要有三点： 第一：分析了通信网络性能参数如传输速率、误码率、延迟和延迟抖动等对 视频通信质量的影响，归纳总结了现有的视频通信差错控制技术，分析了每种技 术的核心算法，性能和适用范围。 第二：在第一点的基础上提出了一种新颖的应用于因特网视频通信的差错控 制方法，称为自适应帧内编码刷新。该方法能有效减少包丢失对因特网视频通信 质量的影响，与现有非自适应帧内编码刷新方法相比，重建视频质量有显著提高。 第三：率失真优化技术是解决视频编码中最佳资源分配问题的重要工具。本 文介绍了率失真优化的基本原理和两大优化方法：拉格朗日优化法和动态规划 法，并详细讨论了率失真理论在编码模式选择、联合信源信道编码和码率控制 中应用的最新进展。 3 本文结构 本论文后续章节内容安排如下： 第二章归纳总结了现有视频通信业务及其基本通信模式，详细讨论了影响视 第一章q l 言 频通信服务质量的网络性能参数，最后列举了目前典型的通信网络及其信道特 性。 第三章介绍了视频通信圈际标准。首先归纳了工业界针对不同应用制定的各 种国际标准，然后较详细的介绍了h 2 6 3 标准的编解码算法和码流语法结构， t t 2 6 3 也是本文进行差错控制研究的基础。最后，简要介绍了m p e g 系列标准的 基本特点。 第四章总结了现有的视频通信差错控制技术，详细讨论了每项技术的核心算 法、性能和适应范围，最后介绍了i 2 6 3 和m p e g4 标准中包含的差错控制技术。 第五章提出了一种新颖的自适应帧内编码刷新方法。首先归纳了已有的三类 帧内编码刷新方法，然后详细描述了新算法，最后给出模拟实验结果及分析。 第六章介绍了视频编码巾的率失真优化技术。首先介绍了率失真优化的基本 原理和优化工具，然后分别讨论了率失真理论在编码模式选择、联合信源信道 编码和码率控制中的应用。 第七章总结全文内容，并对视频通信和差错控制技术的发展进行了展望。 低比特率视频通信中的差错控制 第二章视频通信及其服务质量控制 2 1 视频通信业务 根据通信双方的地位不同，视频通信业务可分为：交互式的双向视频通信业 务( i n t e r a c t i v et w o w a yv i s u a lc o m m u n i c a t i o n s ) 和单向视频流业务( o n e w a y v i d e os t r e a m i n g ) 。 奠他数据其他数据 原始视频 图2 1 典型的视频通信系统框图 重建视频 在交互式的双向视频通信业务中，通信的各方既是发送者又是接收者，如： 可视电话、电视会议和虚拟咖啡厅等。这类业务对延迟有着严格的要求。i t u t g 1 1 4 0 1 标准推荐，最大往返延迟小于1 5 0 m s 为较理想质量，小于4 0 0 m s 为可接 收质量，延迟超过5 0 0 m s 就难以进行有效视频通信。在通信过程中，编码和解码 都必须实时完成。因此在所有视频通信业务中交互式视频通信对系统性能要求是 最高的。不过这类业务对图像空间和时问分辨率要求不高，例如：q c i f 大小的 空问分辨率和5 1 0 帧秒的时问分辨率对于可视电话业务就足够了；c i f 大小的 空间分辨率和1 0 一2 0 帧秒的时间分辨率就可满足电视会议业务。 视频流式传输是一项正在迅速发展的新技术。所谓视频流( v i d e os t r e a m ) 是指从服务器发送，经过网络到达用户端，并连续地随时间变化的视频码流。与 传统的文件传输模式不同，视频流用户不需要下载全部码流就可以丌始解码播 放，用户甚至不需要存储而只是将收到的数据包重新组装、解码和播放。单向视 频流业务采用客户n 务器模式，服务器为发送者，客户为接收者，实时视频 ( 1 i v e ) 或者预压缩( p r e c o m p r e s s e d ) 的视频从服务器传输到一个或多个客户， 例如视频点播( v i d e o0 1 3d e m a n d ) ，高清晰度数字电视( h d t v ) ，远程教学等。 4 笫二章视频通信及服务质量控制 2 2 视频通信基本模式 ，屈 联美旁廷 肾。簧。争。簧z 壤 服务器3 、p ，、p 7、：f 彳l 幽2 2 单播传输 广播方式中数据包的单独一个拷贝发送给网络上的所有用户而不管用户是 否需要。这种方式也会造成网络资源的浪费，而且用户只能被动接收数据流而不 能控制数据流，例如用户不能暂停、快进或后退数据流。 蕾虱量 路d 1 器 量吁 路由器 鲴 路山器 恒虱雪 路m 器 接收者 、屈 接l _ 5 ( 卉 接收看 圈2 3 广播传输 组播是一对多连接。多个客户端从服务器接收相同的流。媒体服务器只需发 送一个信息包，而不是多个；所有发出请求的客户端共享同一个信息包。组播不 县 低比特率视频通信中的差错控制 会复制数据包的多个拷贝传输到网络上，也不会将数据包发送给不需要它的客户 端，保证了网络带宽占用最小。组播传输需要i p 组播技术的支持。 ，厘蓟雪卜雪里面：二j 、 幢虱量、1 2 3 视频通信服务质量控制 售冒胃、 路由器 图2 4 组播传输 视频通信的质量主要受视频编、解码算法和网络性能等因素的影响。针对不 同的网络条件采用不同的编、解码算法或者改变编解码参数从而达到最佳通信 效果。关于编解码算法的影响，我们将在后续章节中讨论，这里我们首先介绍影 响视频通信服务质量的一些重要的网络性能参数。 2 3 1 影响服务质量的网络性能参数 1 传输速率( d a t at r a n s m i s s i o nr a t e ) 信道可用传输速率对于压缩视频质量有直接影响。通常，对于任何有损视频 压缩技术，其解码图像质量与平均比特率成正比。在基于d c t 的视频编解码器( 如 m p e 6 1 ，m p e g 一2 或者h 2 6 3 ) 中，量化步长是码率控制的关键参数之一。增大量 化步长导致比特率减小，同时也降低图像质量；反之，亦然。 信道传输方式大致可分为恒定比特率传输( c b r ) 和可变比特率传输( v b r ) 。 许多现有视频通信系统使用恒定比特率传输如i s d n 上的视频会议系统和数 字电视广播。现有标准中的视频编码算法本质上将输出码率高度变化的比特流， 例如，空间细节较丰富的帧比细节较少的帧产生的比特率高，包含复杂运动的帧 比只包含缓慢运动的帧产生的比特率高。通过使用缓冲区，编码器可以缓冲短时 间内的比特率突变，但是对于长时间的变化，只能采取调节量化步长等措施。这 就意味着解码图像质量随时间变化，这种质量变化在低比特率传输时尤其明显。 包交换网络和a t m 网络支持可变比特率传输。与恒定比特率传输相比，可变 比特率传输有许多优点。例如，只要量化步长不变，解码图像质量可以保持不变。 不过，可变比特率传输也存在一些问题：如a t m 网络，在建立连接时必须指定信 昌|l凰|l凰|l ， - 第二章视频通信及服务质量控制 源特性如平均比特率和峰值比特率等以便预先分配适量的网络资源，但是信源特 性特别是耍时压缩的视频数据并不总能提前知道。 2 吞吐量( t h r o u g h p u t ) 网络的吞吐量就是带宽净荷，或者说吞吐量就是网络物理链路的比特率减去 各种传输技术给网络带来的内部开销。例如在一个同步光纤网( s o n e t ) 上使用 异步传输模式( a t m ) 技术，网络载波提供的比特率为1 5 5 5 2 m b s 。相关的内部 开销有：约3 用于s o n e t 本身，9 5 用于a t m ，所以这个网络的最大吞吐量为 1 3 6 m b s 。 3 误码率( 1 0 s sr a t e ) 在实际网络中传输数据，误码几乎是不可避免的。在无线网络中由于信道衰 落和多径效应等会发生随机比特错误( r a n d o mb i te r r o r ) 或者突发错误( b u r s t e r r o r ) 。在包交换网络中路由器缓存溢出( b u f f e ro v e r f l o w ) 或者等待超时 ( d e l a yt i m e o u t ) 会导致包丢失( p a c k e tl o s s ) 。 比特错误率( b e r ，b i te r r o rr a t e ) ，出错的平均比特数与所传输的比 特总数之比，适应于无线网络。 包丢失率或者分组丢失率( p l r ，p a c k e tl o s sr a t e ) ，出错或丢失的平 均数据包数与所传输的数据包总数之比，适应于包交换网络。 信元丢失率( c e l ll o s sr a t e ) ，是包丢失率的一个特例，适用于a t m 网 络。 4 延迟( d e l a y ) 造成延迟的因素是多方面的，下面从端到端延迟( e n dt oe n dd e l a y ) 出发 来讨论这个问题。端到端延迟是指视频信息从发送端传送到接收端所需的时间， 由以下几部分组成。 a ) 编码处理延迟，包括视频采集和编码造成的延迟。 b ) 编码缓冲延迟，山于压缩编码后的视频数据比特率是时变的，因此必须 设置缓冲区以获得较平稳的输出。 e ) 传输延迟：即传输本身造成的延迟，与网络的比特率和中继节点的处理 延迟等有关。中继节点的处理延迟包括路由延迟和缓冲延迟。 d ) 解码缓冲延迟：为了缓冲延迟抖动，解码端需要设置缓冲区以获得恒定 速率的输入数据。 e ) 解码处理延迟。 低比特率视频通信中的差错控制 此外，当发送端需要接收端的反馈信息时就要用到往返延迟( r o u n d t r i p d e l a y ) 。往返延迟是指发送方经网络发送数据块，并且收到该数据块已被正确接 收的答复后所花的全部时间。当网络拥塞时，这个参数有时比端到端延迟更能描 述网络性能。 视频输入发送单元接收单元视频输出 媳卜_ 百h 卜r 叶_ i 卜1 叫 pe d 一 图2 5 ：端到端延迟 5 延迟抖动( d e l a yj i t t e r ) 又称延迟变差( d e l a yv a r i a t i o n ) 。在包交换网络中，视频数据流被分成离 散的数据包。如果网络能够用相同的时间传送所有的数据包，那么各数据包就能 在相同的延迟后到达目的地。但是现有许多网络都不能保证相等的延迟，因而造 成延迟抖动。 对于单向视频流业务而言，延迟抖动造成的影响比延迟更为严重。为了保证 每一帧视频以及相应的音频信息以恒定的速度播放给用户，可以通过设置接收缓 冲区来减少延迟抖动的影响。 2 3 2 通信网络 在这一节中，我们将介绍现有的各种通信网以及相应的用于视频通信的协 议。对于每一种网络，我们将介绍它们的带宽，延迟，延迟抖动，误码率和典型 视频业务。 1 ) 公用电话网( p u b l i cs w i t c b e dt e l e p h o n en e t w o r k ，p s t n ) 公用电话网的最大特点是分布广泛，几乎遍布世界各地。但是它的带宽非常 有限。根据v 9 0m o d e m 协议，最大下行速率为5 6 k b p s 。国际电信联盟( i t u t ) 的n 3 2 4 “”系列标准就是专为公用电话网上的多媒体通信设计的。 现在，非对称用户数字线( a s y m m e t r i cd i g i t a ls u b s c r i b e rl o o p ，a d s l ) 第二章视频通信及服务质量拄制 技术可在电话线上提供最大6 m b p s 的下行速率。a d s l 成为m p e g l 和m p e g 一2 电 影点播服务的主要传输方式之一。 2 ) 综合业务数字网( i n t e g r a t e ds e r v i c ed i g i t a ln e t w o r k ，i s d n ) i s d n 是最早的数字通信网。数据传输率为j x c 6 4 k b p s ，p 为整数，从1 到3 0 ， 对应的带宽为6 4 到1 5 3 6 k b p s 。基本的i s d n 接口为2 b + d ，b 指数据信道，6 4 k p b s ， d 指控制信道，1 6 k b p s 。带宽为1 2 8 k b p s ( p 等于2 ，上行、下行各6 4 k b p s ) 时 只能传输较低分辨率的视频，如q c i f 大小，1 0 帧秒。对于较高分辨率的视频， 如c i f 大小，1 5 3 0 帧秒，至少需要3 8 4 k b p s 带宽( p 等于6 ) 。 i s d n 是基于电路交换的，每一个i s d n 连接只用于特定的用户会话，因此连 接是相当可靠的。国际电信联盟关于电视会议的第一个标准h 3 2 0 就是为i s d n 制定的。 3 ) 宽带i s d n ( b r o a d b a n di s d n ) 以上描述的基本速率为6 4 k b p s 的i s d n 通常称为窄带i s d n ( n - i s d n ) ，可以 在普通电话线上实现。而宽带i s d n ( b - i s d n ) 能提供大于6 4 k b p s 的带宽如3 8 4 k b p s 的t l _ o 信道，1 5 3 6 m b p s 的h _ 11 信道和1 9 2 0 m b p s 的h _ 1 2 信道。这些信道必须 使用更高带宽的同轴电缆或光纤。b - i s d n 的带宽也为p x 6 4 k b p s ，p 从l 到6 5 5 3 5 。 为了有效利用带宽，b - i s d n 通常使用异步传输( a t m ) 包交换技术。每个数 据包大小固定，为5 3 字节，称为信元( c e 1 ) 。每个物理连接为多个用户共享使 用，因而不如使用电路交换的窄带i s d n 可靠。通常信元丢失率在l o 一1 0 1 之间。 a t m 网络提供四种类型的业务：恒定比特率( c b r ) 、可变比特率( v b r ) 、最 大比特率( a b r ) 和不定比特率( u b r ) 。通常，视频传输采用可变比特率方式。 这样就可以通过调节编码参数使得压缩后的视频流能保持相对恒定的质量。 4 ) 因特网( i n t e r n e t ) 因特网是通过路由器连接起来的许多物理网络组成的。最基本的结构称为局 域网( l a n ) ，通常带宽为l o m b p sl o o m b p s 。同一地区的局域网连接成城域网 ( m a n ) ，最后多个城域网连接成为广域网( w a n ) 。因特网上的通信是基于包交换 ( 分组交换) 的，即数据被截断成数据包，每个包含有包头指明信源和信宿地址， 每个数据包独立传输。在网络中问节点如交换机或者路由器，数据包会因为缓存 溢出而被舍弃，或者由于在队列中排队等待时间过长而被认为已丢失。对于实时 视频通信，所有超时到达的数据包也被认为丢失。数据包的传输遵循t c p i p 协 议栈，它包含三个重要的协议：i p 协议，u d p 协议( 用于不可靠连接的数据报业 低比特率视频通信中的差错控制 务) ，t c p 协议( 用于可靠流式数据传输业务) 。i p 协议位于网络层，是t c p 和 u d p 协议工作的基础。t c p 协议通过带确认的重传保证可靠传输。 因特网和t c p i p 协议最初是为对延迟不敏感的数据通信设计的。对于实时 业务如视频会议和视频流而言，t c p 的重传机制不再适合。为了支持这些业务， 实时传输协议( r i p ) 及其实时传输控制协议( r t c p ) 被制定出来。r t p 建立在 u b p 基础上，但是增加了头信息包括序号和定时与同步信息。r t p 允许利用序号 检测包丢失以及在接收端舍弃超时的数据包。r t c p 用来提供关于服务质量的反 馈信息( t a 包丢失率) 以便发送端作出相应的调整( 如调节发送速率或者差错控 制机制) 。 通常在一个数据包中所有网络协议层的头信息加起来达到约4 0 字节。为了 获得一个合理的负载额外丌销( p a y l o a d o v e r h e a d ) 比例，通常需要使用1 5 0 0 字节左右的大数据包。利用奇偶校验和，数据包中的比特错误可以被检验出来， 一旦发现比特错误，数据包就被完全舍弃。因此每个收到的数据包可被当作没有 比特错误。包丢失率取决于网络状况，在带宽充足的私有i p 网上包丢失率可低 至0 ；当网络拥塞时，长途连接中的包丢失率可达3 0 以上。有了r t p 协议，丢 失的数据包利用序号确定，视频解码器也可以利用这个信息进行错误隐藏。 以太网是使用最广泛的网络，带宽为l o l n b p s 。更先进的网络包括快速以太网 和f i ) d i ，带宽达到l o o m b p s ，这些网络通常用于公司的内部网。 由于因特网分布广泛，它已经被当作进行视频业务的平台。但是，由于因特 网是个尽力而为( b e s te f f o r t ) 的网络，不能保证无差错和准时传输，所以 因特网视频通信中的差错控制是一个具有挑战性的研究领域。 5 ) 无线网( w i r e l e s sn e t w o r k ) 有许多面向不同环境和业务的无线网络，这些系统具有不同的容量、覆盖范 围和误码特性。下面我们将简要介绍这些无线网络。 蜂窝网( c e l l u l a rn e t w o r k ) 本来是为移动语音通信业务设计的，但是现在 通过无线m o d e m 也能进行数据传输。数据传输率限制在2 0 k b p s 以下( 净负载率 更低) 。蜂窝网可以连接到包交换无线数据网，从而使移动用户通过因特网和有 线终端进行数据传输。例如，通过单个时隙( t i m es l o t ) 基本的g p r s 网络可以 提供9 2 1 4 k b p s 的负载比特率，而增强的g p r s 技术( 称为e d g e ) 可以提供8 8 5 9 2 k b p s 的比特率。通过使用多个时隙，原始数据速率可高达1 7 0 k b p s 。传输速 率与地点有关，距离基站越近速率越高。通过使用更高的载频，更宽的带宽和更 复杂的多路访问、差错控制和信号检测技术，第三代无线通信系统( 3 g ) 可以提 供更高的速率和更大的覆盖范围。根据移动速度和距离的不同，户外的速率从 o 第二章视频通信及服务质量控制 1 4 4 k b p s 变化到3 8 4 k b p s ，室内的速率至少为2 m b p s ，实时音视频通信将成为3 g 业务中的一部分。总的来说，任何无线信道的噪声都相当大，比特错误率都很高。 但是使用自适应速率调节、f e c 和a r q 可以基本保证无差错数据传输。对于视频 传输，a r q 不得不受到限制，我们必须对付高比特错误率和包丢失率。 无线局域网是指一系列通过无线信道连接到局域网上的信息装置( 通常位于 室内，静止或者缓慢移动) 。它们使用i p 或者a t m 传输协议，分别称为移动i p 或者无线a t m 。将常规的i p 和a t m 协议移植到无线环境的主要问题在于当移动 终端从一个小区进入另一个小区时如何保持移动节点之间网络连接的连续性和 如何处理切换。可获得的速率取决于载频，例如符合i e e e 8 0 2 1 1 标准的局域网 能提供高达l1 m b p s 的速率。当用户离访问节点近时，无线连接的质量非常好( b e r 低于1 0 ) ：当用户离访问节点远时，连接质量可能非常差( b e r 高于1 0 。) 。包 丢失率取决于包的大小以及检错纠错方法。 宽带无线i p 网是指通过小型屋顶天线使用微波与基站通信从而访问因特网。 它包括多信道多点分布式业务( m m d s ) 和局部多点分布式业务( l m d s ) 。l m d s 使 用更高的载频，传输速率( 通常为l o o m b p s ，最高6 0 0 m b p s ) 也高于m m d s ( 最大 1 m b p s ) 。不过l m d s 有效距离更短( 3m i l e sv s 3 0m i l e s ) 。 表2 1 不同无线网络的特性 网络类型传输速率移动性传输距离信道质量 低局迅 蜂窝网差 ( = 2 0 k b p s )( 乍载) ( 2 5 0 0 米) 中等高趣 无线数据网 差 ( 6 4 3 8 4 k b p s ) ( 车载)( 2 5 0 0 米) 无线局域网 低 短 与位置有关 ( 2 - 2 5 m b p s )( 室内) ( 5 0 米) 高低远 无线i p 网好 ( 卜6 0 0 m b p s ，r 行) ( 室内)( 3 - 3 0 英里) 移动无线网络上进行视频传输的困难在于低带宽，高误码率以及带宽和误码 率的时交特性，因此无线视频通信系统必须自适应的调节速率和抗误码能力。为 了满足这些要求，大多数无线视频传输方法联合使用分层编码和不平等保护技 术。值得注意的是，实际的应用系统使用非常复杂的f e c 码从而大大降低误码率。 在f e c 之上，实际系统还使用某种形式的信道复用，进一步降低了误码率。 大多数无线交互式多媒体通信系统使用h 2 2 3 “”及其移动扩展作为传输复 用协议。h 2 2 3 协议的移动扩展是一个包含五个不同级别的等级结构，允许在抗 误码能力和由此带来的额外丌销之间取得平衡。大多数利用h 2 2 3 协议进行传输 低比特率= ! l l 频通信中的差错控制 的视频编码研究假定突发错误长度为1 6 比特左右，b e r 在1 0 1 0 。h 2 2 3 以 可变大小的数据包传输包括压缩视频在内的媒体数据，典型的包大小为1 0 0 字节 左右以保证较小的延迟。如果比特错误损坏了h 2 2 3 的协议结构而且不能修复， 那么整个包就被舍弃，因此使用i t 2 2 3 进行视频传输必须处理包丢失。 6 ) 广播信道( b r o a d c a s tc h a n n e ls ) 这种传输信道是用来广播数字电视信号包括使用m p e g 一2 视频编码和传输流 的h d t v 节目。压缩数据使用1 8 8 字节固定大小的数据包传输。不沦底层是无线 还是有线信道，信道编码器和m p e g 一2 传输层保证了几乎无差错传输。对于s d t v ， 可用带宽分成若干个节目频道，每个频道3 l o m b p s 。对于h d t v ，通常为2 0 m b p s 。 表2 2 主要视频通信业务的特点 视频编典型视频 应用和协议族复用协议包大小 误码特性 码标准比特率 i s d n 可视电话 h 2 2 1 h 2 6 1 ( h 3 2 0 )h 2 6 3 6 4 3 8 4 k b p sn a无误码 p s t n 可视电话 h 2 2 3h 2 6 3 2 0 k b p s 1 0 0b y t e s 极少比特错误和 ( h ，3 2 4 )包丢失 移动可视电话 h 2 2 3b e r = 1 01 1 0 ( h 3 2 4h 2 6 3 1 0 3 0 0 k b p s 1 0 0b y t e s w i r e l e s s ) 无线扩展 偶尔有包丢失 包交换网上的 m2 2 5 h 2 6 1 1 5 0 0 b e r = o ，包丢火率 可视电活r t p h 2 6 3 1 0 一1 0 0 0 k b p s ( h 3 2 3 )u d p i p1 t 2 6 2 b y t e s0 3 0 地面有线卫 m p e g 一2m p e g - 2 星电视系统视频 6 1 2 1 d b p s 1 8 8b y t e s 儿乎无误码 a t m 网电视会议 h 2 2 2h 2 6 2 l 一1 2 m b p s 5 3b y t e s 几乎无误码 ( i 3 2 1 ) ( a t m 信元) 本章将视频通信业务分为两类：交互式双向视频通信业务和单向视频流业 务，并介绍了每种业务的基本通信模式。然后详细讨论了影响视频通信服务质量 的网络性能参数。最后结合现有实际网络，分析了每种网络的带宽、延迟和错误 特性等。 这部分内容是进行视频通信差错控制研究的基础。不同的视频通信业务有不 同的服务质量要求；不同的通信网络有不同的信道特性，因此必须根据具体情况 研究和使用不同的差错控制技术。 第三章视频编码国际标准 第三章视频编码国际标准 数字视频通信标准主要是为数字电视和可视电话制定，从而使工业界能够以 合理的价格为消费者提供有效利用带宽的终端设备。在3 1 节中我们将简要介绍 现代视频编码标准的应用；在3 2 节中介绍国际电信联盟( i t u ) 用于交互式视 频通信的h 2 6 1 和h 2 6 3 标准( 3 2 节) ：在3 3 节中，我们将介绍用于音视频 通信的多媒体终端标准h 3 2 3 和h 3 2 4 ；3 4 节介绍国际标准化组织( i s o ) 的运 动图像专家组( m o v i n gp i c t u r ee