（计算机应用技术专业论文）多描述视频流的多径传输机制与路径选择算法.pdf

华中科技大学硕士学位论文 摘要 随着人们对网络多媒体业务需求的不断增加，交互式多媒体通信技术倍受关注。 但是，在因特网上进行数据传输所固有的延时、抖动、丢包以及网络传输的复杂性， 给实时多媒体通信提出了严重的挑战。在网络上，采用多个路径传输多媒体数据被认 为是有望提高多媒体通信质量的有效途径之一。 通过多描述编码技术生成多个独立的码流，每个不同的码流经( 部分) 独立( 非 共享) 的路径传输到接收端，从而减少包丢失及错误传输的机会。合理地选择这些路 径是实现多描述流多径传输的基础。 依据网络状态参数( 带宽、包丢失率、延迟、抖动等) 、媒体特性、应用需求来 估算码流的平均率失真和路径参数，建立个多路径的多描述流模型并给出相应的目 标函数表达式，使得目标函数值最小的路径就是多描述视频流传输的最优路径。基于 这种多路径选择的方法，在各种限制条件下，选择传输路径，使客户端的传输质量得 到最大化的保障。同时考虑了在i p 网络上进行多径传输的体系结构与机制。 使用n s 一2 软件作为网络模拟工具，基于标准测试视频码流的模拟实验结论表 明：在传输视频流时，通过合理选择的多路径传输比通过最短路径、最大链接分离 路径传输时，平均峰值信噪比( p s n r ) 提高了3 d b ，视频流的传输质量得以大幅度提 高。 关键词：多描述编码，视频流，覆盖网，路径选择，网络模拟 华中科技大学硕士学位论文 a b s t r a c t w i t ht h ei n c r e a s i n gd e m a n df o rm u l t i m e d i ai n f o r m a t i o no nt h e i n t e m e t i n t e m c t i v e m u l t i m e d i ac o m m u n i c a t i o nh a sr e c e i v e dt r e m e n d o u sa t t e n t i o n h o w e v e rr e a l t i i t l e m e d i a d i s t r i b u t i o no v e rt h ei n t e r n e tm a k e ss e r i o u sc h a l l e n g ed u et o i t s s t r i n g e n td e l a y l o s s r e q u i r e m e n t sa n dc o m p l e xn e t w o r kd y n a m i c s i ti sap r o m i s i n ga p p r o a c ht oi m p r o v et h e r e l i a b i l i t yo f t h es t r e a m i n gv i d e ot ot r a n s m i tt h em u l t i m e d i ad a t ao v e rd i v e r s ed a n l s m u l t i p l ed e s c r i p t i o n ( m d ) c o d i n gc a l lp r o d u c em u l t i p l ei n d e p e n d e n t l yd e c o d a b l es t r e a m s w h i c hc o u l db et r a n s m i to v e rp a r t i a l l yl i n k d i s j o i n t ( n o n s h a r e d ) p a t h s f o rd e c r e a t i n g b u r s t yp a c k e tl o s s e sa n de r r o rp r o p a g a t i o n h o w e v e r ，i ti si m p o r t a n tt os e l e c t i n gt h e s ep a t h s a p p r o p r i a t e l yf o r t h es u c c e s so f m ds t r e a m i n g t h a te s t i m a t e da v e r a g es t r e a m i n gr a t ed i s t o r t i o ni nt e r m so fn e t w o r ks t a t i s t i c s 、m e d i a c h a r a c t e r i s t i c sa n da p p l i c a t i o nr e q u i r e m e n t s , t h r o u g hm o d e l l i n gm d s t r e a m i n go v e rm u l t i p a t h s ，a ne x p r e s s i o ni sd e v e l o p e d ，i e ，a no b j e c t i v e ( c o s t ) f u n c t i o n ，b ym i n i m i z e dt h i sc o s t f u n c t i o n ，u n d e rv a r i o u sc o n s t r a i n t s ，as e to fp a t h sc a nb ef o u n d ，w h i c hm a x i m i z et h eo v e r a l l q u a l i t ya tt h ec l i e n t s i m u l t a n e o u s l y ，t h ea r c h i t e c t u r ea n dm e c h a n i s m sb yw h i c hm u l t i p a t h s t r e a m i n gc a nb ea c c o m p l i s h e do v e rac o n v e n t i o n a li pn e t w o r ka l ea l s od i s c u s s e d u s i n gt h en e t w o r ks i m u l a t o rn s 2t os i m u l a t et h en e t w o r ka n dt h es t a n d a r dt e s tv i d e o s t r e a ma sd a t as o u r c e ，t h es i m u l a t i o nr e s u l t ss h o wt h a ta v e r a g ep e a ks i g n a l - t o n o i s er a t i o ( p s n r ) o f t h ed e c o d e dv i d e oi n c r e a s e sa b o u t3d bw h e nt h es o u r c ev i d e oi ss t r e a m e do v e r i n t e l l i g e n t l ys e l e c t e dm u l t i p l ep a t h sa so p p o s e dt oo v e rt h es h o r t e s tp a t ho rm a x i m a l l yl i n k d i s j o i n tp a t h s t h ev i d e oq u a l i t yi si m p r o v e dd r a m a t i c a l l y k e yw o r d s ：m u l t i p l ed e s c r i p t i o nc o d i n g ( m d c ) ，v i d e os t r e a m i n g ，o v e r l a yn e t w o r k s ， m u l t i p a t hs e l e c t i o n ，n e t w o r ks i m u l a t i o n i i 独创性声明 本人声明所呈交的学位论文是我个人在导师指导卜进行的研究工作及取得 的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其 他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和 集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人 承担。 学位论文作者签名：豸l 灾诊 日期：二d 。岁年d 月口f 1 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位沦文的规定，即：学校 有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查 阅和借阅。本人授权华中科技人学i j - 以将本学位论文的伞部或部分内容编入有 关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位 论文。 保密口，在年解密后适用本授权书。 本论文属于 不保密回。 ( 请在以上方框内打“”) 学位论文作者签名：壤亚诠 指导教师签名：喜p h 期： 助为年归月0 日日期：川r 午i o 月居闩 纽星 华中科技大学硕士学位论文 l 绪论 1 1 课叠的背量与意义 随着科学技术的发展和社会生活水平的不断提高，人们对于信息的需求量日益增 多，无论何人、何时、何地都能方便、快捷、灵活、准确地通过各种方式通信，完成 工作、学习等社会活动已成为一种时尚与需求，其中多媒体通信受到越来越多的广泛 的关注! 上个世纪末，i n t e r n e t 得到迅猛发展。下一代n g n ( n e x tg e n e r a t i o n n e t w o r k ) 的提出，光纤网络、无线通信网络在全球普及，大大改善并提高网络业务 可用的带宽资源：数字视频、图像压缩编码等多媒体技术取得了突出的研究成果：人 们对网上图像和视频传输服务的需求不断增长。网上图像和视频传输广泛应用于视频 会议、视频电话、电子商务、远程教学以及远程医疗等领域”。1 。视频通信以其直 观、准确、生动的特点占据了多媒体通信的重要位置，实现数字视频通信的实时传输 成为目前研究的主要方向之一。对网络上实时视频传输进行研究，无论在科学研究还 是在国民经济和社会发展中都具有十分重要的意义【l ，4 。 网络视频流的传输具有连续性、数据量大、实时性、可靠性高的特点，现行的 i n t c m e t 网络协议与传输机制不能满足连续的媒体数据传输的需型引。突出表现在以下 几个方面：其一，i p 协议面向无连接的设计，数据包在传输过程的改变与丢失，无法 确保数据传输的可靠性：其二，传输层的流量控制、拥塞机制导致传输延迟的增加， 不利于实现视频的实时传输，u d p 相比于t c p 实时性要好些，但u d p 没有考虑可靠性 和速率控制之间平衡问题。尽管完全可靠性通常不是最首要的要求，但是数据传输流 仍然要求最低限度的可靠性等级。所以，仅仅通过u d p 提供的服务也不是最好的解决 办法；其三，传输实时视频最大的挑战在于带宽的波动，现行的网络机制没有提供资 源预留之类的协议保障，i p 协议的“尽力而为”( b e s t - e f f o r t ) 不提供任何带宽保护 华中科技大学硕士学位论文 机制，当网络拥塞发生时，传输视频流的带宽会突然降低，直接影响了传输的质量； 最后，i n t e m e t 存在网络的异构性1 6 1 ，网络通信中不同用户可能在硬件类型、操作系 统、外设性能、c p u 处理能力等诸多方面存在很大差异，网络接入方式和连接各用户 的不同网段也会在物理通道、带宽资源、传输延迟、数据丢失率等方面有所不同。 视频信息的庞大数据量和信道带宽的限制迫使视频通信数据通常要经过压缩编码 才能传输。压缩数据对传输过程中的差错非常敏感，会造成误码环境下重建图像质量 严重下降。因此在误码环境下保证解码端重建视频的质量，需采用多种抗误码技术， 视频通信中的抗误码研究已成为视频通信急需解决的关键技术。分层编码与分级传输 策略的结合是最为实用的抗误码技术之一。但足在分层编码与分级传输方案下，基本 层码流中的误码将可能导致重建图像质量的严重恶化。目前，多描述编码( m u l t i p l e d e s c r i p t i o nc o d i n g m d c ) 成为- - 种倍受关注的方法1 7 驯。通过多描述编码技术可生成 多个独立的码流，每个不同的码流经( 部分) 独立( 非共享) 的路径传输到接收端， 从而减少包丢失及错误传输的机会。但是，多描述编码的应用存在一些有待进一步研 究解决的问题： 1 、冗余与压缩效率之间的平衡； 2 、多描述传输的多路径选择问题； 3 、在信道状态时变的情况下，自适应的m d c 方法； 4 、差错恢复与差错隐藏的综合应用问题。 本文研究覆盖网多描述视频传输，重点是将多描述编码与多样化路径选择相结合 以提高视频流传输的可靠性。围绕“多描述视频流编码系统中怎样选择多路径”的问 题，建立多路径上传输多描述视频流的模型，提出最佳路径的选择方法，实现高质 量、可靠的视频流传输。 1 2 国内外研究现状 2 0 世纪8 0 年代中后期，国际上开始了对网上实时视频传输的研究，该课题的研 华中科技大学硕士学位论文 究引起了国内学术界和产业界的广泛关注。网络视频传输必须考虑两个问题 2 l ：其 一是视频信号处理的方法；其二是视频流传输的通信与控制方法。 1 2 1 视频信号处理 网络用户的需求增长速度大大高于有效带宽的增加速度，在有限的网络带宽中传 送视频信号，就必须对视频信号进行有效地压缩。高效的算法是一个好的系统设计的 核心问题。它的重要贡献在于减少了传输信号所需的基础设施的费用。 视频压缩及信道编码的理论基础是s h a n n o n 编码定理【j 0 1 ，它指出：一个率失真函 数r ( d ) 的信源，若平均率失真为d ，两个任意小的正数s 与占，则必定存在一种信 源编、译码方法使其比特率r r ( d ) + f ，平均率失真d d + 占。 国际标准化组织( i s o ) 、国际电工委员会( 1 e c ) 、国际电信联盟( i t u ) 等组 织相继制定了多个音视频编码标准，其中i s o 和i e c 的m p e g 组织( m o v i n gp i c t u r e e x p e r tg r o u p ) 制定了视音频编码标准m p e g x ( m p e g - l 、m p e g 一2 、m p e g 一4 、 m p e g 7 等) ：i t u 组织制定了h 2 6 x ( h 2 6 1 、h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + 、 h 2 6 4 ) “3 1 。这些标准采用了融合各种性能优良的编码方案的图像编码算法，代表了 当前编码技术的水平。这些标准兼顾不同应用领域的需求，没有提出或者强制规定某 些功能模块的具体算法，这就为研究更高效的压缩算法提供了发展空间。例如，基于 全局运动估计和场景分离的视频压缩算法1 3 i 。 随着新的应用与新的业务类型的出现，分层视频编码出现了。它提出了一个由网 络或接收端控制所接收码流数据流量的概念，使得发送端同时面向不同结构的网络和 更多的用户传输视频得以实现，同时在异构网络上向多个用户提供视频业务并定义了 有效的码流结构。目前最具代表的可分层视频编码算法是m p e g 一4 标准中的精细可 伸缩视频编码技术( f i n eg r a n u l a rs c a l a b l e ，f g s ) 1 6 a 1 1 ，其最主要的特点就是增强层 码流能够被任意截取，参与解码的增强层码流的多少决定了接收端重建图像质量的高 低。最初f g s 有三种算法【心j ：其一，基于d c t 的比特平面编码，算法简单易实现； 华中科技大学硕士学位论文 其二，基于小波变换编码；其三，m a t c h i n gp u r s u i t 编码。国际m p e g 组织在其 m p e g 4 建议中，采纳了李卫平博士提出的基本层采用d c t 编码，增强层采用小波 变换编码。值得一提的是多描述编码( m d c ) ，作为一种特殊的分层编码算法，倍 受关注! m d c 和般的分层编码( l c ) 的不同在于它产生的各个描述是相关的，有 着同样的重要性，任何一个单独的描述必须提供一个基本级别的视频质量，多个描述 一起提供改善的质量。m d c 相对于l c 的一个优点是它不需要网络提供可靠的子信 道。 1 2 2 视频传输控制 视频流传输存在一个基本的通信问题：信号必需通过信道进行传输。这就涉及许 多问题：信道采用什么模型、高效算法来高效地执行联合信源信道编码( j o i n t s o u r c e c h a n n e lc o d i n g ，j s c c ) 1 2 任务? 如何估计信道状态? 在信源和信道之间的接 口应该应用什么速率控制和拥塞控制策略以确保网络资源的高效使用和高质量的信号 重建? 对于压缩视频传输业务，信道传输差错不但严重影响业务质量甚至会导致整个视 频通信完全失效。这是由于传输信道存在干扰；网络拥塞、延迟等问题将不可避免地 引起分组丢失：视频信号的实时不允许丢失分组重传。采用适当的技术措施来减小或 消除信道传输差错，即具有差错恢复能力的视频压缩与编码技术。系统采用什么样的 差错隐藏( e r r o rc o n c e a l m e n t ) 和差错恢复( e r r o rr e s i l i e n c e ) 技术? 这是视频传输 过程中的关键问题。 在分组交换的网络中，传输时不可避免地会出现数据报的丢失和出错。通常采用 的技术是a r q ( a u t o m a t i cr e p e a tr e q u e s t ) 自动请求重传，发送器通过反馈信息获得 丢失分组的序号，并进行重传。这带来了严重的延迟，在实时视频传输中难以获得满 意的效果。传统的差错控制方法还有前向纠错技术f e c ( f o r w a r de r r o r c o r r e c t i o n ) ，但是这种方法会增加需要传输的码率，特别是对于较长的突发性的数 据丢失、独立的等密度分布的无记忆信源，这种技术显得有些无能为力，就算是结合 4 华中科技大学硕士学位论文 f e c a r q 技术，也不能解决这个问题。目前，还有分层编码( l c ) 与分级传输技 术，它将视频信息分成重要性不同的层次( 上层依赖下层) 进行传输。视频流包括一 个基本层( 保证最基本的图像质量) 和一个或多个增强层( 在基本层的基础上重建图 像来进一步提高视频质量) ，在基本层通常采用f e c a r q 结合技术。问题是f e c 与 网络中难以估计的状态信息紧密相关，a r q 技术又带来严重的延迟，所以在实际的 视频传输中这一技术也有着局限性。值得关注的是，在基本层码流中的误码将可能导 致重建图像质量的严重恶化。另外，针对实时多媒体传输，保证编码码流具有错误恢 复( e r r o rr e s i l i e n c e ) 能力，并在接收端进行错误隐藏( e r r o rc o n c e a l m e n t ) 是目前 研究得较多的方法，可以明显地提高传输质量。 近年来，多描述编码( m d c ) 倍受重视，成为了一种被看好的方案。多摇述编 码能够较好地抗突发干扰和重建丢失分组，相对于l c ，m d c 不需要网络提供可靠的 子信道，提高了视频传输的鲁棒性。由于多描述编码可以在支持不同比特率的路径上 传输，可以充分利用包交换网络的传输资源，具有广泛的适用范围和良好的应用前 景。多描述编码( m d c ) 技术已被认为是有希望克服信道错误的有效方法之一，多 描述标量量化器( m d s q ) 【1 3 1 和多描述变换编码( m d t c ) 【1 4 j 就是其中的两个例子。 m d c 被设想成为有希望解决交互性多媒体网络传输问题，例如可视电话、视频 会议、虚拟现实以及v o i p ( 网络电话) 等应用。 a p o s t o l o p o u l o s 研究基于m d c 的多样化路径提高视频流传输的可靠性的方案1 6 1 ， 他的研究指出：只要错误没有同时出现，被丢失的描述信息可能因其他描述信息而被 恢复。他更进一步分析包丢失行为对视频质量的影响，推断使路径之间的依赖性减到 最小将得到视频的良好质量【”。最近发表的几项研究工作值得注意 1 8 - 2 5 1 ，这些研究 试图减轻网络拥塞或者连接失败带来的严重的影响。除文献 1 7 ，2 3 ，2 4 】之外，这些研究 主要集中于统计在两端主机之间传送子流独立的多样化的路径。但是，避免共同连接 的路径并不保证视频的最佳质量。“好”的共同连接的路径不应该被浪费，要努力尽 最大可能的利用它们。更重要的是，所有的不相交的连接路径( 非共享路径) 在今天 华中科技大学硕士学位论文 的因特网中很少使用。因此，在许多场合使用公共节点是不可避免。那么“多描述视 频流编码系统中怎样选择多路径? ”从已公开发表的文献看，较少涉及这个问题。 a p o s t o l o p o u l o s 等人提出路径多样化模型和路径选择方法是基于点对点以及多对点 网络田i 的路径上包丢失的特性。l i a n g 等人研究中运用率失真，优化的标准视频序 列集和路径的多样化方案。对于两路径时，选择最近可使用的路径发送数据包2 “。 在n g u y e n 和z a k h o r 的研究工作中，除了因特网默认的那些路径以外，常常是选择 一个冗长的路径，路径中共同连接量最小。如果不止一条这样的路径，就选择潜在 ( 共同连接) 因素最小的那条1 2 4 1 。这些研究中提出了“合理”的路径选择方法，但 是没有考虑网络性能的重要因素，例如：带宽、包丢失率、数据最大长度、延迟和抖 动以及实际应用的要求。 1 3 本文的研究内容与结构安捧 本文中首先建立一种基于多描述视频流多路径模型，然后选择网络中最佳的路径 系列，并通过模拟实验证实该方案改进视频传输质量，证实最佳多路径多描述码流在 多数情况下比那些最好的单路径单描述码流的实现更好。本文的研究内容包括： l 、研究m d c 、m p e g - 4f g s 、多描述可伸缩编码主要的编码原则，分析覆盖网 络模型。 2 、考虑网络特性，综合分析网络性能指标带宽，丢失率，数据最大长度，延迟 和抖动1 和应用要求。确定近似计算公式，建立基于典型的多描述编码系统( 两描 述) 多路径模型，确定最佳路径选择算法。 3 、采用当前主流网络模拟软件n e t w o r ks i m u l a t e2 ，基于m p e g 一4 标准对多种标 准视频测试序列进行模拟仿真实验。通过大量的实验对方案的性能进行了比较和分 析，证实该方案优于现有解决方案。 本文各章的具体安排如下： 第1 章介绍研究背景与意义，当前国内外的发展概况，以及存在的主要问题。 6 华中科技大学硕士学位论文 第2 章阐述多描述编码的原理、m p e g 4f g s 技术、多描述可伸缩编码主要的编 码原则与相关技术。 第3 章分析多路径传输技术原理与技术，讨论与多描述编码相结合的多径传输方 案，并进行模拟实验。 第4 章在介绍覆盖网络模型的基础上，提出覆盖网模型下的多路径选择方案。通 过综合考虑网络性能指标，建立响应的多路径传输模型，从而提出一种新的最优路径 选择方案。 第5 章在n e t w o r ks i m u l a t e2 平台下进行实验，分析结果验证算法的可用性与实 效性。 第6 章总结全文并指出需要进一步研究的工作。 华中科技大学硕士学位论文 2 多描述视频编码技术 2 1 多描述视频编码的研究背量及意义 i n t e m e t 的迅猛发展使视频传输成为网络的主流业务，视频业务的不断拓展也促 使视频编码技术的不断发展。传统的视频编码在某一给定带宽下，使重建的视频质量 达到最优或传输更多的信息。而随着i n t e r n e t 的发展，网络带宽的波动及可能出现的 丢包，对传统编码技术提出挑战1 2 6 l ，比如，如何使视频流适合于网络的波动性? 如 何克服信道中出现的数据差错与丢失? 目前视频传输中的错误控制技术吲主要有以下几种： 1 、传输层的错误控制技术 利用f e c ( f o r w a r de r r o rc o r r e c t i o n ) 实现错误检测与校正，利用a r q ( a u t o m a t i cr e t r a n s m i s s i o nr e q u e s t ) 重传丢失和出错的数据等。a r q 和f e c 结合起 来，a r q 不适合存在延时受限的应用场合；而f e c 也会导致额外的延时。 2 、错误恢复编码( e r r o rr e s i l i e n te n c o d i n g ) 通过向比特流中增加冗余信息使解码器具有一定的错误恢复能力1 2 8 1 ，如 h 2 6 3 m p e g 4 标准中的错误孤立( 采用插入同步标记和数据分割方法) 、可逆变长 编码、错误恢复预测( 周期性插入帧内模式和独立分割预测) 、非平衡错误保护分层 编码、多描述编码等。 3 、错误隐藏( e r r o rc o n c e a l m e n t ) 在解码端利用视频信号特性及人类视觉特性来恢复丢失或损坏的图像区域 1 , 2 9 1 。 4 、编解码网络交互错误控制( e n c o d e r d e c o d e r - n e t w o r ki n t e r a c t i v ee r r o rc o n t r 0 1 ) 抗击信道传输错误较好的编码方法是非乎衡错误保护的图像视频分层编码【3 0 i ， 其基本思想是基本层传输采用较强的错误保护措施，如较强的f e c 和a r q ，以保证 传输的可靠性。但这种方法也存在以下问题： 华中科技大学硕士学位论文 ( 1 ) 基本层错误会导致严重的信号降质，现有大多数网络对于数据包不能提供 优先处理机制，当网络发生拥塞时，不提供优先处理的网络将随机丢包，如果包丢失 率很高或部分基本层数据丢失，将导致图像不可解码。 ( 2 ) 要求可靠的反馈通道和足够小的往返延迟，反复的a r q 会引起延迟过大， f e c 也会因其复杂度带来额外延迟。而网络视频传输对实时性要求高如电话会议、 无线视频、远程教学和医疗等对延迟非常敏感，过大延迟将严重影响视频传输质量。 ( 3 ) 其编码信息有重要程度之分，高层信息的解码依赖于低层信息的解码，一 旦基本层数据丢失，那增强层数据就只能丢弃，从而导致图像质量的严重下降。 多描述编码( m d c ，m u l t i p l ed e s c r i p t i o nc o d i n g ) 的方法成为了众多学者研究的热 点。多描述编码假设在信源和信宿之间有多个信道，各个信道同时出错的概率非常 低。通过生成多个同等重要、可独立解码的关于编码的描述，从而保证在其中一些描 述丢失的时候，仍可以得到可接受的图像质量，而随着描述的增加，图像质量也随之 提高。由于使用部分的信息就可以重建出一个质量可接受的图像，因此多描述编码在 基于包的网络、无优先保护机制的i n t e r a c t 、分集通信系统( 多天线的无线信道) 、 语音编码、图像编码、视频编码、多分布的存储系统以及低延时的系统中有着非常重 要的应用。 2 2 多描述编码的发晨与研究 2 - 2 1 多描述编码的起源与思想 多描述编码( m u l t i p l ed e s c r i p t i o nc o d i n g ) 是一种面向不可靠信道传输的编码方 法 3 1 1 ，与分层编码同属错误恢复范畴，即通过冗余信息使解码器具有一定的错误恢 复能力。它的思想起源于2 0 世纪7 0 年代末的b e l l 实验室，m i l l e r 和b o y l e 在解决 “不使用备用信道，如何提高语音传输可靠性”问题时第一次提出信道分离 ( c h a n n e ls p l i t t i n g ) 的方法。1 9 7 9 年9 月在s h a n n o n 理论研究会上g e r s h o 、 o z a r o w 、w i t s e n h a u s e n 等人总结了这个方法的思想，并把它归纳为信息理论问题：一 9 华中科技大学硕士学位论文 个信源如何生成两个单独的描述以及如何使单独的描述和联合的描述同时达到最好的 率失真，这就成了现在的“多描述”问题。 多描述编码m d c 由一个视频源生成两( 多) 个编码码流，每个码流称为一个 “描述”。这些同等重要的码流可分别通过独立信道传输，不分特殊层，每个描述都 能被独立译码。假设在收、发送端之间有多个独立的并行信道，各信道中误码的发生 是相互独立的，即所有信道同时发生误码的概率较小，这样在接收端至少有部分描述 被正确接收，可以重构视频。若全部描述被正确接收，接收端能重构最佳质量的视 频。因此，这一特性使m d c 非常适合分组( 包) 交换的网络。网络中不考虑分组的 优先级，m d c 以降低压缩效率为代价提供数据包传输的健壮性。 图2 1 是典型的两描述一三译码的多描述编码系统框图。图中原始视频信号经多描 述编码器编码得到码率分别为r l 和r 2 的两个描述sl 和s 2 ，解码器1 ( 或解码器2 ) 用 于对单个描述s i ( 或s 2 ) 进行解码，解码器0 则用于两个描述都收到时的解码，即其 输出的解码视频信号质量较解码器i 和2 更高。如果码率r - 和r 2 相等，则称为平衡式多 描述编码( b a l a n c e dm d c ) 。多描述编码技术具有无需重传、延时小、易于实时视 频传输的特点，适合于不可靠网络如互联网、无线通信网络的实时视频传输，与采用 s 1 解码得到 ( 失真率1 3 ，) s 1 ，s 2 解码得到 ( 失真率d o ) 图2 1 一个典型的两描述三译码的m d c 系统框图 s 2 解码得到 ( 失真率d 2 ) 1 0 华中科技大学硕士学位论文 非平衡错误保护的图像视频分层编码相比，特别适合于不具有优先权的网络实时 视频传输。 多描述编码技术提高传输鲁棒性是通过引入描述间的冗余实现的，具有两个描述 的多描述编码器由五元组( r 1 ，r 2 ，d o ，d 1 ，d 2 ) 来刻画。多描述编码器的性能可由冗 余率失真( r e d u i l d a n c yr a t ed i s t o r t i o nr r d ) 函数来衡量。设r = r l + r 2 为总码率， d = ( d l 十d 2 ) 2 为只收到一个描述时的平均率失真，r + 为获得同样率失真d o 的单 描述编码器( s d c ) 所需的参考码率，则多描述编码的冗余即为p = r r + 。冗余率 失真函数是固定中央率失真d o ( 或相同r + ) 下d 和p 的关系函数。对于固定的 d o ( 或r ) ，多描述编码的目标是使给定冗余度。下的边沿失真d 最小。而为适 应网络环境和服务质量要求的变化，多描述视频编码器应能动态调整冗余度，以在提 高传输鲁棒性的同时，提高编码效率【3 2 】。 2 2 - 2 多描述编码方法 图像及视频编码主要由变换、量化、运动补偿、熵编码等组成，对这些环节的每 个部分进行多描述处理就形成不同的多描述编码机制。 1 、基于量化的多描述编码 采用一系列独立的量化器分别量化采样信号，得到不同的描述，在视频编码中， 多描述量化分为多描述标量量化m d s q 及多描述矢最量化m d v q 。1 9 9 3 年 v a i n i s h a m p a y a n 设计了第一个多描述标量量化器( m d s q ) ，次年又对这种多描述标 量量化器做了重大的改进，使其容易实现给定熵约束，文献提出一种通用的多描述 标量量化器，可达到与最佳化的熵约束多描述标量量化器一样的性能，但具有较低复 杂度。g a v i l e s e u 等提出一种嵌入式多描述标量量化器，实现每一描述的精细颗粒码 率自适应和渐进传输，并提出以任意信道数目为目标的、嵌入式多描述标量量化器的 一般形式，使设计实际多信道通信编码器成为可能。 2 、基于变换的多描述编码 通过设计成对相关变换能实现多描述编码，王瑶等人从子空间映射的角度提出了 华中科技大学硕士学位论文 多描述变换编码( m d t c ) 称为成对相关变换( p a i r w i s ec o r r e l a t i n gt r a n s f o r m ) 3 4 1 基 本思想是通过变换在一对相互独立的随机变量中引入相关性，然后使输出在不同信道 上分别传输，若其中一个变量丢失，可以按其相关性从另一个变量估计出来。传统的 方法中解码器要知道原始信号的统计信息，分析基于这种变换的冗余与描述之间的关 系，可以给出冗余率失真特性，发现在小冗余时能实现很好的，在大冗余时的性能变 坏，后又提出一种通用的多描述变换编码方案，通过分割信号为几个区域产生基于区 域的多个描述，该方法能实现对丢失信号的较好估计。 3 、基于运动补偿的多描述编码 运动矢量是视频编码标准中压缩比特流的重要数据，丢失将导致重建图像的严重 降质。可以将运动矢量编码成两个描述，通过不同的信道发送。解码器根据信道条 件，利用重叠块运动补偿技术，提供不同的运动补偿预测图像，增强了运动矢量的鲁 棒性，提高视频传输的抗误码性能【7 1 。 基于运动补偿时间预测的视频多描述的关键技术是消除编解码器中用于预测参 考帧的误匹配。王瑶等提出一种多描述运动补偿算法”5 1 ，基本思想是利用二次预测 运动补偿，从编码的前两帧预测当前帧，用二次预测和编码误匹配信号能抑制丢包网 络中的差错传播；通过改变预测器和误匹配量化器，能实现编码效率和差错复原之间 的平衡；编码误匹配信号有助于消除差错传播。进一步的研究中，提出了运动补偿预 测的多描述视频编码方法，在解码器中模拟解码器有3 种可能情况，即接收两描述和 接收任意一描述，利用多描述变换编码和编码器中3 个独立预测环，针对3 种不同 的情况采用不同控制误匹配算法。 此外，多描述与匹配跟踪的结合一直是多描述研究中备受关注的课题，改变离散 余弦变换的结构，能实现匹配追踪。文献【3 6 】提出一种将多描述与匹配跟踪相结合的 视频通信方案。 多描述编码具有良好的抗误码性能、错误恢复能力，提高重建图像视频的质 量，不需纠错无需回馈信息，不采用重传机制等突出的优点。也是近年研究的热点， 1 2 华中科技大学硕士学位论文 各种新编码机制不断出现，例如与小波变换结合、与差错隐藏结合、自适应多描述编 码等等。 2 3 多描述可伸缩编码 多描述编码技术具有较好的容错性能，但没有考虑网络带宽的动态变化、网络服 务质量( q o s ) 以及不同种类的设备对信道的影响。本节介绍可伸缩编码与多描述编 码相结合的技术。 2 2 1 可伸缩编码( s c ) i n t e r a c t 视频传输面临诸多挑战，如网络带宽的波动、i p 数据包的丢失等等，传 统的编码方法生成的视频码很难适应复杂的带宽波动，例如m p e g 1 只能根据预先 设定产生固定码率的复合视频流，一旦网络阻塞、带宽不够视频流就无法正常传输。 目前解决这一问题合适的方法就是“可伸缩视频编码”，例如m p e g 一4f g s t ”j 。 可伸缩视频编码( s c a l a b l ec o d i n g ) 的基本原理是把视频数据区分成不同的优先 级，根据优先级可以对某些数据进行智能丢弃1 3 8 1 ，系统框图见图2 2 所示。可伸缩 视频编码通常生成两个视频流：基本层码流和增强层码流，基本层码流码率比较低， 是必须传输的。增强层码流可以根据实际带宽进行任意截断( 实际应用中即使丢失增 强层的数据，接收端仍然可以保持可接受的视频质量) 。其主要优点表现在几个方 面：由于视频流可以在一个很大的码率范围内自适应调整，所以可伸缩视频编码能适 应复杂的网络带宽波动；具有分级结构，可以使信源编码离开服务器或代理之前进行 视频流的舍弃，从而适应异构网络带宽变化的需要：不需回馈，延迟低；支持区分服 务( d i f f s e r v ) 等不同q o s 方式的网络匹配【6 j 。 存在的不足就是码流可靠性不高，若 基本层传输失效或包丢失，视频质量会严重下降。 目前可伸缩视频编码的主要机制有：数据分割的可伸缩性，时域、空域、信噪比 ( s n r ) 的可伸缩性以及目标可伸缩性( o b j e c ts c a l a b i l i t y ) 、精细粒度可伸缩性( f i n e c r l a i ns c a l a b i l i t y ) 等。 华中科技大学硕士学位论文 优先级低的通道 2 2 2 多描述可伸缩编码( m d s c ) 多描述可伸缩编码技术( m u l t i p l ed e s c r i p t i o nc o d i n gs c a l a b l ec o d i n g ) ，就是多 描述编码技术和可伸缩编码技术相结合，互相补充3 9 l 。一般的思想是用多描述方法 保护可伸缩编码的基本层信息，实际上，可以采用可伸缩编码进一步编码各个描述， 两极交叉。也就是个可伸缩视频流可分解为两个或多个多描述可分视频流，没有码 流转换，反之亦然，几个多描述可伸缩视频流可以表示一个可伸缩视频流。对于符合 此可伸缩格式的两个或多个描述中的一个都能够独立的被单独解码器解码。传输可伸 缩描述的个数和成分要根据信道的条件如不同的路径、应用需求( 延迟) 等。每一个 描述的传输速率都具有自适应性。m d s c 即具有网络带宽的自适应性又具有很好的 容错性能，在视频传输时吞吐率、冗余度、复杂度之间建立了平衡关系。 目前的主要执行机制有：基于精细粒度可伸缩和多重状态恢复的方法1 4 0 1 、采用前 向纠错( f e c ) 的方法4 ”、基于运动补偿时域滤波的方法【”1 。 1 、基于渐进精细粒度可伸缩和多重状态恢复的多描述可伸缩编码( p f g sa n d m s r b a s e dm d s c ) m p e g 一4 提出p f g s 基本思想是在增强层编码时使用前一帧重建的某个增强层图 一貅脒爵 一 厂，l 一 道通级先优 华中科技大学硕士学位论文 像为参考进行运动补偿，使得运动补偿更有效，提高编码效率。图2 3 中将原始视频 编码成一系列单独的目标，每个目标通过形状编码( 基于d c t ) 和渐进精细粒度可 伸缩编码压缩，形状和纹理信息被分配到四个不同目标平面，通过多路复用器，四个 不同目标平面会聚成一个具有四层的视频流，分别提取奇数、偶数帧生成不同的描 述。解码反之。 2 、基于前向纠错( f e c ) 的多描述可伸缩编码( f e c m d s c ) 基本方法是由信源编码器产生累进码流，分到不同层，形成可伸缩码流，不同层 分到几个多描述中，根据各层不同的重要程度加入不同的f e c 来改善恢复质量，如 图2 4 所示。 l 愿始视频 视频对象【 分割 ! i 三。! | p f g s 纹i 【形状编 j 理编码 码 一叮一 多路复用器 j 描述1 编剥串并转换i 描述2 。 通道1 通道2 图2 3 基于p f g s m s r 多描述可伸缩编码框图 i f d 图2 4 基于f e c 多描述可伸缩编码框图 ( a 产生f e e 的多描述使拯8 l 殳蛰柱伺描述郭可恢复；b 使用f e c 对可分级码流保护c 保护级别d 质量级别) 3 、基于运动补偿时域滤波的多描述可伸缩编码( m c t f - b a s e dm d s c ) 华中科技大学硕士学位论文 m c t f 是基于小波变换的编码，可以去除视频序列的时间冗余，运用金字塔分解 法去除长时间和短时间的时域相关性。一个可伸缩码流分为：含奇数高频帧和偶数高 频帧两个描述。码流全接收到，通过m c t f 反过程得到l l ( 1 个) 、l h ( 2 个) 、 h ( 6 个) 帧，有部分丢失时，通过l 帧和运动矢量信息近似获得。( 其中帧在运动 方向通过时域滤波产生低频l 帧，高频h 帧，) 原始码流分为两个码流时加入包括 运动矢量和l l 信息，解码质量随之提高，同时采用了可伸缩技术能适应网络带宽变 化。 2 4 本章小结 本章的主要内容是多描述编码技术的研究。分析了多描述编码技术的研究背景与 意义，基本原理与典型模型。分析了可伸缩编码的原理、优点和不足，讨论了多描述 可伸缩编码技术的优势：即拥有很好的容错性能，又具有网络带宽的自适应性。 1 6 华中科技大学硕士学位论文 3 基于多描述编码的多路径视频传输方法 本章探讨一种将多描述编码技术与多路径传输技术相结合的视频流传输机制。并 通过仿真实验对通过多描述编码方法将视频编码为多个流通过多路径传输与单路径传 输结果进行比较。 3 1 多路径传输技术的研究现状 多路径传输( m u l t i p l ep a t ht r a n s m i s s i o n ，m p t ) ：采用多条不相交的路径来传输 分组用以增加链路总容量、均衡负载、提高传输可靠性的一种机制。当前，在有线与 无线传输领域，m p t 技术都得到广泛的研究与应用。最早的n m x e m c h u k 提出分散 性路由：e a y a n o p l u 等人研究的采用多个并行路径的多样性信道编码机制来提高网 络的容错度；r k r i s h n a n 等人采用多路径路由来提高吞吐量。采用m p t 主要好处表 现在：增加传输的带宽和系统吞吐量；减少单个路径上的业务突发性和分组的投递延 迟：对通信信道的性能变化有更好的自适应性，从而增加传输可靠性。基于这些优势 提出种可以支持通用多路径通信并允许视频传输利用不同物理或虚拟路径的协议体 系结构是必要的。 目前，m p t 的研究