（信号与信息处理专业论文）基于时延受限重传的无线视频传输差错控制技术研究.pdf

南京邮电大学硕士研究生学位论文摘要 摘要 目前，随着互联网和无线移动网络技术的的发展，人们对无线多媒体信息服务的需求 也在逐年增加。数字视频传输作为多媒体信息服务的核心成为应用的关键技术。然而，由 于无线i p 网络存在的差错易发特性，只有采用有效的差错控制技术进行q o s 保证，才能 提供高质量的视频传输。因此，无线网络环境中的差错控制技术具有重要的研究价值和应 用前景。 本文针对无线视频传输原型系统中丢包性质进行深入的分析，探索进一步改善系统视 频传输性能的有效差错控制方法。论文首先对无线p 网络中视频传输的q o s 问题进行简 要的介绍，分类阐述当前主流的q o s 支持方法，然后通过对原型系统中丢包的分析，在系 统现有差错控制技术的基础上，提出进一步改进系统在c d m a 传输模式下的差错控制性 能的解决方案。该方案的核心思想是在网络视频服务器上，对主要发生丢包的无线链路通 过合适的算法区分丢包性质，对其中随机丢包通过反向信道通知无线视频发送端重传，发 送端结合优化的差错包重传策略，对其中随机丢包采取时延受限的重传，实现无线链路侧 的差错控制，提高系统的整体性能。之后对所提出的差错控制方案中的关键技术进行了分 析，通过理论和实验证明b i a z 、s p i k e 丢包区分算法的局限性和应用于系统方案的基于延 迟抖动丢包区分算法的适用性；针对应用层丢包重传方案带来的时延代价，分析降低发送 码率的应用层时延优化策略的局限性与应用于系统方案的底层缓存管理的时延优化策略 的适用性。第三，详细描述了该差错重传方案在原型系统中的实现。最后，论文通过比较 重传前与重传后的丢包率，以及解码图像的主观质量对比，有力地说明本文提出的重传差 错控制方案在有限的代价( 一定时延) 下改善了图像质量。 论文最后对所做的工作进行了总结，并提出进一步的工作方向。 关键词：无线视频，差错控制，丢包区分，丢包重传 a b s t r a c t w i t ht h ed e v e l o p m e n to fi n t e m e t ，w i r e l e s sa n dm o b i l en e t w o r k ，t h ed e m a n df o rw i r e l e s s m u l t i m e d i ai n f o r m a t i o ns e r v i c e sh a v eb e e ni n c r e a s i n gs t e a d i l y d i g i t a lv i d e ot r a n s m i s s i o n , a st h e b a s eo fm u l t i m e d i a 砌o r m a t i o ns e r v i c e ，h a sb e c o m et h ec r u c i a lt e c h n o l o g yf o rt h ea p p l i c a t i o n h o w e v e r , b e c a u s eo ft h ee r r o r - p r o n ec h a r a c t e r i s t i c so fw i r e l e s si pn e t w o r k , h i g hq u a l i t yv i d e o t r a n s m i s s i o nc o u l db ea c h i e v e do n l yi fe f f e c t i v ee r r o rc o n t r o lt e c h n i q u e sb e e na d o p t e dt o g u a r a n t e eo o s t h e r e f o r e ，t h ee r r o rc o n t r o lt e c h n i q u e su n d e rw i r e l e s sn e t w o r ke n v i r o n m e n th a v e m p o r t a n tt h e o r e t i c a la n da p p l i c a t i o nv a l u e s t h i st h e s i sm a i n l ym a k e sa n a l y s i so nt h ec h a r a c t e r i s t i c so ft h ep a c k e tl o s sf o ra p r o t o t y p e w i r e l e s sv i d e ot r a n s m i s s i o ns y s t e m ，a n de x p l o r et h ee f f e c t i v ee r r o rc o n t r o ls c h e m et of u r t h e r i m p r o v et h ev i d e ot r a n s m i s s i o nq u a l i t yo ft h es y s t e m a tt h eb e g i n n i n g ，i tb r i e f l yi n t r o d u c e st h e d e v e l o p m e n to fw i r e l e s sn e t w o r k , a n dt h e ni n t r o d u c e sc u r r e n tm a i ne r r o rc o n t r o lt e c h n i q u e sb y c l a s s i f i c a t i o n b a s e do nt h ea n a l y s i so ft h ep a c k e tl o s sa n dt h ea d o p t e de r r o rc o n t r o lt e c h n i q u e s o ft h ep r o t o t y p es y s t e m ，an e we r r o rc o n t r o ls c h e m eh a sb e e np r o p o s e dt of u r t h e ri m p r o v et h e d e l a y - c o n s t r a i n e dp a c k e tr e t r a n s m i s s i o no nt h en e t w o r kv i d e os e r v e rf o rt h er a n d o m p a c k e tl o s s ， b yr e a lt i m el o s sp a c k e td i f f e r e n t i a t i o n , s oa st oc o n t r o lt h et r a n s m i s s i o ne r r o ro nw i r e l e s sl i n k ， a n di m p r o v et h eo v e r a l ls y s t e mp e r f o r m a n c e f o rt h i sp u r p o s e ，a p p l i c a t i o nl a y e rr e t r a n s m i s s i o n a n dt h el o wl e v e lu a r tb u f f e rm a n a g e m e n t , a sw e l la s t h e a l g o r i t h m s f o rp a c k e tl o s s d i f f e r e n t i a t i o na r es t u d i e da n dc o m p a r e d t h es y s t e mt e s tr e s u l t sd e m o n s t r a t et h a tt h ep r o p o s e d e r r o rc o n t r o lm e t h o d sc a l lb r i n go u ts a t i s f a c t o r yi m a g eq u a l i t yw i t hl i m i t e dt i m ed e l a y t h et h e s i sf i n a l l ys u m m a r i z e dt h ew o r kt h a th a sb e e nd o n e ，a n ds u g g e s t sp o s s i b l ed i r e c t i o n f o rf u r t h e rr e s e a r c h k e y w o r d s ：w i r e l e s sv i d e o ，e r r o rc o n t r o l ，l o s sp a c k e td i f f e r e n t i a t i o n ，l o s sp a c k e tr e t r a n s m i s s i o n i i 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：之盈：】：塑日期：竺! ：竺f ，6 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名： 勿十劾导师签名： 日期： 南京邮电大学硕士研究生学位论文第一章引言 第一章引言 1 1 无线视频传输应用及q o s 问题 在过去几年中，视频压缩技术和网络宽带技术的迅速发展已使高质量流媒体图像通过 i n t e m e t 网络流畅地传输成为现实。与此同时，随着无线技术的迅速发展，无线网络及传统 的移动通信网都已成为i n t e m e t 的重要组成部分【i 】。3 g 蜂窝网络是移动通信技术发展的产 物，其主要特征是可提供丰富多彩的移动多媒体业务f 2 】。目前3 g 技术标准主要有三种： w c d m a ，c d m a 2 0 0 0 与t d s c d m a 。c d m a ( c o d ed i v i s i o nm u l t i p l ea c c e s s 码分多址) 是第三代移动通信系统的技术基础，它是在数字技术的分支扩频通信技术【3 】上发展起 来的。c d m a 网络速度的提高( c d m a l x 理论上1 5 3 6 k b 秒，实际应用上可达到1 1 0 k b 秒左右) 使高质量图像也能通过c d m a 无线网络传输( 尽管图像不能完全流畅) ，给不能 利用宽带网传输视频图像的场合开拓了新前景。 与无线视频传输应用紧密相关的是q o s i h - j 题。q o s 即服务质量( q u a l i t yo f s e r v i c e ) ，是 网络在传输数据流时要求满足的一系列服务请求，具体量化为带宽、延迟、延迟抖动、吞 吐量【4 j 等性能指标。此处的服务具体是指数据包( 流) 经过若干网络节点所接收的传输服 务，强调端到端的整体性。q o s 反映了网络元素( 例如，应用程序、主机或者路由器) 在 保证信息传输和满足服务要求方面的能力。无线视频传输应用相对于传统的数据传输有其 特殊的q o s 要求。 无线视频传输有实时性要求，对端到端的传输时延、抖动非常敏感。如对于视频会议 系统，i ，r u t 提出单向延时的上限为1 5 0 m s 。 无线视频传输对丢包率有一定的要求。流媒体传输通常基于不可靠的传输协议，同时 无线信道高误码率会导致包的丢失传输错误。少量的丢包也可能造成性能的急剧下降，而 持续的丢包会使服务质量不可接受。h 3 2 3 系统规定视频的数据包丢失率要少于1 ；而音 频的丢包率要少于3 。 无线视频传输对带宽有一定的要求，并且需要尽量平滑的吞吐量。只有保证一定的带 宽才能使足够的数据包及时准确地传送到接收端，从而达到令人满意的播放质量；因为网 络带宽不足而造成的拥塞崩溃和过长的延时对用户感受的服务质量也有破坏性的 影响。因此，视频流的编码质量必须与链路的带宽相匹配，才能保证接收端及时地接收到 足够的数据进行解码播放。因此必须进行有效的拥塞控制。 1 直塞业生丕堂塑主盟丝兰芏垡堡苎里二至! 耋 目前，不论是有线还是无线网络，都是向全i p ( i n t e m e tp r o t o c 0 1 ) 化发展。他们的实 现都遵循t c p i p 习络体系结构标准，建立在提供尽力而为服务的i p 基础之上。在无线i p 网 络和尽力服务( b e s t e f f o r t ) 的i n t e m e t 6 7 传输数据时会发生丢包、超时等传输差错。由于视 频压缩编码技术极大程度地去掉了视频帧内和帧间的冗余性，一个视频数据包的丢失会影 响其它数据包的解压缩，一个视频帧的丢失或损坏同样会影响到其它相关帧的解压缩，直 接损害接收端视频播放的q o s 。因此，需要在视频传输的同时进行传输的差错控制处理。 1 2 课题背景及系统组成和特点 本文基于南京邮电大学图像处理与图像通信重点实验室研制成功的多模式无线视频 传输实验系统”l ，研究在c d m a 工作模式下的实时视频传输的差错控制技术。在多模式无 线数字视频传输原型系统中，系统由无线视频发送端、公网视频服务器、内网视频服务器 和视频显示终端组成，涉及多种网络：无线局域网( w l a n ) 、有线局域网、无线广域网 ( c d m a 和g p r s ) 以及互联网( i n e m e t ) ，整个系统的框架结构如图1 1 所示： 眵巷， s * # g p r h 镕 ，m * o c d “h 8 确： 蟛 刿l i 无线视频传输系统的框架结构 其中，无线视频发送端完成视频采集和发送，采用w l a n 、c d m a 和g p r s 等多种 无线接入网络；内网和公网视频服务器负责信令和视频转发，处于混合网络边界，起到分 段作用：显示终端处于有线局域网或互联网，解码显示所接收的视频。 在此系统中，无线视频终端通过各种无线接入网络连接到视频服务器( 包括内网和外 网视频服务器) ，显示终端通过各种有线网络也连接到视频服务器，两个视频服务器之间 是有线连接。系统的工作流程可以简单归结为：显示终端首先发起视频请求，服务器将此 请求转发给无线视频发送端，无线视频发送端收到请求后就开始采集编码，并将编码后的 采 纷珧 南京邮电大学硕士研究生学位论文第一章引言 视频流通过无线网络发送至视频转发服务器，视频服务器再将视频流通过有线网络转发给 相应的显示终端。 在该系统中，无线视频发送端以p h i l i p s 公司的多媒体数字信号处理器t m l 3 0 0 为硬件 处理核心，结合无线传输模块，实现了基于h 2 6 3 建议的无线视频编码和发送。系统传输 采用r t p u d p i p 方式来提供了一定的q o s 保证。针对在c d m a g p r s 网络条件差时会出 现较多的丢包和w l a n 传输模式下的包乱序等情况，实验室项目组的前期研究中已经开 展了相关的研究：例如基于显示终端的误码掩盖、基于信息隐藏的误码掩盖、w l a n 包乱 序重排等。这些措施在很大程度上改善了系统视频的传输质量。本课题的任务就是要在这 些工作的基础上，继续分析系统的传输特性和出错特点，针对c d m a 传输模式中的丢包 现象，研究视频实时传输的差错恢复技术，以进一步改善系统中视频传输的质量。 1 3 本文的主要工作以及内容安排 在实时无线视频传输中，为了适应无线m 网络的差错易发特性，需要差错控制技术进 行q o s 保证。本文以“多模式无线视频传输系统项目为平台，结合系统的网络组成结构， 提出了一种基于时延受限的重传差错控制方案。在通过实时区分丢包性质进行重传提高视 频传输质量同时，通过对传输的有效控制实现对重传缓存的动态控制，对重传带来的时延 代价提出优化策略，实现无线移动发送端到视频服务器端的重传，改善系统的差错控制性 能。最后通过实际系统测试验证了该方案的有效性，说明研究工作具有一定的理论意义和 实用价值。 本文的内容安排如下： 第一、二章：介绍了目前无线视频通信技术的发展情况及遇到的挑战和目前主要的无 线视频传输q o s 支持方法，包括网络和端到端的q o s 支持方法，在系统已有差错控制基 础上针对丢包现象提出基于时延受限的重传差错控制改进方案。 第三章：详细分析本文提出的差错控制改进方案原理，分析不同丢包区分算法和时延 代价优化策略的局限性和适用性，确定采用基于延迟抖动的丢包区分算法和底层缓存管理 的时延代价优化策略进行时延受限的丢包重传。 第四章；结合系统通信软件结构，详细分析差错控制改进方案在系统中的实现。 第五章：通过实验分析基于延迟抖动的丢包区分算法和基于底层缓存管理的时延代价 优化策略的适用性及差错控制策略的整体性能。结果表明：本文提出的差错控制方案确实 在有限的代价( 一定时延要求) 下改善了图像质量。 3 南京邮电大学硕士研究生学位论文第一章引言 第六章：总结和展望。 针对无线i p 网络上的视频传输丢包现象，本文的创新点主要有以下几方面： 1 经过研究发现在进行应用层丢包重传差错控制时，在一定的网络传输条件下，底层缓 存会影响重传时延代价。应当注意对底层缓存的优化，降低重传时延提高差错控制的 有效性。 2 针对无线视频传输实验系统的典型应用环境，提出一种时延受限的重传差错控制方法， 并且在系统中实现。该方法实时对丢包原因进行判断，通过对低层传输进行有效控制 进而实现有效的缓存控制，实现了从无线移动发送端到视频服务器端的一定时延要求 下的差错包重传，提高了系统的差错控制性能。 4 宣枣邮电大学硕士研究生学位论文第二章无线视频传输的q o s 保证及系统差错控制方案设计 第二章无线视频传输的q o s 保证及系统差错控制方案设计 2 1 无线视频传输的q o s 支持方法概述 通常有两种无线流媒体传输的q o s 支持方法：一种是以网络为中心的方法【6 】在这种 方法中，网络中的路由器交换机或基站接入点为不同的应用提供区分优先级的服务质量 支持以满足不同的带宽，延时和丢包的要求等。另外一种是以终端系统为中心的方法，终 端系统提供端到端的服务质量支持。终端系统采用各种控制技术，包括拥塞控制，差错控 制和传输层协议控制等在底层网络没有任何服务质量支持的情况下给应用层提供最好的 服务质量。 2 1 1 以网络为中心的q o s 保证机制 1 综合服务模型：口综合服务( i n t s e r v ) 体系结构是对现有的i p 网络模型的一个增强， 它可以同时提供实时服务和尽力而为服务。在综合服务的模型中，包括设置协议、流 分类器、分组调度器、接纳控制、策略控制等。设置协议使主机或路由器能够动态地 预留资源，以便满足业务流的服务需求，r s v p 就是设置协议的一个例子。流规范( f l o w s p e c i f i c a t i o n ) 用于定义提供给一个特定业务流的q o s 。流量控制( t r a f f i c c o n t r 0 1 ) 是 网络设备中的一些组件控制和管理为支持特定q o s 所必需的网络资源的一种行为。接 纳控制用于确定一个设备是否能够支持某特定数据流所需要的q o s 。策略控制判断用 户是否有权进行资源预留。流分类器用于以分组头中特定字段的内容为基础鉴别和选 择某种业务类型。调度器用于在设备的输出链路上提供所需的q o s 服务类型。 2 区分服务模型i n t s e r v 要求在主机和路由器上维持为业务预留资源的状态信息，并且这 些状态信息需要定期刷新。对于骨干网上的核心路由器来说，维持这些状态信息极大 的制约了核心路由器转发分组的能力，i n t s e r v 模型的扩展性明显受到制约，不适合大 规模使用。而m t f 的另一个q o s 模型d i f f s e r v 中，对进入网络的i p 分组进行分类、 标记以及可能的调整都是由网络边缘设备来完成的，而核心路由器的交换部件只需要 很少的改动或者根本就不需要改动。与整体升级以支持r s v p 和d i f f s e r v 流量控制方 案相比，在其中加入一些能进行分组识别并把分组放进相应的队列的比特分类器只是 一个很小的升级。在d i f f s e r v 的模型边缘路由器完成分类、策略控制、计量、分组标 南京邮电大学硕士研究生学位论文第二章无线视频传输的q o s 保证及系统差错控制方案设计 记、队列调度等功能，而核心路由器负责高速转发分组。策略控制器( 流量管制器) 对分组进行整形或丢弃，以便使之能够符合其所传输的服务的流量协定。分组标记器 标记d s 字段中的一个或多个比特，以标示这些分组是否与某个特定业务类型或协定 的筒表相关。队列管理调度器管理队列的长度，调度分组的发送。和i n t s e r v 相比 d i f f s e r v 有很大的优越性：首先，在网络中不需要维护每个业务流的信令或状态；其 次，可以为由许多单个流汇聚成的服务类型提供具有优先级的服务：第三，每个单独 的主机或应用程序都可以不需要修改就能接受具有优先级的服务。 2 1 2 以终端为中心的拥塞控制 有线网络中突发性的丢包和过长的延迟对视频播放质量具有破坏性的影响，而它们往 往是由于网络拥塞造成的。减少丢包和延迟的一个重要方法是在发送端或接收端采用拥塞 控制。 拥塞控制有两种机n - 速率控制和码率整形。速率控制通过控制视频流的码率使其与 可用的网络带宽相匹配，力求将网络拥塞和丢包的数目降至最低。而码率整形则迫使发送 端以速率控制算法规定的码率发送视频流。 速率控制是基于估计的网络可用带宽来确定视频流发送速率的技术。现有的速率控制 方案可以分为三类：基于源端的、基于接收端的以及混合速率控制。 基于源端的速率控制：在基于源端的速率控制机制中，由发送端负责调节视频流的传 输速率。通常，基于源端的速率控制机制要利用反馈信息。发送端根据网络的反馈信息调 整视频流的码率。基于源端的速率控制机制可应用于单播和组播。对于单播，现有的基于 源端的速率控制机制以两种方法实现：基于探测的方法和基于模型的方法。 基于探测的方法建立在探测实验的基础上。源端通过调整发送速率探测可用的网络带 宽，方法是使丢包率小于某个域值。有两种方法用于调节发送码率：加法增加乘法减小 a i m d 7 i 和乘法增加乘法减小m i m d 。 基于模型的方法建立于t c p 吞吐量方程的基础上，该方程即为圈： r =( 2 1 ) 其中r 是t c p 连接的吞吐量，s 是该连接使用的数据包的大小，i m 是该连接的往返时间， p 为该连接的丢包率。在基于模型的速率控制中，此吞吐量方程用于决定视频流的发送速 率。这样视频连接就可以用类似于t c p 的方式避免拥塞，而且能够与t c p 流公平竞争。 6 南京邮电大学硕士研究生学位论文第二章无线视频传输的q o s 保证及系统差错控制方案设计 因此，基于模型的速率控制又称为“t c p 友好 的速率控制。 基于接收端的速率控制：在基于接收端的速率控制中，接收端调整视频流的接收码率， 而发送端不参加速率控制。一般基于接收端的速率控制只应用于分层的组播，而不用于单 播。和基于源端的速率控制类似，基于接收端的速率控制机制也有两种实现方法：基于探 测的方法和基于模型的方法。基本的基于探测的速率控制包括两部分：、当没有检测到 拥塞时，接收端通过增加一层来探测可用的带宽，从而提高了它的接收码率；若再加入一 层后，没有检测到拥塞，则加入试验成功。否则，接收端丢掉新加入的层。二、如果检测 到拥塞，接收端丢掉一层，使它的接收码率降低。 混合的速率控制：在混合的速率控制中，接收端调整接收速率，同时发送端根据从接 收端反馈的信息调整发送速率。 码率整形技术可以用于将压缩的视频比特流的码率修正到目标码率限制。码率整形器 是压缩层与网络层之间或两个网段之间的一个接口( 或滤波器) ，通过它可以实现视频流 与可用带宽之间的匹配。 码率整形器或滤波器有许多类型，包括： 1 编解码滤波器：编解码滤波器对视频流进行解压缩和再压缩。它们通常用于实现不同 压缩方案之间的转码。取决于所用的压缩算法，转码可以简化，无需进行完全的解压 缩和再压缩。 2 丢帧滤波器：丢帧滤波器可以区分帧的类型( 例如m p e g 中的i 帧、p 帧和b 帧) ，并 根据帧的重要程度丢弃某些帧。例如，丢帧顺序可能首先是b 帧，其次是p 帧，最后 是i 帧。丢帧滤波器通过丢掉一定数目的帧减小视频流的码率。剩余的帧只需要较低 的码率。这种滤波器可以用于信源或网络上。 3 丢层滤波器用于分层编码的视频流，可以识别并根据重要程度丢弃某些层。丢弃顺序 从最高增强层往下直到基本层。 4 频率滤波器：频率滤波器在压缩域( 即频域) 进行操作。频率过滤机制包括低通、退 色和彩色到单色滤波。低通滤波器丢掉较高频率的d c t 系数。退色滤波器与低通滤波 器执行相同的操作，但它只处理视频流中的色度信息。彩色到单色滤波器从视频流中 去掉所有的彩色信息。在m p e g 中，这是通过将色度块用空块进行替换来实现的。与 丢帧滤波器不同，频率滤波器降低了所需带宽而不影响帧率，但它降低了最终帧的显 示质量。 5 再量化滤波器：再量化滤波器在压缩层( 即d c t 系数) 进行操作。这种滤波器首先通 过反量化从压缩的视频流中提取出d c t 系数，然后用较大的量化步长对d c t 系数重 7 塑室墅皇盔堂亟主堑窒生堂垡垒塞蔓三童垂垡塑塑堡坌塑q 旦兰堡垂垦丕笙差壁鳖型友塞堡盐 新进行量化，从而降低了码率。 综上所述，拥塞控制的目的是防止丢包。然而事实是在因特网上丢包是不可避免的， 并且丢包可能会显著地影响接收质量，因此需要设计一种机制以在出现丢包的情况下实现 视频播放质量的最优化。差错控制就是这样一种机制。 2 1 3 以终端为中心的差错控制 差错控制技术主要包括以下几种类型：一、传输层差错控制，包括f e c 和时延受限的 重传；二、编码端容错编码；三、解码端的差错隐藏。此外还有编解码端交互的差错控制 等。 1 传输层差错控制 前向错误纠正( f e c ) 是数据通信中用于检错和纠错的最常见方法。f e c 通过在原始 信息流中加入冗余信息，以便在出现丢包的情况下可以正确地重建出原始消息。在i n t e m e t 应用中，一般是对数据包进行块编码。具体地说，首先将视频流切分成段，每一段打成k 个包；然后对每一段的k 个包进行块编码( 例如t o r n a d o 编码) ，生成一个含有n 个包的块， 其中n k 。要完全恢复整个段，用户只需要接收到1 1 个包中的任意k 个。由于f e c 增加了 传输开销，从而降低有效负载数据的可用带宽，在带宽有限但可以容忍一定程度损失的视 频业务中，、必须谨慎使用。 重传也是数据通信中一种用于纠错的常见方法。通常在实时视频传输中不考虑重传的 方法，因为重传的数据包可能已经错过了其播放时间。然而，在流媒体应用中，如果数据 包的单程传输时间相对于最大允许延迟而言很小，那么时延受限的重传可以作为差错控制 的一个可行的选择。根据由谁决定是否发送或响应重传请求，可以将时延受限的重传机制 分成三种：基于接收端的、基于发送端的以及混合控制。基于接收端的重传控制的目标是 使不能按时到达的重传请求最小。基于发送端的重传控制的目标是抑制发送端发送不能按 时到达接收端的重传数据包。混合控制是基于发送端和基于接收端控制的简单组合。在组 播的情况下，重传必须限制在位置较近的组播成员之内，这是因为这些成员之间单程传输 时间会比较小，使得重传非常有效。典型的做法是配置一棵逻辑树来限制重传请求的数目 和范围，并且实现位置较近的组播成员之间的差错恢复。另外为解决异构问题，可以采用 接收端发起的差错恢复机制。 2 编码端容错编码 编码容错机制从压缩的角度来解决丢包恢复的问题。具体地说，它们试图在压缩层阻 堕塞塑皇盔堂堡主婴壅生堂垡堡塞篁三童垂垡堡塑垡绝盟q 2 墨堡适垦丕笙差堂丝剑查塞堡盐 止差错传播或者限制损坏( 由丢包引起的) 的范围。典型的差错恢复工具包括重新同步标 记、数据分割和可逆的可变长编码【9 】。这些技术主要是针对以比特错误为主的环境，如无 线信道。对于采用基于数据包的传送方式的i n t e m e t 上的视频应用，一个数据包的丢失可 能导致所有运动数据以及相关的形状和纹理数据的丢失，因此这些技术可能不是很有用。 而且，数据包的边界已经为接收端提供了可变长编码比特流的同步点，这就使得重新同步 标记显得有些多余。两种非常有效的在i n t e m e t 上实现鲁棒视频传输的机制分别是最佳帧 内帧间模式选择和多描述编码。 最佳帧内帧间模式选择是视频编码中引入的一种鲁棒性机制。在视频编码中，通常采 用帧间编码( 即预测编码) 以获得较高的编码效率。对于这些编码输出，一个数据包的丢 失可能导致多个帧的视频质量退化，直至接收到下一个帧内编码的帧为止。于此相反，帧 内编码可以有效地阻止差错传播，但缺点是编码效率不高。因此应该采用一种有效的在帧 内和帧间模式之间的进行选择的机制，以增强由帧内和帧间编码压缩的视频的鲁棒性，同 时保证一定的编码效率。 多描述编码( m c ) 是另一个兼顾压缩效率和鲁棒性的方法。与其他容错技术相比， 它处理数据包丢失问题更为有效。为了在i n t e r n e t 上传送m d c 流，需要对不同描述的比特 分别进行打包，并通过不同的路由传输( 如果可能的话) 。另一种方法是，把包含不同描 述的数据包进行适当的交织，这样数据流的拥塞就不会造成所有描述的丢失。 3 解码端差错隐藏【1 0 l 当解码端检测到丢包时，可以采用错误隐藏机制来隐藏丢失的数据，从而使显示更加 悦目。由于观众可以容忍一定程度的视频信号失真，因此差错隐藏是处理丢包问题的一种 可行的技术。 差错隐藏有两种基本的方法，即空域插值和时域插值。在空域插值中，丢失的像素值 由相邻的空域信息进行重建：而在时域插值中，丢失的数据由以前帧的数据进行重建。一 般情况下，空域插值用于重建帧内编码帧中丢失的数据，而时域插值用于重建帧间编码帧 中丢失的数据。 以上所述为终端系统中的差错控制技术，如果能结合网络提供q o s 支持，那么系统性 能就可以进一步提高。 2 1 。4 端到端q o s 的传输层协议保证 t c p 和u d p 是用来保证端到端q o s 的传输层协议。用户数据报协议( u s e rd a t a g r a m 9 宴室堂皇盔堂塑主塑塞生堂垡迨塞 笙三童垂垡望塑堡熊箜9 2 1 堡堡垦圣垒薹堡笙型立壅垦盐 p r o t o c o l ，u d p ) 是一个不可靠的无连接的传输层协议。应用进程写一数据报到u d p 套接 口，由它封装成i p v 4 或i p v 6 数据报，然后发送到目的地。但是u d p 并不能确保u d p 数 据包最终可到达目的地。 每个u d p 数据报都有一定的长度，可以认为一个数据报就是一个记录。如果最终正 确地到达目的地( 即分组到达目的地且校验和正确) ，那么数据报的长度将传递给接收方 的应用进程。u d p 也称为无连接的服务，因为u d p 客户与服务器不必存在长期的关系。 传输控制协议( t r a n s m i s s i o nc o n t r o lp r o t o c o l ，t c p ) 是面向连接【l i 】的可靠的传输层协 议，在逻辑上是全双工( 双向) 的。向应用进程提供的t c p 服务与u d p 服务不相同，主 要包括以下几个方面。首先，t c p 提供客户与服务器的连接。一个t c p 客户建立与一个给 定服务器的连接，通过连接与那个服务器交换数据，然后终止连接。其次t c p 提供可靠性。 当t c p 向另一端发送数据时，它要求对方返回一个确认。如果确认没有收到，t c p 自动重 传数据并等待更长时间。在数次重传失败后，t c p 才放弃。重传数据所花的总时间传统上 是4 1 0 分钟( 与现实有关) 。t c p 含有动态估算客户到服务器往返所花时间砌盯的算法。 第三，t c p 通过给所发的每个字节关联一个序列号进行排序。如果这些字节非顺序到达， 接收方的t c p 将根据它们的序列号重新排序，再把结果数据传递给应用进程。如果t c p 接收到重复的数据，它也可以判定数据是重复的( 根据序列号) ，从而把它丢弃掉。第四， t c p 提供流量控制。t c p 总是告诉对方它能够接收多少字节的数据，这称为通告窗口。任 何时刻，这个窗口指出接收缓冲区中的可用空间，从而确保发送方发送的数据不会溢出接 收缓冲区。窗口时刻动态地变化：当接收发送方的数据时，窗口大小减小，而当接收方应 用进程从缓冲区中读取数据时，窗口大小增大。窗口的大小减小到0 是有可能的：t c p 的 接收缓冲区满，它必须等待应用进程从这个缓冲区读取数据后才能再接收从发送方来的数 据。最后，t c p 的连接是全双工的。这意味着在给定的连接上应用进程在任何时刻既可以 发送也可以接收数据。因此，t c p 必须跟踪每个方向数据流的状态信息，如序列号和通告 窗口的大小。 通过以上比较可以发现，u d p 不具备t c p 复杂的可靠性与控制机制。很明显，当数 据传输的效率必须让位于数据传输的完整性、可控制性和可靠性时，t c p 协议是当然的选 择。但是，t c p 丰富的功能有时会导致不可预料的性能低下。当强调传输效率而不是传输 的完整性时，如音视频等多媒体应用，u d p 是最好的选择。在数据传输时间很短，以至于 此前的连接过程成为整个流量主体的情况下，u d p 也是一个好的选择。 互联网工程任务组i e t f ( i n t e r a c te n g i n e e r i n gt a s kf o r c e ) 在1 9 9 6 年把r t p r t c p 接纳为i n t e r a c t 标准。r t p r t c p 协议族由实时传输协议r t p ( r e a l t i m et r a n s f e rp r o t o c 0 1 ) 1 0 南京邮电大学硕士研究生学位论文第二章无线视频传输的q o s 保证及系统差错控制方案设计 和实时传输控制协议r t c p ( r e a l t i m et r a n s f e rc o n t r o lp r o t o c 0 1 ) 构成。详见j a c o b s o n 等 人的文章1 1 2 。在媒体流化技术研究中，人们不断地对r t p r t c p 提出补充修改意见，i e t f 组织也不断修改更新r t p r t c p 协议，目前的最新版本为1 9 9 9j u n e 版。r t p r t c p 是端对 端的协议。在网络层次中，r t p r t c p 虽然位于应用层，但多数应用还在r t p r t c p 之上 建立更符合应用要求的协议。在网络传输过程中，r t p r t c p 不处理连接建立工作，其下 层网络既可以是有连接的，也可以是无连接的。如果传输流媒体，r t p r t c p 一般基于组 播协议；它并不要求特定地址格式，而仅要求下层提供相对好的分帧、合帧及分段、合段 的工作；该协议不提供可靠性保障，作为应用的一部分，该协议并不是操作系统的内容。 下面将介绍两种协议的格式和功能。 r t p 协议对媒体流数据进行封装，每个r t p 数据包都由头部和负载数据( p a y l o a d ) 两 部分组成。负载数据就是要传输的视频、音频等数据。r t p 包头部由对负载的描述信息构 成【1 3 1 ，图2 - 1 为典型的r t p 包头结构。 vpxc cmp a y l o a dt y p e ( p 1 ) s e q u e n c en u m b e r ( 序列号) t i m e s t a m p ( 时间戳) s s r c ( n 步源标识符) c s r c ( 贡献源标识符) p a y l o a d ( 负载数据) 图2 - 1r t p 数据包格式 多媒体网络应用把r t c p 和r t p 一起使用，尤其是在多目标广播中更具吸引力。当 从一个或者多个发送端向多个接收端广播声音或者电视时，也就是在r t p 会话期间，每 个参与者周期性地向所有其他参与者发送r t c p 控制信息包。r t c p 用来监视服务质量和 传送有关与会者的信息。对于r t p 会话或者广播，通常使用单个多目标广播地址，属于 这个会话的所有r t p 和r t c p 信息包都使用这个多目标广播地址，通过使用不同的端1 2 1 号，可以把r t p 信息包和r t c p 信息包区分开来。 r t c p 的主要功能是为应用程序提供会话质量或者广播性能质量的信息。每个r t c p 信息包不封装音频数据或者视频数据，而是封装发送端和接收端的统计报表。这些信息包 括发送的信息包数目、丢失的信息包数目以及信息包的抖动等情况，这些反馈信息对发送 端、接收端或者网络管理员都是很有用的。r t c p 规格没有指定应用程序应该使用这个反 馈信息做什么，这完全取决于应用程序开发人员。例如，发送端可以根据反馈信息来修改 传输速率，接收端可以根据反馈信息判断问题是本地的、区域性的还是全球性的，网络管 理员也可以使用r t c p 信息包中的信息来评估网络用于多目标广播的性能。 南京邮电大学硕士研究生学位论文 第二章无线视频传输的q o s 保证及系统差错控制方案设计 r t c p 用于统计、管理和控制r t p 数据包的传输。r t c p 通过发送和接收r t c p 报 文传递信息，每个报文有其特定的类型码和长度标识。r t c p 在流媒体传输中的作用为： 1 q o s 萋穗每壤趔笋嘲鹾二爨寥含有- q o s 信息。在组播环境下，会话各方亭绰知道其一 他会话主机的数据传输状况。音频或视频数据的发送主机应定期播发发方报告，发方 报告包括媒体同步信息、已发信包数目和比特数目，这些信息可用于计算发送速率。 而会话的接收主机定期播发接收报告，接收报告包括接收信包的最大序列号、丢失包 数目、媒体流的抖动情况等，这些数据可用来计算从发方到收方的回路延迟。 2 媒体同步。r t c p 发方报告内的时间戳可用来同步不同的媒体流。 3 附加信息传递。r t c p 有一类称为s d e s ( $ o u r c cd e s c r i p t i o n ) 的报文，内含标识名、 用户名称、电话号码、e - m a i l 等信息，其中标识名是会话中每个参与者的惟一标志。 这些附加信息可用于会话管理。 目前r t p r t c p 与u d p 等传输层协议配合使用，已经成为流媒体传输使用最广泛的 协议。 2 2 原型系统现有的端到端的差错控制方案分析 课题研究在c d m a 工作模式下的实时视频传输的差错控制技术。由多模式无线视频 传输系统介绍可得课题目标系统的传输网络模型，如图2 2 所示。 ，一、c d m a l x 网络广有线链路，、 ( 发端卜一一一一一l 服务器卜一显示终端) 、_ _ _ 一，l _ _ - j 、，一 图2 - 2c d m a 系统传输网络模型 由以上模型可以看出，c d m a 视频传输系统简单地分为发送端、服务器和显示终端。 公网服务器将两个完全不同类别的子网连接起来。一段是发送端到服务器之间的连接，经 过发送端到基站的无线链路和c d m a 核心网；另一段是服务器和显示终端之间的连接， 包括服务器到公网显示终端与服务器经过内网服务器到内网显示终端，采用有线链路。 系统采用r 曙协议提供实时视频流的端到端的传输服务。r t p 并不是典型意义上的传 输协议，因为它并不具备一个典型传输协议的所有特点。它没有连接的概念，因而必须建 立在底层的面向连接或无连接的传输协议之上。r t p 协议中没有规定采用何种传输层协议， 由于u d p 是无连接的，具有延时较小等比较符合实时传输要求的特点，所以系统采用u d p 作为它的传输协议。图2 3 说明了r t p 在协议层中所处的位置。首先用r t p 协议把视频数 1 2 宣京邮电大学硕士研究生学位论文 第二章无线视频传输的q o s 保证及系统差错控制方案设计 据封装，再由u d p 协议对r t p 数据包进行封装，最后在口层封装为口包进行传输【1 4 1 。 f口头u d p 头酣阳头r t p 负载数据 一 u d p 数据 7 - - t n 嵩k 星一 一儿：! u 0 l l t c l 一 图2 - 3 用u d p 口来封装r t p 数据包 u d p 是面向无连接的传输层协议，不能保证传输的可靠性。经过在系统上的传输实验 发现，当视频使用u d p 作为传输层协议从发送端经过c d m a l x 网络到服务器端时，会发 生大量丢包现象，丢包率在1 0 o - 5 左右，从服务器经过有线网络到显示端之间几乎很少发 生丢包现象，丢包率在0 0 5 - 4 ) 2 左右。 根据系统网络结构，在系统有线网络这一侧，因为有线链路的误码率低【1 5 】( 1 0 。i z ) 可 忽略不计，导致丢包最主要的原因是中间路由器出现拥塞情况。比如说，报文从一个高速 链路传输至低速链路，当中间路由器缓存不够大时，就会出现丢包现象，通常把这种丢包 现象称为拥塞丢包。 在系统c d m a 网络这一侧，无线通信