（通信与信息系统专业论文）internet上流媒体传输技术研究与实现.pdf

l 华中科技大学硕士学位论文| 一 l l 摘要l | 随着i n t e r n e t 的发展，新的应用如视频会议、远程教育和i p 电话等不断出现。这些应l 4 用与传统的数据业务相比具有不同的要求，比如它们需要“三低一高( 低延迟、低抖f 动、低丢失率和高吞吐量) 这些都给传统的i p 网络带来新的挑战。本文所要涉及和探讨l 鼍 的就是在传统i p 网上流媒体的传输理论和算法。论文是在国家科技部技术创新基金项目l ( n o 0 0 c 2 6 2 2 4 2 1 0 6 4 1 ) “远程教学协同群件产品”和国家教育部重点科学技术项目 ( n o 2 0 0 0 1 7 5 ) “现代远程教育关键技术：交互式实时教学q - 具软件”的资助下完成l 的。，| 视频序列般都采用压缩算法，比如m p e g - 4 ，来减少数据量。这些压缩算法大多采| 用减梦视频序列的帧间冗余性来获得高压缩比。但是，视频数据的包丢失将会使得视频质f 量下降，更为严重的是将导致错误传播。尽管流媒体的实时性使得重传所有丢失包方法不 可取，但是我们可以利用m p e g 4 的性质，重传一些重要的帧数据包来减少错误传播。本 文提出了一个分析模型来描述包丢失对视频质量的影响，我们用试验验证了模型的正确 性。文中提出基于选择的重传算法来控制错误传播，并对r t p 协议进行了扩展，该协议允 许使用应用层组帧和收端驱动的基于优先级的选择重传机制。 i n t e m e t 带宽的波动性特性使得它无法获得高利用率和恒定的高质量播放速率。流媒体 不仅要适应网络的带宽波动，同时要尽可能使得传输速率符合流媒体要求。t c p 的a i m d 算法将导致发送速率波动过大，使其不适合流媒体传输的性能要求，因此要求有新的拥塞 控制算法。文中我们介绍和分析了一种新的非线性拥塞控制算法一二项式算法。该算法是 对t c pa i m d 算法的推广。在文中我们分析了该算法的t c p 友好性以及它对流媒体传输速 率的影响。厂一 延迟是i n t e m e t 的另一个特性，媒体流经过i n t e r a c t 后产生不同的延迟，使得发送端同 步的多媒体流在接收端不再同步。本文针对我们远程教学中的特殊情况，我们提出了一种 新的媒体同步协议。该协议既能保证媒体内同步，又能保证所有参与者间的群同步。我们 对该协议进行了理论分析，并进行大量的试验来验证。 远程教学系统是目前国内外流媒体的典型应用之一。本文第五章介绍了本人参与的实 时多媒体远程教学系统结构和功能模块，以及上述技术在该系统中的应用。 关键词：包亍萝基于重传2 j 箩笋复，带宽氅尹拥2 i 箩n 多媒。：多步远琶萝学系统 vv v ， i i ：誓e1 ：7 。，i 蕊夏；嚣j 蠢蒜 纛i 羲一了菸? 攀 华中科技大学硕士学位论文 a b s t r a c t a st h ei n t e m e tc o n t i n u e st og r o w , n e wa p p l i c a t i o n sl i k ev i d e oc o n f e r e n c e d i s t a n c e1 e a r n i n g a n di n t e r a c tt e l e p h o n ya r ee m e r g i n g t h e s ea p p l i c a t i o n sh a v ed i f f e r e n tr e q u i r e m e n t sf r o mt h e a p p l i c a t i o n st h a tt h ei n t e m e th a ss u p p o s e dt r a d i t i o n a l l y t h e yp r e f e r “t h r e el o w , o n eh i 2 h ”一l o w d e l a y ，l o wj i t t e r , l o wp a c k e tl o s sa n dh i g ht h r o u g h p u t t h e s er e q u i r e m e n t sm a k et h ed e p l o y m e n to f t h e s ea p p l i c a t i o n sm o r ec h a l l e n g i n g t h et h e s i si n t r o d u c e sa n da n a l y z e st h et r a n s m i s s i o nt h e o r y a n da l g o r i t h m so fs t r e a m i n gm e d i ao v e rt h et r a d i t i o n a li pn e t w o r k t h ew o r ki n t r o d u c e di nt h i s t h e s i sw a ss u p p o r t e db yt h ei n n o v a t i o nf o u n d a t i o no fc h i n an a t i o n a lm i n i s t r yo fs c i e n c ea n d t e c h n o l o g yf o rt h ep r o j e c t “c o o p e l a t i o nd i s t a n c el e a r n i n gg r o u p w a r e ( n o o o c 2 6 2 2 4 2 1 0 6 4 1 、 a n dk e ys c i e n c ea n dt e c h n o l o g yl t e mf o u n d a t i o no fc h i n an a t i o n a le d u c a t i o nm i n i s t r yf o rt h e p r o j e c t “k e yt e c h n o l o g i e si nm o d e r n d i s t a n c el e a r n i n g ：i n t e r a c t i v er e a l t i m ee d u c a t i o ns o f t w a r e t o o l s ”f n o 2 0 0 0 1 7 5 ) v i d e os e q u e n c e sa r et y p i c a l l yc o m p r e s s e di naf o r m a ts u c ha sm p e g 4t or e d u c ed a t aq u a n t i t y v i d e oc o m p r e s s i o ne x p l o i t sr e d u n d a n c yb e t w e e nf r a m e st oa c h i e v eh i g hc o m p r e s s i o n h o w e v e r ， p a c k e tl o s s c a nb ed e t r i m e n t a lt oc o m p r e s s e dv i d e o ，e x p e c i n l yr e s u l t i n gi ne r r o rp r o p a g a t i o n w h i l et h en e e df o rj o wl a t e n c yp r e v e n t st h er e t r a n s m i s s i o no fa i l1 0 s td a t a 。w ec a ne x p i o i tt h e c h a r a c t e r i c so fm p e g - 4t or e t r a n s m i tt h em o s ti m p o r t a n td a t ai no r d e rt ol i m i tt h ee e o rp r o p a g a t i o n w ep r e s e n t e da na n a l y t i cm o d e lt od e r i v ear e l a t i o n s h i pb e t w e e nt h ep a c k e tl o s sr a t ea n dt h e o b s e r v e d 厅a m er a t ea n de x t e n d e dt h er t p r t c p p r o t o c o l t h a ta l l o w sf o r 山es e l e c t i v e r e t r a n s m i s s i o no fl o s tp a c k e t s i tm a k e s a d v a n t a g eo fa p p l i c a t i o nl e v e lf r a m ea n dr e c e i v e r - d r i v e n r e t r a n s m i s s i o ns c h e m e t h ei n t e m e t sv a r i a b l eb a n d w i d t l lm a k e sl td i f f i c u l tt oa c h i e v eh i g hu t i l i z a t i o na n dah i 吐 q u a i l t yc o n s t a n tp l a y n u tr a t e av i d e os t r c m i n gs h o u l da d a p tt ot h ec h a n g i n gc o n d i t i o n sa n dt a i l o r t h eq u a i l t yo ft h et r a n s m i n e db i t s t r e a mt oa v a i b l eb a n d w i d t h m o t i v a t e db yt h en e e do fs t r e a m i n g m e d i aa p p l i c a t i o nf o rw h i c had r a s t i co s c i l l a t i o nu p o nt c pa i m d a l g o r i t h mi sp r o b l e m a t i c t h i s c h a p t e ri n t r o d u c e sa n da n a l y z e sa c l a s so fn o n l i n e a rc o n g e s t i o nc o n f f o 】m g o f i t h m b i n o m i a l a l g o r i t h m st h e yg e n e r a l i z e t h et c pa i m da l g o r i t h m 0 u rs i m u l a t i o nr e s u l t ss h o w e dt h a t b i n o m i a la l g o r i t h m si n t e r a c tw e l lw i t ht c pa c r o s sar e d g a t a w a ya n dr e d u c et h er a t eo s c i l l a t i o n d e l a yi sa n o t l e ri n t e m e t sc h a r a c t e r i s t i c s s t r e a m i n gm e d i ah a v ed i f i e r e n td e l a y sa c c r o st h e i n t e m e t w h i c hm a k e st h es t r e a m i n gm e d i aa s y n c h r o n i s mi nt h er e c e i v e r s b a s e do nt h ef a c t o r s i m p a c t i r t go nt h es y n c h r o n i z a t i o na n dt h ec u r r e n ts y n c h r o n i z a t i o ua l g o r i t h m s 。w ep r e s e n t e dan e w s y n c h r o n i z a t i o np r o t o c 0 1 w h i c hc a nh o l dt h ei n t r a - s t r e a ms y n c h r o n i z a t i o na sw e l la si n t e r - c l i e n t s y n c h r o n i z a t i o n m u l t i m e d i ad i s t a n c el e a m i n gi sat y p i c a la p p l i c a t i o no fs t r e a m i n gm e d i a i nc h a p t e rf i v ew e p r e s e n t e do u ro w n r e a l t i m em u l t i m e d i ad i s t a n c el e a r n i n gs y s t e m f u n c t i o nm o d u l e sa n di n t e g r a t e d t h ea b o v et e c h n o l o g i e si n t ot h es y s t e m k e y w o r d s ：p a c k e tl o s s ，r e t r a n s m i s s i o n - b a s e d e r r o rr e s i l i e n c e ，b a n d w i d t h o s c i l l a t i o n ， c o n g e s t i o nc o n t r o l ，m u l t i m e d i as y n c h r o n i z a t i o n ，d i s t a n c el e a r n i n gs y s t e m i i ，li，eel 一t 华中科技大学硕士学位论文 论文图表索引 图1 1 信息社会结构 图1 2m p e g 一4 编码器软件模型框图 图1 3m p e g 各帧之间的关系 ， 写 图1 4 包丢失的预防与补偿 。图2 1 视频传输系统示意图 图2 2m p e g 一4 视频流在i n t e r n e t 传输中的数据结构图 图2 3d o n gl i n 的i n t e r n e t 音频传输实验结果( 数据包丢失率) 图2 4 视频帧中传输差错在空间维上的扩展 图2 5h 2 6 3 视频流中传输差错在时间维上的扩展 图2 6p s n r 和包丢失率的关系 图2 7 包丢失率和帧率的关系 图2 8 通过选择重传所带来的i 帧数据量的变化 图2 9e r t p 首部 图2 1 0e r t c p 首部 图2 i i 网络仿真拓扑结构 图2 1 2 试验结果 图2 1 3e r t p 和r t p 的对比试验 图3 1n 个用户共享一个网络下的闭环控制系统 图3 2 分层编码器 o 图3 3k 和l 的变化区域 t图3 4s q r t 和t c p 的窗口变化 1 图3 5 二项式窗口函数形式 图3 6 仿真拓扑结构 图3 7 二项式拥塞控制算法的t c p 友好性 图3 8i i a d 和t c p 的吞吐量之比 图3 9t c pa i m d 算法( 高 f c 丢失率相互间隔) 1 9 9 1 1 1 8 1 8 2 0 2 1 2 2 2 3 2 3 2 6 2 7 2 7 2 9 2 9 2 9 3 2 3 4 3 6 3 7 3 8 3 9 4 0 4 1 4 2 v 一：? 1 ： 。 ，；z + i 美三i 豢 带宽 为得到令人满意的视频主观效果，传输实时的视频一般需要有一个最小的带宽保证。 但是当前的i n t e m e t 并不提供带宽预留。另外，传统的路由器并不参与拥塞控制，因此过剩 的流量会导致网络拥塞死锁，从而进一步降低了实时视频的传输吞吐量。 时延 同传统的数据传输要求不同，实时的视频业务对端对端的传输时延有严格的限制。这 是为了满足实时视频能够被连续播放的要求。在允许的最大时延之外到达的包是无用的， 应被丢弃。这是因为不能及时到来的视频包会导致播放过程的停顿，导致主观质量的下 降。而当前的i n t e m e t 无法提供延迟保证，并且当网络拥塞时，延迟会加剧。 包丢失 包丢失会极大的影响视频播放的主观质量，甚至会导致视频无法播放。因此视频应用 对丢包率有限制。采用t c p 重传协议可有效的防止丢包，但是它会带来更大的时延，这是 实时视频应用所不能忍受的。 异构性 对于视频的组播应用，这点很重要。异构性分网络异构性和终端异构性。网络异构 | 生是指i n t e m e t 各个子网具有不同的特性，如处理能力、带宽、存储能力和拥塞控制策略 等。这种异构性会导致不同的视频应用终端用户遇到不同的包丢失、包时延情况。终端异 2 1 j kk kijlj4l。 华中科技大学硕士学位论文 构性是指终端用户由于：身份不同、接入速率不同或者终端的处理能力不同，对视频质量或 参与应用方式有不同的要求。例如在进行远程教学时，用5 6 km o d e m 接入和用i s d n 接入 的用户对接受视频流的码率要求就不一样，但对于组播应用，在网上传播的源视频流只有 一个。这样用i s d n 接入的用户只能享受到用5 6 km o d e m 接入时的视频质量。因此需要设 计一个有效的组播机制来保证有效的利用网络带宽并且满足不同用户的需求。 尽管目前已经有很多的研究者在流媒体的传输方面做出了很多的贡献，但是直到目前 为止的解决方法仍然是独立的，不灵活的，而且并不能给用户提供赏心悦目的视频效果。 目前的视频应用传输的是仍然是低质量的画面，同时要求大量缓存，并且不能提供很高交 互性，也无法对网络出现的情况进行相应的调整等。我们认为出现这种情况是因为缺乏一 种开放的框架，特别是在自适应视频传输方面。m p e g - 4 标准作为i n t e m e t 视频的一种开放 标准正得到越来越广泛的接受”。】。基于m p e g - 4 压缩标准的视频传输技术的研究也正得到 越来越多研究者的关注。在这种背景下，基于近年来一直致力于多媒体通信技术的研究和 完成多项国家部委科研项目所取得的丰富研究成果和经验，课题组分别于2 0 0 0 年9 月和 2 0 0 0 年1 1 月开始，承担国家科技部技术创新基金项目( n o 0 0 c 2 6 2 2 4 2 1 0 6 4 1 ) “远程 教学协同群件产品”和国家教育部重点科学技术项目( n o 2 0 0 0 1 7 5 ) “现代远程教育 关键技术：交互式实时教学工具软件”两个项目的科研工作，以解决现代远程教育工程实 施过程中的关键技术及应用技术等问题。本文结合上述两个项目的科研工作，针对传统p 网络的多媒体实时传输中的包丢失和网络拥塞等问题，研究了多媒体传输的差错复原、拥 塞控制和同步等关键技术，提出了针对丢包的选择重传策略和扩展实时传输控制协议、针 对带宽变化的二项式拥塞控制算法和针对抖动的多媒体流同步协议，并对其性能进行了试 验和分析。 1 2 多媒体通信的性能描述与需求 1 2 1 多媒体通信的性能描述 1 网络性能参数 多媒体通信对网络环境要求较高，必然涉及一些关键性的网络性能参数，它们是网络 的传输速率、吞吐量、差错率和传输延迟等。在这些性能参数中，除了传输速率对多媒体 信息传输产生重要影响外，其它参数对评价网络当前运行状况和多媒体通信质量也是很重 要的。 3 一嚣f 一4 ”一“露菇氯赫3 撼；豳乳 b 华中科技大学硕士学位论文 ( 1 ) 吞吐量 网络吞吐量( t h r o u g h p u t ) 是指有效的网络带宽，通常定义成物理链路的传输速率减 去各种各种传输开销，如物理开销以及网络冲突、瓶颈、拥塞和差错等开销，它反映了网 络的最大极限容量，测量内容与具体的对象相关。例如：在网络层，吞吐量可表示成单位 时间内接收、处理和通过网络的分组数或比特数。它是一个静态参数，反映了网络负载的 情况。 在许多情况下，人们习惯将额外开销忽略不计，直接把网络传输速率当作吞吐量。实际 上，吞吐量要小于传输速率。 ( 2 ) 差错率 差错率( e r r o rr a t e ) 是一种重要的性能指标，反映了网络传输的可靠性。它可以用三种 方法定义：种是位差错率( b e r ) ，它定义为出错的位数与所传输的总位数之比；二是帧 差错率( f e r ) ，它定义为出错的帧数与所传输的总帧数之比；三是分组差错率( p e r ) ， 它定义为出错的分组数与所传输的总分组数之比。它们分别用于在不同的网络协议层次上 计算差错率。例如，在分组交换网中，其传输单位为分组，通常用p e r 计算差错率：a t m 网络上传输单位是信元( c e l l ) ，可以使用f e r 计算差错率：而物理传输网( 如s o n e t ) 以位为传输单位，故使用b e r j , j - 算差错率。光纤传输网的b e r 范围一般为1 0 一1 0 _ 1 2 。 ( 3 ) 延迟 延迟( d e l a y ) 是衡量网路性能的重要参数，它可采用多种方式来表示。这里主要是从 端到端延迟的角度来讨论延迟问题。端到端延迟是指发送端发送一个分组到接收端正确地 接收到该分组所经历的时间。端到端延迟包含了下列延迟时间： 传播延迟：表示端到端之间传输一个二进制位所需要的时间。这是一个受光速限制 的物理参数，且是一个常数，为2 0 0 m g s 。它仅仅与所经历过的传输距离有关。 传输延迟：表示端到端之间传输个数据块( 如分组) 所需要的时间。该参数与网 络传输速率和中间节点处理延迟有关。 网络延迟：表示传播延迟和传输延迟之和。 接口延迟：表示发送端从开始准备发送数据块到实际利用网络进行发送所需要的时 间。例如，在面向连接的传输网络( x 2 5 ) 中，接口延迟是建立虚链路所需要的时 间。或者在令牌网络中，接e 1 延迟则是发送站点等待空令牌所需要的时间。 4 墨谶基。墓汰瀛漕溢蠲隧鑫盔激揣j ； ；“i飞； ； t i 华中科技大学硕士学位论文 与延迟有关的另外一个参数是延迟抖动( d e l a yj i t t e r ) 。在以分组方式传输一个很大文 件或数据时，各个分组到达接收端的延迟时间是不相同的。所谓延迟抖动是指在一条连接 上分组延迟的最大变化量，即端到端延迟的最大值和最小值之差。在理想情况下，端到端 延迟为一个恒定值( 零抖动) 。然而，延迟抖动总是不可避免的。对于连续媒体流的传输 来说应将延迟抖动限制在一定的范围内。这样有利于改善所接收的音频和视频流的质 。 。 量。 2 影响网络性能的因素 在实际网络系统中，影响网络性能的因素很多，也很复杂。下面就影响吞吐量、差错 率和延迟等性能参数的主要因素进行简要的分析。 ( 1 ) 吞吐量 无论是局域网还是广域网，网络的吞吐能力大都是随着时间变化而变化的。有时发生 网路故障( 节点故障或线路故障) 或者出现峰涌的数据流而造成网络拥塞，使得网络的吞 吐能力发生急剧变化。影响网络吞吐量的因素主要有：网络故障、网络拥塞、瓶颈、缓冲 区容量和流量控制等。 网路故障。任何原因引起的节点故障或是链路故障，都会使得相邻节点或链路发生 通信阻塞，结果将导致分组传输的延迟、丢失或出错，严重时将造成整个网络的失 效。尽管发生这种错误的概率很小，但对网络性能的影响将是致命的。因此，网络 系统应该采取适当的容错手段来加强网络的可靠性。 网络拥塞。当网路的交通量超过网络额定容量时将可能引起网络拥塞现象。通常网 络信道的通信能力是按照能满足传输需求的平均水平设计的。在某些情况下，网络 通信量会大大超过这个水平，这时可能会引起网络拥塞现象，使得网络吞吐能力下 。 降。 瓶颈。瓶颈现象是指网络中某些节点或链路故障，或者是由于节点或链路容量不足 、 而造成的，在这些地方，网络传输速率变得比较缓慢，从而使整个网络的吞吐能力 受到很大影响。 缓冲区容量。对于端到端连接来说，端系统需要有足够的缓冲区容量。因为端系统 在发送和接收信息时，数据将被临时存放在这些缓冲区中。当传输大量的视频数据 流时，可能因缓冲区容量不足而不能满足实时发送或接收。 5 麓嚣7 + 一+ 。j “i 函赫蕊癌醯瓢童。* i 二、t ： 华中科技大学硕士学位论文 流量控制。当两个端系统的任何一方缓冲区容量出现不足时，通常采用端到端的流 量控制协议来改变两个端系统的数据传输速率。流量控制的目的主要是限制发送端 的数据发送速率，以防止在接收端缓冲区不足而发生数据丢失现象：然而，流量控 制也会影响吞吐能力。 ( 2 )差错 5 网络的差错主要是由于下列原因引起的： 位出错。在物理链路上，由于噪声的干扰可能产生分组中的个别位丢失或错位。这 种错误可以采用纠错编码或重传该分组来纠正错误。 分组丢失和乱序。在分组交换网中，一个较长的文件或数据流必须分解为若干数据 分组进行传输。由于网路故障或拥塞，可能产生分组出错或被节流。结果在接收端 可能造成分组丢失和乱序。 ( 3 )延迟 网络的延迟可分为固有延迟和随机延迟。固有延迟与传播延迟和链路比特率高低有 关，而随机延迟则由网络故障、传输错误以及网路拥塞等引起，一般不可预测。 对于网络来说，最理想的情况是端到端的延迟为一个固定值( 零抖动) 。这样便于事 先分配缓冲区资源，也有利于改善所接收到音视频流的质量。然而抖动总是不可避免的， 对于多媒体应用，应尽量将抖动控制在一个定的范围。 1 2 2 多媒体通信的性能需求 多媒体通信对网路性能的需求可以用吞吐量、可靠性( 差错) 和延迟等参数来描述。 1 吞吐量需求 多媒体通信的吞吐量需求与传输速率、接收端缓冲区容量以及数据流量有关。 高传输带宽需求。由于多媒体信息包含了实时音频和视频信息，对多媒体通信网络 来说，必须能够提供充足的可用传输带宽来传输多媒体信息，同时也意着网络必须 具备成倍地处理这类信息资源的能力。当传输带宽不足时，将会产生网络拥塞现 象，导致端到端延迟的增加和分组丢失。 大缓冲容量需求。在高速传输带宽的网络中，接收端必须有足够的缓冲区容量来接 收源源不断的多媒体信息：否则，将会发生缓冲区溢出，造成分组丢失。 流量需求。多媒体通信网络必须能够处理冗长音频和视频数据流，这意味着网络必 须有足够的带宽能力来保证以高带宽传输冗长多媒体信息流的时间有效性。 6 羞蠢 l0 华中科技大学硕士学位论文 2 可靠性需求 由于人类的感知能力有限，人类很难分辨和感觉图象或声音本身微小的差异。因此多 媒体应用有别于其它的应用，它允许网络传输中存在一定程度的错误。由于人类的听觉比 视觉更敏感一些，因此音频的可靠性需求要高一些。 3 延迟需求 在多媒体会议之类的应用中，多媒体信息流中包含了音频和视频流，并且它们之间存 在着对应时间关系，即流内同步和流间同步关系。在理想情况下，要求网络以最小的延迟 来传输这些音频和视频流，并且能同时到达，这样接收端就能在相应的演示设备上同步播 放。要达到这个目标，网络必须将延迟和延迟抖动限制在一个很小的范围；否则在接收端 产生同步失调现象，从而对多媒体信息的演示质量产生不利影响。 1 3 流媒体实时传输的关键技术 所谓流媒体是指采用流式传输的方式在i n t e r a c t 播放的媒体格式，而流式传输方式则是 将整个a v 及3 d 等多媒体文件经过特殊的压缩方式分成一个个压缩包，由视频服务器向用 户计算机连续实时传送。在采用流式传输方式的系统中，用户不必像采用下载方式那样等 到整个文件全部下载完毕，而是只需经过几秒或几十秒的启动延时即可在用户的计算机上 利用解压设备( 硬件或软件) 对压缩的山v 、3 d 等多媒体文件解压后进行播放和观看此时 多媒体文件的剩余部分将在后台的服务器内继续下载。与单纯的下载方式相比，这种对多 媒体文件边下载边播放的流式传输方式不仅使启动延时大幅度地缩短，而且对系统缓存容 量的需求也大大降低。 1 3 1 高效率的编码技术 多媒体应用走向实用化的一个前提是必须具备高效率的压缩编码方法。迄今为止，已 经提出了大量编码技术：如在图象压缩方面的预测编码、变换编码、子带编码、小波编 码、分形编码、模型基编码、矢量量化、运动估计等；在音频压缩方面的自适应差分脉码 调制( a d p c m ) 、线性预测编码( l p c ) 、子带编码、熵编码、矢量量化等。随着编码技 术的发展和广泛应用以及各国的高度重视，为适应全球工业和经济的快速增长。从1 9 8 6 年 起，玎u 、i s o 、i e c 等国际组织开始致力于制定图像压缩编码的国际标准。目前已制订的 压缩编码国际标准包括视频编码的c c i t t ( 即后来的r r u t ) 第1 5 研究组( s gx v ) 的 h 2 6 1 、h 2 6 3 、h 2 6 3 + 、h 2 6 3 + 十和h 2 6 l 系列；i s o 的j p e g 、p e g l s 和j p e g 2 0 0 0 系 7 鼍嚣嚣：! 。”j 、? 舅”蒸弱器蕊滗；j 蕊荻 、t 一 华中科技大学硕士学位论文 列：i s o 的j b i g 、j b i g 2 系列；i s o 的m p e g l 、m p e g 2 、m p e g 4 、m p e g 7 和m p e g 2 1 系 列。值得注意的是，在用于网络传输的压缩编码设计中，需要综合考虑传输中的差错控制 和流量控制问题，解码方案应充分考虑容错性，针对多址广播传输的路径多样性问题，用 于多址广播传输的多媒体压缩编码适合采用分层编码技术，通过在时间域或空间域方面抽 样来获得具有不同数据率的分层数据供传输，在m p e g 2 以及h 2 6 3 + 等标准中都提供了视 频分层技术。为利用多媒体压缩编码的分层能力，多址广播传输协议可以采用将接收者分 组的方案，针对不同情况的接收者组，发送者发送不同分辨率的数据。 m p e g 4 是运动图象专家组m p e g 于1 9 9 9 年出台的数字视频最新的帧间压缩和存储标 准。m p e g 4 为多媒体数据压缩提供了一个更为广阔的平台。它更多的是定义一种格式和框 架，而不是具体的算法。它将各种多媒体技术充分应用于编码其中除压缩本身一些工具 外，还包括图像分析和合成、计算机视觉、计算机图形学、虚拟现实和语音合成等技术。 m p e g - 4 提供了许多新的性能：基于内容的交互性；定义了音视频对象，可以对任意形状的 视频对象编码：可以高效地对自然或合成的多媒体数据编码；高效的压缩性，具有更高的 编码效率，同已存在或即将形成的其它标准相比，在相同比特率下具有更高的视觉听觉质 量：提供了易出错环境中的稳健性，来保证其在许多无线和有线网络以及存储介质中的应 用等等。 图1 2 是m p e g - 4 编码器的系统框图。尽管视频编码也可以采用静态图象那样的消除空 间冗余的方法( 对每帧图像单独进行编码) ，大多数的视频编码方法都利用相邻图像序列 的空间冗余性。在m p e g - 4 中有三种类型帧，它是根据图象的解码特性来划分的。第一种是 i 帧，是完整的独立编码编码的图象。由于它于其它帧无关，所以它可以作为视频序列的起 点和数据流中的随机访问点。第二种是p 帧，是预测图象帧，通过它之前的i 帧或p 帧经过运 动补偿编码而得。第三种是b 帧，称为插补帧，是根据其前后的i 帧或p 帧的信息进行插值编 码而获得。该过程有时被称为双向插值。 i 帧所需的数据最多，它类似于j p e g 图象，由许多8 x 8 块组成，对块进行d c t 编 码、量化和统计编码。p 帧的数据大约是i 帧的1 3 ，它是由1 6 x1 6 宏块组成。该宏块包括 运动补偿向量值和8 8 块，而该块是被编码的运动校正值。b 帧数据是p 帧的1 2 - 1 5 ，它 也包含宏块、块及d c t 编码的校正值，其中宏块和块含插补参数b 帧越多，压缩比越 大。但因为要译码b 帧，必须先传递其后且有关的i 帧和p 帧，这意味着译码的过程的延迟 加大。图1 3 是m p e g 各种帧之间的关系。 8 爨 图1 2m p e g - 4 编码器软件模型框图 ipbbpbbp 图1 3m p e g 各帧之间的关系 1 3 2 多媒体实时传输协议 计算机网络及其通信协议是用以完成多媒体实时传输的基础，但目前传统的i n t a n e t 广 域网环境以及t c p i p 协议并不适应实时多媒体数据的传输。t c p 是面向连接的传输协议， 它采用滑动窗口、超时重发机制来保证数据的正确到达。但正是这种重发机制使其不适用 9 ：；瑟y 一一一一麓磊i 蕊蠢；巍。囊躬、 华中科技大学硕士学位论文 于对时延敏感的实时视频应用。u d p 是面向无连接的传输协议，它实现机制简单，效率很 高，适合实时的视频应用。但u d p 不提供可靠性措施，u d p 包在i n t e r a c t 网上传输可能丢 失、被复制或乱序需要上层应用来提供错误保证机制【l “。因此。在传统i p 网络的基础上 有必要研究和设计新的传输协议，其中晟有名的就是实时传输协议r t p ( r e a l t i m et r a n s p o r t p r 0 6 0 c 0 1 ) 协议( r f c l 8 8 9 ) ”j ，它也是现在几乎所有基于传统口网络的多媒体应用的基础协 议。它提供端到端的数据传输服务，包括载量标识、数据序列、时戳、传输控制等。 r f c 3 0 1 6 定义了m p e g - 4 的r t p 的负载格式，这样就可以不使用m p e g - 4 的系统标准。直 接把音频和视频比特流映射到包。以前的r f c s ( ； 只定义了m p e g i 2 的r t p 负载格式。 目前很多研究者提出对媒体数据进行多重选择重传机制【b 1 9 】，这种机制和我们提出的选 择重传机制强调的重点不同。多重选择重传机制可以在重传的包再次丢失时仍可以再次重 传，而且这种机制不对包进行区分。我们知道在m p e g - - 4 中，不同的包具有不同的重要 性，对不同的包进行不同处理更有价值。目前也有一些研究者提出采用r t c f 对丢失的包进 行重传。尽管与我们提出的选择重传协议类似，但是它们无法提供拥塞控制，也无法允许 接收应用规定数据的丢失区域和发端的重传优先级。 r a m a n 等人对图像在i m e m e t 上的传输提出一种新的传输协议i m a g et r a n s p o r tp r o t o c o l ( i t p ) i ”) 。该协议允许图象( 包括压缩的j p e g 、j p e g 2 0 0 0 等) 分成各个可独立处理的模 块。这样各个模块可以不按序到达，发端也可以以更加平滑的方式来发送该图象。我们提 出的选择重传协议与r r p 有很多类似之处，我们也采用应用层组帧a l f “( a p p l i c a t i o n l e v e lf r a r m n g ) 和收端驱动的重传机制。 1 3 3 差错复原技术 传统口网络由于分组交换网络所固有的缺点，即网络拥塞时有发生，网络带宽经常变 动，从而造成数据包丢失、时延和抖动。对于数字视频通信来讲，这类由于实际传输信道 性能原因而出现的信道差错( c h a n n e le = o o 不但严重影响了业务质量( q o s ) ，甚至会导致整个 视频通信完全失效。虽然现有的视频压缩编码标准为了提高编码效率，均采用变长编码， 但它也使得压缩码流对付差错的能力十分脆弱，同时由于这种倍道差错又使得解码器与编 码器失去同步，致使无法正确地对变长编码进行解码；而基于运动补偿的预测编码技术又 易使出现的差错迅速扩散，从而导致重建图象质量严重受损，甚至无法重建图象，为了减 小或消除信道差错的影响，必须采用适当的技术来对抗信道差错，这样，差错复原( e r r o r r e s i l i e n c e ) 技术就成为易发生差错信道( e r r o r - p r o n ec h a n n e l ) 下视频压缩编码的重要内容之 1 0 ， ，1 华中科技大学硕士学位论文 ! 苎! ! ! ! ! = ! ! 皇! ! ! = ! 竺= ! ! ! ! ! 苎詈! ! ! ! ! 竺= 曼! ! 詈竺! ! ! ! ! ! ! ! ! 一。现有的或正在制订的视频压缩编码标准，如h 2 6 3 + 、h 2 6 3 + + 和m p e g - 4 等为了提高差 错复原能力和满足易发生差错信道下视频传输业务的要求，均采用了若干差错复原技术或 工具，并成为标准的重要内容。 差错复原技术是指在编码端通过改进传输码流的结构，使其利于解码器检测差错和利于 恢复丢失的或差错的数据：在解码端则利用图象的空间及时间相关性来消除或降低信道差 。错对图象质量的影响。这种差错复原技术主要包括：编码技术、信道技术、重传技术和错 误掩盖技术。图1 4 给出分组丢失的预防和补偿在传输中的相对位置”】。 ： 防护措施 补救措施 发送终端接收终端 图l4 分组丢失的预防与补偿 1 - 3 4 多媒体拥塞控制 形象地说，拥塞控制就是决定数据进入网络的速度和数量，但严格地定义却非常困 难，因为存在许多不同的度量手段描述拥塞，如传输延时、数据吞吐量、队列长度和网络 丢失率等，没有哪个指标能在所有场合下都能精确描述可能出现的局部或全局的拥塞现 象。对于网络拥塞，在不同的时间区间和范围有不同的处理手段。常年累月的拥塞只能靠 重新设计网络的拓扑结构或是增加新的链路及带宽来解决；每天随时间波动的网络拥塞， 可通过不同的计价、付费策略来避免通信量过度集中；而在r 1 t 级的时间范围内( 如几百 毫秒) 的拥塞，只能通过发方、收方和中间节点的共同作用，采用拥塞控制来完成p 】。按照 有无反馈控制环路，拥塞控制可分为开环控制和闭环控制两种类型。开环控制是在事先设 计一个“好的”网络，确保它不发生拥塞，而网络一旦运行起来，就不再采取措施”】。 其中开环控制包含位循环公平排队( b i tr o u n df a i rq t t i a g ) 2 0 l 、基于调度的策略 泛戮i _ | 一焉瑟“i ：鬣薹蕊；鬣蕊：灞褥 ， 华中科技大学硕士学位论文 ( s c h e d u l eb a s e da p p r o a c h ) 、虚时钟( v i r t u a lc l o c k ) l ”】、输入缓存限制( i n p u tb u f f e r l i m i t ) 、包丢弃( p a c k e td i s c a r d i n g ) 和选择包丢弃( s e l e c t i v ep a c k e td i s c a r d i n g ) 等多种方 法；而闭环控制包括慢启动( s l o ws t a r t ) 2 1 1 超时重传机制( t i m e o u t b a s e ds c h e m e ) 、 t n s ( s l o ws t a r ts e a r c h ) 、自适应接纳控制( a d a p t i v ea d m i s s i o nc o n t r 0 1 ) 、丢失负载曲线 控制( l o s sl o a dc u r v e ) 、基于速率的控制( r a t e b a s e d ) 和动态时间窗口控制( d y n a r m c t i m ew i n d o w ) 。 现有的t c p 协议综合采用了慢启动、拥塞避免、快速重传和快速恢复等多种算法来实现 相应的拥塞控制，可以说今天i n t e m e t 的巨大成功很大程度上得益于t c p 拥塞控制算法的引 进，但是目前网络中流媒体的应用越来越广泛，大多数流媒体的传输采用的u d p 协议，它 并没有t c p 那样的拥塞控制机制。因此如何在流媒体的传输中引入合适的拥塞控制机制， 既保证流媒体的传输特性，又能和网络中的其它数据公平相处，是目前i n t e r a c t 方面研究的 热点。 1 3 5 多媒体同步技术 在多媒体传输中，多媒体信息通常由多个媒体流构成，如视频、音频和文本等，各媒 体流之间通常满足一定的时间关系，如在视频会议中，音频流和视频流在接收者一方必须 满足同步回放的要求，这种同步被称为媒体间同步。实现媒体同步的方法很多，比如时间 戳法、同步信号通道技术以及对象复合p e t r i 网等。在多媒体传输协议的实现上，一般需要 对传送的数据包附加时间戳等同步标志。对于有多个发送者参加的多媒体传输会话，每个 发送者发送的数据流在接收者进行回放都应该满足时间的先后关系，这一类同步被称为群 同步。从传输协议的角度保证群同步的方法主要是使用令牌机制获得令牌的站点发送数 据，并将令牌传递给下一个发送者，以办证发送者公平的发送机会和同步。 综合文献 2 3 3 0 1 和其它文献，可将当前提出的媒体同步方案分作以下五类： a ( 1 ) 多路复用方案：将多个媒体流的数据多路复用到一条逻辑链路进行传输，从而保 持媒体间的同步关系。多媒体虚电路方案”、t p 5 协议f