（计算机应用技术专业论文）基于jmf实时传输在远程授课系统中的应用研究.pdf

西南科技大学硕士研究生学位论文第1 页 摘要 本文研究的内容是基于w e b 的远程教育综合系统的一部分：多媒体实时 传输技术在远程授课系统中的应用及软件实现。旨在论述在j m f 平台上实现 远程授课系统中的音视频数据实时处理传输技术。 首先在探讨实时媒体流基本特征的基础上分析了实时媒体流的传输需 求，详细讨论了当前解决实时多媒体信息传输所涉及的一些技术，象数据压 缩技术、同步控制以及组播技术等。然后对适合多媒体信息传输的网络协议 r t p r t c p 、r t s p 、r s v p 进行深入地研究和比较。详细介绍了r t p r t c p 协议的结构、功能，并对延迟估计和实时数据的同步机制作了有益的理论探 讨。在对协议和相关技术研究的基础上，提出了一套从硬件到软件的完整设 计和实现方案。为保证系统高度的实时性，采用了对音频和视频建立不同的 虚拟信道，以负责不同媒体信息的传输，每个信道根据其媒体信息特点，赋 予相应的服务质量参数，保证了信息的高效传输。系统采用了蕊向对象程序 设计方法，提高了代码的独立性、自治性、可复用性和易维护性，并采用了 多线程技术提高了程序执行效率。在白板的设计实现中采用了组播模式，保 证了白板信息的实时性、一致性和可靠性。最后，通过测试证明了本系统满 足远程授课信息的实时传输需求。 关键词：实时传输流媒体j a v a 媒体框架实时传输协议服务质量 a b s t r a c t t h i st h e s i s ，a sap a r to fr e s e a r c ho fi n t e g r a t e dd i s t a n c ee d u c a t i o ns y s t e m b a s e dw e bp i o j e c t _ t h ea p p l i c a t i o no fm u l t i m e d i ar e a l - t i m et r a n s p o r tf o r d i s t a n c et e a c h i n g ，a i m st od i s c u s st h er e s e a r c ha n di m p l e m e n t a t i o no fr e a i _ t i m e a u d i o 蚰dv i d e oc o m m u n i c a t i o nt e c h n o i o g yi nd i s t a n c et e a c h i n gs y s t e mb a s e d o nj m f a 土t h eb e g i n n i n g t h ec h a r a c 把r i s t i c sa n dr e q l l i r e m e m so ft h et r 蚰s m i s s i o no f r e a l t i m em u l t i m e d i ai n f o m a t i o o nn e t w o r k 盯e 蛐“y z e d a n dt h ec a p a b i l i t i e s 蛆dd r o b l e m so ft h ec o m m u n i c a t i o nn e t w o r kt h a ti su s e dt ot r a n s p o r tr e a l - t i m e m u l t i m e m ai n f o m 8 t i o n 盯ca l s od i s c u s s e d t od e a lw i t ht h ep r o b l e m s ，3 0 m e m e c 1 1 0 d sa n dt e c h n o l o g i e sa r ee x p l a i 丑e di nd e t 8 i l ，s u c ha sd a t ac o m p r e s s i o n ， s t f e 锄i n g1 n e d i at e c h n o l o g y ，卸dm u l t i c 躯t i n g a f t c r 也8 t ，t h ef o c u si sp u to nt h en e t w o r kp r o t o c o l s s e v e r a i n e t w o r k p r o t o c o l s ，s u c ha sr t p r t c p ，r t s p ，r s v p ，甜ea n a l y z e d 蛆d c o n t r a s t e d t h o r o u g h l y ，明dt h e i rc o n c e p ta n dm e c h 缸i s m ，t h e i rs t r e n g 廿l s 蚰dt h e i rn a w sa 旭 a l s od e s c r i b e dc l e a r l y d e l a ye s t i m a t i o n 衄ds y n c h r o n i z a l i o nc o n t r o la r e ，o i m p o n a n ta s p e c t so fr e a l t i m ed a t at r a n 锄i s s i o n 1 n 也i st h e s i s ，w et a l c er t pa s t r 蛆s p o np r o t o c o l ；t l l e s et w oc o n c e p ta r ea l s od e l v e dt h e o r e t i c a l l y o nt h eb a s i s o ft h er e s e a r c h ，ar e s o l u t i o no fr e a l - t i m ed i s t 柏c et e a c h i n gs y s t e mo v e r r t p r t c pp r o t o c o li sb r o u g h tf b r w a r da n di l l u s t r a t e d i nv i e wo fa s s 眦i n gt h er e a l - t i m ep e f o m a n c eo ft h es y s t e m ，t h i st h e s i s b u i l dd i f 佟r e n tv i r t u a lc h a n n e lf o ra u d i oa n dv i d e o ，w h i c ht a k ec h a r g ed i f 托r e n t m u l t i m e d i ai n f o r m a t i o nt ot f a n s m i t ，t h er e l a t i v ep a r 哪e t e ri sa p p e n d e dt ot h e v i r t u a lc h a n n e la c c o r d i n gt ow h a tk i n do fi n f o m a t i o ni t 衄童n s m i t s ，w h i c hh e l p st o a d v a n c em et r a n s m i s s i o ne m c i e n c yo ft l l er e l a t i v ei n f o r m a t i o n ， t h es y s t e ma d o p t e do b j e c t o r i e n t e dp r o g r 锄m i n gm e t h o d ，w h i c he n h a n c e d 西南科技大学硕士研究生学位论文 第l li 页 1 。1 。_ - 。_ _ _ _ _ _ _ - _ _ - - 。_ 。_ 。- 。_ _ 。- 。_ _ _ _ _ _ _ _ _ 。_ _ - 。_ - 。_ _ 。_ 。_ - 。_ _ - 一 t h e i n d e p e n d e n c y ，a u t o n o m y ，r e u s a b i l i t ya n de a s ym a i n t a i n a b i l i t yo ft h e p r o g r a m m e c o d e m u j t i t h r e a d i n gt e c l l l l o l o g yi m p r o v e dt h ee m c i e n c yo f p r o g r a m m e am u l t i c 8 s tm o d ei sa d o p t e di nt h ed e s i g no ft h ew h i t e - b o a r d ，w h i c h i s h e l p f u lt oa s s u r et h er e q u i r e m e n ti n c l u d e sr e a l - t i m ep e r f o r m a n c e ，c o n s i s t e n c y a n dr e l i a b i l i t y f i n a l l y ，t h er e s u i t so ft e s tp r o v et h a tt h es y s t e ms a t i s f yr e q u i r e m e n t so f r e a l t i m et r a n s m i s s i o no fd i s t a n c et e a c h i n g k e y - o r d s ：r e a l _ t i m et r a n s p o r t ；s t r e 眦i n gm e d i a ；j m f ；r t p ，r t c p ；q o s 一一 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得西南科技大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 己在论文中作了明确的说明并表示了谢意。 签名：黾名贵日期：2 矿。厂多多 关于论文使用和授权的说明 本人完全了解西南科技大学有关保留、使用学位论文的规定，即：学校有权 保留学位论文的复印件，允许该论文被查阅和借阅；学校可以公布该论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：电缸鲁导师签名日期：乙扩o f 。占 西南科技大学硕士研究生学位论文第1 页 1绪论 1 1 课题研究背景、意义及来源 1 1 1论文背景 计算机和网络技术日新月异的发展正在迅速地改变我们传统的生活、工 作和学习方式。融合影像、语音和数据等多媒体信息网络技术的成熟，以及 i n t e m e t 的不断普及，使得远程教学获得了前所未有的强大技术支持手段。现 有的以课堂教学为主、面对面的传统教学模式因为受到时间和空间等诸多因 素的限制，已经远远不能满足知识更新极快的现代信息社会教育发展的需要。 而网上教学可以使各种教学资源通过i n t e m e t 以更加生动的形式传播到那些 渴望得到知识的人群中去，因此在全世界产生了构建“虚拟学校”的设想和 现实需求。 远程教育( d i s t 趾c ee d u c a t i o n ) 是一种师生分离的、不在同一地点的、 不是面对面组织的教学。从技术上讲，远程教育系统是建立在现代传媒技术 基础上的多媒体应用系统，它通过现代通信网络把教师的图象、声音和电子 教案传输给学生，也可以根据需要把学生的图象、声音回送给教师，从而模 拟出学校教育的授课方式，同时还可以利用现有网络条件建立虚拟的班级， 加强学生之间的交流。随着信息高速公路的建设，i n t e r n e t 风靡全球。网络已 经进入了社会生活的各个领域，网络的全球化、交互性、开放性、共享性的 特点，极大地促进了现代远程教育的发展。 目前国外比较领先的主流的流媒体平台有r e a l n e t w o r k s 公司的 r e a l s y s t e m 、m i c r o s o f t 公司的w i n d o w sm e d i a 、a p p l e 公司的q u i c k t i m e 、 c i s c o 公司的i p t v 等。但是他们的产品价格较高、带宽要求较大、本地化程 度较差、培训和维护也很不方便，所以不适合我国远程教育的实际情况。而 国内在这方面相对落后，还缺乏比较完整的远程教学方案。 由于受互联网带宽等因素的制约，目前国内开展远程教育资源的形式和 内容有着很大的限制，基本以文本和静态图片为主，视音频内容比较少。另 西南科技大学硕士研究生学位论文第2 页 一方面，人们对互联网内容的多样化，尤其对多媒体数据的需求日益增长。 无论从呈现形式的多样性还是内容的丰富性，视音频内容都有着文本和静态 图片无法比拟的优势；通过在视音频源中加入脚本，可以将视音频和文本、 图片、w e b 页、演示文稿很好的结合起来，构筑一个形式多样、内容丰富、 组织合理的多媒体教学环境，从这个角度讲，在远程教育中引入视音频内容 和服务已经是一个不可逆转的趋势。从技术上讲，视音频网络传输技术的发 展特别是流媒体技术的出现为在远程教育中引入视音频内容和服务提供了保 证。用户的需求和目前技术的成熟程度都为构建远程教育中的视音频服务系 统提供了条件，为远程教育的资源建设提供一个既有优良的视音频服务功能， 又符合远程教育特点的视音频服务和管理系统已经是当务之急。 1 1 2 当前国内外的研究现状 目前在我国，现代远程教学主要有两种方式：一种是通过专线传输的多 媒体演播室同步教学；另一种是通过互联网浏览器进行的学生自主控制的异 步网上学习模式。网络同步教学基本上是沿袭传统的以教师为主体的教学模 式，只是增加了支持学生与教师通过电子邮件答疑、交作业等功能；网络异 步教学模式则没有任何教学控制，除了注册用户可以下载一些学习辅导材料 外，学生学习无异于自由浏览，是一种松散耦合的网络教学模式。 随着i p 网络中多媒体应用的不断扩大，多媒体数据流特别是实时数据流 的传输需求越来越大，相关的应用场合如远程教育、远程医疗、视频点播、 视频会议等也越来越多。在这种情况下，i p 网络中多媒体实时数据流传输的 相关研究是目前的一个研究热点。一般的，多媒体数据主要包括音频和视频 数据，而视频的数据量要比音频的数据量大的多。但是由于i p 网络的设计初 衷不是用来传输实时多媒体数据，所以有很多方面并不能满足现在的应用需 求。近些年来，许多组织和机构提出了不少新的协议和框架，使得i p 网络 能够提高传输多媒体数据的效率和服务质量，也有不少开发的产品面世。 目前对于多媒体数据传输的研究主要集中在两个方面，一是传输的协 西南科技大学硕士研究生学位论文第3 页 议，公认传输协议使用i e t f 建议的r t p ( 实时传输协议) 为最佳。已经有 不少成熟的产品面世，如s u n 公司的j m f ( j a v a 媒体框架) 中媒体数据传输 使用的就是r t p 协议。另一个是服务质量q o s 的研究，从模型上分有两种： i n t s e r v ( 综合服务模型) 和d i f 撂e r v ( 区分服务模型) 。两者各有优点，但 从长远的观点看，应将两者结合起来，才会有更大的生命力。i n t s e r v 模型中 的r s v p ( 资源预留协议) 目前在国内有不少人在研究，但是由于需要连接 通路上的所有网络元素都支持r s v p 信令，使得扩展以及网络负载都成了问 题，在i p 网络上大规模使用尚待时日。 在实现方面，国外大部分的多媒体传输系统实现都是基于j a v a 的，这主 要是看中了j a v a 的跨平台和纯面向对象的特性。国内也有一些研究人员实现 了实时传输系统，包括音频和视频的传输，目前基本上都使用r t p 协议传输 数据，但是实现协议的语言基本上都是c + + ，这也是因为国内w i n d o w s 平台 占的份额很大，应用相当广泛，所以国内开发的一些多媒体数据传输系统如 视频会议等主要是在w i n d o w s 平台上实现的。 可以看到，l i n u x 或u n i x 系统作为服务器是比较稳定的，在远程教育等 领域的使用会很广泛，所以还应考虑到系统的跨平台性，j a v a 使这个问题变 得简单起来，只要用j a v a 编写系统，无论是w i n d o w s 平台还是u n i x 平台， 只要有j a v a 虚拟机就可以直接使用。 1 1 3 课题来源及研究意义 本课题来源于国家科技部“8 6 3 ”项目一基于国产软硬件的多通道网络 教育关键技术与应用研究( 编号：2 0 0 3 a a l l 6 0 6 0 ) ，是该项目的关键技术之 一a 本文结合网络新技术的发展和实际应用的需求，通过对当今i p 网络中针 对实时数据传输的一些新技术、新协议的研究及分析，在跨系统的j m f 平台 上设计并实现一个远程授课的实时传输系统，为西南科技大学远程教育系统 的开发作了必要的理论和技术储备，并提供一个j a v a 语言实现的实时r t p 传输包，可以供其它传输多媒体数据的应用程序使用。 西南科技大学硕士研究生学位论文第4 页 1 2 论文内容组织 本文共分四大部分： 第一部分介绍了论文的背景、课题的来源和研究意义，以及国内外的研 究现状。 第二部分对多媒体数据实时传输的相关技术进行了详细的论述，主要包 括压缩编码技术、服务质量、同步控制和组播技术。 第三部分对实时传输的相关协议进行了深入的研究和剖析，重点对远程 授课系统中所使用的r t p ，r t c p 协议的结构、功能及其服务质量控制机制进 行了详尽的分析。 第四部分在以上各部分的基础上，使用r t p 协议设计并实现了一个基于 j m f 平台的远程授课实时传输系统。包括服务器端的设计与实现以及用户端 的设计与实现。最后进行了系统测试，并分析了测试结果。 西南科技大学硕士研究生学位论文第5 页 2 实时媒体流传输技术研究 流媒体也称为时基媒体或时间依赖媒体，它们与时间有着强烈的依赖关 系，在采样和插放时需要以时间为参照系进行有序组织。流媒体的定义为： 流媒体是能在时间上连续播放的离散单元序列【2 】。本文的流媒体主要指视频 和音频，它是多媒体的主体。流媒体技术，如基于i p 的电话技术和电视技术， 已经成为人们生产、生活必不可少的部分。 流媒体实时传输技术应用非常广泛，如视频会议、l p 电话、实时监控、 远程教学、远程医疗、虚拟现实等系统。人们对此已进行了深入研究，早在 1 9 6 4 年，a t & t 就推出了世界上第一个可视电话系统。但是传统的基于模拟 的流媒体技术，由于必须使用专用的设备和线路，编解码器非常昂贵，并且 还有一些特殊的要求，除电话和电视外，基本上已被淘汰。 i p 已经成为目前互联网络事实上的标准。主要为数据业务而设计的传统 的i p 网络只能支持尽力而为( b e s te f f b r t ) 的服务，且分组的存储转发和路 由过程可能造成较大的和不稳定的时延，这对传输少量的突发数据是没有问 题的，但是对于传输要求一定质量保证的实时媒体流时就会出现问题。 为了在因特网上有效地、高质量地传输实时媒体流，需要多种技术的支 持。已经提出多种基于i p 网络的实时媒体流传输方案，i t u 和i e t f 等也已 出台了众多标准，并且得到广泛的应用。 2 1实时媒体流的基本特征 2 1 1 时间依赖性 实时媒体流中包含了与时间密切相关的信息，这些信息具有时间连续性 特点，它们必须按照指定的时间信息呈现给重放它的用户。时基媒体的传输 必须是实时的，端到端的等待时间应当控制在一个很短的时间片内。例如， 在视频会议系统当中，为了保持会议的视听效果，延迟应当控制在2 5 0 m s 以 内i l0 1 。 西南科技大学硕士研究生学位论文第6 页 2 1 2 比特率可变性 实时媒体流的传输可以分为恒定比特率( c b r ) 和可变比特率( v b r ) 两种类型。在c b r 中，媒体流以恒定速率产生，网络必须按照恒定比特率来 传输这些媒体流，否则各个接收端就需要大量的缓冲区开销，而且必然会带 来较大的延迟。 在v b r 中，媒体流以可变速率产生，在不同的时间周期内产生数目不 定的数据，网络的传输速率也要随时间而变化，这种传输通常以猝发和跳变 的形式出现。v b r 数据流主要由两种因素引起：画面内容和压缩算法。v b r 传输对网络传输提出了新的要求，这也是基于i p 的实时媒体流传输最具挑战 性的部分。 m p e g - l 可以看作是恒定码率的压缩方法，m p e g 2 和m p e g 4 均支持 v b r 压缩方式。但m p e g l 压缩使用了抽帧和动态压缩技术，所以产生的数 据流也可能是v b r 的。 2 1 3 信道不对称性 在端到端的传输中，传输信道是双向的，分为上行信道和下行信道。根 据应用不同，上行信道和下行信道可能是对称的，也可能是不对称的。如在 远程授课系统中，下行信道主要用来传输音频和视频流，上行信道主要用来 传输少量控制信息，下行信道的遥信量远远大于上行信道。而在对等的视频 会议系统中，由于每个与会者都参与会议讨论，所产生的数据通常是对称的。 2 。1 。4 内容重要性 实时媒体流的种类不同，对传输的要求可能不同。例如，由于人们对声 音的敏感程度高于视频，因此音频的优先级应高于视频。即使同一种媒体， 其重要程度亦可能不同。如压缩过的视频分为关键帧( k e y 矗a m e s ) 和非关键 帧。关键帧的数据是一段时间内视频解压缩的基础，如果关键帧数据出错， 将导致一段数据无法解码和回放，这是不允许的。非关键帧数据出错仅会导 致某些画面质量的下降，这在一定程度上是可以容忍的。 西南科技大学硕士研究生学位论文第7 页 在基于分层的可扩展编码压缩方案中，实时媒体流被分为多个子位流 ( s u b s t r e 锄) ，其中一个位流是基本位流，它可以独立解码。其上可能还有 若干起质量增强作用的予位流，每一层的解码必须依靠它的下层。显然，下 层子位流的重要程度高于上层子位流。 2 。2 实时媒体流的传输需求 2 2 1流式传输 流式传输是相对下载后再播放而言的。传统的传输方式，如f t p 需要先 下载全部内容，然后才能开始播放，但是由于实时媒体流数据量很大，下载 时间一般很长。流式传输允许用户随时播放所传输的内容，这些内容不需要 用户下载完所有媒体数据后才开始播放，而是经过短暂延时即可一边下载一 边播放。 2 2 2 同步需求 实时媒体流中包含了与时间密切相关的信息，这些信息具有时间连续性 和实时性的特点，它们必须按照指定的时问信息呈现给收看它的用户，在播 放时还要保证音视频之间在时序上的同步约束关系。同步要求网络不仅要实 时传输媒体数据，而且要在传输过程中保持媒体数据之间在时序上的同步约 束关系。同步包括流内同步和流间同步。流内同步是保证单个媒体流内部的 时序关系，即按照一定的延迟和抖动约束来传输媒体流，以保证播放的连续 性；流间同步是保证不同的流之间的同步关系，实现媒体表现的同步。 2 2 3 高带宽及高吞吐量 实时媒体流即使经过压缩，依然占据了比较高的带宽，提供一定大小和 特性的带宽是对网络的基本要求。吞吐量是指有效的网络带宽，通常定义为 物理链路的传输速率减去各种传输开销。吞吐量与网络传输速率、接收端缓 冲容量和数据流量有关。带宽不足将导致网络拥塞，缓冲不足将导致缓冲溢 西南科技大学硕士研究生学位论文第8 页 出，数据流量与有效带宽和持续时间有关。如果带宽得不到满足，会造成端 到端延迟的增加、分组丢失等。由于网络的吞吐量一般随时间变化而变化， 这对实时媒体流的传输带来了极大的困难。 2 2 4 高可靠性 差错率是网络可靠性的重要指标，它主要由位出错、分组丢失和乱序等 原因引起。位出错主要和传输介质有关；分组丢失和乱序可能的原因是由于 包头信息的错误而未被接收，但更主要的原因是由于网络拥塞，造成了分组 的传输延时过长、超过了设定的时限而被接收端丢弃，或者网络节点来不及 处理而丢失。 虽然由于人们对视频和声音感知能力的限制，个别数据分组出错很难被 察觉，可靠性要求好像不是很高。但是因为传输的数据一般是经过压缩的， 需要在播放端解码，所以对压缩数据的可靠性要求相当高。在很多情况下， 可靠性需求和端到端的等待时间是矛盾的，要保证可靠性，必须采取差错控 制措施，这必定会增加延迟。 2 2 5 低延迟及延迟抖动 一塑幽堡墨一一 阿络延迟 1 一_ 接口延迟 位传输延迟 网络传输延迟 接口延迟 图2 1传输延迟的组成 f i g u r e2 1c o m p o s i n go ft r a n s p o r td e l a y 延迟是衡量网络性能的重要参数， 络延迟可以分为固有延迟和随机延迟， 端到端的传输延迟如图2 1 所示。网 前者由位传输延迟和带宽决定，后者 由网络故障、传输错误和网络拥塞等引起，一般难以预测。接口延迟包括数 西南科技大学硕士研究生学位论文第9 页 据准备好等待网络接收这组数据的时间。 对于实时媒体流，理想的情况是网络以最小的延迟进行传输，并且同时 到达，这就要求将延迟和延迟抖动限制在一个很小的范围内。在接收端设置 充分的缓冲，有助于减少延迟抖动，但同时增大了延迟。 2 2 6 多点播放 大多数实时媒体流应用要求多方同时进行数据交换，如视频会议要求会 议的任何成员可以和其他任何成员通信；视频点播要求视频服务器可以同时 将视频数据发给多个提出要求的客户；实时监控需要将监控画面送到多个监 控点。由于实时媒体流数据量巨大，单播和广播将会导致效率和性能下降， 同时限制了用户数量。组播通过把相同的数据传输到同组所有站点，最适合 实时媒体流的传输，但它需要下层网络的支持。 2 3 实时传输的关键技术 2 3 1 压缩编码技术 实时媒体流的数据量远远超过当前普通通信的传输能力。例如，分辨率 为6 4 0 4 8 0 ，2 4 位真彩色的数字视频图象，若要达到2 5 帧秒的显示速度， 需要约为1 8 4 m b p s 的网络带宽。通过简单地提高信道的传输速率来解决是不 经济和不现实的，有效的方法是采取压缩技术。但是，郎使经过压缩的实时 数据，对网络带宽的需求仍然很高，如m p e g 1 的标准带宽为1 5 m b d s ， m p e g 2 为6 2 0m b p s 引。 常用的视频压缩标准有i s o 制定的m p e g 系列和i t u t 的h 2 6 l 和h 2 6 3 系列，音频压缩标准有i s o 的m p e g 系列和i t u t 的g x x x 系列。 m p e g 1 压缩产生的码率可以看作是恒定码率( c b r ) 的，m p e g 2 不 但可以产生可变比特的码流，而且支持分层编码。m p e g 4 是面向甚低码率 的编码方法，它与m p e g l 和m p e g 2 最根本的区别在于它是基于内容的压 缩编码方法，它突破了过去m p e g 1 和m p e g 2 以矩形处理图象的方法，在 西南科技大学硕士研究生学位论文 第10 页 这些方法中，将整帧图象分割成固定尺寸、固定开头的子块进行处理。 m p e g 4 具有高效压缩、基于内容交互以及基于内容分级扩展等特点，并且 具有基于内容方式表示的视频数据。这些特征使得m p e g - 4 适合网络传输， 但是目前m p e g 4 的实现仍是基本层编码，其高级功能仍未很好实现。 压缩编码方法不仅节省带宽，而且影响q o s 参数，尤其是视频编码。若 只采用帧内编码，如m j p e g ，可以通过丢帧来允许q o s 变化；若同时采用 帧内编码和帧间编码，如m p e g 和h 2 6 1 ，可以通过建立不同的优先级来发 送m p e g 视频的i 帧、p 帧和b 帧，以实现q o s 调节：如果采用分层编码， 可以根据终端的处理能力来优化各层数据的传输。 扩展分层编码最适合网络实时传输。一种新的被称为细粒度扩展性 ( f g s ) 的压缩机制被提交给m p e g 4 【2 。f g s 压缩把视频压缩成两个位流； 基本层位流和增强层位流。与质量信噪比( s n r ) 扩展性的编码不同，f g s 采用b i t 口l a l l e 编码。它可以实现连续的增强层速率控制。一个f g s 编码的变 体是p f g s ( p r o g f e s s i v ef g s ) 编码，除了具有f g s 的基本优点外，p f g s 可 以实现超过两个位流层，具有更好的预测和错误恢复能力。 2 3 2 服务质量保证 服务质量( q o s ) 是指需要达到应用要求的一组定量和定性的特性。传 统的面向连接的服务和无连接的服务只能表达简单的q o s 参数，如传输延迟 或最大吞吐率等。不同的应用，q o s 参数可能不同，某些参数之间可能存在 某种关系。表2 1 列出了五种类型的q o s 参数【1 1 。 对实时媒体流来说，端到端的延迟和延迟抖动是两个关键参数。必须保 证一定的延迟和延迟抖动，控制在人所能容忍的范围内，否则将严重影响实 时媒体流传输效果。几种典型的媒体对通信网络的要求如表2 2 【1 4 】。 q o s 通常是分层的，在数据链路层、网络层、传输层和应用层都应该提 供q o s 保证。数据链路层提供的q o s 和网络类型密切相关，各种e m e r n e t 都不支持q o s ，t o k e n - r i n g 、f d d i 等通过介质访问优先级提供q o s 支持， 西南科技大学硕士研究生学位论文 第11 页 a t m 能提供较充分的q o s 支持。 表2 1几种q o s 参数分类 t a b i e2 1s o r to fs e v e r a iq o sd a r a 珥e t e r 分类方法举例参数 性能 格式 同步 可接受性 费用 端到端延迟、比特率 分辨率、帧率、存储格式、压缩方法 音视频序列起始点之间的时滞 主观视觉和听觉质量 连接和传输的费用和版权等 网络层的保证主要是有关国际组织和机构提出的一系列o o s 相关协议， 如i e e e 的8 0 2 1 p ，以及与之相关的8 0 2 1 q 和8 0 2 1 d ；i e t f 提出了两种q o s 保证机制，一是由r s v p 提供的确保型业务，二是在区分服务中定义的区分 型服务等。基于网络的解决方法虽然在技术上简单有效，但是在实际工作时 有相当的困难，因为实时媒体流传输是端到端的服务，要求网络上的节点都 支持q o s 通常是不可能的，一般只有在企业内部网( i n t 啪e t ) 中才能得到保 证。 表2 2几种媒体的o o s 需求 t a b i e2 2 r e 口u jr e m e n t so fs e v e r a im d i a s0 0 s 传输层的q o s 由具有q o s 的传输层协议提供，它一般以较大的网络带 西南科技大学硕士研究生学位论文第12 页 宽和较高的延迟开销为代价。t c p 提供保证端到端的有序传输，但它的开销 太大；u d p 开销较小，但它不提供q o s 保证，只是提供了一种反映网络q o s 状态的标记，用于上层应用使用。 应用层的q o s 方案是比较现实和切实可行的解决方案。基于应用的解决 策略主要有拥塞控制和差错控制两种。拥塞控制的基本思想是实时自适应调 节发送速度使其适应网络的带宽。拥塞控制一般有三类方案：基于收端、基 于发端和混合控制。基于发端的控制有两种：一是调整编码速率；二是速率 整形。基于收端的控制根据网络状态增加或减少信道，主要是用于分层的压 缩编码。拥塞可以采用基于试探的方法和基于模型的方法。 对于实时媒体流业务而言，视频质量可以降级，但是时延必须保证，对 于视频通信的这种特征引入了很多新机制。这些机制可以分为四类：前向纠 错( f e c ) 、时延受限的重传、编码的误码控制、掩错。其中掩错只在收端 完成。其它都需要收端和发端共同完成。 一般可以采用如下三种方法来提供q o s ： ( 1 ) 许可控制，服务器必须采用某种许可控制算法，判断新用户的服务 质量，如果加入后，所有用户的q o s 可以保证刚接受；否购拒绝。其基础是 对当前可利用资源的估计和对即将加入用户的资源需求的预测。 ( 2 ) 资源预留，资源预留的核心思想是在发送端和接收端之间的各个节 点上为用户预先保留足够的资源以保证端到端的服务质量。r s v p 是一个基 于此种想法的协议，但是由于预留机制需要网络节点的计算开销与支持，在 实际的应用中其效果并不如人们所想象的好。 ( 3 ) 程序自适应控锚，应用程序的自适应控制即根据网络带宽资源的实 际情况，通过采用动态调整实时媒体应用的资源需求策略，以保证可接受的 服务质量等级，对于不保证服务质量的分组交挟网络，自适应控制在网络状 态波动时给实时媒体应用提供了较大的弹性。比如在网络负载重的时候，可 以加大视频的压缩比，减小所需带宽与分组数。 服务保证的另一方面是媒体分发。传统的视频传输基于单一的流媒体服 西南科技大学硕士研究生学位论文 第13 页 务器。但是单一的服务器在性能上是不可扩展的，而且传输质量受底层网络 传输质量的限制。 2 3 3 媒体同步控制 要想得到流畅的语音、视频信息，首先要解决的问题就是实现多媒体的 同步，它与传统通信中的时钟同步有一定的关系，但二者有本质的区别。它 是多媒体通信中独有的问题，也就是说，只有在分组网上传输多媒体数据才 有多媒体同步的问题【1 7 】。 多媒体数据内部有三种约束关系：基于内容的约束关系；空域约束关系； 时域约束关系【2 。 ( 1 ) 基于内容的约束关系是指用不同的媒体对象代表同一内容的不同表 现形式时，内容与表现形式之间所具有的约束关系。 ( 2 ) 空域约束关系用来定义在多媒体数据显示过程中的某一时刻，不同 媒体对象在输出设备上的空间位置关系。 ( 3 ) 时域约束关系反映媒体对象在时间上的相对依赖关系，它主要表现 在如下两个方面：时基媒体对象中的各个数据单元之间的相对时问关系和各 个媒体对象之间的相对时间关系。即把多媒体时域同步分为流内同步和流间 同步。其中流内同步是对来自同一个流中的分组之间的同步问题。它是指时 基媒体对象中的各个数据单元之间存在着固定的时间关系，而且这种时间关 系是在数据获取时确定的，并要在存储、处理、传输和播放过程中保持不变， 否则就会损伤媒体显示时的质量。流间同步指的是不同流之间的同步问题， 比如人物的口型动作和声音之间的配合，要实现图像与语音的同步。 上面提到的三种约束关系中，时域特征是最重要的一种。本文后面只讨 论有关时域约束关系。 媒体同步机制的核心是在媒体内或媒体问说明时间关系。说明时间关系 的方法包括基于间隔的方法，基于轴的方法，基于控制流的方法和基于时间 戳的方法。常用的是基于时间戳的方法。 西南科技大学硕士研究生学位论文第1 4 页 对于终端系统而言，同步机制包括阻止( p r e v e n t i v e ) 和纠正( c o r r e c t i v e ) 。 前者是主要通过减少延迟和抖动来减少同步错误，而后者主要是在发生同步 错误之后恢复同步。考虑到i n t e m e t 传输的延迟随机性，同步错误是不可避 免的。因此，接收方的错误补偿是必需的。一个纠正的机制是采用流同步协 议( s t r e a ms y n c h r o n i z a t i o np r o t o c 0 1 ) ，该协议使用期望延迟( i n t e n t i o n a ld e l a y ) 的概念在不同的媒体流之间调整表述时间以适应网络延迟的变化。 2 3 3 1 影响多媒体时域同步的因素 在分组网上传输多媒体信息时，由于数据源的分组从其产生、传输、到 达处理要受到各种因素的影响，因而可能对分组原有的时问约束关系造成破 坏，从而影响多媒体数据的播放。 ( 1 ) 分组由于网络传输的影响而产生的延迟和延迟抖动，比如不同的数 据报韵传输路径不同和在交换机或路由器中分组的排队时间不同都会造成同 一个音视频流中的各个分组传输时问不同。另外网络传输条件的变化也可能 造成分组的丢失、延迟抖动，甚至造成已同步的数据流失去同步。 2 ) 时钟偏差也是一个很重要的因素。在无全局时钟的情况下，数据源 和接收方的时钟频率可能存在偏差。而多媒体数据的播放是由接收方的本地 时钟驱动的。如果接收方时钟频率高于数据源的本地时钟频率，经过足够长 的时间可能在接收方产生数据不足的现象；反之，则可能造成接收方缓冲区 的溢出【2 5 1 。 ( 3 ) 由于现有的通用型操作系统不能够对实时应用提供充分的支持，c p u 的调度算法可能造成应该播放音视频数据的时候。播放程序还在等待诸如调 度这样的情况发生f 27 1 。 ( 4 ) 由于多媒体实时数据一般比较大，有些软件要把数据压缩处理，因 而分组的大小一般来说就互不相同了，所以它们的传输延迟也不同1 2 8 1 。 ( 5 ) 在多个数据源或多个接收方的情况下，就会产生一些点到点实时传 输所没有的同步问题i ”1 。在多个数据源的情况下，各个数据源必须同时开始 西南科技大学硕士研究生学位论文第15 页 采集和传输信息。如果采集时间不同，两个数据源分别采集图像和伴音时就 会出现唇音不同步的现象。 以上是影响多媒体同步的主要因素，这里需要说明的是对同步影响最大 的是网络传输造成的延迟和延迟抖动。下面分别按流内同步和流间同步来介 绍解决以上因素带来的失步问题的算法。 2 3 3 2 流内同步 由于上面提到的因素影响媒体的同步，一个简单有效的方法是在接收方 设立一个缓存区，在分组到达后不是立即播放，而是把它放在缓存中延迟一 定时间再播放，这样就可以把延迟抖动滤除掉了。缓存区分为固定大小和动 态调整两种。固定大小的缓存区易于实现但却不能随网络情况的变化而调整。 动态调整的缓存区算法又分为随机动态播放时间调整和特殊时段播放时间调 整。其中随机动态播放时间调整算法在任何时刻都调整播放时间，虽然它减 少了分组丢失却导致了语音不可理解等问题。特殊时段播放时间调整算法是 只在实时码流的某些特殊时段内，比如音频信号的无声静默期、视频信号内 容基本不变的时间，调节器对分组的播放时间进行微调，而这些特殊时段的 微小变化是不容易被人所察觉的f 2 。动态算法的一个关键地方在于播放延迟 缓存区应该有多大以及如何调整，要达到既能消除延迟抖动的影响，而又不 过分加大播放延迟时间。 首先设t ( i ) 为第i 个分组应该发送的时刻，t d ( i ) 是在发送方由于进程调度 算法等原因造成的延迟，在考虑数据源和接收方时钟偏差么t ( 其值为一定值 且可为正也可为负) 的情况下，到达接收方时刻a ( i ) ( 以接收方的时钟为准) 为： a ( i ) = t ( i ) + t d ( i ) + d ( i ) + 么t( 2 1 1 其中d ( i ) 为网络传输延迟。在这里假定网络传输延迟d ( i ) 和调度延迟t d ( i ) 在一定范围内，即： d m i n 耋d ( i ) 薹d m 。 ( 2 2 1 西南科技大学硕士研究生学位论文第16 页 o 薹t d ( i ) 耋t d m 吐( 2 - 3 ) 要能连续播放，必须保证第i 个分组的应该播放时间p ( i ) 加上由于接收 方的进程调度等问题产生的延迟p d ( i ) 之和必须晚于它的到达时间，即： p ( i ) + p d ( i ) 兰a ( i )( 2 - 4 ) 在这里也假设p d ( i ) 的值在一个范围之内，即： o 耋p d ( i ) 耋p d m 。 ( 2 - 5 ) 这里由于在当前的情况下，p d ( i ) 及t d ( i ) 较d ( i ) 的值小得多，而且可以通 过一些其它手段消除，同时也为了计算的方便，在以下的推导中忽略p d ( i ) 及t d ( i ) 。 在正常播放的情况下必须保持数据原有的时间关系，有下式成立： p ( i ) 一p ( i 一1 ) = t ( i ) 一t ( i 1 ) + 4 t ( i - 2 ，3 ，) ( 2 6 ) 即： p ( i ) 一p ( 1 ) = t ( i ) 一t ( 1 ) + 4 t( i = 2 ，3 ，)( 2 7 ) 其中p ( 1 ) 和t ( 1 ) 为第一个分组的发送和播放时间。 由式( 2 一l 、式( 2 - 7 ) 和t ( 1 ) = a ( 1 ) 一d ( 1 ) 可得： p ( i ) 一a ( i ) = p ( 1 ) a ( 1 ) 一【d ( i ) 。d ( 1 ) + 刀t( i = 2 ，3 ，)( 2 - 8 ) 根据p ( i ) a ( i ) ，上式可转化为：、 p ( 1 ) 一a ( 1 ) 【d ( i ) 一d ( 1 ) + 么t( i = 2 ，3 ，)( 2 - 9 ) 上式在最坏的情况下成立的条件是： p ( 1 ) 一a ( 1 ) = m a x 【d ( i ) d ( 1 ) + d t 】i ( 2 ，3 ，) ) = d 。一d 。j 。+ d t( 2 1 0 ) 另外缓存区的大小可由上面的结论推出： b t _ m a 】【 p ( i ) 。a ( i ) ii ( 2 ，3 ，) + t 2 ( d m “一d m