流媒体技术规范及其应用技术研究综述.doc

流媒体技术规范及其应用技术研究综述第3l卷yot.3i第2期2计算机工程ComputerEngineering2005年1月January2005.发展趋势/热点技术?文章编号:1000-3428(2005)02-0005-02文献标识码:A中圈分类号:TP流媒体技术规范及其应用技术研究综述贾代平,范辉(山东工商学院信息与电子工程学院,烟台264005)摘要:流媒体是网络条件下多媒体应用的一种新的表现形式.该文首先对流媒体技术的两个焦点问题(编码标准与通信协议进行了总结,并给出RTP/RrcP应用的体系结构,随后结合流媒体在网络应用中存在的技术瓶颈,提出了当前流媒体技术的主要研究领域.关健词:流媒体;RTP/RTCP;QoS;MPEG;异构网络ASurveyofTechnicalStandardsandAppliedResearchesforStreamingMediaJIADaiping,FANHuifSchooIofInlbrmationandElectronicEngineering,ShandongInstituteofBusinessandTechnology,Yantai264005)lAbstract】Streamingmediaisailewpatternofmultimediaapplicationonnetwork.ThispapersummarizesitskeyISSUES(encodingstandardsandcommunicationDrOtOC【)ls),andthenprcsentsthearehiteetureforRTP/RTCP.Aimingatdeficienciesofstreamingmediainsystemapplication,themainfieldsaboutappliedresearchalediscussed.IKeywords】Streamingmedia;RTP/RTCP;QoS;MPEG;lleterogeneitysubnet近年来随着宽带网的兴起而诞生的流媒体(Str或媒体的流化技术呈现一种快速发展的趋势.宽带业务刺激了人们对网络的需求,多媒体信息在网络信息的传输与应用中占有越来越重要的地位.作为多媒体和网络领域的交叉学科,流媒体技术为多媒体信息提供了一条崭新的应用途径.以音频和视频信息为例,传统的应用需要先下载后播放,流媒体的出现,改变了这种应用模式,将音频,视频等多媒体信息转化成流的形式,信息在传输的同时即可进行播放,从而催生出诸如视频点播,网络电台,在线教育医疗等新型应用,为人们在更高层次上利用网络打开了一扇方便之门.l编码标准与传输协议流媒体的应用呼唤技术标准与协议.目前科研机构和lT领域普遍关注流媒体技术的基础研究及其国际标准,其中流媒体的压缩编码算法和流式传输协议成为关注的两大焦点.1.I流媒体编码标准流媒体的编码技术是建立在传统多媒体编码技术基础之上,最近5年来得到蓬勃发展,其中以ISO/IEC颁布的MPEG系列标准和ITU颁布的H系列标准为代表,它们越来越多地考虑了以流为特征的网络应用需求.MPEG系列标准包括MPEG?l/MPEG.2/MPEG.4/MPEG.7,它们对网络传输的重视逐渐得到加强:MPEG.1用于码率约为1.5Mbps的数字视频及其伴音的编码,MPEG.2在此基础之上为了满足f3益增长的多媒体分辨率和传输率等方面的技术要求,首次定义了传输流(TransportStream),并支持多路MPEG?2码流在网络中的传输复用;MPEG-4标准旨在为流媒体的传输,存储及其应用环境提供一个基于对象的编码方案,并在时域和空域具有灵活的扩展性,以利于动态码率的调整.MPEG?7被称作是多媒体内容描述接口(MultimediaContentDescriptionInterface),它将不同类型的多媒体信息进行标准化的描述,并将这种描述与媒体的内容联系起来,以实现基于内容的有效检索.H系列标准主要用于视频电活和电视会议:H.26l用于P64kbps的视听服务,H.263适于低码率的视频编码,最新的技术进展是ITU提出的H.26L,它在实验室内的性能可以达到MPEG.2的两倍.另外,H.323,H.324等系统标准则直接地面向网络应用.流媒体的编码算法标准集中体现了多种矛盾需求的综合折中,这些需求包括:压缩编码速度,解码回放质量,可变编码码流速率,动态传输环境下的鲁棒性,解码速度,信噪比,可伸缩性等.到目前为止,最具代表性的流媒体编解码技术为MPEG?4中的精细可扩展性编码(FineGranularScalable,FGS)和渐进精细可扩展性编码(ProgressiveFineGranularScalable,PFGS),均针对网络中码率变动的特性而制定.1.2实时传输协议在流式传输网络协议领域,lETF(IntemetExpertTaskForce)是Intemet规划与发展的主要标准化组织,已经颁布的传输协议主要有:实时传输协议RTP(Real?timeTransportProtoco1),实时传输控制协议RTCP(RealtimeTransportControlProtoco1),实时流化协议RTSP(Real?timeStreamingProtoco1),以及资源预约协议RSVP(ResourcereSerVationProtoco1)等.其中RTP/RTCP是目前被广泛应用的流媒体协议,图1给出了它的应用体系结构.RTP的数据传输通道可以选择UDP,TCP甚至ATM等.以建立RTP/UDP模式的应用为例,RTP通过低层的UDP传送实时多媒体数据,传输层的控制功能由它的控制部分RTCP协议来实现.RTCP依靠反馈机制收集已经发送的数据包和丢失的数据包等统计信息,并根据对这些数据的分析产生相应的控制指令,直接作用于媒体信息的编码,发送,甚至协作者倚介:贾代平(I966一),男,博士生,副教授,主研方向:通信与信息系统,C31综合数据处理;范辉,硕导定藕日期:2004?09?29E-mail:一5一议选择环节来动态地改变传输速率,载荷类型等,从而和RTP一起提供流攮控制和拥塞控制服务,实现对流媒体服务的QoS(QualityofService)控制.另外,RTCP的反馈机制可以针对具体应用,IETF为此制定fRTP与特定媒体相结合的标准,如H.263overRTP,InterleavedMediaoverRTP,GeneralAudiooverRTP,FECOverRTP等.一?一一一?一一一一一一流媒体服务器流媾俸接收端图I基于RTP/RTCP协议的漉媒体系统结构实时流化协议RTSP是一个应用层协议,在体系结构上位于RTP和RTCP之上,它的主要目标是用来控制具有实时特性的数据传送,为多媒体信息在IPIN络上提供整套流化服务.RTSP使用TCP或RTP传输数据,并可实现VCR(VideoCassetteRecorder)模式的远程控制功能,如暂停,恢复,前进,后退,定位等操作.资源预约协议RSVP类似于电路交换系统的信令协议,在协议栈中,它运行在IP层之上,占据传输层位置,工作时需要与现有的路山协议一起,用来在数据流传输的网络通路上申请并维持一些资源(即带宽)预留状态,建立静态或动态的逻辑传输通道,保障数据流独享足够的带宽,避免由于数据包过多引起的拥塞,丢失现象,从而提供稳定的QoS质量保证.RSVP的出现,被认为是IP路由器为提高流媒体服务质量向前迈进的具有重要意义的一步.2流媒体技术的主要研究方向近年受应用需求的推动,流媒体技术的研究不断地向纵深发展,目前主要的研究领域包括流媒体编码技术,流媒体服务器技术,异构网络传输技术及流媒体协同工作环境等.2.1流媒体编码技术传统的多媒体信息编码是面向存储的,传输的目标是将数据压缩成为特定速率的码流,从流媒体的观点来看,这类编码不适合网络传输,因为实际的网络带宽是动态变化的.图2给出了这类编码的传输特性,图中带有明显拐点的曲线对应传统的编码方法,其特点是:当网络带宽低于某个特定的码率时,系统就无法传输信息,而当带宽达到这个码率时,系统可以传输一定质量的信息,但当带宽进一步增加时,接收的质量并没有得到继续改善.为了实现流媒体在网络上的有效传输,有必要设法将多媒体信息压缩成码率在一定范围内的码流,以适应网络带宽的动态变化,于是诞生了面向网络的编码,其基本思想是将流媒体编码成一个可以单独解码的基本层码流和一个可以在任何位置截断的增强层码流,基本层码流适应最低的网络带宽,增强层码流用来覆盖网络带宽变化的动态范围,并且解码质量随码率的增加而提高,编码的传输特性如图2中的斜线所示.这种以网络为中心的流式编码思想是当前研究的重点,它要求网络中的路由器,交换机等节点为流媒体传输提6供带宽,延迟,抖动,丢失率等服务质量保证,当前基本方案主要有3类:基于DCT变换,小波变换IIMatchingPursuit技术.MPEG.4中的精细可扩展性编码FGS就采用r基于DCT的技术;微软亚洲研究院的学者李I鹏提出一种被称为渐进精细可扩展流媒体编码(ProgressiveFineGranularScalable,PFGS),在保持了FGS所具有的网络带宽自适应和错误恢复能力的同时,编码效率提高了近ldB.清华大学的钟玉琢教授提出了一种灵活而高效的精细空域可扩展流媒体编码(FineGranularitySpatiallyScalable,FGSS),与PFGS编码相比,具有更低的基本层码率,它将PFGs和MPEG一4中的空域可扩展性编码相结合,提供_多分辨率和自适应网络带宽的能力,并且具有良好的容错性能.目前,此类编码技术仍在发展变化过程中.好I,接收质量差低传输带宽鬲图2两类媒体编码思路的比较2.2流媒体服务器技术流媒体服务器技术最初的应用是对传统的文件服务器进行扩展和改造,使之能够适应流媒体的服务需求.流媒体服务器的首要任务是有效地提供大量实时的流式数据,其性能的关键指标是流输出能力和能同时支持的并发请求数量.当前流媒体服务器技术的研究主要集中于数据放置策略,流调度算法,磁盘缓存策略等,并且已经有一些初步的研究成果,如缓存替换(CacheReplacement)算法,点播排队模型,服务器集群等,但这些成果还远远满足不了实际的应用需求,随着流媒体应用规模的扩大,流媒体服务器的性能将成为制约流媒体服务扩展能力的重要瓶颈.2.3异构网络传稻技术异构网络传输是流媒体应用面临的重要挑战.lntemet是一个典型的异构网络:一是网络中存在多种类型(底层硬件平台)的子网,如以太网,ATM,FDDI,令牌环网,帧中继(FR),串行链路(PSTN,xDSL),无线网络,卫星网络,移动网络等,它们的带宽特性,传输控制方式,时廷特征等都各不相同;二是网络互联设备的差异,路由器,交换机,网络服务器在支持的路由协议,包转发特性等方面存在不同程度的差异.上述异构特性会导致数据传输的复杂性.对于流媒体而言,不论是单播,点播,组播还是广播,数据流要跨越不同子网,其QoS质量保证,编码与协议转换,时间延迟导致的抖动等技术问题都有待进一步研究.如在IP组播环境中,数据链路不同部分的带宽不同,接收端的处理要求和处理能力不同,而所有接收者都要与同一组播信源交互,如何控制数据流使之适应不同的接收端,是异构网络环境F流媒体传输所面临的突出问题.(下转第86页)WAINTRING(线振铃)anotherchannel>=0内线振铃WAOFFHOOK(提机):hnnelJyPe:外栈an,:I控制外线提机)or(charnelt押e=内线andcteGetF.vent=线提机)椰LWAINPUrEND(输入结束)用户输入#lnputBu1fJ输入WAHANGUI(挂机):rchanne1JyPe=外线dctcGEvent=外栈挂机)or(chazmeltzrpe=J线actcGetEvent=内线挂机)lI工3.3状态与动作推导关系R下面用图形表示R的设置,见图2.本文提;了基于中问件技术的动作推导引擎的设计方案,并根据这种设计方案实现了可以完成话音服务系统中的后台语音控制流程的动作推导引擎模型.动作推导弓l擎可以根据系统的实际情况加强对输入信息的约束条件的检测,这样能帮助发现设计时的逻辑错误,但是系统的灵活性会有所降低.(上=接第6页)另外,在无线l斓络中,由于存在多径衰落(MultipathFade)和阴影衰落(ShadowingFade),随机性或突发性的传输差错时有发生,而高度压缩的数据流对差错又非常敏感,尤其是采用预测编码和变长编码的码流(如MPEG码流),差错的传播和积累往往会造成媒体质量的显着下降.这类问题的顺利解决是流媒体穿越Fixed/Wireless网络边界,实现高质量异构网络传输的前提条件.2.4流媒体协同工作环境流媒体协同作环境(MediaSupportedConaborativeWork,MSCW)关注的重点是如何提高流媒体的系统效率(Efficiency).典型的流媒体应用系统在运行过程中具有群体性,交互性,分布性和协作性,系统效率是一一项综合指标,它涉及多方面的系统技术,包括流媒体调度技术,代理服务器及缓存技术,流媒体的应用层组播技术,流媒体服务模型等,同时还需要解决流媒体信息的时空组合问题,信息同步问题等,因此该类技术的研究具有强烈的挑战性,是当前流媒体技术应用研究的重点内容之一.3结束语目前,有关流媒体方面的技术标准与协议正在向智能化,实用化的方向发展,各类流媒体技术的应用正在展开,流媒体作为未米宽带网络的主流应用的趋势已经越来越明确.然而,流媒体技术还远没有成熟,要实现流媒体的无障86一图2推导关系图参考文献lMcCarthyJ.ActionsandOtherI:.ventsinSituationCalculus.http:/wwwformalstartlbrd,edu/mc/indcxhtm1.200I-082ChomickiJ.ContlictResolutionUsingLogicProgrammingIEEETransactiononKnowledgeandDataEngineering,2003,(1,2)3胡志远,刘新福,顾君忠一利t中间件的结构模型计算机工程与应用,2003.29(2)4田启家,史忠植.动作和进化的模型论基础中国科学E辑,I997.(3):2822885黎亮,李磊,陈冰川l,CIBX系统