（计算机应用技术专业论文）无线网络流媒体直播系统的关键技术研究.pdf

无线网络流媒体直播系统的关键技术研究 摘要 随着计算机网络和多媒体技术的不断发展，流媒体直播技术的应用越来越广泛。近几 年，无线网络的飞速发展和带宽的迅速提高，为流媒体技术在无线网络中的应用奠定了坚 实的基础。当前，基于无线网络的流媒体传输技术是无线网络应用的一个研究热点，同时 也是难点。目前的无线网络还无法为视频传输提供可靠的服务质量，视频直播还面临着延 迟较大、传输抖动等问题。同时，随着网络用户的急剧增多，i n t e r n e t 常常因为拥塞而导致 大量数据包丢失。因此，对无线网络流媒体直播的质量控制技术进行研究显得尤为重要。 本文针对无线网络视频直播中的相关技术进行了研究，论文的主要工作包括以下几个 方面： ( 1 ) 研究了流媒体传输协议和编码技术。m e p g - 4 能够克服网络带宽瓶颈，节省通信线 路资源，实现低码率高质量的图像传输。r t p r t c p 是基于t c p i p 网络的视频传输协议， i ：i , t c p 协议简单有效，比u d p 协议更可靠。因此本文选择m p e g - 4 作为视频压缩标准， r t p r t c p 协议作为视频实时传输协议。 ( 2 ) 针对无线网络流媒体传输中的拥塞控制问题，本文分析了几种拥塞控制方法。在 a i m d 拥塞控制策略的基础上提出了一种新的流媒体直播反馈控制策略，然后对它进行了 n s 2 仿真，并把该策略应用到流媒体直播系统中。该方法可以使服务端的发送速率根据从 客户端反馈得到的丢包率自动调节，以适应网络状态的变化，从而有效的减小网络的拥塞。 ( 3 ) 分析了服务端编码速率过高而引起的服务端缓冲区溢出问题，并给出了的服务端 缓冲区管理方案。针对无线网络接收端容易发生包乱序、丢包、抖动等现象，本文使用了 循环队列缓冲机制，通过客户端缓冲区端管理模块处理乱序、丢包、抖动等问题。 ( 4 ) 在此基础上，本文提出了一套无线网络流媒体直播方案，并对采集模块、编码模 块、传输模块、解码模块以及回放模块进行了设计，实现了视频采集、视频编码、实时传 输、解码、回放等功能。在该系统的开发基础上，本文对服务端发送速率、丢包率等因素 对服务质量的影响做了一些研究和分析。实验证明系统有较好的网络适应性，并能获取良 好的视觉质量。 关键词：无线网络；拥塞控制；流媒体；丢包率 一一垂垡堕丝堕签箜垦堡墨竺塑茎堡堡查里! 窒 一 _ - _ _ _ _ _ _ - _ ，_ _ _ - - _ _ l _ - _ - - _ _ _ _ _ _ - _ 一 一一 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n t e r n e ta n dm u l t i m e d i at e c h n o l o g i e s ，s t r e a m i n gm e d i a b r o a d c a s tt e c h n o l o g yh a sb e e na p p l i e dw i d e l y i nr e c e n ty e a r s ，t h er a p i dd e v e l o p m e n t o fw i r e l e s s n e l r ka n dt h ei n c r e a s i n gw i r e l e s sb a n d w i d t hm a k ei tp o s s i b l et h a ts t r e a m i n gm e d i at e c h n o l o g y i su s e di nt h ew i r e l e s sn e t w o r k c u r r e n t l y , t h es t r e a m i n gm e d i ab a s e do nw i r e l e s sn e t w o r ki s a r e ：s e 硼- c hf b c u s a r di ti sa l s oad i f f i c u l t y b u tw i r e l e s sn e t w o r kv i d e ob r o a d c a s tt o d a yi sp l a g u e d b yv a r i a b i l i t yi nt h r o u g h p u ta n dd e l a yd u et o n e t w o r kc o n g e s t i o na n dt h eh e t e r o g e n e o u s i n f r a s t r u c t u r e , w h i c hi m p a c tt h ep l a y b a c kq u a l i t yb a d l y i na d d i t i o n , n e t w o r kb a n d w i d t hb e c o m e s m o r ea n dm o r el i m i t e du p o nt h er a p i di n c r e a s i n go fi n t e r a c tu s e r i ti sm u c hm o r ei m p o r t a n tt o s t u d yt h eq u a l i t yo f w i r e l e s sv i d e ot r a n s m i s s i o n t h i sp a p e rr e s e a r c h st e c h n o l o g i e sa b o u ts t r e a m i n gm e d i ab r o a d c a s t ，t h em a i nw o r k w eh a v e d o n ec a nb es u m m a r i z e da sf o l l o w s ： f i r s t l y , t h i sp a p e rr e s e a r c ht r a n s m i s s i o np r o t o c o l s a n dc o d i n gs t a n d a r d s m p e g - 4c a n c o n q u e rb a n d w i d t hb o r l e n e c ko ft h en e t w o r k ， s a v et h er e s o u r c eo fc o n u n u n i c a t i o nl i n ea n d r e 甜i 2 君t h el o wb i tr a t ea n dh i g hq u a l i t yo fi m a g et r a n s p o r t a t i o n r t p r t c p i sav i d e o t r a n s p o r t a t i o np r o t o c o lb a s e do nt c p i ei ti s m o r ee f f e c t i v et h a nt c pa n d m o r er e a l i a b l et h a n u d e a sar e s u i t i ti sw o r t h w h i l et oc h o o s em p e g - 4 a st h ec o m p r e s s i o ns t a n d a r da n dr t p r t c p 觞t h er e a lt i m et r a n s p o r t a t i o np r o t o c o lf o rs y s t e m s e c o n d l y , a b o u tw i r e l e s sr a t ec o n t r o ld u r i n gv i d e ot r a n s m i s s i o n , t h i st h e s i sa n a l y z e ss e v e r a l c o n g e s t i o nc o n t r o lm e t h o d sa n di d e a s ，b a s e do na i m d c o n g e s t i o nc o n t r o lm e t h o d s ，t h i st h e s i s p u t sf o r w a r da v i d e ot r a n s m i s s i o nc o n t r o lp o l i c y , s i m u l a t ei ti nn s 2 a n dm a k eu s eo ft h ep o l i c y i nt h es t r e a m i n gm e d i as y s t e m t h i sp o l i c yc a nm a k ev i d e o t r a n s m i s s i o nr a t eo fs e n d e r a u t o m a t i c a l l ya d a p t i v et o t h ec h a n g e so fn e t w o r ks t a t e sa n de f f i c i e n t l yr e d u c e sn e t w o r k c o n g e s t i o n t h i r d l y , w es t u d yt h eb u f f e t i n go v e r f l o wp r o b l e mc a u s e db yh i g hc o d i n gr a t e ，a n dg i v eo u t as e r v e rb u f f e r i n gm e t h o d b e c a u s et h ew i r e l e s sc l i e n ti se a s yt of l i t t e ra n d l o s ed a t ap a c k e t ，w e p r o p o s eac l i e n tb u f f e t i n gm a n a g e m e n ts t r a t e g ya n du s ec l i e n tb u f f e r i n gm a n a g e m e n t m o d u l et o d e a lw i t hd a t ap a c k e to u to fo r d e ra n df l i t t e r f o u r t h l v b a s e do nt h es t u d yo fw i r e l e s ss t r e a m i n gm e d i ak e yt e c h n o l o g i e s ，t h i sp a p e r p r o p o s e sas o l u t i o nf o rs t r e a m i n gm e d i as y s t e m ，a n dd e s i g n st h es y s t e m ，i n c l u d i n gc a p t u r e m o d u l e ，e n c o d em o d u l e ，n e t w o r kt r a n s p o r tm o d u l e ，d e c o d em o d u l ea n dp l a y b a c km o d u l e t h e f u n c t i o no fv i d e oc a p t u r e ，v i d e oe n c o d i n g ，r e a l - t i m et r a n s m i s s i o n ，v i d e od e c o d i n g ，p l a y b a c ka n d s t o r a g ea r ef i n i s h e d b a s e do nt h ed e v e l o p m e n t ，v i d e ot r a n s m i s s i o nr a t eo fs e n d e r a n dp a c k e tl o s s o nt h eq o sa r ea n a l y z e di nt h ep a p e r t h r o u g he x p e r i m e n t ，t h er e s u l t si n d i c a t et h a tt h es y s t e m i i 无线网络流媒体直播系统的关键技术研究 a r c h i v e sg o o dp e r c e p t u a lp i c t u r eq u a l i t yu n d e rv a r y i n gn e t w o r kc o n d i t i o n sa n de f f i c i e n t l y u t i l i z e sn e t w o r kr e s o u r c e s k e y w o r d s ：w i r e l e s sn e t w o r k ；c o n g e s t i o nc o n t r o l ；s t r e a m i n gm e d i a ；p a c k e tl o s s r a t e i i ! 曲阜师范大学博士硕士学位论文原创性说明 ( 在口划“”) 本人郑重声明：此处所提交的博士口硕士回论文无线网络流媒体 直播系统的关键技术研究，是本人在导师指导下，在曲阜师范大学攻读博 士口硕士囱学位期间独立进行研究工作所取得的成果。论文中除注明部分 外不包含他人已经发表或撰写的研究成果。对本文的研究工作做出重要贡献 的个人和集体，均已在文中已明确的方式注明o 本声明的法律结果将完全由 本人承担。 作者签名： 剀逮艘 日期： 沁8 耳g 同；b 曲阜师范大学博士硕士学位论文使用授权书 ( 在口划“”) 无线网络流媒体直播系统的关键技术研究系本人在曲阜师范大学攻 读博士口硕士口学位期间，在导师指导下完成的博士口硕士口学位论文。 本论文的研究成果归曲阜师范大学所有，本论文的研究内容不得以其他单位 的名义发表。本人完全了解曲阜师范大学关于保存、使用学位论文的规定， 同意学校保留并向有关部门送交论文的复印件和电子版本，允许论文被查阅 和借阅。本人授权曲阜师范大学，可以采用影印或其他复制手段保存论文， 可以公开发表论文的全部或部分内容。 日期：矽。睥乡胃岁白 日期：少秒7 莎，厂 文 厶 ri 一r r r破含 逮仲 驯，向 名名登登者师怍导 无线网络流媒体直播系统的关键技术研究 1 1 研究背景和意义 第一章绪论 流媒体是指在数据网络上按时间先后次序传输和播放的连续音、视频数据流。流媒体 数据流具有三个特点：连续性、实时性、时序性，即其数据流具有严格的前后时序关系。近 年来，流媒体技术在有线网络中得到了广泛的应用，随着3 g 时代的到来，流媒体技术在无 线移动网络中也将会有了很大的突破。移动通信技术的迅猛发展带动了无线技术的不断进 步，在数据通信不断发展的过程中，简单的数据信息已经不不能满足人们的要求，语音、 图像等多媒体信息成为了新的需求。 通过无线网络技术接入至l j i n t e m e t 的方式有两种【l 】：一是基于蜂窝的无线接入技术，另 一种是基于无线局域网的接入技术。如何实现计算机设备的移动性以及便携终端如何接入 i n t e m e t 并获取有效信息等问题是无线网络接入技术研究的重要内容。 随着无线通信技术的飞速发展，流媒体数据的无线传输成了研究的新热点。无线移动 网络给人们带来了极大的方便，用户对无线设备有很高的期待，同时国内外对此投入了很 大的人力、物力和财力。各种不同的移动业务的出现，为无线视讯业务提供了广阔的发展 前景，无线网络流媒体直播技术将成为未来无线移动通信研究的新热点。 1 2 无线网络流媒体直播面临的困难 流媒体直播技术在有线网络中得到了广泛的应用，但无线网络的种种限制使它的发展 遇到了许多困难【2 j 。 首先，无线网络信道环境较为恶劣，带宽资源比较有限，无线信道的噪声较多，并伴 有小范围和大范围的衰减。同时，流媒体传输的数据量较大，容易受到带宽的限制，不利 于在无线网络中传输，所以要想获得较高的服务质量，网络带宽就需要达到视频传输的最 低要求。然而，目前的无线网络还不能保证所有的视频服务都能满足对带宽的要求。 其次，无线网络的时延大、误码率高、传输速率不稳定，所以容易导致网络拥塞现象 的发生。网络拥塞会造成数据包的丢失，延时等问题。数据包丢失会造成主观感受质量下 降，严重拥塞会使播放无法进行。 而且，无线网络存在异构性，不同的子网的数据处理能力，带宽，拥塞控制策略略等 都有所不同，通过不同的的子网来传输数据时，传输吞吐量，数据丢失率和传输延时都会 有所差异。 显然，无线网络中的这些问题流媒体直播带来很大麻烦，若不及时解决就会令直播无法 完成。因此，研究无线网络流媒体直播技术，对促进流媒体直播的广泛应用具有非常重要 的意义。 无线网络流媒体直播系统的关键技术研究 1 3 本文研究的主要内容 ( 1 ) 本文首先对m p e g - 4 视频编码标准以及新技术进行了研究，对r t p r t c p 协议进行 了详细分析，研究了r t p 的打包规则以及r t c p 的反馈控制机制。并把r t p r t c p 协议应用 到系统中，实现了对视频流的传输和控制。 ( 2 ) 针对无线网络流媒体传输中的拥塞问题，本文分析了几种拥塞控制策略，在a i m d 拥塞控制策略的基础上提出了一种适合无线网络流媒体传输的反馈控制策略，对该策略进 行了仿真，并把它应用到直播系统服务端控制模块中，达到减少网络的拥塞的目的。 ( 3 ) 对编码速率过高而引起的服务端缓冲区溢出问题进行了研究，通过服务端控制模 块实现了对缓冲区溢出的控制，针对目前客户端缓冲区管理策略适应性差、延迟大等缺点， 本文提出了循环队列缓冲机制，通过客户缓冲区端管理模块处理乱序、丢包、抖动等问题。 ( 4 ) 在上面的理论研究的基础上，对服务器端和客户端分别进行了功能模块设计。 1 4 本文的内容安排 本文共分六章，各章节内容的安排如下： 第一章：介绍本课题的研究背景，本文完成的工作及内容安排。 第二章：对m p e g - 4 视频编码技术及视频传输协议r t p r t c p 进行了研究。 第三章：对流媒体直播的拥塞控制策略进行改进，并对改进后的策略进行仿真。 第四章：对服务器端和客户端分别进行功能模块设计。 第五章：对系统进行测试与分析。 第六章：总结全文，对下一步的工作提出建议。 1 5 本章小结 本章首先对流媒体技术的发展做了简单介绍，然后对流媒体在无线网络中传输遇到的 困难进行了分析，最后给出了本文研究的主要内容。 2 无线网络流媒体直播系统的关键技术研究 第二章无线网络流媒体直播的相关技术基础 在无线视频通信中，无线终端可以通过无线网络实现视频会议、视频监控等功能。但 是无线信道不同于有线信道，无线环境下，信道的多径干扰、衰落、带宽波动都会造成视 频数据的出错或丢失，所以对视频编码的研究非常关键，如果传输的视频码流本身就具有 一定的适应带宽变化的能力，以及一定的抗误码能力，那么就在一定程度上提高了无线视 频传输的质量。这就要求视频编码在寻求高压缩率的同时也要考虑编码后码流的可扩展 性，使视频流在带宽受限或者信道不可靠的情况下也能进行可靠有效的传输。 为了能在时变、带宽有限、误码率高的无线信道上实时传输海量的视频数据，并能适 应用户的异构性特点，视频编码必须满足以下要求： ( 1 ) 具有高效的视频压缩能力。 ( 2 ) 具有较强的误码恢复能力。 ( 3 ) 能够支持带宽、码率等多种扩展形式。 视频容错性编码和可分级编码正是针对以上要求而发展起来的无线视频编码技术。在 容错性编码和可分级编码中，m p e g 4 编码和f g s 编码最具发展潜力，在无线视频通信中 占据了重要地位。 为了提高差错复原能力和满足易发生差错信道中的视频传输，m p e g - 4 标准中提供了 许多工具( 如包的重同步、数据分割等) ，对于无线视频通信，m p e g 4 是比较理想的编码 方式。m p e g 4 己经完成了标准的制订，并取得了一定的应用，但不是很成熟，其标准还 在不断的升级当中。下面简要介绍一下m p e g 4 编码技术。 2 1m p e g 4 视频编码技术研究 2 1 1m p e g 一4 标准 m p e g 4 是运动图像专家组( m o v i n gp i c t u r ee x p e r tg r o u p ) 标准家庭中的一员，是国 际标准化组织为多媒体通信制定的一种解决方案【3 】。当今迅速发展的交互式计算机游戏图 像显示、交互式视频点播( v o d ) 都表明电视正由“纯线性”向“非线性”的方向发展。m p e g 2 是以音频帧、视频帧为编码对象的，图像中的a v ( a u d i o 、v i d e o ) 对象所组成的场景不能 与人们进行交互。m p e g - 4 是围绕着a v 对象的编码、存储、传输和组合而制定的。所以， m p e g 一4 有非线性电视的编码、存储、传输和组合的标准之称。 m p e g 4 编码技术采用的是开放的编码系统，它可以实现视频图像全方位的存取性及 内容互动性，它为多媒体数据的存储、传输提供了技术支持。m p e g 4 编码把图像和视频 分割成不同的对象，对每一个对象的编码形成一个对象码流层，与m p e g 2 编码标准相比 m p e g 4 编码标准提供的图像的视觉质量更好1 4 】。因此m p e g 4 编码标准在流媒体直播中 获得广泛的应用，m p e g 4 编码标准综合了目前电视、电脑和通信等多媒体应用技术，内 无线网络流媒体直播系统的关键技术研究 容还在不断地扩充。 2 1 2m p e g 4 视频数据语法结构 m p e g - 4 将视频码流的语法层次分为四层，它们分别是视频对象v o 、视频对象v o 、 视频对象层v o l 以及视频对象平面v o p 5 1 。 视频对象v o ( v i d e oo b j e c t ) ：v o 是可视场景中景物的抽象描述，是编码的基础部分。 视频会话v s ( v i d e os e s s i o n ) ：它四个结构层次中的最高层，多个视频会话构成一个视频序 列。一个完整的视频系列由若干个视频会话构成。视频对象层v o l ( v i d e oo b j e c tl a y e r ) ： 视频对象层与视频对象空间和时间的分级性密切相关。每个视频对象可有多个视频对象 层。对同一个视频对象，我们可以用不同的空间或时间分辫率编码，每个视频对象可以编 码成可伸缩的或不可伸缩的。视频对象平面v o p ( v i d e oo b j e c tp l a n e ) ：视频对象平面是视频 对象的表象，对于某一帧视频对象，视频对象平面是mp e g - 4 中编码的基本单位，m p e g 4 对每个视频对象平面进行编解码。m p e g 4 在编码时将一幅景物分成若干个视频对象，这 些视频对象是相互联系的。m p e g - 4 语法结构如图2 1 所示： 视频对象系列 视频对象( v 0 视频对象层( 视频对蒙平面 视频对象平丽 图2 1m p e g - 4 语法结构 4 一 一 一 无线网络流媒体直播系统的关键技术研究 2 1 3m p e g 4 视频编码关键技术 m p e g 4 可以实现多媒体全方位的存取性及内容互动性，它采用开放的编码系统， 可以随时加入新的编码算法模块，同时也可以根据不同的需求现场配置解码器，来支持 不同的多媒体应用环境。下面重点介绍其中的一些关键技术。 ( 1 ) 视频对象提取技术 m p e g 4 把视频图像分割成不同对象并且把运动对象从背景中分离出来，然后针对 不同对象采用不同的编码方法，来实现高效压缩【6 】。因此，对视频对象的提取即视频对象 分割，是m p e g 4 视频编码的关键技术之一。 ( 2 ) v o p 视频编码技术 视频对象平面( v o p ，v i d e oo b j e c tp l a n e ) 是m p e g 4 视频编码的核心概念，它是 视频对象在某一时刻的采样。m p e g 4 在编码过程中针对不同的视频对象采用不同的编 码策略，即对前景视频对象的压缩编码尽可能保留细节和平滑，而对背景视频对象则采 用高压缩率的编码策略。 ( 3 ) 视频编码可分级性技术 m p e g - 4 视频编码具有可分级性( s c a l a b i l i t y ) 。视频数据只须压缩一次，就能对多个 帧率、空间分辨率或视频质量进行编码，它可以支持多种类型用户的各种不同应用要求。 因此受到了广泛的应用。 m p e g 4 提供了两种视频编码分级工具，它们是时域分级( t e m p o r a ls c a l a b i l i t y ) 和 空域分级( s p a t i a ls c a l a b i l i t y ) ，每一种分级编码都至少有两层v o l ，低层称为基本层， 高层称为增强层【7 】。基本层主要提供视频序列的基本信息，增强层主要提供视频序列更高 的分辨率及细节。 ( 4 ) 运动估计与运动补偿技术 m p e g 一4 视频编码技术采用i - v o p 、p v o p 、b v o p 三种帧格式来表征不同的运动 补偿类型。它采用了h 2 6 3 中的重叠运动补偿( o v e r l a p p e dm o t i o nc o m p e n s a t i o n ) 技术和半 像素搜索( h a l f p i x e ls e a r c h i n g ) 技术，并且引入了修改的块匹配( m o d i f i e db l o c km a t c h i n g ) 和重复填充( r e p e t i t i v ep a d d i n g ) 技术技术以支持任意形状的v o p 区域。 2 2 流媒体传输协议的研究 实时传输协议包含两个部分，即实时数据传输协议r t p 和实时传输控制协议r t c p 。 1 9 9 6 年i e t f ( i n t e m e te n g i n e e r i n gt a s kf o r c e ) 的视频音频工作组制订了r t p 实时传输协 议胪j 。在r f c l 8 8 9 中，r t p 被定义为紧密相关的两个部分： ( 1 ) 实时传输协议i 盯p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) ，用来传输具有实时特点的数据。 ( 2 ) r t p 控制协议r t c p ( r t pc o n t r o lp r o t o c 0 1 ) ，用来控制服务质量，并在正在进行的 会话里传送参加方的信息。r t p 提供端到端的实时数据传输服务，包括载荷标识，数据序 无线网络流媒体直播系统的关键技术研究 号，时戳和传输控制。r t p 数据通常采用u d p i p 封装，它利用u d p 的多路复用及校验和 服务，共同完成实时数据传输功能。它的数据格式如图2 4 所示。 图2 - 4 数据格式 2 2 1r t p 协议 r r p 协议为流媒体数据的实时传输提供基础，视频传输系统可以通过它来传送声音和 活动图像数据。r t p 协议一般r t c p 协议结合使用，从而保证了对实时数据的监控。r t p 协议具有很多优点，因此它在网络数据传输中得到了广泛的应用。r t p 协议有以下几个主 要特剧9 】： ( 1 ) 简单性 r t p 协议主要负责流媒体数据的传输，它并不能为按顺序传送数据包提供可靠的传送 机制，也不提供流量控制以及拥塞控制。r t p 协议经常和r t c p 协议结合使用，来实现数据 的实时传输。由于i 盯p 协议简化了传输层处理，所以提高了传输层的执行效率。 ( 2 ) 灵活性 r t p 协议实现了端到端的多媒体流同步控制，它通的端口的控制使控制流和数据流分 离，使协议的灵活性得到看很大提高。所以提高了协议的灵活性。 ( 3 ) 支持多播 r t p 协议不仅提供单播传输功能而且能够支持组播和广播功能，因此我们可以通过它 实现视频数据的组播或广播传输。 ( 4 ) 可扩展性 r t p 协议为开发者提供协议框架，所以开发者根据不同的应用，不同的环境对i 汀p 协 议进行扩展。r t p 协议在很多领域中都有广泛的应用，如网络流媒体直播，视频监控等。 不同的领域都可以对r t p 协议进行相应的扩展。 2 2 2r t p 的数据包格式 r t p 数据包由两部分组成【i o l ：不定长连续媒体数据和r t p 头，r t p 数据包头格式如图2 5 所示： 6 无线网络流媒体直播系统的关键技术研究 版本号补充位扩展位c s r c 数标记负载类型序列号 时间戳 s s r c 标识符 c s r c 标识符0 c s r c 标识符1 图2 - 5r t p 包头格式 版本号：版本号用来标识r t p 协议的当前版本号，占2 位。 补充位：补充位用来说明数据区后的填充标志，占1 、l f f ，如果该位值是1 ，那么报文中 会携带一位或多位的填充字节，这些填充字节在报文的尾部，不算做有效载荷。 扩展位：扩展位占l 位，如果该位被设置为1 ，那么在r t p 报头后有且只有一个报文头 扩展。 c s r c 数：c s r c 计算器用来说明固定头部后c s r c 标识的个数，占4 位。 标记：标记用来标识数据帧的结束，占l 位。 负载类型：占7 位，负载类型用来标示r t p 数据包的编码压缩方法以及负载格式。负载 类型需要根据r m 数据接收方的网络信道或网络拥塞情况来做及时调整，避免实时数据传 输中出现差错。 序列号：占1 6 位，用于标识发送报文的数据号，接收方可以根据序列号用来检测是否 有数据包丢失，也可以可以根据序列号对乱序包重新排序。 时间戳：占3 2 位，时间戳用于流间同步控制，它包含数据包的时间同步信息，接收方 可以根据它用来维持数据的实时性以及与其它多媒体数据流的同步性。 s s r c 标识符：占3 2 位，s s r c 标识符用来标识同步信源，同一个r t p 会话不会有两个 同步源有相同的s s r c 。接收者可以根据s s r c 标识符来区分不同的信源。 c s r c n 表：每个c s r c 标识符占3 2 位，c s r c y u 表包含传输媒体的序列号、时问戳等 信息。 2 2 3r t p 在协议层中的位置 r t p 协议本身不提供数据传输的功能，而是由底层的传输协议完成数据传输，通常情 况下利用u d p 来实现。它利用u d p 的多路技术和数据校验服务来实现数据传输，而多路技 术对于控制报文的传输起到重要作用。r t p 的数据传输是面向无连接、无差错控制的报文 传输，它与u d p 协议一起完成了传输层的功能1 1 1 。r t p 在协议层中所处的位置如图2 6 所示： 7 2 2 4r t c p 协议 图2 1 6r t p 协议在协议层中的位置 r t c p 是r t p 的控制协议，它用于监视网络的服务质量和数据接发双方传递信息。r t c p 的做法是周期性地进行通信，采用和数据包分配传递的相同机制来发送控制包。每个r t c p 包的前一部分是固定的，类似于r t p 的数据包，后面的结构根据包的类型不同长度也不同， 但总是3 2 位的整数倍【1 2 1 。长度在固定部分的长度域中标明。多个r t c p 包不需要任何分隔 符就可以组合成一个混合r t c p 包，然后用下层协议的一个包发送出去，例如u d p 包。r t c p 包周期性地在会话成员之间组播，起着会员活动指示器的作用。 在r f c l 8 8 9 中定义了许多r t c p 分组，分别承担不同的控制功能。r t c p 的数据包分如 下5 类： ( 1 ) s r ( s e n d e rr e p o r t ) 发送方报告。由处于活跃状态的信源发送方发送，s r 报文不仅提供 该端系统作为接收方的数据接收质量反馈信息( 与r t c pr r 报文相同) ，并提供s s r c ( 同 步源) 标识符、n t p 时间戳、r t p 时间戳、发送包数以及发送字节数等与发送有关的信息。 ( 2 ) r r ( r e c e i v e rr e p o r t ) 接收方报告。由实时数据接收方发送，r r 报文针对每个信源都提 供报文丢失数、已收报文的最大序列号、到达时间抖动、接收最后一个s r 的时间等信息。 ( 3 ) s d e s ( s o u r c ed e s c r i p t i o ni t e m s ) 源描述项。提供信源的描述信息，包括c n a m e ( 信源 端系统标识) 、n a m e ( 用户名) 、e m a i l ( 电子邮件地址) 、p h o n e ( 电话号码) 、l o c ( 地理位置) 、t o o l ( 应用程序或工具名) 、n o t e ( 通知状态) 、p r i v ( 用户定义项) 等 s d e s 报文项。 ( 4 ) b y e 。将某参与者退出信息通知会话，并可提供退出原因。 ( 5 ) a p p 。应用程序特殊功能。 借助于上述控制包，r t c p 可完成下列控制功能： ( 1 ) q o s 监测和拥塞控制 这是r t c p 的一个重要功能。无论对发送方、接收方还是网络管理员，r t c p 提供的数 据传输反馈信息都是非常有用的。发送方可根据r t c pr r 报文调整数据实时传输方式，保 证端系统正常接收；接收方可确定网络拥塞的范围是在本地、本区域还是全局，有的放矢 地采取对策；网络管理员及时监视网络实时传输的性能。 ( 2 ) 媒体同步 r t c p 的s r 报文包含与r t p 时间戳相对应的实时信息，可以像视频帧同步一样实现媒体 同步。 8 无线网络流媒体直播系统的关键技术研究 ( 3 ) 信源标识 r t p 数据包只能通过随机产生的3 2 位的识别符来标识源，不能满足诸如会议这样的复 杂应用的需求。而r t c p 的s e d s 包中有足够的文本信息，如c n a m e 项可标识信源端系统， n a m e 项可标识用户名，e m a i l 项可标识电子邮件地址，p h o n e 项可标识电话号码，l o c 项可标识信源的地理位置，可以满足复杂应用的需要。方便实时数据传输的接收方获得发 送信源的有关信息。 ( 4 ) 会议大小估计和控制信息量的调节 参与会话的每个成员周期性地发送r t c p 包，各站点可据此估计或计算出参与通信的人 数，以便及时调节实时控制的信息量，使得控制信息量和媒体业务量达到平衡。 2 2 5r t c p 数据包格式 r t c p 发送方报告( s r ) 数据包分三部分【1 3 】，如果需要还可以根据具体应用加上扩展 部分。 ( 1 ) 头部 共8 字节。分别是：版本号( v ) ：2 位，表示r t p 版本。补充位( p ) ：1 位，若此位被 设置，r t c p 的尾部包含一些附加的补充位。接收报告计数( i ) ：5 位，此包中的接收报 告块数，0 是允许的。包类型( p t ) ：8 位，发送方报告的r t c p 包定义为2 0 0 。长度：1 6 位， r t c p 以3 2 位计的长度。同步源( s s r c ) ：此包的同步源标识符。 ( 2 ) 包体 共2 0 字节，它描述发送方的数据传送。n t p 时间戳：6 4 位，定义本包发送时间，可以 与接收方报告包中的时间戳比较，估计往返时间。r t p 时间戳：3 2 位，与n t p 时间戳对应， 而且与数据包中的r t p 时间戳有相同的单位和相同的偏移值。发送r t p 包计数：3 2 位，发 送方从开始发送到发送本报通告为止共发送的负载字节数，如果s s r c 定义符被改变，本字 段被重置。发送字节计数：3 2 位，发送方从开始发送到发送本报告为止发送的负载字节数， 如果s s r c 定义符被改变，本字段被重置。 ( 3 ) 包含0 个或多个接收报告块 它取决于发送方从上次报告起知道的其它源数每个接收报告块要表示从一个同步源 r t p 包的接收统计。当源由于冲突改变它的s s r c 标识符时，接收方不发送统计。统计项包 括： ( a ) s s r cn ( 源标识符) ：3 2 位，s s r c 源标识符； ( b ) 丢失率：3 位，自上一次发送s r 或r r 后，源s s r cn 的r t p 数据包丢失率； ( c ) 累计丢失包数：2 4 位，接收开始后丢失包数的累计； ( d ) 扩展的最大顺序号：3 2 位，低1 6 位包含来自源s s r cn 的r t p 数据包的最大顺序号， 高1 6 位使用相应的顺序号循环计数时顺序号的扩展； 9 无线网络流媒体直播系统的关键技术研究 ( e ) 间隔到达抖动：3 2 位，使用无符号整数； ( f ) 最近发送方报告的时间戳( l s r ) 3 2 位，最近接收的r t c p 发送方报告包中n t p 时 间戳的中间3 2 位，如无s r 被接收，此字段为0 ； ( g ) 自最近发送方报告之后的延迟( d l s r ) ：3 2 位，从源s s r cn 接收的最后的s r 包到 发送此接收报告块之间的延迟，如无s r 包从源s s r c1 1 被接收，贝j j d l s r 字段置o ；接收方 报告包( r r ) 的格式同s r 包基本相同。不同点在于r r 的包类型为2 0 1 ，并且5 个发送者信 息被省略( n t p 和r t p 时间戳，发送者的包和字节计数) 其它字段均相同。 2 2 6r t p r t c p 传输协议架构 系统采用r t p r t c p 实现实时视频流的传输和控制，实时视频传输所需协议的整体架 构如图2 7 所示： 视频捕捉li 显示h 解码i 编码器 广 上l 缓存l 自适廊码奉控制 o o ! ；控制 t 上 。 q 0 s 控制 lr t f p 甜棼卜一 r t p 分t t i ii 一i r t p 封装r t c p 反馈 l 。l ， u d p 封装 唧分析l ，t上t i p 封装高= ：爿l p 分析l 图2 - 7 视频传输协议架构 r t p 的主要实现数据发送和数据接收。首先在发送端经过数据采集得到的视频流进入 编码器编码压缩成码流，接着进行打包传输。具体过程如下：视频信息在应用层由r t p 进 行封装，并把时间戳和序列号等参数写到r t p 数据包中，然后交给下层u d p 来处理，u d p 再对r t p 数据包进行封装，然后把目标端口地址、源端口地址以及校验值等写入自己的数 据包中，r t p 和u d p 一起完成传输层协议所应完成的任务，u d p 数据包被交给i p 网络层 进行处理，i p 网络层协议在对u d p 数据包进行封装，然后i p 数据包通过网络向接收端发 送。同时发送端周期性地接收r t c p ( r r ) 包，用来解当前网络状况，从而实现对数据的发 送速率进行及时的调整，从而减少了丢包率和网络拥塞。 2 3 本章小结 本文首先对m p e g 4 视频编码标准和编码技术进行了研究，然后对r t p r t c p 协议进行 1 0 无线网络流媒体直播系统的关键技术研究 了分析，研究了l 盯p 的打包规则以及r t c p 的反馈控制机制。最后给出 r t p r t c p 传输协议 架构，为后文的系统设计作了理论铺垫。 无线网络流媒体直播系统的关键技术研究 第三章无线网络流媒体直播拥塞控制技术研究 在流媒体传输过程中，网络拥塞是导致数据包丢失的主要原因之一。由于视频帧之间 的相关性，一个数据包的丢失不仅影响该视频帧自身的恢复，还会影响与之相关视频帧的 恢复，造成误码扩散，而且，无线信道容量有限、差错率高，对丢包和延时更加敏感，如 果发生网络拥塞，客户端视频质量将会严重下降。为了提高无线网络流媒体直播的服务质 量，本文对网络拥塞控制技术进行了研究。 3 1 网络拥塞产生的原因 当网络中的数据包超过网络的负载能力时，网络数据包传输时延增加，数据的丢包率 增大，网络的性能就会随之下降，这种现象称为拥塞。一般来说，网络拥塞产生的原因主 要有如下3 个方面【1 4 j ： ( 1 ) 带宽容量受到限制 在网络的每一条链路上，业务速率r 必须小于链路容量c 。如果网络的业务速率大于链 路容量，就会使网络带宽容量受到限制，从而导致网络拥塞的发生。 ( 2 ) 存储空间不足 如果有多个输入数据流同时使用一个输出端口，就会在这个端口出现排队现象。这时 系统要是没有足够的空间来存储，数据就会产生丢弃现象，网络的性能就会随之下降，从 而导致网络拥塞的产生。 ( 3 ) 处理器的处理能力受到限制 如果路由器的c p u 在执行排队缓存，更新路由表等功能时处理速度跟不上高速链路， 也会产生拥塞。发生拥塞的网络表现为数据包时延增加、丢包率增大、上层应用系统性能 下降等。 3 2 网络拥塞的危害 流媒体直播经常会遇到网络拥塞的问题，无线网络由于受带宽的限制，更容易发生网 络拥塞。如果对网络拥塞不进行及时的控制，网络传输的数据包丢失率就会增加、传输延 迟就会增大，最终还会导致拥塞崩溃的发生。网络拥塞的危害的表现有以下三个方面 1 5 - 1 6 ： ( 1 ) 网络拥塞会导致接收端缓冲队列长度增加，这就会使数据包输出