（计算机应用技术专业论文）基于无线网络的视频传输的研究与实现.pdf

江苏大学硕士学位论文 摘要 随着移动通信技术飞速发展以及手机等移动终端处理能力的提高，人们不再 满足于仅有的文本，声音和图像信息的交流，还希望能够随时随地得到视频媒体 的信息的服务。移动多媒体被认为是3 g 通信时代的重要服务。以3 g 移动多媒 体业务为代表的无线多媒体业务已经在韩只，欧洲等国家和地区取得了一定的成 效，我国的3 g 业务也即广泛开展。 移动流媒体是流媒体技术在移动网络和终端上的应用，主要利用目前的2 。5 g 和3 g 的移动通信网，为手机终端提供音频，视频的流媒体服务。它是无线通信 和多媒体通信技术的结合产物。 论文详细分析了无线流媒体传输系统的几个关键技术，分别是无线流媒体的 传输控制协议，无线网络的q o s 控制策略以及整个系统的软件架构；其中无线 流媒体传输控制协议包括i 玎s p s i p 协议，r t p r t c p 协议；无线流媒体q o s 控 制策略主要是在研究了几种基于r 四孵c p 协议的自适应控制算法的基础上，提 出了一种了基于m s b 缓冲区的拥塞控制算法。 论文的主要工作包括：实现了适合于移动平台的嵌入式流媒体i 盯s 形s i p 简 化协议栈并且改进了r t p 的组包方案；为了保证无线网络视频传输的实时性以 及视频回放质量，在客户端设计了基于缓冲区的拥塞控制模块和丢包处理模块： 在缓冲区模块中，通过动态调整客户端缓冲区的大小来改变视频传输的延时，并 且通过与服务器端通信来监测当前网络状况；丢包处理模块是对包的丢失和不完 全的帧进行处理，避免了视频回放的抖动以及马赛克现象的发生。最后论文给出 了基于无线网路的视频传输系统实例和测试结果。 关键词：r t p 爪t c p ：i 玎s p s i p ；q o s ，自适应反馈控制 江苏大学硕士学位论文 a b s t r a c t w i t ht l l er a p i dd e v e l o p m 饥to fm o b l i ec 0 衄吼u n i c a t i o n ，p e o p l ei l o to i l l yn 词 c 0 删m u l l i c a t i o nw i mt 懿t s ，o i c 骼，i m a g e s ，b u ta l s on e e dm u l t i m e d i ai n f o m a t i o n s c i c 髂t l l o s ec 锄b ep r 0 v i d e d 锄y w h e r e 锄y t i m e m o b i l em u l t i m e d i as e r v i c 嚣a r e l o u g l l tt ob ei m p o n a ms e r v i c 懿i n3 gc o m m u n i c a t i o na g e w i r e l e s sm u l t i m e d i a s e i c e s ，e s p e c i a l l y3 gm o b i l em u l t i m 。d i as e i c e sh a v eb e 饥w i d e l y 印p l i e di i l k b r e u a p 锄e s s e ，锄ds o m ec o u i l t r i 懿i ne u r o p e 3 gs e e i c e sa r ea l s og o i n gt ob e 如n h e ra p p l i e di no u 町c o u n t 够 m o b i l es 眦a m i n gm e d i ai sas 仃锄i n gm e d i at e c l l i l o l o 差；yt l l a tb e e nu s e do n w i f e l e s sn e t w o r k 锄dm o b i l et e m i n a l i tp r o v i d e ss 仃e 锄i n gm e d i as e r v i c e sf o rm o b i l e p h o n e st h r o u g l l2 5 go r3 gc o n l l l l u i l i c a t i o nn e t w o r k s ni sr e s u l to fc o i n b i n a t i o no f w i r e l e s st e l e c o m m u n i c a i o n sa i l dm u l t i m e d i at e l c o m m u n i c a t i o n s t h i sp a p e ra n a l y s i s st h es e v e r a lk e yt e d m o l o 百e so fw i r e l e s ss t r e 锄i n gm 础a m m s m i s s i o n s y s t e r l l i n c l u d i n g w i r e l e s s s t r e a r n i n g m e d i a咖s m i s s i o nc o n t r o l p r o t o c o l ，w i r e l e s ss 臼e 锄i n gm e d i aq o sc o n t l o lm e c h i l i s ma n ds o 胁a r ea r c m t e c t u r e o ft h es y s t 锄a n dw i r e l 器ss 骶锄i n gm e d i at m s m i s s i o nc o n 仃0 lp r o t o c o l i n c l u d 昭 i 汀s p s i p p r o t o c o l ，i 汀p i 玎c pp r o t o c o l ；w i r e l e s ss 仃e 锄i n gm e d i aq o sc o n t r o l m e c h 锄i s mi sm a i l yt or c s e a r c ho ns e v e r a le 1 1 d - t o e n da d a p t i v ec o n 缸o la l g o r i m m s b 硒e do nr t p r t c p ；w h a t sm o r e ，p r o p o s et h ec o n g e s t i o nc o n n o la l g o r i t h mb 嬲e d o nm s bb u r 伍既 t h em a i nt a s k so ft h ep a p l e r ：s i m p l i f i e di m p l e m 踟t a t i o no f 锄b e d e ds 仃e 锄i r 唱 p r o t o c o lr t s p s m0 nm o b i l ep l a t f o 肌a n di m p r 0 n e n to fr t pp a c k a g e 1 1 1o r d e rt o 娥d t i m eo fv i d e 0t i - 锄s m i s s i o n 锄dq u a l 时o f 啊d e or 印l a y d e s i 印ac o n g e s t i o nc o r 咖o l m o d u i eb a s e do nb u 岱。r 觚dp a c k a g el o s sp r o c e s sm o 山l l eo nc l i e n t ：b u 行醯m o d u l e c h a n g et h eb u 丘hs i z ed y l l 锄i c a l l yt 0v a 巧t h ev i d e 0 仃a n s m i s s i o nd e l a y 锄di n f o 】胁 t h ei i l t e n l e ts t a t eb yc o m 删c a t i o nw i t l ls e e r ；p a c k a g el o 鹃p m c 懿sm o d u l ed e a l w i mt h o s el o s s 劬m e 锄dm c o m p l e t e 觑哪ea v o i d i n gj i t t e r 锄dm o s a i cp h e n o m 锄o n i i lm e 饥d ，t h ep 印c r 锄a l y s 鹤圮d e s i g n 觚di m p l 锄e i l to fw i r e l 懿ss t r e 锄i n gm e d i a 饥m s l l l i s s i o ns y s t 锄，t 懿t i i 唱l es y s t 锄锄d 觚a l y s i n g 廿1 et 岱tr e s u l t k e y w o r d s ：r t p r t c p r t s p s 圯q o s ，a d a p t i v e 慨d b a c kc 0 n g e s e t i o nc o r l 仃0 l 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权江苏大学可以将本学位论文的全部内容或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 保密口，在年解密后适用本授权书。 不保密匠k 指导教师签名： 年乡月j 日 解 如 帜 名堑 日 者= _ 作 刘 月 位 鞫 年h 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已注明引用的内容以外，本论 文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：匆哆j 互 日恸；年月f 日 江苏大学硕士学位论文 1 1 研究目的与背景 第一章绪论 2 5 g 、3 g 以及超3 g 无线网络【l 】使得流媒体技术可以被用到无线终端设备上 【2 1 ，目前中国联通公司提供c d m a 2 0 0 0 【3 】用户网络带宽高达1 0 0 k b i 仇，这已经足 够满足提供q c i f 大小的流媒体服务；而且随着3 g 无线网络的应用，用户的网 络带宽可以达到3 8 4 k b i t s 。另一方面，手机设备运算能力越来越强，存储空自j 越 来越大，不用说s m a i 玎p h o n e 和p o c k e tp c 等高端手机，就是一般的中档手机， 如n o k i a6 6 l o ，也能实现基本的m p e g _ 4 的软件解码。面向无线网络的流媒体 应用对当前的编码和传输技术提出了更大的挑战。首先i 相对于有线网络而言， 无线网络状况更不稳定，除去网络流量所造成的传输速率的波动外，手持设备的 移动速度和所在位置也会严重地影响到传输速率，因此高效的可自适应的编码技 术至关重要。其次，无线信道的环境也要比有线信道恶劣的多，数据的误码率也 要高许多，而高压缩的码流对传输错误非常敏感，还会造成错误向后面的图像扩 散，因此移动流媒体在信源和信道编码上需要很好的容错技术。 2 0 世纪9 0 年代中期，i n t e n l e t 迅猛发展，无线通信也迅速在全球普及，因此 人们开始有了在网上传输视频和图像的愿望，多媒体内容在i n t e m e t 上的传输量 日益增长。例如，大量包含多媒体内容的流行网站都增加了关于流媒体的具体应 用。音视频流内容迅速增加的同时，流媒体内容特别是视频质量的需要不断提高。 于是视频和图像编码的目标也就从传统的面向存储变为现在的面向传输。这就为 视频编码和网络传输领域带来了许多问题。 l 视频实时性要求：相对于通常没有严格时间限制的数据传输，实时视频要 求有限的的端到端延时。因为实时是必须要连续播放，所以每个视频包必须及时 到达目的地来被解码和显示。如果视频包不能按时到达，播放过程中停止，这对 人眼非常敏感。另一方面，一个长延时的即使正确到达目的地，因为错过了它的 播放时间，也将被视为没有用而被丢弃。虽然实时视频要求严格的时间投递，当 前的h n 锄c t 却不能提供这样的延时保证，特别是当i n t 锄e t 的拥塞导致格外长 的延时时。 2 网络较高的差错率，任何通信系统的一个潜在问题是由于信道噪声，信息 江苏大学硕士学位论文 可能在传输过程中被改变或者丢失。对于压缩视频的传输，信息丢失的结果可能 导致解码端明显的视觉失真。因此，视频应用典型地要求较小的丢包率，虽然实 时视频有丢包率要求，当前的i i l t 锄e t 也不提供任何关于丢失的保证。特别是当 i n t 锄e t 上发生拥塞，丢包率非常高，这造成视频质量的严重损失。而相比与有 线的连接，无线信道具有太多的噪声，并伴有小范围和大范围的衰减，这使得位 错差率非常高。位错差率将严重损失视频显示的质量。因此，无线信道视频传输 的鲁棒性是关键。 3 带宽的波动性：i n t 锄e t 上传输实时视频最大的挑战在于用户可以获得的带 宽在不停的变化。为了达到可接受的视频质量，典型的实时视频传输有最小的带 宽要求。但是由于现在网络没有提供资源预留一类的协议保障，并且由于传统的 路由器不参加拥塞控制，当网络拥塞发生时，多媒体数据流的有效传输带宽会突 然降低，这直接影响用户接受多媒体信息的质量和速度，甚至造成无法观看。 4 网路的异构性：即各子网的网路资源，包括处理能力，带宽，存储和拥塞 控制策略略等分布不均匀，用户通过不同的的通信子网传输数据会体验到非常不 同的实际传输吞吐量，数据丢失率和传输延时。特别在组播任务中，接收端在延 时，视觉质量，处理能力，功耗限制和带宽限制等方面具有不同的的要求和性能。 这使接收端要求和特性的异构性使得设计一个有效的组播机制非常困难。 解决这些问题的关键之处就是无线网络q o s 控制机制，实流媒体的传输协 议的研究以及流媒体的编码方式的研究。因此，论文主要对无线网络的q o s 控 制策略进行了深入的讨论和研究，在研究的基础上提出一种适合于移动终端平台 的基于m s b 缓冲器的拥塞控制方案；在研究流媒体的传输协议l 球c 标准后，简 化了一种适合于移动平台的i 玎p 协议组包方式并且改进了r t p 包发送算法；而 且还对流的管理控制协议r t s p s i p ，进行裁剪并实现了一个适合嵌入式系统的 r t s p s i p 类库。本文的最后给出了无线网络视频传输系统硬件搭建，并给出服 务器端和客户端的软件架构以及实现方案。 1 2 主要工作 1 无线流媒体传输系统的q o s 控制机制研究。在研究一些网络拥塞控制机 制的基础上，提出了一种适合于移动终端平台的基于m s b 缓冲器的网络拥塞控 2 江苏大学硕士学位论文 制策略。 2无线流媒体传输控制协议的裁剪。深入研究了r t p 肿c p ，i 玎s p s i p 的 l 心c 标准文档，并针对嵌入式平台，开发了适合于嵌入式平台的短小精悍的流媒 体传输控制协议栈r t s p s i p 。 3无线流媒体传输系统服务端开发。在嵌入式操作系统a r m l i n u x 2 4 1 9 平台下开发了一款基于无线网络的视频传输系统的服务器。 4 无线流媒体传输系统客户端开发。自主开发了适合多平台的s k y p l a y 盯 实时流媒体播放器，支持w i n c e 厂w i n 3 2 平台，支持i 玎s p s i p 协议。 1 3 本文的主要创新点 本文主要创新工作在于： 提出了适合移动视频监控系统的拥塞控制方案，即基于移动终端缓冲器自适 应反馈控制机制，以及客户端的丢包处理机制。整合了这两种机制的目的是解决 了由无线网络的带宽波动和不稳定性而引起的视频质量问题。整个系统的特点 是： 1 延时小：w 烈c e 智能手机平台延时小于4 s 。目前台湾欧特斯的手机监控 的延时是6 秒钟左右，还与其他几家市场上监控产品相比，该系统的延时都有一 定的优势。 2 抖动小：抖动和延时优点不能兼容，因此做了平衡，再让延时达到最小时， 不能出现抖动现象。 1 4 论文结构安排 本文的后续章节安排如下： 第二章：讨论了流媒体技术特征并介绍了流媒体服务器开发的常用架构，给 出了系统各个模块结构图，并对功能做了详细说明。 第三章：分析了实时流媒体传输协议r t p r t c p 后，研究了一种适合于移动 流媒体新的r t c p 组包方案，并试验得出这种改进的r t c p 组包方法对无线网络的 影响。在这种改进的组包方案基础上，为了避免由于r t c p 控制包的过多发送而 引起的无线网络拥塞，对r t c p 协议的扩展性能进行分析并提出了一种基于预测 3 江苏大学硕士学位论文 的r t c p 控制包发送算法。最后开发了款适合于嵌入式平台的短小精悍的流媒 体传输控制协议栈i 盯s p s i p 。 第四章：主要对无线网络的拥塞算法进行了研究。首先研究最基本的两种拥 塞控制算法，并在此基础上提出了一种改进算法。最后提出了一种最适合移动平 台的基于m s b 缓冲器的自适应控制算法。 第五章：在前面的关键技术研究的基础上，设计和实现了流媒体传输系统的 服务器和客户端。 第六章：总结前面几章的内容，分析了研究工作中存在的问题，并提出了今 后主要的工作。 4 江苏大学硕士学位论文 第二章流媒体服务器系统概述及模块划分 所谓流媒体是指采用流式传输的方式在网络上传输的媒体格式。流媒体在播 放前并不下载整个文件，只将开始部分内容存入内存，在计算机中对数据包进行 缓存并使媒体数据j 下确地输出。流媒体的数据流随时传送随时播放。近几年来， 基于宽带有线网络的流媒体技术应用获得了长足发展，基于移动通信网络的流媒 体技术也同益走向成熟。 2 1 流媒体视频数据传输方式 2 1 1 移动流媒体的技术特征 实现流媒体的关键技术是流式传输【4 】。流式传输的定义很广泛，主要是指通 过网络传送媒体( 如视频、音频) 的技术总称。当前流媒体传输方式主要有以下 两种方式。 顺序流式传输采用顺序下载方式，在下载文件的同时用户可观看在线节目， 在给定时刻，用户只能观看已下载的那部分，而不能跳到还未下载的部分，这种 方式不象实时流式传输那样，可以在传输期白j 根据用户连接的速度进行调整。顺 序流式传输不适合长片段和有随机访问要求的视频节目，如讲座、演说和演示等， 、 它也不支持现场广播。严格地说，它是一种点播技术。 实时流式传输可保证媒体信号带宽与网络连接匹配，可实时观看节目。实时 流与h 丌p 流式传输不同，它需要专用的流媒体服务器与传输协议。实时流式传 输总是实时传送，特别适合现场事件，也支持随机访问，用户可对观看内容进行 快进或后退。理论上，实时流一经播放就不可停止，但可进行周期暂停。 流媒体服务器根据数据内容的播放方式可以分为下面三种类型： 1 流媒体点播( v o d ) 。内容提供商将预先录制好的多媒体内容编码压缩成 相应的格式，存放在内容服务器上并把内容的描述信息以及链接放置在流媒体的 门户网站上。最终用户就可以通过访问门户网站，发现感兴趣的内容，有选择地 进行播放。 2 流媒体直播。流媒体编码服务器将实时信号编码压缩成相应的格式，并 5 江苏大学硕士学位论文 经由流媒体服务器分发到用户的终端播放器。根据实时内容信号源的不同，又可 以分为电视直播、远程监控等。 3 下载播放。用户将流媒体内容下载并存储到本地终端中，然后可以选择 在任意时问进行播放。对于下载播放，主要的限制指标是终端的处理能力和终端 的存储能力。内容提供商可以制作出较高质量的视音频内容( 高带宽，高帧速率) ， 但需要考虑内容的下载时f 叫及终端的存储空问。 2 2 流媒体服务器的两种架构 流媒体服务器大多数都是一对多的传输，就是多台客户端都可以连接到这台 服务器。，一个节目源编码端，但是要求多个解码端可以同时收到。目前这种一对 多流媒体技术主要有两种典型的架构方式【5 】，分别为组播和流媒体服务器方式。 1 组播架构方式： 下图就是基于组播方式的一种应用。如图2 1 所示。 鳓一 采集设备 编 图2 一l 组播架构 编码设备将采集设备采集到原始数据码流压缩编码，并通过组播的模式将压 缩数据发送出去，客户端设置加入到这个组播地址中去，就可以收到编码设备发 送的数据。这种方式的特点就是节约网路带宽，在支持组播的网络中只有在客户 端最近的一个路由器才分发数据包，而在之前网络只需传输一个数据流即可。组 播模式的缺点是：在不支持组搔的网路上不能使用，例如现在i n t e m e t 网络还不 支持组播，因此大多数用于局域网中。 6 江苏大学硕士学位论文 2 流媒体服务器方式架构 流媒体方式与组播方式不同的就是在编码设备端和解码端添加一个流媒体 服务器，它的作用就是进行数据流的转发。架构方式如图2 2 所示。 采集设备 编码设备 例2 2 流媒体服务器架构 编码设备与流媒体服务器之问和流媒体服务器和客户端之间都可以使用单 播方式进行传输。其中流媒体服务器和客户端之问可以通过组播方式传输。这种 方式比较灵活，但是相对比较复杂，目日玎商用流媒体大多使用这种方式。下面介 绍的流媒体服务器是基于这种架构方式。采用软编码，因此没有编码没备，它被 容纳在流媒体服务器中。客户端是通过s i p r t s p 柬与服务器建立连接并实时播 放视频。 2 3 流媒体服务器的模块划分与功能描述 2 3 1 模块划分 此流媒体服务器系统是在l i n u x 平台下开发，采用的是多线程编程，并用 信号量对模块之间加以同步。服务器端主要完成的是采集，编码，传输，再加上 一个网络流量控制。因此根据以上几点，把系统模块大致分为：视频采集模块， 视频编码模块，视频传输模块，服务器端会话模块，q 0 s 管理模块，缓冲区管 理模块。这些模块的结构如图2 3 所示。 江苏大学硕士学位论文 采集模块 q o s 管理模块 i 善 。 r t p r t c p 气奢 。 视频传输模块 传输 缓冲区模块 广 ? ? 服务器端会话 会话建立 f 视频编码模块 ， 会话控制 ， o 模块 能力交换 2 3 2 各个模块功能描述 图2 3 流媒体服务器模块结构图 这个系统的总体功能就是通过采集模块采集到的原始数据流，放到适当的缓 冲区中，然后编码器模块循环从缓冲区模块中读出数据并编码，把经过压缩编码 的数据交给传输模块，这个时候传输模块通过实时传输协议向客户端不断的发送 数据，山于网络的不稳定和时延等因素，又专门采用了q o s 控制模块来对网络 加以监控并实时改变编码速率来适应网络状况。下面对各个模块的功能做详细的 说明。 1 采集模块：l i n u x 下采集模块是用v 4 l ( v j d e of o r “n u x ) 来加以采集，采 集出来的数据足原始数据码流，它默认的是y u v 4 2 0 p 格式的数据流。 2 缓冲区模块：为了提高整个系统的并行性和视频传输的实时性，系统采 用了多线程编程技术和设计了完善的缓冲池技术。如图2 3 ，经过采集模块的原 始码流不断地存入缓冲区，这个时候编码模块只要对缓冲区码流进行编码并负责 交给传输模块。由于采集模块和编码模块有着共同的临界资源，因此这两个线程 是要通过：匣斥锁和信号来保持同步的。编码模块和传输模块其实中问也有个缓冲 区，图中没有体现。 缓冲区模块主要作用是要能监控编码缓冲区的大小，以及及时报告缓冲区的 使用情况。如果编码线程速率持续大于r t p 传输的速率，将会使缓冲区不断增加， 最后可能导致系统崩溃；因此，要给缓冲区设定一个阙值，如果缓冲区大于这个 值，缓冲区管理模块会通知编码区降低编码速率，反之提升编码速率。 3 q o s 管理模块：由于无线网络带宽波动大，高误码率，延时难以保证，而 现在的网络还不支持q o s 机制，因此研究了一种基于r t c p 自适应反馈的q o s 控 江苏大学硕士学位论文 制机制。 5 视频传输模块：顾名思义，这个模块的作用就是对编码模块出来的m p e g 一4 码流打包传输。采用r t p 来传输m p e g 一4 码流，因此要对m p e g 一4 码流进行封装， 但是m p e g 一4 标准中没有对封装进行规定。采用普遍而易用的r f c 3 0 1 6 协议定义 的m p e g 一4 封装方案。 6 服务器端会话模块：这个模块就是等待客户端的连接，它包括会话建立， 会话控制，能力交换。也可以包括一些用户认证等。系统提供了两种会话方式： r t s p 会话；s i p 会话。它们分别开个线程，然后就一直等待这客户端的连接。 2 4 小结 本章主要介绍一些流媒体基本概念和传输方式，然后确定了此系统的各个模 块，并对各个模块的基本功能进行详细说明。 9 江苏大学硕士学位论文 第三章无线流媒体传输协议的研究与实现 无线流媒体协议栈主要涉及到r 1 p i 盯c p 【6 1 ( r e a l t i m e1 r a n s m i s s i o np r o t o c o l 锄dr e a l t i m et r 锄s p o r tc o n t r o lp r o t o c 0 1 ) ；r t s p ( r e a l t i m es t r e 锄i n gp r o t o c 0 1 ) 川； s i p ( s e s s i o ni n i t i a t i o np r o t o c 0 1 ) 【引。本章主要是研究了流媒体传输协议i 汀p r t c p 并提出了适合于移动平台的l 玎c p 的组包方案，最后在嵌入式平台下开发了 l 玎s p s i p 库。 3 1 流媒体协议栈 流媒体协议栈的层次结构如图3 1 所示。 图3 一l 流媒体协议栈族的结构幽 r t p i 玎c p 【9 】主要是用来传输视频数据并根据网络状况来调整编码和发送的 速率。i 汀s p 【i o j 的主要是启到会话的连接作用：s i p 会话初始化协议和i 玎s p 的作 用是大同小异，但是定义它们的协议的内容有很大不同，因此流媒体服务器支持 两种会话连接方式i 汀s p s i p ，有利于的以后的扩展。s d p ( s c s s i o nd 粥研p t i o n p r o t 0 c 0 1 ) 【是个会话描述协议，会话双方通过s d p 来理解媒体的编码方式以及码 流的采样率等视频流的基本信息。 l o 江苏大学硕士学位论文 3 2r t p r t c p 协议族 3 2 1r t p 协议综述 实时传输协议r t p ( r e a 卜t i m et r a n s p o r tp r o t o c 0 1 ) 是针对i n t e r n e t 上多 媒体数据流的一个传输协议，由i e t f 作为r f c l 8 8 9 发布，现在最新的为r f c 3 5 5 0 。 r t p 被定义为在一对一或一对多的传输情况下工作，其目的是提供时间信息和实 现流同步。r t p 的典型应用建立在u d p 上，但也可以在t c p 等其他协议之上工作。 r t p 本身只保证实时数据的传输，并不能为按顺序传送数据包提供可靠的传送机 制，也不提供流量控制或拥塞控制，它依靠r t c p 提供这些服务。 r t p 负责对流媒体数据进行封包n 羽并实现媒体流的实时传输，即它按照r t p 数据包格式来封装流媒体数据n3 1 ，并利用与它绑定的协议进行数据包的传输；r t p 本身只保证实时数据的传输，并不能为按顺序传送数据包提供可靠的传送机制， 也不提供流量控制或拥塞控制，它依靠r t c p 提供这些服务。 3 2 1 1r t p 协议的工作特点 ( 1 ) 基于组播的传输方式 i 唧协议最初是用于开发多参与者的多媒体会议系统，在一个有限的空间范 围内，系统对话的参与者互相进行交互式数据传送，任何一方发出的数据都可以 有选择的被现场其他参与者接受到。这种场景非常适合采用组播方式。会议的负 责人只要获得一个组播的地址和一对端口号就可以开展工作。组播使网络中的数 据包的个数减少，减少了网络带宽的占用，因为数据发送方只需要给出所要传播 的数据的一个拷贝即可。 但是在无线网络或广域网中，采用组播的传输会带来路由转发的问题。组播 的数据通过各个路由不断扩散，造成网络中的数据量迅速增加，带来网络拥塞等 一系列问题。所以组播的功能被弱化为“单播”。与服务器“连接的客户端作 为单个实体接受数据，而不能再被看成是某个子网中的成员。 ( 2 ) 双端口协调机制 r t p 协议是一个结合数据传输和状态信息传输的协议。为了区别这两种不同 的功能，它采用双端口方式，其中一个用于发送媒体数据，另一个用于发送控制 包，即满足r t c p 的需要。这种工作机制如图3 2 所示。这两个端口的选择并不 江苏大学硕士学位论文 随机：传输r t p 数据的端口必须是偶数，传输r t c p 控制信息端口的端口为奇 数，且其数据为前者加l 。 图3 - 2 r t p i ：作机制 因此i 玎p 被分成两中并行的部分，即i 玎p 数据协议和l 汀p 控制协议。通常 r 1 阳协议也被称为狭义的i 汀p 协议。 r t p 数据协议：用来传输数据码流，并保证数据的丢失和失序。 r t p 控制协议：用来监控服务质量，并在网络中对话的各个参与者之间传递信 息。r t c p 协议虽然是一个控制协议，但它对传输的控制是“低烈度”的，不能 直接控制和协调对话的参与成员；完整的一个控制功能要对r t c p 协议进行完 善。具体r t c p 的特性，将在下节中给出具体的分析。 显然i 玎p 数据协议承担了主要的数据传输的任务，但r 1 m 控制协议却是r r p 协议里最具特色的内容。由于i 盯c p 的存在，使得i 盯p 协议一定程度上被认为 是控制协议，因为它为更高的应用层提供了各种可以进行服务质量控制的手段和 方法。 ( 3 ) 良好的同步处理能力 在互联网上，发生数据包的丢失，次序混乱以及延时是非常常见的现象。为 了处理这些问题，r t p 协议在数据协议的包头中定义了时间戳和序列号，主要就 允许接受方可以根据时间信息来重组正确的数据流。同时，这些信息可以被用来 进行统计。例如根据序列号的顺序，可以判断出哪个包在网络上丢失。也可以根 据这些信息计算出延时，丢包率，抖动等各种有用的信息。 ( 4 ) 复杂网路环境的适应性 一般的传输协议都假设各个接受方都有着相同接收状态。然而，实际环境要 1 2 江苏大学硕士学位论文 远比这个复杂。在同一个对话系统中，不同的参与者可能使用不同的传输速度， 享用不同的网络带宽。r t p 协议不是简单地强制每个参与者都使用较低的带宽和 较低的服务质量，而引入了“混合器的概念，把来自不同数据源的数据混合传 输，从而提高了带宽的利用率。从接收端的角度看，这些经过混合数据完全可以 同独立数据源平等看待。尤其是c s i 坨和s s r c 等r 曙包头字段的引入，使得 这些混合的数据还可以区分出原始发送方，知道其中哪一个字段是来自某个特殊 的对话成员。 3 2 2r t c p 协议综述 实时传输控制协议r t c p 1 ( r e a l t i m et r a n s p o r tc o n t r 0 1p r o t o c 0 1 ) ：负责 流媒体传输质量控制，在会话成员之间交换控制信息，提供流量控制和拥塞控制 n 引服务。在r t p 会话期间，各参与者周期性地传送r t c p 包，包中含有已发送的 数据包的数量、丢失的数据包的数量等统计资料，因此，服务器可以利用这些信 息动态地改变传输速率，甚至改变有效载荷类型。r t p 和r t c p 配合使用，能以 有效的反馈和最小的开销使传输效率最佳化，故特别适合传送网上的实时数据。 r t c p 网络控制是向会话中的所有成员周期性地发送控制包来实现的，应用程 序通过接收这些控制数据包，从中获取会话参与者的信息，以及网络状况、分组 丢失概率等反馈信息，从而能够对服务质量进行控制或者对网络状况进行判断。 r t c p 协议的功能是通过不同的r t c p 数据报文来实现的，主要有如下几种类 型： s r ( s e n d e rr e p o r t ) 发送端报告，所谓发送端是指发出r t p 数据报的应用 程序或者终端，发送端同时也可以是接收端。 脓( r e c e i v e rr e p o r t ) 接收端报告，所谓接收端是指仅接收但不发送r t p 数据报的应用程序或者终端。 s d e s 源描述，主要功能是作为会话成员有关标识信息的载体，如用户名、 邮件地址、电话号码等，此外还具有向会话成员传达会话控制信息的功能。 b y e 通知离开，主要功能是指示某一个或者几个源不再有效，即通知会 话中的其他成员自己将退出会话。 1 3 江苏大学硕士学位论文 a p p由应用程序自己定义，解决了r t c p 的扩展性问题，并且为协议的实 现者提供了很大的灵活性。 对于这5 种不同的l 玎c p 包，其数据格式第一部分与r t p 类似，也是一定长 结构，其后跟随着的部分由r t c p 包的类型决定，不同类型的控制包结构不同， 长度不一，但不管哪一种结构，其结尾部分必须是一个3 2 比特的边界字段。这 个固定部分结构如图3 3 所示，它的完整的包的头域的意义请参考r f c 3 5 5 0 。 ol23 0l2 3456 7890l23456789012345678901 h e a d e ri v = 2 l p lr cp t = s r ：2 0 x i1 e n g t h + - + - + - + - + - + _ + _ + - + - 卜+ - + 二警- 士卜七+ 对一+ - + - + + - + - + + - + - + - + - + _ + _ 三+ s s r o fs e n d e r + = + = + = + = + = + = + = + = + = + = + = + = + = + = + = + ：+ = + = + ：+ = + = + = + = + = + = + = + = + = + = + = + = + = + 图3 3r t c p 同定包头 x 值根据不同类型的控制类型去不同的值，s r ，r r ，s e d s ，a p p 和b y e 包在 p t 中取值分别为o ，1 ，2 ，3 ，4 。 出于带宽的考虑，l 盯c p 包往往不是单个发送，而是把任意类型的i 玎c p 包 组合起来，从而形成一个“队列”。接收方得到一个r t c p 组合包的时候，按组 合包的总长度读取，然后根据单独的r t c p 包定长包头格式分割控制信息。 但是不管控制信息的发送方是如何组合这些r t c p 包，s r 或i 氓包总是放在 组合包的第一个位置，且在同一个同步数据源发出的r t c p 控制流中，s r 和i 汛 控制包只能发送一个。这是两个必须要发送的控制包，以此来表达最重要的网络 传输状态信息，也能够表明发送者的身份，即是否一个带有服务器的性质的媒体 数据发送方，是则把s r 放在第一位，且不包含l 承包；否则把l 汰包放在第一 位，且不包含s r 包。此外，s d e s 中因为包含了c n a m e 这样一个可以唯一区 别某个同步数据源的字段，也常常添加在组合控制包中。 因此在具体的r t c p 实现时，由于只是一个服务器，采用了s r 和s d e s 控 制包，其他包没有做考虑。 3 3r t p r t c p 在移动流媒体服务器中组包方案 在l 汀p 会话系统中【1 6 1 ，它的成员个数少则几十，多则成千上万。新成员的增 1 4 江苏大学硕士学位论文 加，并不是功能上的简单的增加。成员越多，需要进行的协调就越复杂。r t p 协 议需要适应系统成员动态变化的能力，避免造成不必要的网路拥塞，使系统性能 下降，因此要对r 1 1 p 瓜t c p 协议要很好加以扩展并实现来控制网络拥塞。本节提 出了一种适合移动平台环境下的r r p 册c p 组包方案。 r t p 的出现是为了小范围内的多媒体会议系统【1 7 】，这样的系统有以下的特 点： 1 环境的封闭：主要通过局域网来实现，主要为组播传输提供了前提。 2 会话者的平等性：任何参与者都可以在会议上发言，且任何参与者都可以 接受其他发言者的信息；虽然，每个会议也会有主持人，或者在参与的程度上有 所差别，但在对信息韵获取和发布的机制上毫无差别。 3 以音频为主的媒体：会议系统产生之初主要是音频媒体的传输，r t p 协 议本来也是为满足音频媒体传输而设计的。 4 多媒体数据源的混合：在一个会议中，虽然主要的发言者是按一定次序轮 流上台，但是整个会场看，在任何一个时刻都会有至少一个数据源在对外发出数 据。既然数据来源是一个“嘈杂”的环境，那么每一个接受者得到的也必然是一 个“嘈杂”的音频流。为此，r t p 系统专门引入了c s r c 和s s r c 的概念，使得 用户既可以把各种混合音频当成一个音频流来接受，也可以在接受混合音频后区 别出不同的数据源，从而得到不同数据源的声音。 在移动流媒体应用中，变得复杂很多，变化要体现在以下几点： 1 主要通过广域网进行数据传输，因此不能使用组播的传输方式，只能采用 单播建立起发送方和接收方的连接。 2 媒体数据主要是视频节目，突出在视频监控等业务上面；但越来越多的业 务将音频和视频结合在一起，通过同步机制得到“可听可见 的数字节目。 3 数据流的来源单一，一般不会出现混合来源的音频和视频数据。因为系统 中只有一个服务器具备流媒体数据发送能力，会话中其他参与者之间不发生直接 的数据传输关系，因此实际上不用c s i 屺。在任何时刻，会话系统中只有一个同 步数据源发送数据。 1 5 江苏大学硕士学位论文 4 手机应用模式主要是客户服务器方式，因此在会话系统中各个参与者的 地位是不平等的。流媒体服务器作为发送方给各个手机发送数据，而手机终端则 是作为接收端被动地接收数据。手机终端不会向流媒体服务器反馈大量的媒体数 据。手机端也不会向其他手机发送媒体数据。因此无线网络中手机应用流媒体系 统是单向的。 从上面得分析看，对i h c p 的发送机制构成了挑战的是第4 点。由于流媒体 服务器占据了数据传输的主导权，并且各个接收端彼此独立，因此可以把一个“一 对多 的会话系统看成是一个“一对一一的子系统。l 玎c p 控制信息的目的是供 应用层了解当前的网络状况，既然子系统之间不发生数据传输，那么它们之间的 i 玎c p 控制链路就可以取消，只需要服务器掌握整个网络的情况即可。于是，原 本平等的s r 发送方报告和r r 报告在算法上做如下改进： lr t c p 控制包构造原则 发送方反馈报告( s r ) ： 由于系统中只有一个或者0 个数据发送方，因此反馈报告的对象数r c 设为 o 。省去了由r c 个数决定的r p o r tb l o c k 列表，因为服务器不需要向其他同步数 据源发送报告。在原有的格式中，仅保留第一部分( 定长的s r 包头) ，第二部分( 发 送方信息) 。 修改后的s r 包格式如图3 4 所示。前面8 个字节是l 汀c p 控制包的公共部 分；中间2 0 个字节说明发送方的信息，例如向发送的数据字节数和包的个数等， 以便接受方根据这些信息来核对收到的数据。最后部分是扩展部分，根据需要来 决定是否保留，它的长度可以为o 。 接收方反馈报告包( r r ) ： 接受方反馈报告包( 1 讯) 的格式也要做出调整。由于接收方只接受服务器的数 据而不对任何一方发送数据，因此接收方只有一个接受报告包。r r 的包头格式 如图3 5 所示。 1 6 江苏大学硕士学位论文 ol 23 ol2 3456789ol234567890l23 4567890l + + 一+ + 一+ 一+ 一+ 一+ 一+ 一+ 一+ + 一+ 一+ 一+ + + + 一+ + 一+ 一+ 一+ 一+ 一+ + 一+ + 一+ 一+ + 一+ 一+ h e a d e ri v = 2 i p ir c i p t = s r = 2 0 0 i 1 e n g t h + 一+ 一+ 一+ + 一+ + 一+ 一+ + 一+ + 一+ 一+ 一+ 一+ 一+ 一+ + 一+ 一+ 一+ 一+ 一+ 一+ 一+ + 一+ 一+ + + 一+ + is s r co fs e n d e r + = + = + = + = + = + = + = + = + ：+ = + = + ：+ = + = + = + = + = + = + = + = + = + ：+ = + = + = + ：+ = + = + = + = + = + = + s e n d e rn t pt i m e s t 锄p ，舯s ts ig r i i f i c 锄t - o r d i i n f o+ 一+ 一+ 一+ 一+ 一+ + + _ 十+ 一十一+ 一+ 一+ 一+ 一+ + + 一+ 十+ 一+ 一+ 一十+ + 一+ 一+ 一+ 一+ + + 一+ l n t pt i 田e s t a m p ，l e a s ts i g n i f i c a n t - o r d l + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ + 一+ 一+ + 一+ 一+ 一+ 一+ 一+ 一+ 一+ + 一+ 一+ 一+ 一+ 一+ 一+ r t pt i m e s t a m p i + 一+ 一+ 一+ 一+ 一+ + 一+ 一+ 一+ 一+