（通信与信息系统专业论文）基于rtp协议族的流媒体传输系统的软件设计与实现.pdf

摘要 摘要 多媒体数字技术的飞跃发展和个人计算机的日益普及，给人们的工作，学习， 生活和娱乐带来了深远的影响。多媒体使计算机能够综合处理声音、文字、图像 和视频，改变了人们使用计算机的方式。随着网络宽带化的发展趋势，人们希望 有更直观、更丰富的新一代信息的表现形式。作为多媒体和网络的交叉学科流媒 体( m e d i as t r e a m i n g 或s t r e a m i n gm e d i a ) 技术由此应运而生。传统的多媒体文件 需要从服务器下载完才能播放，而流媒体的主要特点就是边下载边观看，以流的 形式进行数字媒体的传送，从而使人们可以在线欣赏到连续不断的多媒体节目。 本文主要研究关于流媒体传输的r t p 协议族和实时流媒体数据的传输和播放 系统的设计和实现。主要内容有：对r t p 协议族进行深入研究，特别是h 2 6 3 格 式的视频数据的网络传输；分析了流媒体服务器的基本功能，工作流程以及不同 模块的划分：分析了流媒体客户端接收的技术特点，介绍了播放器的结构和各模 块的功能：对多播，r s v p 等技术的应用进行研究。用g c c 和v c + + 实现一个 p c 级的实时流媒体传输和播放系统，该系统包含有基于l i n u x 平台的流媒体服务 器和基于w i n d o w s 平台的使用a c t i v e x 技术的播放控件，能够完成实时流媒体数 据的传输和播放以及简单的点播服务，并且能够提供多播，r s v p 等手段提高服 务性能。最后介绍了在r e d h a t 8 0 和w i n d o w s 2 0 0 0 平台下对软件系统进行调试的 情况，以及发现问题和解决的办法等，并进行了一定的性能分析。 该技术可应用于视频会议、视频点播( v o d ) 系统和远程监控系统等领域。从 事多媒体技术理论研究人员，视频软件的开发人员及有关技术人员可以从本文中 获得有益的参考与启发。 本论文工作得到广东省工业攻关项目 2 0 0 2 a 1 0 3 0 4 0 5 的资助。 关键词：流媒体；实时；r t p ：模块化 华南理工大学工学硕士学位论文 a b s t r a c t t h er a p i d d e v e l o p m e n t o ft h em o d e r nm u l t i m e d i at e c h n o l o g ya n di n c r e a s i n g p o p u l a r i z a t i o no f t h ep e r s o n a lc o m p u t e r sh a v eg r e a t l ya f f e c t e dp e o p l e sw o r k 、s t u d y 、 l i f ea n da m u s e m e n t m u l t i m e d i al e t sp cc a np r o c e s s ea u d i o ，t e x t ，p i c t u r ea n dv i d e o ， i t c h a n g e s t h e w a yp e o p l e u s e c o m p u t e r a l o n g w i t ht h eb r o a db a n dn e t w o r k d e v e l o p m e n t ，p e o p l e w i s hm o r ev i s u a la n du s e f u lm e t h o dt or e p r e s e n ti n f o r m a t i o n a s t h ec o n v e r g e n c eb e t w e e nm u l t i m e d i aa n d n e t w o r k ，s t r e a m i n gm e d i a ”a r eg e n e r a t e d u s i n g t h et r a d i t i o n a lm u l t i m e d i at r a n s f e rm e t h o d ，t h em e d i af i l em u s tb ea l l d o w n l o a d e df o rt h es e r v e rt h e nc a np l a yo nt h ec l i e n t ，b u tt h em o s tc h a r a c t e ro f m e d i a s t r e a m i n gi sy o u c a r lp l a yt h em e d i af i l ew h e nd o w n l o a d i n gi t ，t h em u l t i m e d i a d a t at r a n s f e rb ys t r e a mt y p e ，p e o p l ec a na p p r e c i a t ec o n t i n u o u s l ym u l t i m e d i ap r o g r a m o nj i n e t h i sp a p e rs t u d i e st h eb a s i ct r a n s f e rp r o t o c o l sr t p f a m i l yo fs t r e a m i n gm e d i a ： d e s i g na n di m p l e m e n to n es t r e a m i n gm e d i at r a n s f e ra n dr e p l a ys y s t e m t h ec o n t e n t i n c l u d e s ：ai n d e p t hr e s e a r c ho fr t p p r o t o c o l sf a m i l y e s p e c i a l l ya b o u th 2 6 3t r a n s f e r a n a l y s e st h ef u n c t i o n s ，p r o c e s s i n gf l o wa n ds t r u c t u r eo fs t r e a mm e d i as e r v e r ；a n a l y s e s t h ec h a r a c t e r sa n ds t r u c t u r eo fs t r e a mm e d i ar e c e i v e r ；s t u d i e st h e i m p l e m e n to f m u l t i c a s ta n dr s v p t e c h n i q u e d e s i g na n di m p l e m e n to n es t r e a m i n gm e d i at r a n s f e r s y s t e mb yg c ca n dv c + + ；t h i ss y s t e mi n c l u d i n go n es e r v e rw o r k i n go nl i n u xa n d o n ep l a y e rc o n t r o lb a s e do na c t i v e xw o r ko nw i n d o w s ：c a nt r a n s f e ra n dr e p l a yt h e r e a l t i m eh 2 6 3v i d e od a t aa n dc a np r o v i d em n l t i e a s t ，r s v pa n ds i m p l ev o ds e r v i c e a ni n t r o d u c t i o no n d e b u g g i n g m e t h o df o r e v e r y m o d u l e so ft h i s s y s t e m o n r e d h a t 8 0a n dw i n d o w s 2 0 0 0 ，a l s oad i s c u s s i o no nt h ef o u n d p r o b l e m sa n dw e l la s r e l e v a n ts o l u t i o n s as i m p l ep e r f o r m a n c ea n a l y s i so ft h i ss y s t e m a f t e r f i n i s h i n g t h i s p r o j e c t ，t h i st e c h n o l o g y c a nb eu s e di nv i d e o c o n f e r e n c e ， v i d e oo nd e m a n d ( v o d ) s y s t e m ，r e m o t es u r v e i l l a n c es y s t e me t c a n da tt h es a m et i m e ， n m l t i m e d i at h e o r yr e s e a r c h e r s 、v i d e os o f t w a r ed e v e l o p e r sa n dr e l e v a n tt e c h n i c i a n s m a y d r a wt h e i ri n s p i r a t i o nf r o mt h i sp a p e r o u rw o r ki si m b u r s e d b yi n d u s t r i a la d v a n c e dp r o j e c to fg u a n g d o n g p r o v i n c e k e yw o r d s ：s t r e a m i n gm e d i a ；r e a l t i m e ；r t p ；m o d u l a r i z a t i o n n 华南理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研 究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文 不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完 全意识到本声明的法律后果由本人承担。 作者签名： 起逝 日期：力彤仁年，月形日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权华南理工大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密囱。 ( 请在以上相应方框内打“”) 作者签名： 导师签名： 赵递 咄嘛 1 日期：加。妒年月，石日 日期：伸中年6 月，日 第一章绪论 第一章绪论 当今世界，多媒体数字技术的飞跃发展和个人计算机的日益普及，给人们的 工作，学习，生活和娱乐带来了深远的影响。多媒体使计算机能够综合处理声音、 文字、图像和视频，改变了人们使用计算机的方式。随着网络宽带化的发展趋势， 人们希望有更直观、更丰富的新一代信息的表现形式。作为多媒体和网络的交叉 学科流媒体【8 1 ( m e d i as t r e a m i n g ，又称s t r e a m i n gm e d i a ) 技术由此应运而生。传统 的多媒体文件需要从服务器下载完才能播放，而流媒体的主要特点就是边下载边 观看，以流的形式进行数字媒体的传送，从而使人们可以在线欣赏到连续不断的 多媒体节目1 4 。 1 1 流媒体技术概述 网络多媒体的发展方兴未艾，这得益于两个方面：多媒体促进了计算机的人 性化，而网络技术促进了计算机的普及化。目前，i n t e r n e t 使世界f ；| 益变成一个 “地球村”，在这样的背景下，多媒体和网络的交叉课题一一流媒体的发展成为一 个必然结果。流媒体的应用系统，国际标准和基础研究正在成为目前产业界和科 研机构密切关注的焦点j 。 流媒体指在i n t e r n e t i n t r a n e t 中使用流式传输技术的连续时基媒体【7 i ，如：音 频、视频或多媒体文件。现在网上传输音视频主要有下载( d o w n l o a d ) 和流式传 输( s t r e a m i n g ) 两种方式。下载方式是指将全部的音视频文件通过网络传输到客 户机，并保存在客户机上，只有当全部的文件传送到客户机上之后才能开始播放。 流式传输定义很广泛，现在主要指通过i n t e r n e t 将视音频信号连续传送到客户端 p c 机，在播放前并不下载完整个文件，而是只将开始部分内容存入内存，流式媒 体的数据流随时传送随时播放，当流媒体在客户机播放时其余部分在后台继续下 载。流式传输有两种方式：顺序流式传输( p r o g r e s s i v es t r e a m i n g ) 和实时流式传输 ( r e a l t i m es t r e a m i n g ) 7 “1 ”。 顺序流式传输利用在内存中开辟一个缓冲器( b u f f e r ) ，顺序下载的文件保存 在缓冲器中，不过用户在整个文件下载完之前可以播放。标准的h t t p 服务器可 发送这种形式的文件，也不需要其他特殊协议，它经常被称作h t t p 流式传输。 由于该文件在播放前观看的部分是无损下载的，所以这种方法保证电影播放的最 终质量。顺序流式传输比较适合于用来发布内容简单，但音质或画面质量较高的 文件，如片头、片尾和广告。顺序流式传输不像实时流式传输在传输期删根据用 户连接的速度做调整，用户对流的控制有限，因此不适合于现场直播等实时数据 华南理工大学上学硕士学位论文 的传输。 实时流式传输指保证媒体信号带宽与网络连接配匹，使媒体可被实时观看到。 实时流与h t t p 流式传输不同，他需要专用的流媒体服务器与传输协议。“实时” 的概念是指在一个应用中数据的交付必须与数据的产生保持精确的时间关系。实 时流式传输总是实时传送，特别适合现场事件，也支持随机访问，用户可快进或 后退以观看前面或后面的内容。 流媒体系统一般包含下面三个组件归j ： 播放器( p l a y e r ) 在客户端接收播放流媒体格式文件的软件 服务器( s e r v e r ) 管理并向客户发送流媒体数据的软件 编码器( e n c o d e r ) 用于压缩和整合多媒体数据，将其转换为适合在网上 传输的流媒体格式。流媒体文件一般要经过特殊编码，使其适合在网络上边下载 边播放，压缩媒体文件编码成流式文件，必须加入一些附加信息，如计时、压缩 和版权信息。 流媒体技术的研究内容【8 1 包括流媒体的编解码技术、流媒体服务器技术、端 到端( e n dt oe n d ) 流媒体技术和流媒体系统技术等。典型的流媒体编解码技术有： 用于6 4 k b p s 视频传输的h 2 6 1 、面向1 5 m b p s 数字视音频传输和存储的m p e g l 、面向高品质数字音频传输和存储的m p e g 一2 以及适用于低码率视频编码的 h 2 6 3 标准。具有代表性的流媒体编解码技术为精细可扩展性编码技术f g s ( f i n e g r a n u l a rs c a l a b l e ) 和l 渐进的精细可扩展性编码p f g s ( p r o g r e s s i v ef i n eg r a n u l a r s c a l a b l e ) 。多媒体服务器技术是对传统的文件服务器进行改造的，使其能支持流 媒体的应用，典型的流媒体服务器技术包括数据的放置策略，内存缓冲区管理算 法等。端到端的流媒体技术用于解决流媒体在两个端系统之间传输的相关问题， 典型的研究包括媒体流的拥塞控制、差错控制、速率整形等。端到端的流媒体研 究目标是为了提高流媒体应用的q o s ( q u a l i t y o fs e r v i c e ) 。流媒体系统技术注重提 高流媒体的系统效率，包括流媒体调度技术、多媒体代理服务器及缓存技术以及 流媒体的应用层组播技术等。 1 2 流媒体传输的相关协议 多媒体及网络领域的相关国际标准和协议充分考虑了流媒体的应用，在网络 领域，i n t e r n e t 工程任务组i e t f ( i n t e r n e t e n g i n e e r i n g t a s k f o r c e ) 3 5 1 制订了实时传 输协议实时传输控制r t p r t c p ( r e a l t i m et r a n s f e rp r o t o c o l r e a l t i m et r a n s f e r c o n t r o lp r o t o c 0 1 ) 协议族【l “j 。该协议族是流媒体的应用层协议，为媒体的流化技 术提供了网络承载平台，早在1 9 9 6 年就成为i n t e r n e t 的国际标准( r f c l 8 8 9 ) ，最新 的版本( r f c 3 5 5 0 ) 于2 0 0 3 年7 月发布。r t p 被定义为在一对一或一对多的传输情 2 第一章绪论 况下工作，目的是提供时间信息和实现流同步。针对具体的应用， e t f 还制订了 i 盯p 与特定媒体相结合的标准( r f c ) ，如h 2 6 3o v e rr t p , g e n e r a la u d i oo v e r r t p , m p e go v e rr t e f e co v e rr t p 等，所以不同的媒体类型需要研究其不同的封 装和管理技术。 由于音频和视频数据流比传统数据对网络的延时更敏感，要在网络中传输高 质量的音频、视频信息，除带宽要求之外，还需其他更多的条件。为了保障实时 业务的q o s 性能，i e t f 制订了资源预留协议( r s v p ：r e s o u r c er e s e r v a t i o n p r o t o c 0 1 ) 。r s v p 在业务流传输之前，预留一定的网络资源，建立动态或静态 的传输逻辑通路，保障业务流有足够的带宽，克服由于网络信包过多引起的拥塞、 丢失和重传。 实时流协议r t s p 吲( r e a l t i m e s t r e a m i n g p r o t o c 0 1 ) 是由r e a l n e t w o r k s 和 n e t s c a p e 共同提出的，该协议定义了一对多应用程序如何有效地通过i p 网络传送 多媒体数据。r t s p 在体系结构上位于r t p 和r t c p 之上，它使用t c p 或r t p 完 成数据传输。h t t p 与r t s p 相比，h t t p 传送h t m l ，而r t s p 传送的是多媒体 数据；h t t p 请求由客户机发出，服务器作出响应，而r t s p 是双向的，客户枫 和服务器都可以发出请求，主要设想在r f c 2 3 2 6 中。 m m s 协议”刊( m i c r o s o f tm e d i as e r v e rp r o t o c 0 1 ) 是m i c r o s o f t 公司提出来的，用 来访问并流式接收w i n d o w sm e d i a 发布点上的单播内容。m m s 是连接 w i n d o w sm e d i a 单播服务的默认方法，但该西议没有形成r f c 文档。 1 3 流媒体的应用现状 1 3 1 远程教育 随着网络及流媒体技术的发展【l ”1 ”越来越多的远程教育系统中使用流媒体 技术作为网络教学方式。在远程教育中最基本的要求是将信息从教师端传递到远 程的学生端，需要传递的信息是多元化的，这其中包括各种类型的数据。如何将 这些信息资料有效的组合起来以达到更好的教学效果是远程教育的重要方面。 由于当前网络带宽的限制，流媒体无疑是最佳选择，学生用较低的计算机配 置和网络条件参加到远程教学系统中来，可以进行实时的教学。对于教师来说， 这样也无需做更多的准备，授课方法与传统的教学基本相同。除去实时教学，使 用流媒体的v o d ( 视频点播) 技术，更可以达到因材施教、交互式教学目的。学 生可以通过网络共享自己的学习经验和成果。 3 华南理工大学工学硕士学位论文 1 3 2 视频点播( v o d ) 视频点播( v o d ) 需要负荷大量数据的传输，由于流媒体经过特殊的压缩编码， 使它很适合在互联网上传输。客户端采用浏览器方式进行点播，基本无需维护。 当采用先进的机群技术和多播等技术之后，可对大规模并发点播进行分布式处理， 使其适应大规模点播环境。 随着宽带网络和信息家电的发展，流媒体技术会越来越广泛应用于视频点播 系统。目前很多大型的新闻娱乐媒体都在i n t e r n e t 上提供基于流媒体技术的音、 视频节目。 1 3 3 互联网直播 网络带宽问题一直是互联网直播的瓶颈，不过随着宽带网的普及和流媒体技 术的发展，互联网直播已经开始走向实用。流媒体技术在互联网直播中充当重要 角色。首先流媒体实现了在低带宽的环境下提供高质量的影音。其次，像r e a l 公司的s u r e s t r e a m 这样的智能流技术可以保证不同的连接速率下用户可以得到不 同质量的影音效果。此外，多播技术大大减少了服务器的负荷和节省了带宽。 1 3 4 视频会议 视频会议技术涉及到数据的采集、数据压缩、网络传输等多项技术。流媒体 不是视频会议的必须选择，但是采用流媒体技术传送影音。使用者可以连续不断 的观看，可以达到即时的效果。流媒体协议本身就支持一对一和一对多的通信， 这样可以方便地达到视频会议的要求。 1 3 5 现有的典型应用系统 现在典型的流媒体应用系统有：专业级v o d 系统及视频服务器产品包括c i s c o i p t v ，n c u b em e d i a c u b e ，o r a c l eo v s ，s u n m e d i a c e n t e r ，h p m e d i a s t r e a m 等： 专业级视频会议系统包括p i c t u r e t e l ，n e t m e e t i n g 等：p c 级的m i c r o s o f tw i n d o w s m e d i a ，r e a l s y s t e m ，a p p l eq u i c k t i m e 等。 专业级的流媒体系统功能强大，但价格昂贵且一般对硬件的要求较高，不适 合于个人和一些小型的应用场合。在较简单的p c 级流媒体软件中m i c r o s o f t w i n d o w s m e d i a 和r e a l s y s t e m 的应用最为广泛 1 2 1 ，据市场调研公司 n i e l s e n n e t r a t i n g s 统计数据( 2 0 0 4 年) 显示，目前r e a l 公司媒体播放软件的市场 占有率为1 6 2 ，而微软占1 4 4 。r e a l 公司的r e a l s y s t e m 由三部分组成：媒体 内容制作工具( r e a l p r o d u c e r ) ，服务器端软件( r e a l s e r v e r ) ，客户端播放器 4 第一章绪论 f r e a l p l a y e r ) 。w i n d o w sm e d i a 也包括制作、发布和播放三个大部分，包括系列 工具，主要有：m e d i ae n c o d e ，w i n d o w s m e d i a a u t h o r ，w a v e t o a s f ，w i n d o w s m e d i a s e r v i c e 和w i n d o w s m e d i ap l a y e r 等。这两个系统的原理基本相同，但在具体实现 上有很多不同之处，有各自的优缺点，表l 一1 是一个简单对比。 表1 1 两种主要p c 级流媒体系统对比 t a b l el 一1c o n t r a s to ft w os t e a mm e d i a s y s t e m so v e rp c r e a l s y s t e m w i n d o w s m e d ia 跨平台，支持w i n d o w s 系统和 软件平台只吏持w l n d o v s 累统 s o l a r i s 和l i n u x 等多种平台 价格较贵，最新的h e l i xs e r v e r1 0 f ) 集成在w i n d 。w s 系统中，免费 价格 p s 支持流量的耍5 0 ，0 0 0 元( 人民可 稳定性成熟的商业应用，稳定性高稳定性相对较低 软件大小 约2 踟超过3 0 m 对直播的要求不高，6 4 m 基本内存，每要求较高，采集机需要有固定的i p 条件要求k b i t s 数据梳要占用1 2 k 的内存地址，p i l l 4 0 0 以上，1 2 8 m 内存以上 支持的流m p e g i ，m p e g 2 ，m p e c4 j q u ic k t i m e ，m p e g i ，m p e g2 ，f l i p 3 等，不支持r e a l 媒体类型肝3 ，r e a l a u d i o ，r e a l v i d e o 等 公司的系列媒体格式 开放性提供接口，允许第三方进行开发提供软件开发工具包( s d k ) 1 4 本研究课题的来源与论文主要内容 本课题是，。+ 东省工业攻关项目“基于嵌入式l i n u x 操作系统的网络多媒体交 互式实时传输系统开发” 2 0 0 2 a 1 0 3 0 4 0 5 的一部分。主要的研究内容包括： 研究流媒体的传输层协议r t p 协议族的传输机制以及应用。 研究针对h 2 6 3 格式的实时流媒体系统，设计并实现一个基本的，基于 l i n u x 平台的实时流媒体服务器；设计并实现一个基于w i n d o w s 平台的， 使用a c t i v e x 技术的客户端播放控件。 研究多播，r s v p 等技术，并在传输系统中应用。最后完成系统的调试和 测试，实现各种功能。 本研究的目的在于：通过对r t p 协议族的研究，掌握流媒体传输的原理，设 计并实现基本的实时流媒体传输系统，并且进行点播服务的研究。通过研究针对 特定的h 2 6 3 格式视频数据的支持，提供实现功能定制；对服务器程序的模块化 5 华南理工大学工学硕士学位论文 设计从而简化系统；由于最终设计完成的服务器程序大小为1 7 0 k 字节，这样能 与嵌入式系统结合起来；通过研究和系统设计与实现，积累经验，为今后开发提 供参考和启发。 本论文的主要结构如下： 第一章绪论，概述流媒体技术的特点和应用现状；介绍本研究的来源、内容 和意义。 第二章r t p 协议族简介，说明流媒体传输协议r t p 协议族的内容，工作机制 以及原理，并介绍了实时软件的概念性组织。 第三章网络多媒体终端简介，介绍本传输系统的软、硬件组成、工作原理和 主要数据流程。 第四章流媒体服务器软件设计，简介流媒体服务器设计的基础知识，详细介 绍主要功能模块的流程。 第五章流媒体播放器软件设计，简介a c t i v e x 技术，详细介绍流媒体接收播 放控件的设计和具体实现。 第六章软件系统的综合调试，介绍软件系统的调试情况和简单的性能分析。 最后是结论、参考文献和致谢以及附录。 6 第二章r t p 协议族简介 第二章r t p 协议族简介 r t p 提供端到端传输服务的实时传输协议，用来支持在点对点通信( u n i c a s t1 和多播( m u l t i c a s t ) 网络上实时传输流媒体数掘。r t p 协议具有协议简单、易于实现、 传输控制信息占用通信带宽小、无需路由器支持等特点。它是一个独立于应用程 序的协议规范，由两个紧密相关的部分组成： ( 1 ) r t p 数据协议( r e a l t i m et r a n s f e rp r o t o c 0 1 ) ( 2 ) r t c p 控制协议( r e a l t i m e t r a n s f e rc o n t r o lp r o t o c 0 1 ) 2 1r t p 协议族成员 r t p 协议族最早在1 9 9 6 年由i e t f 在r f c l 8 8 9 中发布，针对具体的应用还制 订了r t p 与特定媒体相结合的标准( r f c ) 。主要的r f c 文档见表2 1 表2 1r t p 协议族的主要r f c 文档 t a b l e 2 一lr f co fr t p f a m i l y r f c 编号发布时问主要内容 1 8 8 9 j a n u a r y19 9 6r t p ：at r a n s p o r tp r o t o c o lf o rr e a l t i m e a p p l i c a t i o n s ( o b s o l e t e db yr f c 3 5 5 0 ) 1 8 9 0 j a n u a r y1 9 9 6r t pp r o f i l ef o ra u d i oa n dv i d e oc o n f e r e n c e sw i t h m i n i m a lc o n t r o l ( o b s o l e t e db yr f c 3 5 5 1 ) 2 0 2 9o c t o b e r l 9 9 6r t p p a y l o a df o r m a to f s u n sc e l l bv i d e oe n c o d i n g 2 0 3 2o c t o b e r l 9 9 6r t p p a y l o a df o r m a tf o rh 2 6 1v i d e os t r e a m s 2 0 3 5o c t o b e rl9 9 6r t p p a y l o a df o r m a tf o rj p e g c o m p r e s s e dv i d e o ( o b s o l e t e db yr f c 2 4 3 5 ) 2 0 3 8o c t o b e r l 9 9 6r t p p a y l o a df o r m a tf o rm p e g l m p e g 2v i d e o ( o b s o l e t e db yr f c 2 2 5 0 ) 2 1 9 0 s e p t e m b e r r t p p a y l o a df o r m a tf o rh 2 6 3v i d e os t r e a m s 1 9 9 7 2 1 9 8 s e p t e m b e r r t p p a y l o a df o rr e d u n d a n t a u d i od a t a 1 9 9 7 2 2 5 0 j a n u a r y1 9 9 8r t pp a y l o a df o r m a tf o rm p e g1 m p e g 2v i d e o ( o b s o l e t e sr f c 2 0 3 8 ) 2 3 4 3 m a y1 9 9 8 r t p p a y l o a df o r m a tf o rb u n d l e dm p e g 7 华南理工大学工学硕士学位论文 2 4 3 5o c t o b e r l 9 9 8r t p p a y l o a df o r m a tf o rj p e g - c o m p r e s s e d v i d e o 3 0 1 6n o v e m b e rr t p p a y l o a d f o r m a tf o rm p e g 一4a u d i o v i s u a l 2 0 0 0s t r e a m s 3 0 4 7 j a n u a r y2 0 0 1 r t p p a y l o a d f o r m a tf o ri t u tr e c o m m e n d a t i o n g 7 2 2 1 3 1 9 0 j a n u a r y2 0 0 2 r t pp a y l o a df o r m a tf o r12 一b i td a ta u d i oa n d2 0 一 a n d2 4 一b i tl i n e a rs a m p l e da u d i o 3 5 5 0 j u l y2 0 0 3 r t p ：a t r a n s p o r t p r o t o c o lf o rr e a l t i m e a p p l i c a t i o n s ( o b s o l e t e sr f c 18 8 9 ) 3 5 5 1 j u l y2 0 0 3 r t pp r o f i l ef o ra u d i oa n dv i d e oc o n f e f e n c e sw i t h m i n i m a lc o n t r o l ( o b s o l e t e sr f c18 9 0 ) 2 2r t p 工作过程 工作时，r t p 协议从上层接收流媒体信息码流( 如h 2 6 3 ) ，装配成r t p 数据 包发送给下层，而由下层协议提供r t p 和r t c p 的分流。如在u d p 中，r t p 一 般使用一个偶数号端口，而相应的r t c p 使用其后的奇数号端口。r t p 数据包没 有长度限制，它的最大包长只受下层协议的限制。工作过程如图2 1 ： 多媒体数据流 r t p 首部lr t p 数据流 u d p 首部lr t p 数据包 图2 1 用u d p 封装r t p 【”1 f i g u r e2 - 1r t pe n c a p s u l a t e db yu d p 通过对r t p 首部参数的解释，可以提供时问信息和实现流同步。r t p 的典型 应用建立在u d p 上，但也可以在t c p 或a t m 等其他协议之上工作。r t p 本身只 保证实时数据的传输，并不能为按顺序传送数据包提供可靠的传送机制，也不提 供流量控制或拥塞控制，它依靠r t c p 提供这些服务。 在r t p 工作时一般分为两个层次i 7 】：会话和流。一个i h p 会话( s e s s i o n ) 包括 传给某个指定目的地对( d e s t i n a t i o np a i r ) 的所有通信量，而发送者可能有多个( i p 地址，协议端口号) 。如果i p 地址是一个单播地址，r t p 会话的接收方就只有一 个；如果i p 地址是一个组播地址，其接收方就可能有多个。从同一个同步源发出 的r t p 数据包序列称为流( s t r e a m ) 。一个r t p 会话可能包含一个或多个独立的r t p 流，这些流都被指定送到同一个目的地址和协议端口。例如，在一个多路音频会 8 第二章r t p 协议族简介 议中，每个与会者都可能发出独立的音频流。 一般应用中一个媒体源一次只发送一个流，但在必要时也可能发送多个流。 例如，一个源需要同时传输多种类型的数据( 如音频和视频) ，或者需要用多种编码 发送同一组数据( 例如，使用高、低两种质量传输同一视频流) 。在接收端为了保 证接收到的r t p 数据包都是与当前流相关联的，必须对收到的r t p 数据包进行 分用，一般有两个级别的分用。 会话分用( s e s s i o nd i s t r i b u t i o n ) ：发生在传输层。一个希望接收r t p 数据包的 应用必须创建一个会话，并指定相应的i p 地址和协议端口号。应用软件根据地址 进行会话级分用，也就是用传输协议( 如u d p ) 检查每个数据包的( i p 地址，协 议端口号) ，从而判断出客户端的哪个应用来接收此数据。 流分用( s t e a md i s t r i b u t i o n ) ：发生在数据包已经交给r t p 应用程序之后。r t p 应用程序使用同步源标识( s s r c ) 和分组类型把同一个流中的数据包组合起来。只 有在数据包与个流建立起关联后，才能用序列号和时间戳字段对数据包进行排 序，并决定回放的具体时间。 2 3r t p 首部简介 2 3 1r t p 首部结构 正胡丑：蔓：园：童三： ：垂蔓堕：受i i i ： 立唑竺- | i d e n t i f i e r s y n c h r o n i z a t i o ns o u r c ei d ei f i e r ； ： ： f 一一一+ ”一一一一一一一一c o n ”t r 。i b u t i n g 一s o 。u r 一c e 一一i d 一一一一。一一一一一一 ： i i 。 9 华南理工大学工学硕士学位论文 特就用来说明是否在分组后增补了零填充( z e r op a d d i n g ) ，从而使分组达 到要求的长度；填充的最后字节指明了填充的长度。 扩充x ( e x t e n s i o n ) ：l 比特。表明在固定的r t p 首部后面是否跟有扩展 首部。 其他同步源数目c c ( c s r cc o u n t ) ：4 比特。说明首部后面跟的c s r c 标 识苻数目。 标记m ( m a r k e r ) ：1 比特。重要事件的标识，具体意义由初始文件定义， 如音频或视频的帧边界。 有效数据类型p t y p e ( p a y l o a dt y p e ) ：7 比特。有效数据类型标识r t p 有效数据格式( 如h 2 6 1 、g 7 2 3 等) ，这决定它们如何被应用程序解释。 r t p 的框架协议定义了有效数据类型码和有效数据格式的缺省映射关系。 序列号s n ( s e q u e n c en u m b e r ) ：1 6 比特。序列号是一个正整数，标识数据 包的序号，每发送一个r t p 数据包，序列号就加1 。接收端可以通过序列 号监测数据传输过程中的丢包情况，或者检测数据包到达的时序状况以对 数据包重组。序列号的初始值是随机分配的。 时间戳t s ( t i m e s t a m p ) ：3 2 比特。时间戳标识r t p 数据包中数据的时间信 息，是数据能以正确的时间顺序恢复的关键。时间戳的值给出了r t p 数据 包中第一个字节的采样时刻( s a m p l i n gi n s t a n t ) ，接收端可以利用时间戳去 除由于网络引起的信息包的抖动，并在接收端为播放提供同步信息。时间 戳的初始值是随机的且必须是线性单调增长的，即使在没有数据输入或发 送数据时也是如此。但r t p 协议没有规定时间戳的单位，也没有规定该值 的精确解释，而是由负载类型来确定时间戳时钟的颗粒。这样各种应用类 型可以根据需要选择合适的输出计时精度。例如，在r t p 上传输音频数据 时，可以选定逻辑时间戳速率与采样速率相同；但当传输视频数据时，必 须使时间戳的速率大于每帧一个滴答，这样才能使图像的回放平滑。如果 数据是在同一时刻采样的，协议允许两个分组具有相同的时间戳值。当一 个大帧被分为很多小的分组，这时这些分组的时间戳的值是重复的，因为 它们是在同一时刻录制的。 同步源标识s s r c ( s y n c h r o n i z a t i o ns o u r c ei d e n t i f i e r ) ：3 2 比特。它用来标识 r t p 数据包的起源。是在新的数据包流开始时随机选择的一个3 2 位数， 在r t p 会话中任何两个同步资源的s s r c 值都不相同。在v o d 系统中， s s r c 可以用于标识不同的视频服务器。 其他同步源标识c s r c ( c o n t r i b u t es o u r c ei d e n t i f i e r ) ：3 2 比特。对包内数据 有贡献的源的标识符。比如混合器( m i x e r ) 改变了包内的数据类型，则 此混合器应作为其他同步源标识。 10 第二章r t p 协议族简介 从r t p 数据格式可以看出，它包含了传输媒体的类型、格式、序列号、时间 戳以及是否有附加数据等重要信息，为r t c p 进行相应监测和控制提供了基础。 2 3 3r t p 有效数据类型 r t p 头中的有效数据类型域长度为7 比特，因此r t p 可以支持1 2 8 种不同的 有效数据类型。表2 2 列出了r t p 支持的部分声音和视频数据类型引。 表2 2r t p 支持的部分媒体类型 t a b l e2 - 2s o m em e d i a t y p e ss u p p o r t e db yr t p p t e n c o d i n g m e d i at y p ec l o c kr a t e ( h z ) n a m e op c m ua8 0 0 0 3g s ma8 0 0 0 4g 7 2 3a 8 ，0 0 0 6d v ia 1 6 ，0 0 0 1 8g 7 2 9a8 0 0 0 3 lh 2 6 lv 9 0 ，0 0 0 3 2m