（通信与信息系统专业论文）p2p多媒体群组通信平台多媒体技术的研究与实现.pdf

摘要 “e v e r y t h i n go v e l i p ”体现了未来通信和网络的发展趋势，其核心是无缝融合语 音、视频和数据，以及面向服务的应用体系结构。基于x m l 的应用框架是e o i p 的重要研究方向和演进路径。 论文广泛讨论了基于x m l 的x m p p 协议，重点分析了以x m p p 为指南设计 的p 2 p 多媒体群组通信系统i n s t l i n k 的客户端框架，对i n s t l i n k 的视频音频扩展方 法进行了比较深入的研究。论文系统分析了i h p 协议及r t p 协议开源库j n p l i b ， 修改j r t p l i b 并应用于i n s t l i n k 的特定应用环境，实现了i n s t l i n k 的视频音频的r t p 实时传输与控制，解决了i n s t l i n k 实时媒体流的时间戳同步控制技术。论文研究分 析了第三方提供的声音引擎模块，在优化语音通信和语音会议功能等方面进行了 实际的应用设计和实现。论文提出了基于发言权的会议模式，这种新模式改进了 i n s t l i n k 的多媒体会议的性能。 论文的工作在i n s t l i n k 系统中得到实际应用，通过了综合调试以及局域网范围 的上网运行实验，音频通信部分通过i n t e m e t 范围的运行实验，达到实用化水平。 关键字：多媒体通信会议系统x m p pr t p a b s t r a c t e v e r y t h i n go v e ri p ”b r i e f l yi n d i c a t e st h ef u t u r et r e n d so ft e l e c o m m u n i c a t i o na n d c o m p u t e rn e t w o r k s i t sa i mi st h es e a m l e s si n t e g r a t i o no fv o i c e ，v i d e oa n dd a t a , a n dt h e a p p l i c a t i o na r c l l i t e c t u r eo r i e n t e ds e r v i c e b a s e do nx m la p p l i c a t i o nf r a m e w o r ki sa l l i m p o r t a n tr e s e a r c hd i r e c t i o na n de v o l u t i o no fe o l p t h i sp a p e rd i s c u s s e db r i e f l yx m p pb a s e do nx m l ，e m p h a t i c a l l ya n a l y z e dt h et h e c l i e n tf r a m e w o r ko fi n s t l i n k ，ap 2 pm u l t i m e d i ag r o u pc o m m u n i c a t i o ns y s t e mb a s e do n x m p p , a n dd e e p l ys t u d i e dt h ev i d e o a u d i oe x p a n s i o nm e t h o do fi n s t l i n k p a p e r s y s t e m a t i c a l l ya n a l y z e dt h er t pp r o t o c o la n dj r t p l i b ，a no p e ns o u r c el i b r a r y , m o d i f i e d j r t p l i bl i b r a r ya n da p p l i e dt ot h es p e c i f i ca p p l i c a t i o ne n v i r o n m e n to fi n s t l i n k , r e a l i z e d t h ev i d e o a u d i ot r a n s m i s s i o na n dc o n t r o lb a s e do nl 玎pp r o t o c 0 1 a n ds o l v e dt h e r e a l t i m em e d i as t r e a mt i m e s t a m ps y n c h r o n o u sc o n t r o lt e c h n o l o g y t h ep a p e rs t u d i e s t h es o u n de n g i n ep r o v i d e sb yt h i r d - p a r t y , h a v ea c t u a la p p l i c a t i o nd e s i g na n dr e a l i z a t i o n i na s p e c t so fo p t i m i z a t i o ni nv o i c ec o m m u n i c a t i o n a n dc o n f e r e n c ef u n c t i o n t h i sp a p e r p r o p o s e das a yr i g h tb a s e dc o n f e r e n c em o d e t h i sn o v e ld e s i g nl a r g e l yi m p r o v e st h e p e r f o r m a n c eo fm u l t i m e d i ac o n f e r e n c e t h e p a p e r s w o r kh a s p r a c t i c a la p p l i c a t i o ni ni n s t l i n ks y s t e m ，t h r o u g ha c o m p r e h e n s i v ed e b u ga n dn l n ，a u d i oc o m m u n i c a t i o nt h r o u g ht h ei n t e m e to fi n s t i n kh a s r e a c h e dp r a c t i c a ll e v e l k e y w o r d ：m u l t i m e d i ac o m m u n i c a t i o n c o n f e r e n c es y s t e mx m p pr t p 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果：也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：王良砂 关于论文使用授权的说明 日期：兰! ! 垒三虽! ! 垒 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密在年解密后适用本授权书。 本人签名：多支痞r 导师躲垃 w ，一 导师签名：效鱼l z ， 日期：丝! 生三d ! ! 主 日期：垫! 垒三丑! ! 生 第一章绪论 第一章绪论 当今社会，多媒体通信在人们的工作和生活交流中占据了极其重要的地位1 1 。 人们逐渐习惯了可视电话、视频会议、视频点播、基于w e b 的远程教育以及虚拟 电视节目主持人之类的新名词。多媒体通信发展到今天，无缝融合语音、视频和 数据等媒体服务成为研究的热点【2 1 。 1 1 研究的背景和意义 多媒体【l8 】是指由内容相互关联的文本、图形、图像、音频和视频等媒体数据 构成的一种复合信息媒体。多媒体通信【4 】就是在i n t e r n e t 网络上传输多媒体数据， 使i n t e r a c t 网络用户可以轻松的通过网络进行多媒体信息的交互。集成性和交互性 是多媒体通信的特征。 多媒体通信系统的目标是利用多媒体信息的强大表现力和计算机的交互管理 能力，为参与成员之间的交流提供一种“面对面的交流手段【6 】。为了实现这一目 标，多媒体通信系统除了具备视频信息、 形式信息的通信。比如文字、文件传输、 音频信息的通信能力外，还要支持其他 白板共享、程序共享等信息的交流也是 非常重要的。综合来讲，多媒体通信的业务【5 】包括谈话业务、会议业务、分配业务、 检索业务、采集业务和消息业务。 多媒体业务的发展，使人们对通信方式的需求从单纯的点对点通信，逐步发 展到多方的，群组的通信【8 】。多媒体群组通信，是指i n t e r n e t 上两个以上用户同时 相互进行多媒体通信，也就是多人的网络多媒体会议。目前多方通信最流行的应 用是会议系统，模仿了现实中的会议，使不同地域的人们能够参加会议，省去了 因出差所带来的时间和金钱的浪费。 在多媒体会议业务上，可以产生多种应用系统，最具有代表性的应用系统有3 种【_ 7 1 。首先是综合业务多媒体会议系统。这是一项应用面相当广泛的应用。多媒体 会议业务目前在国内的普及率是很低的，其主要原因之一是设备的价格问题，还 包括接入网的带宽问题。另外一类多媒体会议业务是远程医疗系统。远程医疗是 一项综合度很高的多媒体通信业务，多媒体会议是它的一项核心内容，此外还包 括多媒体信息检索、多媒体信息分配和多媒体信息采集业务等。多媒体会议还有 一个应用系统是远程教学系统，利用电子白板充当黑板，应用程序共享方便直观 地演示教学课件和软件，加强教师与学生之间的交流。 分析了课题中提出的这些要求之后，论文研究了基于x m p p 协议开发的p 2 p 1 9 l 多媒体群组通信系统i n s t l i n k 软件。i n s t l i n k 系统是以纯软件的形式实现多媒体通信 的系统，只依靠i n t e r n e t 网络环境和终端性能，使用方便，成本经济。无论从成本 2 p 2 p 多媒体群组通信平台多媒体技术的研究与实现 来说，还是从设备复杂度来说，都具有强大的竞争力。系统中除了实现多媒体的 端对端通信，还实现了多媒体群组通信。在媒体传输方面，采用的是p 2 p 的通信 方式，并且多种媒体数据使用相同u d p 端口进行p 2 p 传输【1 2 1 。通信端口的个数决 定着n a t 穿越的次数，端口数越多就越增加穿越失败的几率。在实现各种媒体流 传输时采用统一的端口，这样不仅降低了n a t 穿越的复杂度，同时大大提高了n a t 穿越的成功率，从而提高p 2 p 的建立成功率。 1 2 发展和研究现状 2 0 世纪8 0 年代初【1 5 j ，美国、日本和欧洲的计算机公司开始致力于多媒体技术 的研究，建立了基于局域网( l a n ) 的多媒体通信系统，如美国x e r o x 公司的以 太电话( e t h e r p h o n e ) ，可以说是最早的多媒体信息系统。 进入2 0 世纪9 0 年代，国外多媒体通信的研究开发首先是基于窄带综合业务 数字网( n i s d n ) ，如美国的a t & t 、p a c i f i cb e l l 、奇科( c 1 l i c 0 ) ；德国电信公司、 德国科学研究中心的c o b r a ，主要针对中小型商业机构，支持远程办公、远程医 疗；从1 9 9 4 年7 月开始，日本进行了国家级的试验项目b i s d n ，对视频点播 ( v o d ) 、电子游戏传送点播业务、家庭购物、远程教育、远程医疗、电子图书馆、 多媒体会议电视、市民画廊等2 0 多项多媒体通信的应用逐渐展开试验。 但是，企业的国际环境变得日益复杂，竞争日益激烈，现代企业必须依靠高 质量的信息及很高的信息获取能力才能立于不败之地。前面这些多媒体通信平台 一般过于复杂和庞大，而且有关产品的价格和硬件要求也都很高，这就需要通过 更加经济的手段来实现多媒体信息的通信。 随着i p 技术的飞速发展，解决了上述问题，基于m 网络的多媒体通信异军突 起，成为多媒体通信的发展趋势。更重要的是，e o i p 概念的提出，使得面向服务 的应用框架成为多媒体通信的研究方向，无缝融合语音、视频和数据等多媒体服 务成为多媒体通信的关键技术【2 】。 目前，关于p 网络多媒体通信相关技术的研究方向有：压缩编码技术、媒体 同步技术、终端技术和网络技术【9 】。在压缩编码方面，音视频的编码技术相对比较 成熟，例如g 7 1 l 、q 7 2 2 、g 7 2 3 a 、g 7 2 8 、h 2 6 1 、h 2 6 3 、h 2 6 4 和m p e g 系 列。媒体同步技术【3 】有链路层同步、表示层同步和应用层同步，并不是每个系统都 必须同时具有这三个层面的同步关系，当然同步方式用得越多系统的性能就越完 善。终端技术要求新一代的交互界面，将以用户为中心，采用更自然、友好的人 机交互技术，实现多方式、智能化、高效的人机通信。宽带多媒体网络【1 6 】【1 7 】是当 前多媒体通信主要采用的网络，分为宽带综合业务数字网( b i s d n ) 和宽带i p 网 络。 第一章绪论 多媒体群组通信【2 0 l 除了上述的技术考虑外，重点是进行群组通信模式的设计， 一个好的通信模式可以做到以最少的资源完成最多的功能。目前采用最多的是基 于服务器处理数据的模型和基于客户端处理数据的模型【1 0 1 。 本文研究的基于x m l 应用框架的i n s t l i n k 系统是面向服务的应用体系结构【1 1 1 ， 对无缝融合多种媒体服务提供了种实现方案。另外，i n s t l i n k 是在宽带i p 网络中 进行实现，采用h 2 6 3 视频编码技术【1 4 】和g i p s 声音引擎进行语音处理，有多种语 音编码根据网络情况进行选择，利用r t p 2 5 】【2 6 】协议进行时间戳同步。在群组通信 模式上，设计并实现了由基于客户端处理数据模型演变的基于发言权控制的模式。 1 3 论文的主要工作 论文的研究背景是西安电子科技大学通信软件课题组的i n s t l i n k 项目。该项目 实现的软件系统p 2 p 多媒体通信平台具有即时消息、语音通信、视频通信、语音 会议、视频会议、文件传输、程序共享等多媒体通信的功能。 本文系统分析了客户端的架构，重点介绍了多媒体模块在系统架构中的位置 和作用，设计了多媒体模块，分析了多媒体模块的工作流程。 详细分析了r t p 协议，研究了i 玎p 协议的开源库j n p l i b ，修改了库中部分功 能，使用r t p 协议进行音视频等多媒体数据的封装，并利用r t c p 完成多媒体数 据传输中的q o s 控制。 研究了g i p s 声音引擎，并使用g i p s 声音引擎完成语音数据的处理工作，包 括数据的采集播放、设备的控制、混音处理和q o s 控制。 设计了语音会议和视频会议模式，实现了语音会议和视频会议功能，通过实 现和测试，肯定了所用模式的性能。 突破了一些技术难点，例如，多种媒体数据使用相同端口传输、支持不同音 视频设备之间通信等。 1 4 论文内容安排 本文主要介绍了一种p 2 p 多媒体群组通信系统的实现方案，设计并实现了一 个客户端平台，其中详细介绍了对多媒体模块的关键技术和实现。 第一章主要介绍本文的研究背景和意义、研究现状、论文的主要工作和论文 的内容安排。 第二章简要介绍了x m p p 协议和j i n g l e 协议，主要描述了整个客户端的架构， 并重点介绍了多媒体模块的功能。 第三章详细研究了实时传输协议r t p 和实时传输控制协议r t c p ，系统介绍 了j r t p l i b 源代码，并对其提出了必要的修改以达到论文系统的实际要求。 4 p 2 p 多媒体群组通信平台多媒体技术的研究与实现 第四章详细分析了g i p s 声音引擎，介绍了g i p s 声音引擎的功能，研究了g i p s 声音引擎的使用和优化。 第五章系统功能实现，主要实现工作都在这一章进行描述，实现了语音通信、 视频通信、语音会议、视频会议等功能。研究了通信性能，提出了会议模式。 第六章是全文的总结和结束。并展望了论文研究的系统未来的发展趋势和发 展前景。 第二章系统的客户端框架 第二章系统的客户端框架 论文研究的i n s t l i n k 系统是一种基于i p 网络实现的p 2 p 多媒体群组通信平台， i p 网络数据的高速传输和可控制的特性为多媒体通信提供了高效率且低成本的实 现环境。系统使用当前流行的r t p u d p 的传输模式传输多媒体数据，p 2 p 技术将 信令和媒体数据完全分离，采用不同的信道进行通信，为计费功能提供实现可能。 应用层 j 图2 1 客户端架构图 i n s t l i n k 客户端的系统框架如图2 1 所示。如图可知，客户端主要分为两个部 分：信令部分和数据部分。信令部分负责注册、登陆、出席订阅，并通过扩展协 议j i n g l e 实现多媒体通信的协商，控制p 2 p 模块建立p 2 p 连接。数据部分分为数 据处理模块和r t p 模块，数据处理模块直接与上层连接，能够控制媒体设备、预 处理媒体数据、编解码，r t p 模块是数据的封装模块，实现多媒体数据的时间戳 同步，封装成r t p 数据格式的报文可以利用p 2 p 模块建立的连接进行发送。p 2 p 模块负责建立p 2 p 连接。 2 1 信令协议简介 论文系统采用的信令协议是x m p p 协测2 1 】【2 2 1 ，x m p p 是一种即时通讯协议。 论文研究的是基于x m p p 的p 2 p 多媒体群组通信系统的实现，本节将介绍x m p p 的相关内容。主要分两部分介绍，首先介绍x m p p 的协议结构，其次介绍x m p p 用于多媒体信令协商的协议j i n g l e 。 2 1 1x m p p 协议 x m p p 的前身是j a b b e r ，一个开源形式组织产生的网络即时通信协议，已经得 到了互联网工程任务组( i e t f ) 的批准。j a b b e r 项目由j e r e m i e m i l l e r 在1 9 9 8 年开 6 p 2 p 多媒体群组通信平台多媒体技术的研究与实现 始的一个免费、开源的项目，用于提供给m s n 、y a h o o 的i m 服务。x m p p 是一种 基于x m l 的协议，它继承了在x m l 环境中灵活的发展性。因此，基于x m p p 的 应用具有超强的可扩展性。两个基本概念，x m l 流和x m l 节，使得在出席信息 已知的实体之间，异步交换低负载的结构化信息成为可能。这两个术语定义如下： x m l 流的定义：一个x m l 流是一个容器，包含了两个实体之间通过网络交 换的x m l 元素。一个x m l 流是由一个x m l 打开标签 ( 包含适当的属 性和名字空间声明) 开始的，流的结尾则是一个x m l 关闭l 标签 。在流 的整个生命周期，初始化它的实体可以通过流发送大量的x m l 元素，用于流的握 手( 例如t l s 握手或s a s l 握手) 或x m l 节( 在这里指符合缺省名字空间的元 素，包括 、 或 元素) 。 x m l 节的定义：一个x m l 节是一个实体通过x m l 流向另一个实体发送的结 构化信息中的一个离散的语义单位。一个x m l 直接存在于根元素 的下一 级。任何x m l 节都是从一个x m l 流的下一级的某个打开标签( 如 ) 开始，到相应的关闭标签( 如 ) 。一个x m l 节可以包含子元素( 相关 的属性，元素，和x m l 字符数据等) 以表达完整的信息。x m p p 定义的x m l 节 仅限于 、 、和 元素，为t l s 握手、s a s l 握手、服务器 回拨的需要而发送的x m l 元素，不被认为是一个x m l 节。 2 1 2 j i n g l e 扩展协议 j i n g l e 协议【2 3 】【冽是x m p p 协议的扩展协议，j i n g l e 协议的目的是当x m p p 终端 进行协商或者有媒体类型更换时，使两个x m p p 终端端到端或p 2 p 媒体会话成功 建立。 j i n g l e 协议并不是要取代基于s i p 协议的技术，只是简单的协议。由于 x m p p + s i p 的客户端实现难度高，所以j i n g l e 被设计成纯x m p p 信令的协议。然 而，i i n g l e 同时被设计成可以与s i p 互通，这样数百万的x m p p 客户端可以加入到 现存的v o m 网络中，而不是把x m p p 用户限定在独立的网络中。 i i n g l e 的模式化使得开发者很容易的添加除了语音之外的多媒体会话类型，例 如应用程序共享、文件共享、白板共享等。传输方式的模式化使得j i n g l e 可以使用 任何适当的媒体传输机制( 包括没有通过x m p p 标准基金会但适合的传输机制) 。 1 ) j i n g l e 协议基本流程 j i n g l e 是控制两个x m p p 实体多媒体会话的创建、管理和终止的协议。协商是 基于x m p p 的，媒体的传输却是在x m p p 之外的。如图2 2 ，以r o m e o m o n t a g u e 1 i t 和j u l i e t c a p u l e t 1 i t 为例，介绍最简单的j i n g l e 会话流程。 首先，发起者发送s e s s i o n - i n i t i a t e 节，包括通信媒体类型、发起者支持的编码 第二章系统的客户端框架 7 方式和传输方式； 应答者接收到s e s s i o n i n i t i a t e 节之后，决定是否处理这次协商。如果没有错误 产生，应答者将返回发起者一个r e s u l t 节作为a c k ； 当双方成功协商之后( 这里没有协商过程) ，应答者会发送一个s e s s i o n a c c e p t 节给发起者；通知发起者接受会话； s e s s i o n i n i t i a 钯 。 a c k ”s s i o n - a e c e p t t一 a c k m e d i as e s s i o n k ，、 、 j ， s e s s i o t h e r m i n a t e 一 - - - - 一 蚋 一- 图2 2 j i n g l e 协议的简单流程图 发起者返回r e s u l t 节的a c k ； 双方可以改变媒体流的编码方式，可以使用任何一种都支持的编码器； 最后会话的一方将发送s e s s i o n t e r m i n a t e 节给对方终止会话； 收到终止会话消息的一方将返回一个r e s u l t 节。 2 ) j i n g l e 协议的协商 通信实体之间的协商是成功建立会话之前的必要工作。有很多潜在的会话参 数需要确定，会话过程中媒体流的编码方式和传输方式就是协商的重要内容。 要了解协商过程，首先要对j i n g l e 协议的状态机有一定了解，关于状态机可参 看图2 3 。下面对图中使状态改变的动作进行说明： c o n t e n t a c c e p t ：接受从另一端发来的c o n t e n t a d d 动作； c o n t e n t a d d ：在会话中增加一个或多个新定义的通信内容； c o n t e n t m o d i f y ：对媒体数据内容进行直接修改； c o n t e n t r o e c t ：拒绝从另一端发来的c o n t e n t a d d 动作； c o n t e n t r e m o v e ：从会话中移除个或者多个已定义的内容； s e s s i o n - a c c e p t ：确定接受一次会话协商； p 2 p 多媒体群组通信平台多媒体技术的研究与实现 c o n t e n t - a c c e p t c o n t e n t - a d d c o n t e n t - m o d i f y c o n t e n t - r e j e c t c o n t o r t t - r e m o v e s e s s i o n i n f o t r a n s p o r t a c c e p t t r a n s p o r t i n f o t r a n s p o r t - r e j e c t c o n t e n t a c c e p t c o n t e n t - a d d c o n t e n t m o d i c o n t e n t - r e j e c t c o n t e n t - r e m o v e s e s s i o n i n f o t r a n s p o r t a c c e p t t r a n s p o r t - i n f o t r a n s p o r t - r e j e c t s e s s i o n - t e r m i n a t e 图2 3 j i n g l e 协议状态机 s e s s i o n i n f o ：发送会话级别的信息，例如一个响铃消息； s e s s i o n i n i t i a t e ：请求一次新的i i n g l e 会话的协商； s e s s i o n - t e r m i n a t e ：终止一个现存会话； t r a n s p o r t a c c e p t ：接受从另一端发来的t r a n s p o r t r e p l a c e 动作； t r a n s p o r t i n f o ：改变候选传输机制； t r a n s p o r t - r e j c o t ：拒绝从另一端发来的t r a n s p o r t - r e p l a c e 动作； t r a n s p o r t r e p l a c e ：重新定义一种传输机制或者用一种不同的机制取代现有的。 j i n g l e 中的可行协商如下( 包括内容级和传输级的协商) ：通过t r a n s p o r t - i n f o 交换特别的候选传输机制；通过c o n t e n t m o d i f y 直接修改通信内容的类型；通过 t r a n s p o r t r e p l a c e 改变定义的内容类型( 通常变更为一个更适合的传输机制) ；通过 c o n t e n t a d d 在会话中增加一种内容类型；通过c o n t e n t r e m o v e 将会话中的一种内容 类型移除。 2 2 多媒体数据部分 前面已经介绍，多媒体数据部分由两个模块组成，多媒体数据处理模块和r t p 模块。本节将对这两个模块的功能进行详细介绍。 2 2 1 多媒体数据处理模块 多媒体数据处理模块负责的工作是对音视频数据进行采集播放、语音数据的 模数转换、采集图像的格式转换和音视频数据的编解码等。模块分析如图2 4 。 第二章系统的客户端框架 9 写 模 块 图2 4 多媒体数据处理模块工作流程图 多媒体数据处理模块直接与上层界面通信，通过上层界面控制多媒体硬件设 备。系统开启多媒体通信功能时，多媒体数据处理模块会收到上层界面传来的控 制消息，然后初始化模块功能。当接到上层界面发送数据的控制消息后，多媒体 数据处理模块开始选择并控制硬件设备，采集数据，对于语音数据要进行a d 转 换，对于视频数据要进行图像格式转换，再经由编码器编码，最后将编码后的数 据发送给r t p 模块进行封装发送。接收到数据的处理是发送的反向过程，最终将 数据播放到用户终端的硬件设备。 在语音群组通信中，多媒体数据处理模块的重要工作是进行语音数据的混音 处理，语音会议中的混音处理是实现语音会议的关键技术。 2 2 2r t p 模块 r ip 会话的管理 数据 r t p 封装 1 卜、 多媒体数据 厂 处理模块 r t c p 控制 图2 5r t p 模块 i n s t l i n k 系统采用r t p 协议实现多媒体数据的时间戳同步技术，r t p 模块实现 了r t p r t c p 协议，用于r t p 报文封装、r t c p 控制、多媒体的r t p 会话管理， r t p 的会话管理包括会话的创建、会话的更改和会话的删除。不同的多媒体通信 通过不同的r t p 会话进行控制。r t p 模块与多媒体数据处理模块和网络直接通信， 多媒体数据的收发都要经过r t p 模块才能完成高质量通信。如图2 5 所示。 本节只是描述了系统中r t p 模块的功能，关于r t p 的相关内容请参看第三章 详细介绍。 第三章实时传输控制协议r t p 的相关研究 i i 第三章实时传输协议r t p 的相关研究 3 1r t p 的基本作用 r t p 在协议结构中的位置如图3 1 所示，它位于u d p 之上、应用层之下。应 用层产生的实时数据首先被封装成r t p 分组格式，然后再将r t p 分组封装成u d p 分组格式，通过传输层协议进行传送。实时应用采用u d p 而非t c p 作为传输层协 议的理由是显而易见的，因为t c p 等待确认应答及重新传输丢失的数据分组的机 制使得实时数据的传输时延变得很长，而且不可预测。但一旦采用u d p ，又无法 检测分组丢失、错序。 应用层 i 汀p u d p i p 链路层 物理层 图3 1r t p 在协议结构中的位置 为了正确还原音频或视频信号，必须保持采样和播放之间的同步关系，这种 同步关系就通过实时数据块所携带的时间戳来实现，而u d p 分组格式并不支持时 间戳功能。 为了确定分组顺序，检测分组丢失，必须对分组进行编号。同样，u d p 分组 格式也不支持序号功能。 为了能够使通过r t p 和u d p 传输的实时数据正确播放，r t p 必须提供正确播 放实时数据必需的、但u d p 又不支持的这些功能，这些功能主要包括时间戳、序 号等。 确定r t p 在协议结构中属于哪一层( 应用层或传输层) 比较困难。如果单从 r t p 提供的功能看，它应该属于传输层的一部分，和u d p 一起支持传输多媒体数 据所需要的时间戳、序号等功能。但如果从应用程序开发者的角度看，它又应该 属于应用层的一部分，因为应用程序开发者必须把r t p 综合到应用程序中，成为 应用程序的一个部分。发送端的应用程序必须将采样到的多媒体数据封装成r t p 分组格式，然后才能通过插口调用u d pa p i ，而接收端应用程序通过调用u d pa p i 接收到的只是r t p 分组，必须从r t p 分组中分离出多媒体数据后，才能进行播放。 1 2 p 2 p 多媒体群组通信平台多媒体技术的研究与实现 必须指出的是，r t p 只提供同步播放多媒体数据所需要的时间戳和序号，并 不实现延迟播放机制和丢失分组补偿机制，这些机制的实现由应用程序完成。 r t p 协议有如下优点： 协议简单：r t p 协议是建立在u d p 协议之上的，其本身不支持资源预留， 不提供保证传输质量任何机制。数据包也是依靠下层协议提供长度标识和 长度限制。因此，协议规定相对简单得多。 扩展性好：r t p 协议一般建立在u d p 之上，充分利用了u d p 协议的多路 复用服务，当然它也可以建立在其它的传输协议之上，像a t m 、i p v 6 等。 这主要得益于r t p 协议不对下层协议做任何的指定，同时r t p 对于新的 负载类型和多媒体软件来讲也是完全开放的。 数据流和控制流分离：r t p 协议的数据传输和控制传输使用不同的端口大 大提高了协议的灵活性和处理的简单性。 3 2r t p r t p 分组由分组首部和净荷两部分组成，净荷通常为经过编码后的数字化的 多媒体数据。r t p 首部如图3 2 所示。经过编码的数字化多媒体数据加上r t p 首 部后，发送给u d p 层。 v pxc cmp t序号 时间戳 同步源标识符( s s r c ) 提供源标识符列表( o 1 5 项) 图3 2 同定的r t p 首部 特定描述信息长度 首部扩展 图3 3r t p 首部扩展 其中，版本字段( v ) ：2b i t ，指明r t p 的版本号，当前r t p 的版本号为2 填充位( p ) ：lb i t ，指明净荷末端是否包含一个或多个填充字节。由于净荷长 度必须是4 字节的倍数，因此，有可能需要在末端包含若干个填充字节，以此满 足净荷长度必须是4 个字节倍数的要求。如果净荷末端包含填充字节，填充位p 置1 ，净荷中的最后一个字节给出填充字节数。当然，在接收端，填充字节被忽略， 不对其做任何处理。 扩展位( x ) ：lb i t ，指明r t p 首部扩展。r t p 首部由固定部分和扩展部分组 成，如图3 3 所示。首部扩展部分是可选的，如果扩展位x 置1 ，表明在固定首部 第三章实时传输控制协议r t p 的相关研究 1 3 之后，紧跟着一个首部扩展。 提供源计数器( c c ) ：4b i t ，给出r t p 首部中提供源标识符列表中的项数 ( 0 - - 1 5 ) 。 信标位( m ) ：1b i t ，该位的解释取决于携带的净荷类型，r t p 并没有规定该 位的用途，但音频视频描述文件规定，如果某个应用在静音阶段不发送分组，那 么在静音阶段后发送的第一个分组必须置为该信标位。 净荷类型( p t ) ：7b i t ，指明r t p 净荷的格式，通常情况下，单个r t p 分组 所包含的净荷只能用一种净荷格式对多媒体数据进行编码。几种语音和视频编码 及对应的净荷类型见表3 1 。 表3 1 几种语音和视频编码及对应的净荷类型 盱 e n c o d i n gn a m e m e d i at y p ec l o c kr a t e ( h z ) o p c m ua u d i o8 0 0 0 1r e s e r v e da u d i o 2r e s e r v e da u d i o 3g s ma u d i o 8 0 0 0 4 g 7 2 3a u d i o8 0 0 0 5d v l 4a u d i o8 0 0 0 6d v l 4a u d i o1 6 0 0 0 7l p ca u d i o8 0 0 0 8p c m aa u d i o 8 0 0 0 9 g 7 2 2a u d i o8 0 0 0 1 0l 1 6a u d i o4 4 1 0 0 1 ll 1 6a u d i o 4 4 1 0 0 1 2 q c e l p a u d i o8 0 0 0 1 3c na u d i o8 0 0 0 1 4m p a a u d i o9 0 0 0 0 1 5g 7 2 8a u d i o8 0 0 0 1 6d v l 4 a u d i o 1 1 0 2 5 1 7 d v l 4 a u d i o2 2 0 5 0 1 8g 7 2 9 a u d i o 8 0 0 0 1 9 r e s e r v e da u d i o 2 0 u n a s s i g n e d a u d i o 2 1 u n a s s i g n e d a u d i o 2 2 u n a s s i g n e d a u d i o 1 4 p 2 p 多媒体群组通信平台多媒体技术的研究与实现 2 3 u n a s s i g n e d a u d i o 2 4 u n a s s i g n e d v i d e o 2 5c e l bv i d e o9 0 0 0 0 2 6j p e gv i d e o9 0 0 0 0 2 7 u n a s s i g n e d v i d e o 2 8n vv i d e o9 0 0 0 0 2 9 u n a s s i g n e d v i d e o 3 0 u n a s s i g n e d v i d e o 3 1 h 2 6 1v i d e o9 0 0 0 0 3 2m p vv i d e o 9 0 0 0 0 3 3m p 2 ta u d i oa n dv i d e o9 0 0 0 0 3 4h 2 6 3 v i d e o9 0 0 0 0 3 5 7 l u n a s s i g n e d 9 7 2 7 6 r e s e r v e dn an a 7 7 9 5 u n a s s i g n e d 9 6 1 2 7 d y n a m i c 序号：1 6b i t ，在会话开始时，发送端产生一个随机数作为该字段的初值，在 传送r t p 分组过程中，每传送一个分组，该字段值就增l 。因此，在会话存在期 间，顺序发送一串i 盯p 分组的序号应该是递增的，接收端可以用序号来检测是否 有分组丢失或错序。 时间戳：3 2b i t ，用来指明净荷中第一个采样数据的采样时间，每一个采样数 据的采样时间通过一个单调且线性递增的时钟获得。这样，接收端应用程序能够 以同步方式播放该r t p 分组，并根据时间戳来计算时延抖动。为了能够更好地支 持同步播放，时钟的精确度和分辨率必须适当。时钟频率取决于净荷数据的编码 格式，r t p 描述文件给出了几种编码格式的时钟频率，如编码名称为p c m u 的语 音编码格式所对应的时钟频率为8 0 0 0 h z 。相邻两个r t p 分组的时间戳差值，取决 于前一个r t p 分组净荷中包含的采样数据数目，例如，如果前一个r t p 分组净荷 中包含了l o 个采样数据，当前r t p 分组的时间戳值必须为1 1 ，一旦假定采样频 率为8 0 0 0 h z ，两个相邻r t p 分组的时间戳差值1 0 可以换算成1 0 0 1 2 5 m s = 1 2 5 m s 时间差。如果在静音阶段不传输r t p 分组，静音阶段结束后传送的第一个r t p 分 组的时间戳值和前一个r t p 分组的时间戳值之差，不仅要反映出前一个r t p 分组 净荷中包含的采样数据数目，而且还要反映出静音阶段的时间长度。 同步源标识符( s s r c ) 3 2b i t ，用于标明同步源，同步源是一个负责发送r t p 分组并在r t p 分组中设置序号和时间戳的实体，同步源标识符字段是一个唯一标 第三章实时传输控制协议r t p 的相关研究 1 5 识该实体的3 2 位长度的随机数。当r t p 分组来自混合器时，同步源标识符字段给 出的是混合器的标识符，而不是信息源的标识符。标识符必须是会话中全局唯一 的。 提供源标识符列表( c s r c ) ：每一位提供源标识符字段为3 2b i t ，提供源标识 符列表最多允许有1 6 个提供源标识符。当r t p 分组来自混合器时，同步源标识符 字段给出标识混合器的标识符，而提供源标识符列表( c s r c ) 给出进入混合器的 各个信号的信号源标识符。 r t p 首部扩展：r t p 首部的设计目标是为了满足绝大多数多媒体信息流的一 般要求，但不会是所有媒体信息流的所有要求。一些特殊的净荷格式可能要求一 些额外的信息，这些信息可以作为净荷自身的一部分。例如可以指定净荷的前1 1 个字节为特殊用途的字节，用于提供这种净荷格式所需要的额外信息。当然，也 可以用r t p 首部扩展来提供特定净荷格式要求提供的额外信息。 通过将r t p 首部的x 位置1 ，来指明r t p 首部扩展的存在，r t p 首部扩展位 于提供源标识符列表和实际净荷数据之间，r t p 只要求在首部扩展的规定位置给 出首部扩展长度，以便在处理过程中能够找到r t p 分组的净荷区域。r t p 并未对 首部扩展的长度及包含的信息类型做出规定。 3 3i 玎c p r t c p 是英文r e a l t i m ec o n t r o lp r o t o c o l 的缩写。中文称之为实时传输控制协 议。它的设计目的是与r t p 协议共同合作，为顺序传输数据分组提供可靠的传送 机制，并对网络流量和阻塞进行控制。 前面讲过，r t p 运行于r t p u d p 模式下，而u d p 协议本身不提供任何传输 可靠性保证，传输层的控制功能主要由它的控制部分r t c p 协议来实现。r t c p 协 议是r t p 的控制部分。为了可靠、高效地传送实时数据，r t p 和r t c p 必须配合 使用。r t c p 依靠反馈机制，根据已经发送的数据分组检测并纠正实时传输中存在 的问题，例如对带宽进行调整、优化，从而实现对多媒体服务的q o s 控制。r t c p 反馈可以直接作用于编码、发送、甚至协议选择环节。另外，通过r t c p 和i p 组 播这些信息，可以让第三方监测会话质量和网络中发生的问题。 r t c p 定义了下列5 种不同类型的r t c p 分组： 发送者报告( s r ) - 会话参与者用它转发有关传输和接收的统计信息。 接收者报告( r r ) ：只有接收媒体数据流的会话参