（计算机科学与技术专业论文）基于sip的视频会议服务器的设计、实现与分析.pdf

磺士论文 藻于s 带静秘壤会谈鞭务耩的设计，赛蕊与分褥 基予s 薹p 的撬频会议骚务器的设计、实璇与分拼 摘要 随澄s i p 协议的标准化，该协议成为l p 领域魄运用广泛的信令 控制协议。采用s i p 协议开发视频会议系统戏为基前的研究热点。这 不仅增加了视频会议系统的灵活性、可扩展性，也有利于在i n t e m e t 上开发多静多样静薪一代l 葭务。 本文在磷究了流媒体、s 糟诲议笈其漭议棱等技术的基础上，缩 台多次视频会议系统开发和硪突的实践经验，提出了多点控剃黎的设 计模式，并利用酵蝴蠡动枫模越对媒髂露闲携议进霉亍形式他建摸，然 后利用u p p a a l 对模型进行验醒。利用该多点控制器，作者基于s i p 协议的r t c 协议棱设计了会议服务器，设计中详缀介绍了税频会议 服务器的功能需求和模块设计。采用该结构实现的会议服务器粥于视 频会议系绞中受奏会议煞管理、会落管理淡及媒体转发等。经测试系 绞爨霄良好瓣稳定狡、灵活性，麓够进行多久之溺瓣瞽视频密文本交 互，从瓶也验诞了系统设计的商效性和合理性。 关键词；s 砖r t c ，多点控制器( m c ) ，视频会议，时间自动机，u p 附a l 硕士论文 基于s i p 的视频会议服务器的设计、实现与分析 d e s i g n i m p l e m e n t a t i o na n da n a l y s i so fa s i p b a s e dv i d e oc o n f e r e n c es e r v e r a b s t r a c t w i t ht h es t a l l d a r d i z a t i o no ft h es i pp r o t o c a l ，i tb e c a m em e p o p u l a r s i 辨a lc o n 缸d 1p m t o c o li n 血ei pf i e j d i m p l e m e n t a t i o nt h es i p _ b a s e d v i d e oc o n f e r e n c es y s t e mi st | l eh o t s p o tc u r r e n t l yi tn o to n l ye n h a n c e st 1 1 e e x t e n s i b i l i t ya n df b a s i b i l i t yo f t h ev i d e oc o n f e r e n c e ，b u ta i s oi sh e l p f u it o d e v e l o pn e wg e n e r a t i o ns e r v i c e sb a s e do ni n t e m e t a f t c rs t u d y i n gm a l l ym t e c l l l l o l o g i e sa b o u ts t r e a m i n gm e d i a ，s i p p m t o c 0 1a n ds i pp m t o c 0 1s t a c k ，w ep r e s e n tad e s i g nm o d eo f m u l t i p o i n t c o n 竹o lu n i tb a s e do nm ep m c t i c ee ) 【p e r i e n c eo fd e v e l o p i n gm ev i d e o c o n f b r e n c e w ec r e a t eaf o m l a lm o d e lf o rp r o c e s s i n gm em e d i a s u b s c r i p t i o np r o t o c o lb yt i m e da u t o m a t a ，a n du s eu p 艮o ! l 【，t oc h e c kt h e p r o p e n i e so fm ep r o t o c 0 1 u n d e rm eg u i d a l l c eo fm cm o d e l ，w ed e s i g n t h ev i d e oc o n f e r e n c es e e r b yu s i n gt h er t cp r o t o c o ls t a c k t h ep 印e r d i c u s s e sm ef l l n c t i o nr e q u i r e m e n ta n dd e t a i ld e s i g n t h i ss e r v e ri su s e db y t h ev i d e oc o n f b r e n c es y s t e ma n dr e s p o n s i b l ef o rm em a n a g 锄e n to ft 1 1 e c o n f 色r e n c e s e s s i o n ，m e d i as t r e a ma n ds oo n t h ea v a i l a b i l i t va n d r a t i o n a l i t yo fo l l rm e 1 0 di sv a l i d a t e db yt h ev i d e oc o n f e r c n c i n gs v s t e m ， w h 沁hc a nh o l dm u l t - p a r 婶m u l t i r r 坨d i aa r md a t ai n t e r a c t b n ss u c c e s s f h i 时 k e y w o r d s ：s i p ，r t c ，m u n i p o i n tc 0 n t r o l ( m c ) ，d e oc o n f e r e n c e t i m e da u t o m a t a u p r 帆 硬士诡文 基予8 静憋襁觊套漩瞻务麟螅性计、菇糖号玲辑 独铷毪( 或龟薪牲) 声臻 本人声明所曼交熬避文是率入在导螂攫母下避簿麴磅燕王律及取褥髓蟒究或袋。尽我蕨 知，除了文中特别加姓标注彝1 致谢中雕罗列的内容l j 圭外t 论文中不包含其蚀人已经艘衰戏撰 笃避酌磷究璃果，爨不餐含为获褥蔷艺京酆电大学或冀德镦育辍鞫静学谴或证葛丽靛麓过的材 料。与辊一耐王律的弼惑对零研究所骰的任何贯献均已在论文中作了明确的说明并袭示了谢 意。 枣壤学位论文与嶷料藉蠢蚕实之箍，本人承拄一龆稿关责经。 本人签名：起壹蔑爨糍：量盟i 曼：整 关于论文使蠲攫税懿说鹱 学位姥义捧豢完垒了解北索螂电大学裔荧保露鄹使用学挝逾文艉簸逛，郫：研究生在棱 攻读学位期辩论文王作辨知识产投革位属i b 露邮电大学。学校薅权保黎势彝嚣寒有关部 门躐樵输送交谂交的复帮释鞠磁盘，允许学扭论文被壹籍鞠借酒；学棱可以公布学靛论 文的垒部藏部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文a ( 保密的学使论文在解密嚣遵守批艇定) 保密论文注释：本学位论文属于保密在年解密詹适粥本授权书。非谦密论 适用本授敷书。 瓣鲻基鲢l 。釜罄 鼹搂 “唰 磷士论文 基于s l p 的视频会议服务器的设计、实现与分辑 1 1 研究背豢 第一章概述 计算辊、嘲络技恭离速发震筋今天，传统静遂讽方式翔嘏话、祷冀等无法达 到“筒对面”的沟通效果，不能满足人们日髓增长的交流需求。视频会议系统是支 持a 蜘远距离遴嚣实时倍塞交滚、拜震携黼工作转斑臻系统。援频会议系统实辩 传输视频与音频信息，使协作成员可以远距离进行鬣观、真实的视音频交流。另 一方灏，利用多媒体技术的支持，视频会议系统可以帮助使用者对工弦中各苇孛偿 意进行处理，如共享数掭、共享簸用程序等，从而构造出一个多入共事的工作空 间。许多企业希掘能够得到一种更为便宜和便捷的视频会议产品或服务，能够掇 供多静功藐，搜德秘熬远程办公和远程全功麓会谈褥班实蕊。薅蓉耪授术静推广， 这种要求将更容易得到蜜现，并开始越来越广泛的虚用。 凌程频会议应臻矮壤，有秀个功藐穗叛量程互穗立豹错令垮议：嚣辑窀联旗 信联盟标准部( 盯u t ) 提出的h 3 2 3 协议簇i l | ，和因特网工程任务组m 撑n 提出的 s p 【2 l ( s e s s i o nh 难a 6 p l o c o 玲协议。 h 3 2 3 是较早出现并经过标准化的多媒体通信的应用层控制( 信令) 协议， 镣台避信领域传统的设计思想，避行集中、层次控制，现阶段已经褥裂7 广泛应 用。随着分组网尤其是i p 网豹发展、数据妲务的上升及竞争的目趋激烈，电信 运营商、企业和普通用户越来越渴求新一代基于口的服务。 s 撙凄现予2 0 藿纪粥年代中期，源予美国哥伦眈妥丈学计算税系h c 丸一n g s c h i z n l l l l e 及其研究小组的研究。i e t f 分别在1 9 9 9 年、2 0 0 2 年发布r f c2 5 4 3 、 r f e3 2 6 l ，标恣蕾s 王p 规范的基础邑经确立。旱在2 i 年，供应藏就疆开始搀 出基于s i p 的服务。今天，人们对该协议的热情不断商涨。越米越多的竞争者正 在借助前途光明的新服务进入s 球市场。s i p 正在成为自h w p 和s m 静以来最 为重簧豹漭议之。在0 2 年7 弼，3 g p pr 5 疆；三代移动通信标准纯伙伴项目 第5 版) 采用了s i p 作为其信令协议。 s 瓣携议黪谯点是与k | l e | 缀食紧密。经过遥1 9 年静发矮，s 撑戳萁灵活、 可扩展、开放的特点，激撩了1 1 1 t e m e i 以及嘲定和移动妒网络撤出新一代服务的 威力。妇l e t f 提出的s 擀相比予l 弧j t 提出的h f 3 2 3 ，医为葵篱单灵瓣、分碟 式控制等优点，更适合予h l e n l e t 应用。并且随着敦交换等技术的发展，s i p 必 硎士论文基于s i p 的视频会议服务器的设计、实现与分析 将取代h 3 2 3 ，成为i p 领域内适用最广泛的信令控制协议。 1 2 麓痰终戮窕褒袋 翳翦星走羚市场上瓣视频会没缀睡方戏主要包播：基予专线鳇狱娌j 组鼹方 式、基于i s d n 嘲络的组嗣方式以及基于园特网的组网方式( 软件视频会议丽络) 。 就整体的应用状况和市场前景而京，目前赫于l s d n 瞬络的视频会议越慢慢退出 市场，嚣基子专线鑫冬联c 鬈组丽方式视频会议系统嚣熬经髓优越，餐箕昂贵的徐 格也让以效益为中心的企业望而却步。首先，终端和m c u 的价格是不菲的，h 3 2 3 系绞对睡络鲮簧求也迂套避列苦，不是接专线就是按党绥，掰壅的程垒恐怕毙设 备的价格还要悔人。硬件系统数攒功能的缺乏，硬件终端离开既有专用网络环境 无法厦常运行等问题也怒企业做出选择的剿素。医此基于因特网盼组卿方式( 软 件视额会议网络) ，禹为其高的校价眈，备受企监溉迎，发袋潜力巨大。 其实企业内部的沟通在强调音频质量的前提下，更关注于数据的功能，而对 撬菝壤萋纛较攀魏要求势不豫久嚣j 慧豫豹郑么强。誊频实时楚沟逶静裁提，援籁 起到的是一种沟通中补充的作用，数据功能可以让企业人更清晰地表达自己的思 想，可以更有针对性地对某个闷题进行研讨，并做蹴决蓑。针对企业用户的实鼯 需求实现的软件视频会议系统以较低的价格更符台大众的利盘。正是由于软件视 讯会议系统的这些特点，让它成为未来几年中国视讯市场最宥潜力的产品之一。 1 3 研究目标和内容 在本文中，我们设计了视频会议服务器的多点按制器，形式化验证了媒体订 阅协议，并在此基础上设计和实现了视频会议服务器。 f 1 ) 会议鼗务器多点控制器豹凝计 会议服务器多点控制器( m c ) 的设计在很大程度上决定了视频会议系统的性 姥。褒程频会议系统中会议服务嚣受责客户终蠛的接入，转发鹰凌频，羧护骥天 室等，所以视频会议服务器多点会泌控制方式就致至头重要了，m c 的设计要尽 可g 地增加会议服务器的容量。 f 2 ) 媒体订阅协议的形式纯建横与验谨 媒体订阅是多点控制器中很重簧的一个组成部分。系统设计中我们采用r t c 豁议筏，由于剽本赛辩不支搀多点会议，蠢鼗我钓需要霹蕊其臻体处理部分， 自己实现所需器的媒体处理功能。因为基于r t c 建立的客户端和服务器之间的 矮士论文基于s 撵豹氍壤会波鞭务器的堙计、实瑰茸分辑 p c p c 类型的s e s s i o n ，只负责客户端孵入会议和双方的能力协商，除此外客户 端霸会波驻务嚣之闯静掰有交甄都遥过其闻建立静 m 类型的s e 窨s i o n 寒实现，葵 中生簧为媒体订阅僖令，为了保证箕歪确往，我们对箕进行了形式仡建横与验证。 ( 3 ) 基予s 辨斡视频会议中驰会议服务器艟设计与实褒 基予s 璎弱视频会议系统是袋耀藏蘸设计鳇多点控割嚣实现魏。在裰频会淡 系统中，会议服务器主要负责转发和管理媒体流，是系统运行的核心。 本文其余部分酌结鞫如下：第二部分介螺视频会议的棚关技术；第兰部分详 细弁绍多点控蒂8 器的设计和形式化建模：第酾部分讨论会议服务器的设计；第五 帮分拔述会议黢务器豹实残；装居蕊结论文熬工 聱残巢。 硕士论文 基于甜p 的视频会波服务嚣鲍设计，实现与分析 第二章视频会议相关技术 2 1 会话初始辱艺协议s 碍 会话初始化协议( s i p ) 日】是一种应用层控制协议，用来建立、修改和终止 多攥体会话。s 璎协议袋薅懿惹类 鞋子糯蛰议瓣请求，寝答传输攘或。每一个 请求应答消息都是一个可理解的字符串。 s 糟不骰括会话撼述按议，也不提供会议控制功栽，聪是使用其拖协议采完 成这些工作： 会话描述协议( s c r ) ：描述终端设备帕特点； 实时传输协议( r 1 影r f c p ) ：安静传输媒体数据； 资源保留设鼹协议( r s v p ) ：提供服务质量； 轻黧嚣录谤嬲协议( 黼a p ) ：负责定短羽户戆确甥缝蛙； 远程身份验证拨入用户服务( r a d i u s ) ：进行身份验证。 2 。1 1s 撑实体 s i p 蛰议包据以下实蒋： s i p 用户代理( u a ) ：在系统中代袭用户处理呼叫，魑终端用户设各，如手 机、p c 、p d a 等。而u a 又可以细分为用户代理霭户端( u a c ) 、用户代理服务 嚣( 虢峪，。u a e 是发起呼明的端，静发送请求，接收瘸应。u a s 是接收睁涮 的一端，即接收请求，发送响应。 爨p 找骥黢务器：是氍充当菝务器又充当客户搬豹媒奔程旁，它接受s pu a 的会话请求弗查询s i p 注册服务器，获取接收方u a 的地上此信息。然后，将会话 邀请信息直接转发给接收方( 如果该u a 位于同域中) 或代理服努器( 如粜泼 u a 位于另一域中) 。在转发请求之前，它可以改写原请求消息中的内容。代瑾 服务器可以分为无状悉代理服务器和有状态代理服务器。 s i 注瓣疆务器：接霞客户辍戆注嚣请求，宠袋用户缝娃静注麓，维护镪含 域中所有u a 的位置的数据库。同时，它接收来自s l p 代理服务器的查询请求， 受费解蛎她蛙。存放用户位置馈息鲍实体列辙位鬟服务器，它通常燕数据库，不 属于s 口系统的服务。 s i p 重定向服务器：接收对外部域鲋地址请求，并把请求中的原地址映射成 硕士论文基于s i p 的视频会议服务嚣的设计、实现与分析 零个或多个新地址，返回给客户机，从而允许将s 砰会话邀请信息定向到外部域 ( 供代理服务器查询其它代理服务器) 。 前面提到的这些组件都是逻辑实体。在实现和配置的时候我们可以把它们集 成在同一个应用程序中或者同一台机器上。 2 1 2s 口消息 s 毋消息分为两种： 从客户到服务器的请求( r e q u e s t ) ： 从服务器返回的响应( r e s p o n s e ) 。 请求和响应都使用r f ( ：8 2 2 中的g e n e r a l m e s s a g e 格式来传送消息体。请求和 响应消息均由一个起始行( s t a r t “n e ) ，一个或多个消息头字段( h e “e r _ f i e l 如) ， 一个用来表示消息头部结束的空行，以及一个可选的消息体( b o d v ) 组成。 请求又被称为方法，一共有6 种方法。这6 种方法的用途如下： ( 1 ) r e g i s 髓r ：客户来用向服务器注册自己的地址； f 2 1i n v i t e ：邀请用户参加会议； 邝) a c k ：证实用户已经收到了对i n v 胍请求的虽终响应； ( 4 ) b y e ：客户向服务器表示它想要终止此次呼叫； ( o p t i o n 询问客户端能力； ( 6 ) c a n c e l ：取消一个正在挂起的请求，c a n c e l 请求必须和要求取消的 请求具有相同的c a l 卜1 d ，t o ，f m m 和c s e q 值。但是c a n 髓l 请求不影响个 已完成的请求f 一个请求只有在服务器返回一个最终状态响应后才被认为是己完 成的) 。 其中最重要的方法是i n v r r _ e 和a c k ，它们用于建立会话。酣v i t e 用来邀 请一个终端用户加入会议，而a c k 用来通知终端用户请求已经成功的接收。不 能被代理或重定位服务器支持的方法，被服务器当作o p t i o n s 方法对待，并作 相应的转发。当然，除此之外，r f c 纠中还定义了一些扩展的方法。 响应主要通过状态码( s t a t l l s c o d e ) 来区别，状态码是由3 位阿拉伯数字组成 的整数码，它表示对请求的解释及处理结果。第1 位指示响应类型，共有6 大类 响应消息，如表2 1 所示。如果第一位数字为2 ，则意味着操作成功，这是_ i _ 三常 情况下最常见的响应状态码。 硕士论文基于s i p 的视额会议服务器的i 殳计、实现与分析 表2 1s i p 响应消息的状态码 状态码响应类型消息的含义 1 x x 消息型已收到请求，正在处理中 2 x x成功 请求被成功收到，理解和接受 3 x x 重定位需要进一步处理来完成请求 4 x x 客户方错误请求有语法错误，服务器元法完成 5 x x 服务器错误 请求看似有效，但服务器无法实现 6 x x 全局失败此请求对任何服务器均无效 2 2s l p 协议栈 随着、b i p 和n g n 技术的发展，h 3 2 3 时代e f 将过渡到s i p 时代，然而在 s m 时代，却出现了群雄割据的状况，s i p 相对于h 3 2 3 简单，灵活，于是各种 协议栈层出不穷，有基于j a v a 开发平台的协议栈也有基于c ，c + + 开发平台的协 议栈，下面举例介绍两种流行的协议栈。 2 2 1 基于j a v a 平台的s 口协议栈 应用于j a 、，a 开发框架的j a i n s i p 、s i p s c r v l e t 、s i p f o rj 2 m e 以及ja i ns l e e 为基于j a v a 平台开发s i p 应用提供了各种解决方案1 4 】。图2 1 所示为基于j a v a 平台开发的整体体系结构，表2 2 为应用开发选择方案。 本地丽络 图2 1 网络体系结构 硕士论文 基于s i p 的视频会议服务器的设计、实现与分析 表2 2 应用开发选择方案 规范开发团体j a v a 平台 | a i ns i p d e s k l o p j 2 s e j a i ns i p c o n n e c l o re n t e r 口d 鞠j 2 e eb u s i n e 黯砸e r ”出qs l p j a i n s 唧t e l e c o m1 2 髓b u s i n e s st i c r s 口s e f v k t e n e f p d s el 眦w 曲啊e r s i p f o rj 2 砸 d e v i ，2 砸 2 2 2 基于c ，c + + 平台的s 邛协议栈 基于c c + + 平台的s 邛协议栈种类繁多，有e x o s i p ，o p a kv o c a kr t c ， r e s i p m c a t e ，o s i p 等。在此主要介绍我们实现视频会议系统时所采用的协议栈 实时通信( r t c ) 应用编程接口1 9 。r t c 是基于s i p 协议开发的应用编程接 口，使开发者能够创建基于网络的p c p c ，p c p h o n e ，或者p h o n e - p h o n e 的呼叫 以及即时消息系统。在p c p c 的呼叫中可以同时创建音频和视频呼叫。此外r t c 还支持出席信息。应用程序共享和自板也可以被加入到任何类型的会话中以增加 系统的通讯能力。 ( 1 ) r t c 的主要对象和接口 r t c 中主要的通信对象有c l i e n t ，s e s s i o n 和p a f t i c i p a n t 。出席对象是 b u d d y 和w a t c h e r 对象。x m l p r o m e 通过c l i e n t 对象的p r o v i s i o n i n g 接口 被设置和删除，并且通过p m f i l e 对象的接口获取p r o f i l e 信息。每个对象都有其 实现的主要接口，而每个接口都包含很多方法。 c l i e n t 对象：c l i e n i 对象由c o c r e a t e i n s t a i l c e 创建，是r t c 主要的通信对 象。c l i e n t 对象设置会话类型和会话参数，如首选的视频音频设备，音 量以及媒体类型。i r t c c l j e n t 接口可以创建s e s s i o n 对象。 s e s s i o n 对象：支持所有的会话类型并且描绘了创建或接收视频音频呼叫 和即时消息会话的实体。通过会话的接口可以获取会话信息如状态、媒 体类型和参与者信息。s e s s i o n 对象中的a d d p a n i c i p a n t 方法创建 p a n i c j p t 对象并且初始话i m 会话或视频音频呼叫。 p a r t i c i p 锄t 对象：提供接口获取参与者的姓名、u r i 和状态。p a n i c i p a n t 通过i r t c s e s s i o n ：a d d p a m c i p a n t 方法加入s c s s i o n s 中。 硕士论文 基于s i p 的视频会议服务器的设计、实现与分析 图2 2 r 卫c 开发框架 b u d d v 对象：提供接口存储和获取联系人信息。b u d d v 是一种实体，它 的出席信息被追踪。b u d d y 在出席( 或注册) 服务器中注册他的状态、 位置和其他属性。 w a t c h e r 对象：提供接口存储和获取w a t c h e r 的状态。w a t c h e r 是一种实 体，它接收b u d d y 的状态通知。w a t c h e r 可以查询b u d d y 的状态，并且 在b u d d y 的状态发生改变时会被通知。 p r o f i l e 对象：提供接口返回存储在x m l 描述中的参数值。 ( 2 ) 会话类型 袁2 3 会话类型定义 会话类型 定义 p c p c a na u d i o 。v j d e o ，o rb o t ha u d j oa n dv i d e oc o m m u n i c a t 如nb e 晰e e n 【w o c o m p u t c 硌 p c p h o n e a na d u d i 0c o m m u n i c a i j o nj n i l i a c e df m mac o m p u t e ri oap s t nd e v i c e p h o n e p h o n e a na u d i oc a 儿b e t w e e nt w oo rm o r ep s t nd e v i c e s i m as e s s i o nt l l a la l l o w s 【w op a n i c j p a n t st oc o m m u n j c a t el h f o u 曲r e a l t i m e t o x t - b a dm e s s a g e m i m as e s s j o nt h a ia l l o w st w oo fm o r ep a n i c i p a n t st oc o m m u n i c a t ec h r o 。g h r e a l t i ml e x t _ b a dm e s s a g e 壤士论文 基于s 球曲税额会议艘务器鲍设计窭现与分拼 褒2 。4 显示了每种念话允许的媒体类型【6 】和参姆者数量。对于p c p c 会话， 媒体类型可以是音频、视频或二者兼有。应用共享耥岛扳也可以被加入刘会话中。 表2 4 会话类型功能描述 会话类型媒体类型参与者 p c p e 舢d i 0s 朗da 一聪c e i v e2 v i d e os e n d 如dr e c e i v e f r l 2 0 ) w h i l c b o ds h 州n g f r l 狮 o 瘴 如d i 。s 刚畦l e i 2 p h o e - p h o n ea u d i o 蝴da n dm c e i v e2o r m o r e l mt e x t o n l v2 挞l 毒i yl 艇 融l v2 0 f m 。f e a p p i i c a n n n m e d i as i r e a m i n gh a n d i e db yc h ea p p l i c a 如n 2 ( 3 ) 服务器需求 每一静会 轰类型郡奄不羁翡遴霜棒系结构，其中趣括一系瓢豹s 撑代理爨务 器、嘲关、注册服务器等。 黼2 3 所示为适用予p c - p e 和i m 会话麓体系络构。 鼹2 1 3 p c p c 奔l m 会话体系撼耱 躅玉4 所示为适鹰予p c p h o n e 会话的体系结椽。 劢，、 硕士论文基于s l p 的视频会议服务器的设计、实现与分析 图2 4 p c p h o n e 体系结构 图2 - 5 所示为适用于p h o n e p h o n e 会话的体系结构。 图2 5p h o n 。- p h o n e 体系结构 ( 4 ) 采用r t c 开发的优势： r t c 封装的s i p 协议栈稳定，有利于保证系统的稳定性； r t c 封装了d i r e c t s h o w 和r t p 协议栈； r t c 采用动态的音视频编解码器解决方案，灵活考虑通信双方的能力和 网络带宽等因素，增强了系统的适应性和灵活性； r t c 可以穿越u p n p ( 通用即插即用) n a t s 和w i n d o w s x p 防火墙； r t c 提供a p i 实现了点对点的应用程序共享、白板和f m ，可以在此基 础上丰富系统的功能，减少开发的工作量。 ( 5 ) 目前存在的问题： r t c 对于p c 之间视频、音频的呼叫只支持两个参与者，而不支持多用户， 即每个用户只能接收一路视频、音频流，而我们的系统要求多用户，针对该问题 目前有两种解决方案。 方案一：刨建多个c l i e n t 对象( r t c 中每个c l i e n t 对象只允许创建一路音视 忑、1 j 国 斟 沁 ， m氐管 一 攀 一 。 翩耻 拶一 硪士论文 基于s 球的视额会议耀务器的设计、实理与持拼 频) ，仍然采用r t c 提供的接口， 方案二；采用d i r t s h a w 自己做媒体处理和传输模块，这部分不采用赋c 提供的接口。 在本文中我们采用第二种改进方案。 2 3 多点会议系统的类型 多点会议系统1 7 j 按媒体通信方式和形成方式，大致可分为：集中型雾点会议系 统、分散型多点会议系统、混台多点会议惹统，其中混合多点会议系统又分为集 孛音频豹混合多点会议系统和集巾税频静溉含多点念议系统。 ( 1 ) 集中型多虑会议 柱该类会议中，艨窍参会终糍穗l 括瓣关弱m c u 中熬凇建立控铡信遘弱点 到点联系，该m c 执行对整个会议的集中控制。各终端的音频、视频和数据信道 和m c u 中的m p 相连。该m p 对各终端送来的信号进行音频混台、视频交换或港 合和t i 2 。数据分配，然霜将处理所褥翁音频、视颓和数器流稀送回各终端。m p 可以遗择转送哪一个终端或哪几个终端的储号，也可以对不问的音频、视频和数 摄接式窝毙特攀进嚣转麸，蔹褥嚣个参鑫瑟会议麴终瑞露鞋便耀不蘑躲避绩模式。 视频信号还可以采用多播方式分发至各终端。图2 。6 为集中型多点会议结构示意 图。其中，虚线表示控嚣信遒，实线表示避辑信道，传送媒体信息。本论文是繁 于集中型多点会议形式的。 图2 6 集中型多点套议 f 2 ，分救型多熹会议 该类会议的终端仍然以点到点的方式和m c 建立通信信道连接，m c 可位于 醚c u 、网关、潮惩或菜个终壤中。各终壤翡数据售号一毁爨邋遭醚p 樊中分菱， 但音频和视频倍号则直接发送至其它终端，其发送方法有两种：多播方式和多重 单播方式。所谓多重单搔搬的是每薅个终端之间都建毒单播偿遂。这种管理方式 没有集中控制和集中管臻的设备，m c u 的功能班m c 和m p 功能模块形式分别存 硕士论文基于s i p 的视频会议服务器的设计、实现与分析 在于系统的其它设备f 如终端、网关和网闸) 中。m c 仍然具有对会议的控制功能。 ( 3 ) 混合型多点会议( 集中型音频) 该类会议的终端和m c 之间仍然是点到点的控制连接。音频和数据信道连接 至m p ，由m p 进行音频混合，并能为每个终端发送不同的音频组合信号。视频信 号则经由多播或多重单播方式在终端之间直接传送。终端的媒体分配能力设定为 集中式控制、集中型音频、分散型视频、集中型数据。 ( 4 ) 混合型多点会议( 集中型视频) 该类会型和第3 种会议类似，只是音频信号采用直接传送方式，视频信号经 由m p 集中分发，可以根据需要为每个终端发送不同的视频流，也可以按多播方 式统一发送，以降低网络带宽消耗。终端的媒体分配能力设定为：集中式控制、 分散型音频、集中型视频、集中型数据。 ( 5 ) 特殊型多点会议 这类会议开始时是一个点到点会议。咀后在呼叫过程中通过邀请他人或他人 主动加入的方式扩展成为多点会议。它要求在初始的点到点呼叫中必须有一个 m c 。其可能的情况包括：其中一个终端含有或两个终端都含有m c ：呼叫控制通 过网闸转接，该网闸具有m c 功能虽然只是两方呼叫，但也是通过m c u 作为多点 呼叫来处理的。 2 4 多点会议控制单元 会议服务器是传统意义上视频会议中的m c u ( m u l t i p o j n tc o n t r o lu n i t ) 【8 1 0 多 点会议控制单元是视频会议系统的脊髓，它的主要作用是在同一会议中连接3 个 或3 个以上终端系统，集中处理会议中多点之间的信令交互和媒体数据转发。会 议系统的所有终端通过点对点方式与m c u 连接。一个m c u 由一个多点控制器 m c 和零个或多个多点处理器m p 组成。撮典型的集中型多点会议的m c u 由一个 m c 、一个音频多点处理器、一个视频多点处理器、和一个数据多点处理器组成： 典型的分散型多点会议的m c u 由一个m c 和一个数据多点处理器组成，这是由于 该会议的音视频信号都是由各终端通过多播方式直接播发。 m c 视频会议系统中具有多点会议控制功能的实体。在集中型会议中， 所有参会终端( 包括网关) 都需和会议服务器中的m c 建立控制信道的点到 点联系，该m c 执行对整个会议的集中控制。它和参加会议的每个端点执 行“能力交换”过程，并给每个端点发送一个能力集告知它们可以执行的操 作模式，当有终端加入或离开此会议时，m c 可能会调整向各终端发送的 能力集信息。 m p ( m u l t i p o j n tp r o c e s s o r ) 是视频会议系统中接收并处理音视频流的实体。 磷士论文 基于s 磅的援颤会议腥务器斡璇计、实现与分槲 m p 接收来自参套各终端的音频、视频和数据信号流，经处理厨回送各终 端。 2 5 袅议服务器的容曩 2 5 1 窑量的定义 套议服务器的容堂定义为在蒸于s i p 协议的惮网络视频会议系统中，在能 及时难确地处理和回送所接收到的音，视频信号并保证视频会议系统正常工作的 情况下，统诗得到豹被测会议照务器能建立的最丈连接数。 会议服务器的容量是衡量视频会议系统性能好坏的一个璧簧参数。 2 5 2 影响服务精窖量的参数分析街 影嫡麓疆建l 靛豹箧素有壤多，翔霉婚浆丽络繁宽资源静多少，褫颇倍输速 率高低，m c u 软件本身的性能优劣以及运行m c u 软件程序的计算机的内存大小 积e p u 翡速度快慢等。 首先来看可用的网络带宽资源的多少和视频传输速率高低这两个因素对 m c u 性能的影响。在视频会议中，m c u 要对音视频傣号进行接收、处理鞠转发， 丽视频信号占蠢孽豹带宽瓷源较多，一般视频的传输邃率为p x 6 4 婶i 怕樽= 1 ，2 ，。) 。 当视频信号的传输速率趟高时，其所占用的带宽资源就越多。所以，可用的网络 帮竟瓷源裁成了m c u 性缝的疆澍瓣嘉。袁可耀翁溺终带竟爨滋一定并鬟保涯音 视频信号的质量的情况下，视频的传输速率越低，m c u 的性能越好；而在视频传 输速翠一定的情况下，可用的两络带宽资源越多，m c u 的性骁越好。 接着看运幸予m c u 软件程序新翔汁算机的内存大小和c p u 速度快慢对m c u 性能的影响一般的m c u 设计都需要从内存中开辟一定的缓冲区域用于存放接收 舅熬蓊援鞭流帮歙发送翁啬程颓滚，并虽出于音撬颁流静实对茬要塞斟e u 其膏 较高的处理速度，能很快地将接收到的音视频流进行处理后回送给各终端，因此， 视频会议系统对运 亍m c u 程序盼计算瓿的蠹存大小秘c p u 速壤其有镀赫兹要 求。若内存太小没有足够的空间用于存放接收到的音视频信号，那么就会有一部 分音视频数据碧失f 称为薏包) ，音频丢包会使得接收方昕到的声音是断断续续 酶，搿褫频丢镪镕g 会 趣接霰方的图像出现马赛壳情况若c p u 速度太低以致不 能及时的处理音视频信号，则会引起图像和声音的较大失真。在这两种情况下， 鞋c u 器裁减少葵接入懿终端数曩默满是音撬菝信号懿震差要求，鼠嚣m e u 瞧接 入的最丈终端数目减少了，m c u 的性能就不太好。 碳士论文 基于s 讲的视频会议雕务器的设计，舞班与分析 晟后，看m c u 软件本身的饿能优劣这个影响因子。这是m c u 性能好坏的决 定性因素。在其他外部条件一定的情况下，m c u 的性能决定于m c u 软件本身。 在集中型褫频会议中，警有一个终端砰a q m c u 并与之建立连接时，在能终端莉 m c u 之间将相应打开一条控制信道和一组媒体信道，这一组媒体信遵应包括音 援递辍信遵纛撬频逻辑傣遒，若蒜进行鼗瓣逶售静话，还应氛会数撵逻辑信 道。幽有两个终端呼口q m c u 并与m c u 建盘连接时，在每个终端和m c u 之问都 将相废打开一袭控制僖邀和缎媒体信道，则嚣个终端共计打殍鼹条控制信遵秘 两组媒体信道，而这两个终端各自的控制倍道和媒体信道都怒相互独立的。这样， m c u 就需要接收并处理分别来自这两个终端的两组媒体流。依此类推，当有n 个 终端孵潮m e u 黪与m a 蔟g 立连续蓐，m e u 藏需要接收并处壤来自这n 个终端盼n 组媒体流。当m c u 接入的终端数目较少时，m c u 能很快的处理它所接收到的音 攫频傣号共将其墅送给务参会终端。这时，宅敷提供瓣誊视鬏镶号囊爨缝瀵足每 会人崩的要求。当m c u 接入的终端越来越雾，m c u 所需要处理的音视频信号也 越来趟多，当m c u 接入的终端多达一定数目时，以m c u 的处理能力已无法迅速 处理并嚣送萁掰接寝到孵音视频僚号，戳致于其输出的音视颡信号质鼙开始恶化 ( 包括时延增大，有较多的马赛克情况出现等) 且不能满足与会人员的要求或者 艇c 鞋蠢洼维撩撬频会议系统匏歪攀工作隧。 由以上分析可知，m c u 的性能受很多因素的影响。其中可用的网络带宽资 源的多少以及逡行m c u 软件程序的计算机的内存大小和c p u 的速度快慢是外郝 限制掰素，而m c u 本身的性能优劣是决定性因素。 2 。6 枣缝 本章首先对视频会议系统采用鲍核心协议垂话初始他协议s l p 进行了 简要豹介绍，然后介绍了一些s 傅协议栈，其中重点介绍了我们在系统开发中用 到r _ r c 协议栈。最后介绍了一些我们在视频会议服务器设计中用到的概念，主 要包攒多点会谈系统酶樊錾，多点会议控制擎元戳及会议簸努器静容萋。 硕士论文基于s i p 的视频会议服务器的设计、实现与分析 第三章多点控制器的设计与形式化分析 3 1 多点控制器 m c 是视频会议系统中具有多点会议控制功能的实体。在集中型会议中，所 有参会终端( 包括网关) 都需和会议服务器中的m c 建立控制信道的点到点联系。 它和参加会议的每个端点执行“能力交换”过程，并给每个端点发送一个能力集告 知它们可以执行的操作模式，当有终端加入或离开此会议时，m c 可能会调整向 各终端发送的能力集信息。 3 1 1m c 在视频会议系统中的位置 图3 - 1 所示为m c 在视频会议中的位置，在视频会议系统中m c 需要和s j p 服务器、会议客户端以及m p 之间进行信令交互。 3 1 2m c 单元的功能需求 会泌服务器 图3 1m c 在视频会议中的位置 m c 单元需要完成的功能包括： 接收客户端的媒体订阅消息； 与被请求客户端进行媒体协商； 管理多个客户端之间的媒体流拓扑： 检测媒体流的状况，当媒体流连接发生意外中断时，要按照维护的媒体 流拓扑关系进行相应的处理： 硕士论文基于s 球的视频会议服务器的设计、实现与分析 与m p 之间进行交互，控制媒体流的建立、停止以及处理。 3 。2 多点控溯器黪竣事 3 2 1 媒体信遘建立方法的设计 巢中型视频会议中，当有个终端呼叫服务器并与之建立连接时，在此终端 帮缀务器之闺游稳痤籍舞一条控镶l 信道和缝媒体镰道，这一缓媒体僖递痤苞稽 音频逻辑信道和视频逻辑信道，蒋需进行数据通信的话，还应包含数据逻辑信遄 f 由予数据通信不是视频会议必矮其餐的，所以在本文孛不参与讨论) 。其中，誊 频逻辑信道和视频逻辑倍道各应包含一条前向逻辑倍道和一条后向逻辑信道。这 里，“前向”指的是逻辑馆道消息发送方至接收方的方向。在这一组媒体信道开贻 传送媒律流螽，菔务器就需要接袄并链理出终端传遴过来豹一组媒俸流f 包括一 路音频信号和一路视频倍号) 。 在本系统中客户端不糍主动发出蠡邑豹攥体滚，靼终嚣在蕊入会浚后，是与 会议服务器建立一条i m s e s s i o n 会话作为控制信道，只有当有其它终端向服务器 发出请求要求该终端的媒体流，暇务器才兔许该终端发出媒体流，且音频和视频 可单独发送，尽可能地减少媒体溅豹数量。 出于对以下因素的考虑，这样做应该宥比较好的效果： 1 参与会议嚣客户在会谈中豹受色不弼，媒侮流鲮疆求斑该会稳黠集中： 2 ) 音频和视频流相豆独立，媒体流处理灵活； 3 ) 霹| 三i 多接绒一些会议出摩誊( 不发骞者) 。 量纯分析： 假设系统中有n 个用户，分别表示为“，“，“。，根据上蕊的设计，服务器 需要转发靛音，褫灏媒俸流均爵菇弼一个筵簿表示，翔下公式掰示： ，l ，-，1 ：，1 ， ，。 t xi 3l ：， l h lf 3 2 1 3 f3 n 。tf ，3 ， 。 其中， + ，u 一1 ，2 ，w ；，= l 2 ，m ) 表示“，一“，是甭建立了媒体流连接，其取 谴其糍为。或1 ，为1 袭示h ：一“，建立了媒体流连接，为o 则表示没商建立遣 接。 兰兰兰兰 苎三! 竺竺塑望竺兰竺竺竺竺兰兰：兰型兰竺堑 一 。 u ，_ 可得凯服务器需转发的靓频媒体路数肌，弘； 服务器需接收的音，视频媒体路数 - 一m + 。：+ + 虬。 其中w 2 仁霉妻j ：，表示是否接收用户“，的媒体流 因此，服务器为该媒体类型建立的媒体信道总数。胁+ 脚。 3 2 2 媒体流管理的设计 按照媒体信道建立方法的设计模式，所有参会终端( 包括网关) 都需和会议服 务器中的m c 建立一条点到点的控制信道连接和零条或多条媒体信道连接。为了 维护这些媒体信道的拓扑关系，服务器需要对这些媒体信道中的媒体流进行管 理。 流是一个重要的概念，它一般用在多媒体领域描述实时数据。流是一种虚拟 概念，描述一个用户从另一个用户接收某种媒体数据。一个媒体流是个单独的 媒体实例，例如，个音频流、视频流、白板或一组应用共享。 。个媒体类型的流可以形式化描述为：s t r e a i i l = ( s o u r c e u s e ld e s t u s e l s e r v i c e t y p e ) a 勋“，c p 矾p r 是媒体流的发送方： d e s t u s e r 是媒体流的转发目的地，即媒体流的接收方： s e f v i c e t y p e 是媒体流的类型，如一个音频流、视频流、自板或组应用共 享。 在m c 单元中按照s e i c e l 押e 的类型对不同的媒体流进行分类管理，采用 的不同列表结构。其中