（计算机应用技术专业论文）多点桌面视频会议系统设计与实现.pdf

摘要 视频会议系统是指通过现有的各种电气通讯传输媒体，将人物的 静、动态图像、语音、文字、图片等多种资料分送到各个用户的计算 机上，使得在地理上分散的用户可以共聚一处，通过图形、声音等多 种方式交流信息，增加双方对内容的理解能力。视频会议系统在用户 组成模式上分为点对点和群组视频会议系统两种。本文主要研究多人 视频会议系统的设计与实现。 本系统基于w i n d o w s 平台，使用v c 在d i r e e t s h o w 框架编程并 结合w i n d o w s m e d i a 技术实现视频会议。本系统研究的内容有：根据 t c p 、u d p 和r t p 协议的特点，在网络传输的各个部分合理地选择 传输协议，保证媒体数据的传输流畅和响应实时性：采用抠像技术， 将人物目标从背景中剥离：服务器端合并处理视音频据，并以m p e g 4 和a d p c m 技术压缩视音频数据后，采用i p 组播技术进行回传，节 约络带宽，优化网络传输；将合成后的数据以流的方式推发布到流媒 体服务器上，使得与会者能实时地观看视频会议。为实现各类之间的 实时消息通信，本系统还设计了一消息栈基类c m s g s t a t i n n ，其他业务 逻辑类均继承它，这样某个类发送的消息可实时地其它类所接收。由 于采用了c o m 编程规范，极大地方便了软件升级和扩展，为后续工 的开展提供了基础。 关键词视频会议，d i r e e t s h o w ，视音频数据，传输协议 a bs t r a c t v i d e oc o n f e r e n c i n gi sak i n do fm u l t i m e d i ac o m m u n i c a t i o ns y s t e m s i tu s e sav a r i e t yo fe l e c t r i c a lt r a n s m i s s i o nm e d i at od i s t r i b u t em o v i n g i m a g e s ，v o i c e ，t e x t ，p i c t u r e sa n do t h e ri n f o r m a t i o nt oa s e to fc o m p u t e r u s e r s a l l o w i n gt h e mt oc o m m u n i c a t ea n de x c h a n g ei n f o r m a t i o n v i d e o c o n f e r e n c i n gs y s t e mc a nb ec l a s s i f i e d a st o wt y p e s ：p o i n t - t o - p o i n t s y s t e m sa n dg r o u pv i d e oc o n f e r e n c i n gs y s t e m s n i st h e s i so n l ys t u d i e s t h es e c o n dt y p eo fv i d e oc o n f e r e n c i n gs y s t e m s t h ed e s i g n i n ga n d r e a l i z a t i o nt e c h n i q u e sa r ed i s c u s s e d t h ep r o p o s e ds y s t e mb a s e do nt h ew i n d o w sp l a t f o r ma n d d i r e e t s h o wi sd e v e l o p e db ym e a n so fv c + + i nt h ef r a m e w o r ko ft h e p r o g r a m i n c o n j u n c t i o nw i t hw i n d o w s m e d i av i d e oc o n f e r e n c i n g t e c h n o l o g y w - eh a v es t u d i e ds o m er e l a t e dk e yt e c h n i q u e s a c c o r d i n gt o t h ef e a t u r e so ft c p , u d pa n dt h er t pp r o t o c o l s ，w es c h o i c et h es u i t a b l e t r a n s m is s i o np r o t o c o l sf o rd if f e r e n tp a r t so ft h en e t w o r kt oe n s u r es m o o t h t r a n s m i s s i o no fm e d i ad a t aa n dr e a l t i m er e s p o n s e b yu s i n gav e r y s p e c i f i ci m a g es e g m e n t a t i o nt e c h n i q u ew h i c hc a ns e p e r a t et h eb o d yo f a c o n f e r e n c ep a r t i c i p a n tf r o mt h eb a c k g r o u n d ，w eo n l yn e e dt ot r a n s m i t p a r to ft h ev e d i od a t as oa st os a v en e t w o r kb a n d w i d t h c o m b i n i n ga u d i o o fa d p c ma n dn 伊e g 4v i d e oa n du s i n gc o m p r e s s i o nt e c h n o l o g ya n di p m u l t i c a s t ，w eo p t i m i z et h en e t w o r kt r a n s m i s s i o n s y n t h e s i so fd a t af l o w a n dt h es oc a l l e dp u s h t e c h n i q u e ，w h i c hc a ne a s i l yp u s hs t r e a m i n gm e d i a t ou s e r s ，m a k eo u rv i d e oc o n f e r e n c i n gm o r er e a l - t i m e t oa c h i e v e r e a l t i m ei n f o r m a t i o n e x c h a n g e b e t w e e nt h ev a r i o u s t y p e s o f c o m m u n i c a t i o no b je c t s ，w ed e v e l o pas t a c k b a s e dn e w sc l a s s ，t h e c m s g s t a t i n nc l a s s b a s e do nt h i sc l a s s ，o t h e rt y p e so f b u s i n e s sl o g i c sa r e i n h e r i t e df r o mi t s o ，t h i st y p eo fm e s s a g e sc a nb er e c e i v e di nr e a lt i m eb y o t h e ro b je c t s l a s t l y , t h es t a n d a r d so fc o m p r o g r a m m i n g i se m p l o y e d ，s o t h es o f t w a r ec a nb em o r ee a s i l ye x p a n d e da n du p d a t e di nt h ef u t u r e k e yw o r d sv i d e oc o n f e r e n c i n g ，d i r e e t s h o w ，v i d e oa n dv fd a t a ， t r a n s f e rp r o t o c o l l l 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名：五辑 日期：丝年坚月生日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位 论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论 文；学校可根据国家或湖南省有关部门规定送交学位论文。 硕+ 学位论文第1 章绪论 1 1 研究背景 第1 章绪论 随着计算技术和网络技术的迅速发展，使用多种新型终端设备访问网络上的 计算和信息资源正变得越来越普及，并成为传统社会向信息化社会转型的一个重 要特色。 如果说发展迅猛的i t 网络技术已经使地球成为一个“村”，那么在近几年内 被广泛采用的网络视频会议技术则让身处不同地区的人能够随时聚集在同一个 “会议室”内作出决策。( 1 ) 顾名思义，网络视频会议即是通过网络将人物的静态或动态图像、语音、文 字、图片等多种信息平滑连续的分送到各个与会人员的计算机上，使得参加会议 的人员不论身处何地都能够像在真实的会议室内一样实时参与团队会议，从而大 大提高工作效率，使人们能够更及时、有效的沟通，并减省用户对于工作旅行的 成本投入，被称作为政府、机关、证券、教育、医疗、金融、电信、企事业单位 取得迅速发展注入的一针强心剂，最大限度的提高了网络的使用价值，从而为整 个社会的经济发展起到了助推作用。( 2 ) 1 2 国内外发展研究与现状 1 2 1 国外的发展研究与现状 国外对视频会议的研究开发进行得较早。作为视频会议产品的可视电话在 1 9 6 4 年被美国贝尔实验室首先研制出来，但由于通信和网络技术条件的限制， 可视电话只是停留在实验室阶段。2 0 世纪8 0 年代初，美国、日本和欧洲的计算 机公司开始致力于多媒体技术的研究，把该技术应用于p c 上。到2 0 世纪9 0 年 代以后，随着计算机芯片技术的进步和图像、语音压缩编码技术的快速发展，特 别是1 9 9 6 年h 3 2 0 标准的确立，使视频会议展现出了广阔的市场发展前景。 随着宽带网络的飞速发展，网络多媒体业务也越来越受关注。1 9 9 6 年，i t u t 又提出了h 3 2 3 系列标准和建议，是视频会议发展史上又一个新的里程碑，h 3 2 3 使得视频会议能够在使用最广泛的i n t e m e t 上得以推广。视频会议系统和相 关产品也同趋成熟化，许多研究机构和厂商投入到视频会议的开发和研制中。 国外著名的视频会议系统有c o m e l l 大学开发的c u s e em e 、m i c r o s o f t 的 n e t m e e t i n g 等，著名厂商有美国的宝利通、以色列的威速等，他们在视频会议的 硕士学位论文第l 章绪论 相关产品的研发方面己经有多年经验。并且占有了全球视频会议系统市场很大的 份额和地位。 1 2 2 国内的发展研究与现状 从2 0 世纪7 0 年代初开始，我国就有关视频会议系统的研究。早在1 9 7 8 年， 在北京和广州之间首次开通模拟视频会议业务实验，由于费用较高，无法广泛应 用。8 0 年代初期南京邮电学院研制成功8m b p s 视频会议设备，尽管是初期设备， 但是在点对点的应用中仍取得了一定的成绩。 到了8 0 年代末期，很多大学和研究机构开始了6 4k b p s 或者1 2 8k b p s 视 频会议编解码器的研制，其中北京邮电大学和南京邮电大学在视频会议编码方面 都取得了很大的进展。1 9 8 8 年，我国邮电部与法国邮电部协作，建成北京国际 视频会议系统。这一系统的使用使我国视频会议业务又迈出了新的一步。1 9 9 4 年中国电信建成国内第一个会议电视党政专网，采用点对点结构的非标准视频网 络，容量较小，没有采用多点控制设备。1 9 9 6 年建成全国公众会议电视网，这 个网络采用了多点控制设备的两级级联技术。随着视讯技术的发展和通信市场的 变化，中国电信于2 0 0 2 年推出了定位于市场中低端用户的兼顾了h 3 2 0 和h 3 2 3 协议，支持多种接入方式的“新视通”业务。 目前，我国视频会议产品化的工作已经初具规模，著名的产品有国防科技大 学的基于校园网的多点会议系统、中科院声学所开发的基于h 2 6 1 的视听多媒 体桌面视频会议系统、北京邮电大学研究的基于i n t e r n e t 的简单桌面会议电视系 统等。著名厂商有华为、中兴、中太多媒体、浙江南望等企业，他们的产品在国 内市场处于领先地位，并且形成了一个迅速发展的视讯产业。 另外，浸入式的3 d 虚拟视频会议是近几年研发的重点之一。现有的视频会 议系统可实时传输一路甚至多路视、音频信息，但仍然存在着交互深度不够、缺 乏空间感和真实感等问题。在实际会议中，与会者之间存在着深层次的交互行为， 如形体语言、眼神接触等对于人与人之间的信息交流具有重要的意义。浸入式的 3 d 虚拟视频会议是指利用虚拟现实技术对各个与会终端处的局部会场进行空 间上的扩展，将分布在不同地点的局部会场合成为一个所有与会终端都能够感知 与交互的虚拟会议空间。 以纯软件实现的视频会议系统可分三种，一种是基于i p 网络的视频会议系 统，该系统主要以t c p 协议传送媒体数据，运行中占用网络带宽较大：一种是基 于组播的视频会议系统，该系统主要以u d p 协议来实现组播功能，运行中占用 网络带宽较小，但网络质量无法保证，缺乏反馈机制；最后一种是基于流媒体的 视频会议系统，该系统主要以r t p 协议传送媒体数据，以r t c p 协议提供数据 发布的质量反馈，但由于其没有实现组播机制，当客户端很多时，网络延迟较大。 2 硕士学位论文第1 章绪论 1 3 研究意义 信息技术的迅猛发展改变了各行各业的传统工作模式。信息的无限量扩 大，交通工具的便捷互联网技术的充分应用等导致了行业间竞争的全球化，这 就要求现代政府部门和企业要具备更加灵敏的神经，更扁平化的管理，更快速 的反应和决策，而传统的会议形式需要参与会议的人们从四面八方赶到同一个 地点，浪费大量时间，无法保证会议的随时随地召开；并且，从经济上而言， 会消耗大量的差旅费用和会议费用；除经济因素之外，许多业务繁忙的商务人 士和政府工作人员，经常因参加各种会议而四处奔波、舟车劳顿，不利于入的 身心健康；另外，各种各样的意外都会影响会议的正常进行：如航班的延迟、 火车汽车的晚点、天气等自然因素的影响等，给人们的沟通带来极大不便。 因此，充分利用先进的计算机及网络技术，开展基于网络的远程视频会议， 实现多方之间及时迅捷的全方位沟通，成为包括各行各业以及个人交流的紧迫 需求。 视频会议系统有着诱人的应用前景，这方面体现在： 1 、提供远端双方或多方立即且面对面的会谈，最直接的效益是节省时间 和各种会议开销。企事业单位应用视频会议系统可提高员工的生产效率，特别 是对分支机构较多的大型企业，效益更加明显。 2 、改善和增进商务交流。用户通过自己的p c 机可以呼叫客户，或者接受 客户呼叫，通过白板、应用共享，双方可就欲达成的协议深入交谈，通过文件 传输系统及时交换文件，通过打印机及时输出文本。 3 、企业客户服务和产品开发。对于大型企业，其产品开发组往往由分散 在不同地方的企业或研究单位共同参与，开发人员经常要赴不同的地点举行的 专题讨论会，视频会议系统可以节省因会议所造成的宝贵时间和费用。 4 、远程教学和技术培训。很多公司计划采用视频会议系统进行各地新员 工培训，通过网络进行如电子表格、文字处理等软件的教学课程。视频会议系 统在大学、中学和各类培训构有极大的应用潜力。 5 、远程医疗和会诊。医疗手段和诊断水平的高低直接关系着全人类的身 体健康。在分散于异地的医院之间部署会议系统，可以共享医疗资源，降低会 诊成本，提高医疗诊断的及时性、准确性。 6 、视频会议系统还有很多其它用途：市场调查和情报检索、科研合作和 工程设计、员工招聘等等。 所以本文提出了一种低成本高质量的交互式多点视频会议系统，该系统结 合了上节所提到的基于i p 网络、组播、流媒体的视频会议系统的优点，在当 硕士学位论文第1 章绪论 前网络带宽的条件下，较好地实现了多点视频会议，其特点如下： 1 、根据t c p 协议、u d p 协议和r t p 协议的特点，在网络传输的各个部分 合理地选择传输协议，保证了媒体数据的传输流畅性和响应实时性。 2 、采用抠像技术，将人物目标从背景中剥离，并以m p e g 一4 和a d p c m 技术 压缩解压缩视音频数据，极大地减少了网络传输数据。 3 、服务器端将视音频数据合并后，采用i p 组播技术进行回传，节约了网 络带宽，优化了网络传输。 4 、将合成后的数据使用r t p 协议推发布到流媒体服务器上，使得与会者 之外的其他用户能实时地观看会议内容等等。 本课题结合t c p 协议、u d p 协议和r t p 协议的特点，利用组播技术并以流 媒体方式进行网络视频会议的实时处理和播放。经检验，该视频会议运行中图 像稳定、声音流畅、网络延迟较小、质量较高。 1 。4 研究内容 本课题研究的内容由客户端和服务器端两大部分组成 客户端主要研究视音频的捕获、视频抠像、视音频多协议组合发送以及视 音频组播接收等内容，其描述如下： 1 、视音频数据的捕获 视频捕获部分利用d i r e c t s h o w 技术捕获通过普通摄像头传入的视频信 号。 音频捕获部分利用d i r e c t s h o w 技术捕获通过麦克风传入的音频信号。 2 、视频数据的抠像 主要用于对与会者的抠像，通过背景差法将动态目标提取出来。 3 、视音频数据的多协议组合发送 主要分析当前各种网络传输协议，根据实际网络情况采用相应的协议进行 数据的发送。 4 、视音频数据的组播接收 主要从指定的组播组上接收从服务器端发来的合并后的视音频数据，分别 以m p e g 4 4 和a d p c m 技术进行解压缩，并显示。 服务器端主要研究视音频的接收、合并、压缩、组播发送以及推发布等内 容，其描述如下： l 、视音频数据的接收 使用t c p 协议接收视音频数据。 2 、视音频数据的合并 4 硕士学位论文第1 章绪论 将各客户端传来的视频帧缩小并显示在合成帧相应位置，最后以合成帧 的形式输出。 服务器端做为会议主持人，规定某一时刻由某一客户端发言而忽略其他 客户端的发言。 3 、视音频数据的压缩 视频数据以m p e g 4 技术进行压缩。 音频数据以a d p c m 技术进行压缩。 4 、视音频数据的组播发送 将合成后的视音频数据以组播的方式依次发送到对应的组播组上。 5 、视音频数据的推发布 自定义一个推发布f i l t e r ，将视频合成帧与合成后的音频数据输入此f i l t e r ， 并使用r t p 协议推发布到流媒体服务器上。这样，会议之外的其他用户能通 过w i n d o w sm e d i a p l a y e r 实时观看到会议的内容。 1 5 内容组织与安排 本论文提出并实现了一种低成本高质量的交互式多点视频会议系统，并对 其客户端和服务器端中的关键问题提出了作者自己的看法和观点。为了更好地 诠释观点和阐述研究内容，全文主要分为六个章节。 第一章主要介绍了本论文的研究背景、国内外研究现状和发展趋势，以及 论文的研究意义和内容； 第二章介绍了系统拓扑结构、系统功能模块的划分与设计、与会者客户端 处理流程、服务器端处理流程，传输协议的应用和组播技术，使读者对系统整 体设计与多点通信实现有整体上的认识。 第三章、第四章和第五章是本论文的核心，也是作者的主要研究内容。第 三章介绍了与会者客户端的视音频捕获技术实现、视频抠像技术实现、视音频 多协议组合发送技术实现、视音频组播接收技术实现。第四章介绍了服务器端 的视音频接收技术实现、视音频合成技术实现、视音频压缩技术实现、视音频 组播发送技术实现、视音频推发布技术实现、客户端播放。第五章介绍了v c 开发环境的配置、系统工作流程、系统实现功能界面并得出相应的实验结果及 结论。 第六章对本文所做的工作进行了总结和展望。 硕士学位论文 第2 章视频会议系统整体设计 第2 章视频会议系统整体设计 2 1 系统的拓扑结构 本系统能方便地实现多人网上视频会议，其业务流程如下：首先，由服务 器端设置参与会议的人数；然后，各与会者通过本地的普通摄像头和麦克风捕 获视频和音频并将视音频数据以t c p 协议传送到服务器端；接下来，服务器端 对各与会者传来的视音频数据进行合成、压缩，并将合成后的视音频数据通过 u d p 协议传送到指定的组播组上；与会者只需加入该组播组，就可实时接收到 合成后的视音频数据。服务器端回发合成后的视音频数据给各与会者的同时， 也将此数据以r t p 协议推发布到流媒体服务器上，非与会者只需通过本地的 w i n d o w sm e d i ap l a y e r 访问该流媒体服务器的发布点就可实时观看到会议内 容。 其系统拓扑结构图如图2 1 所示。 2 2 系统模块设计 图2 1 系统拓扑结构 本系统从总体上可划分为客户端和服务器端两部分。客户端主要完成视音 频信号的捕获、视频抠像、视音频数据的多协议组合发送、视音频数据的组播 6 硕士学位论文第2 章视频会议系统整体设计 接收等功能；服务器端主要完成视音频数据的接收、合并、压缩、组播发送和 推发布等功能。 其中客户端会议处理模块分为：( 1 ) 视音频捕获处理模块；( 2 ) 视频抠像处理模 块；( 3 ) 视音频多协议组合发送处理模块；( 4 ) 视音频组播接收处理模块；( 5 ) 视音频 解压缩处理模块。 服务器端会议处理模块分为：( 1 ) 视音频接收处理模块；( 2 ) 视音频合并处理模 块；( 3 ) 视音频压缩处理模块；( 4 ) 视音频组播发送处理模块；( 5 ) 视音频推发布处理 模块。 基于以上分析，本系统主要设计的类以及各类之间关系如图2 2 所示。 图2 - 2 类关系图 其中基类有两个： c m s g s t a t i o n 类是一个消息栈类，用于实时发送和接收控制消息； c r o l e a d m i n 类继承c m s g s t a t i o n 类，用于完成服务器端和客户端中公共的 业务逻辑： 服务器端的类有四个： c s e r v e r 类继承c r o l e a d m i n 类，用于服务器端的业务逻辑处理，如合并、 压缩、发送接收视音频数据等，此类是服务器端的核心； c d i b 类用于读取b m p 图像： c p e r s o n n u m 类用于动态设定与会者个数： c v i d e o o n f e r e n e e e r v e r d l g 类用于显示服务器端界面； 客户端的类有五个： 7 硕士学位论文第2 章视频会议系统整体设计 c c l i e n i 类继承c r o l e a d m i n 类，用于客户端的业务逻辑处理，如视频抠像、 发送接收视音频数据等，此类是客户端的核心； c c a l l d l g 类用于连接服务器界面： c s e l f c h e e k d l g 类用于客户端采集设备的自检： c c l i e n t r o l e 类用于设定客户端身份： c v i d e o c o n f e r e n c e c l i e n i d l g 类用于显示客户端界面： 服务器端和客户端的公共类有十个： c f i l t e r 类用于生成f i l t e r 、获得f i l t e r 上接口等； c c a p t u r e f i h e r 类继承c f i l t e r 类，用于捕获本地视音频： c g r a p h 类用于建立和运行停止g r a p h ； c t c p m a n a g e r 类用于传输视音频数据； c u d p m a n a g e r 类用于传输控制信息、文本数据等较短的信息： c n e t r e c e i v e r 类用于接收网络传送的视音频数据： c n e t s e n d e r 类用于发送视音频数据： c a s f f i i t e r 类用于服务器端将合成后的视音频数据使用r t p 协议推发布 到流媒体服务器上； c s o c k e t 类用于建立s o c k e t 并发送接收媒体数据： c m u l t i c a s t 类用于组播传送接收合成后的视音频数据。 本系统采用纯面向对象的方法，为实现各类之间的实时消息通信，特设计 了一个消息栈基类c m s g s t a t i o n ，该类主要用于实时发送和接收控制消息。系 统中用到的控制消息如表2 1 所示。 表2 - 1 控制消息 消息名称描述 h s g _ f i l t e x g r a p h h x x o z f i l t e xg r a p h 运行时出错时发送该消息 m s g _ m e d i a t y p e r e c e i v e d网络传输的媒体类型到达时发送泼消息 m s g 耳p s o c k e t a c c e p t e d 接收到t c p 数据流时发送该消息 s g - i j d p c o m m a n d r e c e i v e d接收到u i ) p 数据流时发送该消息 m s g _ m o d i f y f i l t e r g z a p h需在g r a p h 中新加f i l t e r 时发送该消息 m s g _ c o n n e c t e d客户端成功连接服务器后发送该消息 m s gc h a t c o n t e n t需显示聊天内容时发送该消息 m s g _ s p e a k 需显示某个客户端发言时发送该 ：f 息 为保证客户端与服务器端的实时交互，本系统使用u d p 协议来传输控制 命令。系统中用到的控制命令如表2 2 所示。 8 硕士学位论文第2 章视频会议系统整体设计 表2 - 2 控制命令 命令名称描述 c m d l i e n z c a l l i n g 客户端请求连接服务器时发送该命令 c a d e v i c e c o n _ f i n g 需请求对方设备信息时发送该命令 c m d j u i l d f i l t e z g r a p h需建立本地f i l t e rg r a p h 时发送该命令 c m d - d i s c o n n e c t r e q u e s t客户端断开服务器时发送该命令 c m d - c h a t发送聊天内容时发送该命令 c m d _ s p e a k设置某个客户端可发言时发送该命令 由于系统中的各业务逻辑类均继承消息栈类c m s g s t a t i o n ，因此可以方便 地进行实时通信。例如，客户端若想连接服务器，只需调用c u d p m a n a g e r 类 的s e n d s i m p i e l e c o r n m a n d 函数，并传入参数e m dc l i e n t c a l l i n g ；服务器端 c u d p m a n g e r 类的r e e e i v i n g l o o p 函数接收到数据a 后，调用b r o a d c a s t 函数， 并传入参数m s gu d p c o m m a n d r e e e i v e d 和数据a ，c s e r v e r 类的 r e e e i v e m e s s a g e 函数即可收到消息并进行相应处理。 2 3 客户端的处理流程 首先，客户端t c p 监听端口号为1 1 2 0 6 的端口，此端口主要用于传送视 音频数据，u d p 监听端口号为1 1 2 0 2 的端口，此端口主要用于接收控制信号 和文本数据；然后，客户端请求连接服务器；连接成功后服务器端发回设备信息 ( 主要是是否有摄像头和麦克风等) ，客户端收到信息同时也将本地设备信息发 送给服务器；接下来服务器端发送连接请求到客户端t c p 监听端口；客户端对端 口的监听程序监听到连接请求后开始建立连接，若连接成功则在客户端的 f i l t e r g r a p h 中加入音频捕获f i l t e r 、视频捕获f i l t e r 、视频抠像f i l t e r 、音频网络 发送f i l t e r 、视频网络发送f i l t e r 等并连接各f i l t e r ；若所有客户端均连接上服务 器，则分别开始对本地视频捕获并将数据发送到服务器上：最后各客户端通过 组播组接收服务器端传来的视音频数据并显示在窗口中( 孙。 客户端处理流程如图2 - 3 所示。 9 硕士学位论文第2 章视频会议系统整体设计 开始 t c p 监听 1 d p 监听 连接服务器 服务器发回设备信息 + i 发送本地设备信息 图2 - 3 客户端处理流程图 2 4 服务器端的处理流程 首先，服务器端u d p 监听端口号为1 1 2 0 0 的端口，若有客户端连接，则 发送本地的设备信息到该客户端；客户端接收到服务器端的设备信息后，将它 l o 硕士学位论文第2 章视频会议系统整体设计 的设备信息回发给服务器端；服务器端接收到客户端设备信息后发送t c p 连接 请求( 包括音频、视频) ：若连接失败则退出本程序，否则准备接收数据，在服务 器端的f i l t e r g r a p h 中加入接收此客户端的视音频f i l t e r 、视音频合并f i l t e r 、视 音频压缩f i l t e r 、视音频发送f i l t e r 、推发布f i l t e r 等并连接各f i l t e r ；若所有客户 端均已连接，则运行g r a p h ，接收各客户端视音频数据；然后，合并各客户端传 来的视音频数据并设置回发给客户端的背景图；接下来，将合并后的视音频数 据压缩后发送到指定的组播组上，最后，将合并后的视音频数据使用r t p 协 议推发布到流媒体服务器上，以便与会者之外的其他用户能实时地观看到视频 会议的内容。 服务器端的处理流程如图2 - 4 所示。 硕士学位论文 第2 章视频会议系统整体没计 图2 4 服务器端处理流程图 1 2 硕士学位论文第2 章视频会议系统整体设计 2 5 多点同步视音频实时通信 2 5 1 多点控制服务器与各会议终端之间的实时通信方式 在h 323 标准中，多点会议有多种不同的实现方法和配置，我们把它 分为三种： 集中式多点会议 集中式多点会议是由一个多点控制单元或称多点控制服务器来组织会议， 所有终端以点对点方式向多点控制服务器发送视频流、音频流和控制流。一个 典型的集中式多点会议的多点控制单元由一个多点处理器和一个多点控制器 组成。多点控制器遵循h 245 控制协议对会议进行集中式管理。多点处理 器进行混音、数据分配以及视频信号混合和切换，并将处理结果送回参加会议 的终端。 分散式多点会议 这种工作方式是传统的会议系统( 如h 320 ) 所没有的。分布式多点 会议利用组播( multicast ) 技术来组织会议的，参加会议的终端向 其它与会者终端以多点广播方式传送视频和音频信息，而无须在多点处理器集 中进行。h 245 控制信息仍然以点对点的方式向主多点控制器传送。 混合式多点会议 混合式多点会议是集中式和分散式多点会议功能的组合。h 245 信令 以点对点的方式传送给多点控制单元，其余信号( 视频和音频) 通过多点广播 的方式传送给参加会议的h 323 终端。 从上述三种多点会议的实现方法可以看出，多点会议系统中数据连接的方 式主要有两个：多个点对点方式和ip 组播方式。多个点对点方式是指各会议 终端都以点对点方式与mcs 进行通信，所有与会终端的音视频流和控制流 都要经过mcs ，势必造成mcs 所在网段的负载过重，网络带宽的利用率不 高，从而使能够参加会议的视频终端的数量受到限制。ip 组播是一种功能很 强的数据传输方式，它可以有效地利用网络带宽，但是增加了终端的计算负载， 终端需要混合、切换它们接收到的音视频流。由于当前网络底层不能很好地 支持ip 组播技术，而且并不是所有的网络交换机和路由器都支持组播，因此 我们的多点视频会议系统采用的是集中式多点会议，mcs 与会议终端之间建 立多个点对点数据连接。 mcs 与会议终端间实时通信的实现 在wind0ws 操作系统平台上，我们的应用程序采用wir ldw0s s0cket ( 套接字) 来实现会议终端和mcs 之间的通信。套接字是网络 1 3 硕士学位论文第2 章视频会议系统整体设计 通信的基本构件，是可以被命名和寻址的通信端口，使用中的每一个套接字都 有一个与之相连的进程。windowssockets 的实现必须支持t cp 和udp 两种类型的套接字( 即流套接字和数据报套接字) 。流套接字提 供了一个面向连接、可靠的数据无差错、无重复地发送，且按发送顺序接收的 服务。数据报套接字提供一个无连接服务，不提供无差错保证，但数据报套接 字可以提高信道利用率。依据h 323 标准，传输音视频数据采用支持u d p 协议的数据报套接字，传输控制信令和ras 信令使用支持tcp 协议的 流套接字。在tcp ip 网络中，无论利用何种套接字，在两个不同终端上 进行通信的进程间相互作用的主要模式是客户服务器( cl ient se rvermode1 ) ，即客户向服务器发出请求后，服务器提供相应的服务， 因此在终端应用程序和mcs 应用程序中都有客户端和服务器端代码。 h 323 标准框架中的h 225 0 定义了初始的呼叫控制和终端对 网闸( oat ekeeper ) 的登记、申请等消息。ras 信令功能使用 h 225 0 消息在终端和oatekeeper 之间完成登录、许可权认 证、带宽改变、状态和脱离过程。ras 信令信道在终端和oatekeep er 之间打开，并且在任何其它信道的建立之前进行。在我们设计的实验系统 中只有一个网闸，在多点会议开始前，每一个与会者终端都必须在gat ek eeper 处登记，发送请求注册登记的命令( rrq ) ，同时将要登记的信 息( 如别名、地址等) 随之传送过去，网闸接受登记则回发rcf 作为注册确 认，此时会议终端才能参加会议。当h 225 0 消息建立了初始呼叫之后， 在每一个会议终端和mcs 间都建立一个h 245 控制信道。 每个会议终端与mcs 之间分别存在音频信道和视频信道，并在mcs 中有与之对应的发送线程和接收线程。多点会议开始后，一旦会议组织者在m cs 上的与会者列表中选择主席和选定听众，主席终端会收到控制信息，并把 音视频数据通过自己的发送线程发送给mcs 上与之对应的接收线程，该接收 线程传递音视频数据缓冲区的地址给其它终端在mcs 上对应的发送线程，然 后把数据发送给其它会议终端。选定听众的音视频数据通过同样方式传送给主 席终端，至此，一个切换过程结束。会议过程中，若有某个终端申请发言，它 必须向主席提出请求，主席同意后，它才能获得发言资格，这个过程也在mc s 的控制下进行。 2 5 2 实验证明多点同步音视频的实时通信的优越性 实验证明，在视频会议系统中，只简单地使用数据报套接字传输音视频数 据是不可行的，还必须在udp 层上采用rtp ( 实时传输协议) 和rtcp ( 实时传输控制协议) 来改善服务质量。实时传输协议提供具有实时特征的、 1 4 硕士学位论文第2 章视频会议系统整体设计 端到端的数据传输服务。我们在音视频数据前插入包含有载荷标识、序号、时 间戳和同步源标识符的rtp 包头，然后利用数据报套接字在ip 网络上传输 rtp 包，以此改善连续重放效果和音视频同步。实时传输控制协议rtc p 用于rtp 的控制，它最基本的功能是利用发送者报告和接收者报告来推断网 络的服务质量，若拥塞状况严重，则改用低速率编码标准或降低数据传输比特 率，以减少网络负荷，提供较好的qos 保证。 此新型视频会议系统，服务器端可任指n 个与会者，各客户端实时捕获与 会者的视音频数据并将之传送到服务器端，服务器端合并处理各路视音频数据 后，以组播的方式回传给各与会者客户端，数据回传给与会者时利用了分布式 网络的组播功能，推发布给流媒体服务器时使用了流媒体传输协议，克服了基 于硬件的网络视频会议系统所需要的特殊硬件以及固定通道的缺陷，大大降低 了网络视频会议的成本。在传统多点、多路视频；画面与声音同步的基本视频 会议功能上，该视频传输采用优化的h 2 6 3 + 标准作为视频编解码标准，支持多 路视频同时传送，语音清晰、连贯；支持g 7 系列和m p 3 算法，支持多路混音， 多人同时语音，多页面的电子白板多人实时文字交流，可多人同时操作，即写 即显。主持会议者拥有诸多附加功能，包括允许参会人员发言、中止参会人员 的发言、拒绝参会人员的发言申请、给予参会人员控制权、拒绝参会人员申请 控制权、将参会人员请出当前会议等。另外，实时会议可以在主持人控制模式 下进行，这时所有用户的发言和协同操作都需要主持人的批准。并且可以转换 会议主持角色。参会人员可以电子举手，以申请相应的权限。 2 6 技术实现视频与音频的多协议组合发送 2 6 1 传输协议的类型和简介 1 、i p 协议 i p 协议是一个简单的无连接服务，它不能提供重发功能，允许两台主机之 间交换通信数据而无须先进行呼叫建立。i p 数据报协议非常简单，它没有可靠 性机制，不具备底层网络进行差错恢复的功能，也没有流量控制机制。因此， 必须依靠一个上层协议( 如t c p ) 来保证数据传输的可靠性1 5 ) ( 1 n 。 2 、t c p 协议 t c p ( t r a n s p o r tc o n t r o lp r o t o c o l ，传输控制协议) 是一种面向连接的，可靠 的传输层协议。面向连接是指一次正常的t c p 传输需要通过在t c p 客户端和 t c p 服务端建立特定的虚电路连接来完成，该过程通常被称为“三次握手 。 要通过t c p 传输数据，必须在两端主机之间建立连接。 1 5 硕士学位论文第2 章视频会议系统整体设计 t c p 的主要工作是：连接管理、流量控制和崩溃恢复等。其中连接管理要 解决的主要问题是由于确认和超时重传机制造成的延时和重复，传输层( ( t c p ) 用到了报文生存时间和三次握手等机制。流程则采用滑动窗口机制。崩溃恢复 的主要工作是恢复崩溃前的连接状态，为此主机需向其它主机广播一个查询报 文。为了要保证可靠性，t c p 通过数据分段( s e g m e n t ) 中的序列号保证所有传 输的数据可以在远端按照正常的次序进行重组，而且通过确认保证数据传输的 完整性。但t c p 流的特点是无结构的字节流，流中数据是一个个字节构成的 序列，而无任何可供解释的结构，因而t c p 的段是可变长度的。t c p 协议中 的确认和重传机制是所谓的“累计确认”，即t c p 协议中的确认是针对流中的 字节，而不是段。一般情况下，接收方确认的是已正确收到的字节流，每一个 确认指出下一个希望接收的字节l ( 1 8 h 2 孙 3 、u d p 协议 u d p ( u s e rd a t a g r a mp r o t o c o l ，用户数据报协议) 主要是将网络数据流量压 缩成数据报的形式在网络上进行传输。它所提供的协议端口能够区分在一台机 器上运行的多个程序，即每个u d p 报文不仅传送用户数据，还包括传送发送 方和接收方的协议端口号，这使得接收方的u d p 软件能够把报文送到正确的 接收进程，而接收进程也能回送应答报文。由于u d p 使用底层的互连网协议 来传送报文，提供尽量传递的无连接数据报服务，因而u d p 无法保证任何数 据报的传递或验证数据报的顺序( 2 4 h 2 外 2 6 2 客户端发送数据使用的传输协议的选择与设计 为了保证网络视频会议的实时性以及画面和声音的流畅性，提高会议的质 量，本系统对于客户端的数据发送并没有固定使用一种协议进行传输，而是充 分考虑到各种协议的优势与劣势，在实际网络环境中，取长补短，使用t c p 与u d p 两种传输协议相结合的方法进行数据发送。 ( 1 ) 由于t c p 协议中包含了专门的传递保证机制，当数据接收方收到发送 方传来的消息时，会自动向发送方发出确认消息；发送方只有在接收到该确认 消息之后才继续传送其它信息，否则将一直等待直到收到确认消息为止，所以 采用t c p 方式传送的视频图像将是连续的、稳定的。因此，本系统为保证画 面质量，将客户端音频数据和抠像后的视频数据以t c p 的方式传送到服务器 端。 ( 2 ) 虽然t c p 协议中植入了各种安全保障功能，但是在实际执行的过程中 会占用大量的系统开销，无疑使速度受到严重的影响。反观u d p 由于排除了 信息可靠传递机制，将安全和排序等功能移交给上层应用来完成，极大降低了 执行时间，使速度得到了保证。所以为了保证实时性，本系统采用u d p 的方 1 6 硕士学位论文 第2 章视频会议系统整体设计 式传送控制信息，如客户端连接、开始发送音频或视频数据、客户端