（通信与信息系统专业论文）视频会议系统关键技术的研究与实现.pdf

l 华南理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研 究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文 不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完 全意识到本声明的法律后果由本人承担。 储躲厚则吼汐秒侔6 只 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 即：研究生在校攻读学位期间论文工作的知识产权单位属华南理工大 学。学校有权保存并向国家有关部门或机构送交论文的复印件和电子 版，允许学位论文被查阅( 除在保密期内的保密论文外) ；学校可以 公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复 制手段保存、汇编学位论文。本人电子文档的内容和纸质论文的内容 相一致。 本学位论文属于： 蚜保密，在年解密后适用本授权书。 口不保密。 学位论文全文电子版提交后： 口同意在校园网上发布，供校内师生和与学校有共享协议的 单位浏览。 ( 请在 本人签名 导师签名 争釜f o ：、 摘要 摘要 基于i p 网络的视频会议系统可以实现在网络上实时地传输视音频信息以及 共享数据，使与会者之间可以不受空间限制进行直观、真实的面对面的交流。视 频会议系统在远程医疗、远程教育、远程培训、远程销售、远程市场推广和金融 服务业等领域有着广泛地应用。随着多媒体和i p 网络技术的不断发展，视频会议 系统也在不断完善和进步。 本论文在现有的视频会议系统基础上，主要对系统进行了以下的改进： 研究、设计并实现了基于d i r e c t s o u n d 的多路音频源管理与缓冲模块。音频 管理与缓冲机制是保证声音质量的关键。d i r e c t s o u n d 技术提供了一套管理与使 用声卡硬件资源的接口。在本视频会议系统中很好的融合了此技术，提供了一整 套可行的管理与缓冲机制，降低音频处理时系统资源开销和音频延时，并提升了 声音质量以及混音效果； 研究、设计并实现了基于调整缓冲区间播放边界值的视音频同步模块。在视 频会议系统中，由于传统同步机制会使视音频数据经常处于比较、等待和匹配的 过程中，会引起系统较高的资源消耗，并且会影响视音频播放的连续性和实时性。 本论文提出了通过调整缓冲区间播放边界值来实现视音频同步的机制，从而保证 实时性、播放连续性与提高会议质量； 研究、设计并实现了分布式视频会议系统的控制管理架构。为了实现对多个 分布式的网络设备( 会议终端、远程数据库、文档共享服务器、远程云台以及网 页服务器等) 的控制与管理，本论文研究并设计出适合其特点的控制管理架构； 设计并实现了兼容支持i p v 4 v 6 的网络模块。本论文同时实现了对i p v 4 v 6 的支持网络模块。这对其生存周期和使用范围都有很大的提高和扩展。 由本论文所研究、设计并实现了音频管理与缓冲、视音频同步、控制管理子 系统、和兼容支持i p v 4 v 6 等四个功能模块，已在系统中投入使用，并在校园网 中进行了多次实际的运行测试。本论文的工作立足应用，提升了系统的音频处理 能力，实现了对系统多种网络设备的控制与管理，并利用i p v 6 新技术扩展了系统 工作范围，完成系统功能融合和提升，提高了它的使用价值和生命周期，具有较 高的实用价值。 关键词：视频会议；音频处理；视音频同步；控制管理；d i r e c t s o u n d ir a b s t r a c t a bs t r a c t v i d e oc o n f e r e n c es y s t e mb a s e do ni pn e t w o r kc a na c t u a l i z et ot r a n s p o r t r e a l t i m ev i d e oa n da u d i oi n f o r m a t i o na n ds h a r ed a t ai nt h ei n t e r n e t i ta l s oa l l o w s p e o p l e si nt h ec o n f e r e n c et oc o m m u n i c a t ed i r e c t l yw i t ho t h e r sa n db en o tr e s t r i c t e di n s p a c e v i d e oc o n f e r e n c es y s t e mh a se x t e n s i v ea p p l i c a t i o ni nr e m o t em e d i c a lt r e a t m e n t ， e d u c a t i o n ，t r a i n i n g ，d i s t r i b u t i o n ，m a r k e te x t e n d i n gp l a na n df i n a n c es e r v i c e w i t h d e v e l o p m e n to fm u l t i m e d i at e c h n o l o g ya n di pn e t w o r kt e c h n o l o g y ，v i d e oc o n f e r e n c e s y s t e ma l s od e v e l o p sa n di m p r o v e si t s e l fu n i n t e r r u p t e d l y b a s e do nt h ec u r r e n tv i d e oc o n f e r e n c es y s t e m ，t h i st h e s i si st om a k es u c h i m p r o v e m e n t sa sb e l o w ： t o r e s e a r c h ，d e s i g n a n d i m p l e m e n tm a n a g e m e n t a n db u f f e rm o d u l ef o r m u l t i s o u r c ea u d i os t r e a mb a s e do nd i r e c t s o u n d t h em a n a g e m e n ta n db u f f e ro f a u d i os t r e a mi st h ek e yo fe n s u r i n gt h ev o i c eq u a l i t y d i r e c t s o u n dt e c h n o l o g y p r o v i d e si n t e r f a c eo fc o n t r o la n du s i n gt h eh a r d w a r er e s o u r c eo fs o u n dc a r d t h i s v i d e oc o n f e r e n c es y s t e mi s u s i n g t h i s t e c h n o l o g y ，p r o v i d e s am e c h a n i s mo f m a n a g e m e n ta n db u f f e ro fa u d i os t r e a m ，e n h a n c e sa u d i oo p e r a t i n ge f f i c i e n c y a n d q u a l i t yo fs o u n dm i x i n gw i t h i nm u l t i c h a n n e la u d i os t r e a m t or e s e a r c h ，d e s i g na n di m p l e m e n ts y n c h r o n i z a t i o nm o d u l ef o ra u d i oa n dv i d e o s t r e a mb a s e do na d j u s t i n gb u f f e rv e r g e i nv i d e o c o n f e r e n c es y s t e m ，t r a d i t i o n a l s y n c h r o n i z a t i o nm e c h a n i s mw i t ha u d i oa n dv i d e os t r e a mm a k e ss t r e a md a t aa l w a y si n t h ep r o c e s so fc o m p a r i n g ，w a i t i n ga n dm a t c h i n g ，t h a tc a nc o u r s ee n g r o s sr a t eo f o p e r a t i o n gs y s t e ma th i g hl e v e la n da f f e c tc o n t i n u i t ya n dp l a y i n gw i t hr e a lt i m eo f v i d e oa n da u d i o t h i st h e s i su s e sa d j u s t i n gb u f f e rv e r g et oc o n t r o lt h es y n c h r o n i z a t i o n o fa u d i oa n dv i d e oa n de n s u r ec o n t i n u i t y ，p l a y i n gw i t hr e a lt i m es t r e a m sa n d e n h a n c i n gq u a l i t yo fv i d e oc o n f e r e n c e t or e s e a r c h ，d e s i g na n d i m p l e m e n tc o n t r o l a n dm a n a g e m e n tf r a m e w o r kf o r d i s t r i b u t e dv i d e oc o n f e r e n c es y s t e m i no r d e rt oi m p l e m e n tc o n t r o la n dm a n a g e m e n t o fd i s t r i b u t e dn e t w o r kd e v i c e ( c o n f e r e n c et e r m i n a l ，r e m o t ed a t a b a s e s y s t e m ， d o c u m e n ts h a r es e r v e r ，r e m o t el a d d e r ，a n dw e bp a g es e r v e r ) ，t h i st h e s i sr e s e r c ha n d d e s i g nf r a m e w o r ko fc o n t r o la n dm a n a g e m e n tt h a ti ss u i t a b l ef o ri t t od e s i g na n di m p l e m e n tm o d u l ef o rs u p p o r t i n gi p v 4 v 6n e t w o r kc i r c u m s t a n c e a tt h es a m et i m e ，t h i st a s td e s i g nn e t w o r km o d u l et h a ts u p p o r tb o t hi p v 4a n di p v 6 a b s t r a c t t h i se n h a n c e si t ss u r v i v a lp e r i o da n de x p a n d si t su s i n gr a n g e t h i st h e s i sr e s e a r c h e s ，d e s i g n sa n di m p l e m e n t sm o d u l e so ft h em a n a g e m e n ta n d b u f f e ro fa u d i os t r e a m ，s y n c h r o n i z a t i o nw i t ha u d i oa n dv i d e os t r e a m ，s u b s y s t e mo f e o n t r o la n dm a n a g e m e n ta n ds u p p o r to fi p v 4 v 6n e t w o r kc i r c u m s t a n c e t h i sv i d e o c o n f e r e n c es y s t e mi s a l r e a d yi nu s e ，i tp r a c t i s e sa n do p e r a t e si nt h ec a m p u sl a n b a s e do np r a c t i c a la p p l i c a t i o n ，t h i st h e s i si m p r o v e sa n de n h a n c e sa b i l i t ya n dq u a l i t y o fa u d i ot r a n s a c t i o no fv i d e oc o n f e r e n c es y s t e m ，i m p l e m e n tc o n t r o la n dm a n a g e m e n t o fm a n yn e t w o r kd e v i c e s ，u t i l i z e si p v 6t e c h n o l o g yt oe x p a n dw o r k i n gr a n g eo fs y s t e m ， c o m p l e t es y n c r e t i z i n ga n de n h a n c i n gw i t hs y s t e mf u n c t i o n s ，i m p r o v e si t su s i n gv a l u e a n dl i f ep e r i o d ，h a sp r a c t i c a l i t yv a l u e k e y w o r d s ：v i d e oc o n f e r e e n c e ；a u d i ot r a n s a c t i o n ；s y n c h r o n i z a t i o nw i t ha u d i oa n d v i d e os t r e a m ；c o n t r o la n dm a n a g e m e n t ；d i r e c t s o u n d 糖 0 i r 、t 目录 目录 摘要i a b s t r a c t i i 目录i 第一章绪论1 1 1 视频会议系统的概述l 1 2 视频会议系统的发展与现状3 1 2 1 视频会议系统的发展历史3 1 2 2 视频会议系统的现状4 1 2 3 视频会议系统的发展趋势5 1 3 本课题的立题意义5 1 4 本课题的来源和主要研究内容6 1 5 本章小结7 第二章视频会议系统中的相关技术8 2 1d i r e c t s o u n d 技术8 2 1 1d i r e c t s o u n d 技术的主要特点8 2 1 2d i r e c t s o u n d 技术的体系结构8 2 1 3 主要技术细节9 2 1 4 系统集成1 1 2 2i p v 6 协议12 2 2 1i p v 6 的发展现状与优势1 2 2 2 2i p v 6 地址体系结构的概述13 2 2 3 双协议栈策略1 5 2 2 4i p v 6 的网络编程1 5 2 3i p 组播技术1 9 2 3 1 组播技术的概述1 9 2 5 2 组播地址结构1 9 2 5 3 组播成员管理2 0 2 5 4 组播套接字管理2 l 2 4 视音频同步技术2 l 2 5 本章小结2 2 第三章视频会议终端中的音频处理2 3 华南理工大学硕十学位论文 3 1 视频会议系统中音频处理模块概述2 3 3 2 会议终端中的多路音频源管理与数据缓冲机制研究与实现2 4 3 2 1 基于d i r e c t s o u n d 技术的多路音频源管理机制2 4 3 2 2 基于d i r e c t s o u n d 技术的多路音频源数据缓冲机制2 7 3 3 会议系统中的视音频同步3 1 3 3 1 视音频同步概述3 1 3 3 2 适应视频会议特点的视音频同步机制3 2 3 4 本章小结4 0 第四章会议控制管理子系统的设计和实现一4 1 4 1 会议系统控制管理逻辑的设计与实现4 1 4 1 1 用户信息管理4 2 4 1 2 会务管理4 4 4 1 3 会议视频布局管理4 7 4 1 4 远程数据交互4 9 4 2 会议系统数据库表的设计与实现5 0 4 2 1 登录信息表5 0 4 2 2 会议管理信息表51 4 2 3 会议用户信息表5 2 4 2 4 单播信息表5 2 4 2 5 黑名单信息表5 3 4 2 6 云台信息表5 3 4 2 7 共享文档信息表5 4 4 3 会议控制管理子系统各主要模块的设计与实现5 4 4 3 1 命令处理模块5 5 4 3 2 消息处理模块5 6 4 3 3 网络通信模块5 6 4 3 4 数据处理模块5 7 4 3 5 网页j a v a b e a n 接口模块5 7 4 4 本章小结5 8 第五章系统中对于i p v 4 与v 6 网络的兼容支持5 9 5 1 兼容i p v 4 与i p v 6 的视频会议系统的设计5 9 5 1 1 网络协议兼容模块结构设计5 9 5 1 2 兼容i p v 4 与v 6 网络的类及其函数的实现5 9 5 1 3 系统实现过程中解决的要点和难点一6 2 5 2 本章小结6 4 n ： 目录 第六章系统测试6 5 6 1 系统测试环境6 5 6 2 测试方法和测试结果6 6 6 2 1 音频处理模块的测试6 6 6 2 2 控制管理子系统的测试7 2 6 2 3 兼容i p v 4 v 6 网络模块的测试7 4 6 3 测试结果分析7 5 6 4 系统测试中遇到的问题及其解决方法7 6 6 5 本章小结7 6 结论7 7 参考文献7 9 攻读硕士学位期间发表的学术论文8 2 致j 射8 3 l i i 华南理t 大学硕士学位论文 v l ， 第一章绪论 第一章绪论帚一早殖化 在计算机以及网络迅速普及的今天，伴随着通信技术的迅猛发展，各种各样 的网络多媒体应用进入人们的视线。信息化时代的来临，解决了空间带来的局限， 使简单的数据交互、消息传递已不能满足各行业的需求，希望能实现数据、音频 和视频的双向互通，以及实现消息的实时交流，便成了新的方向。而新一代的多 媒体通信网络为远程多媒体通信提供了必要的技术保证。这些都有力地推动了视 频会议的发展。基于i p 网络视频会议系统便应运而生了。 视频会议系统可以实时进行视音频信息的传输，使协作成员可以远距离进行 直观、真实的面对面交流。另一方面，利用多媒体技术的支持，视频会议系统 可以帮助使用者对工作中各种信息进行处理，如共享数据、共享应用程序等，从 而构造出一个多人共享的工作空间。 基于i p 网络视频会议系统的主要优势是：人们通过计算机和网络就能实现远 程实时和多人交互的包括声音、图像和文档等多种形式的信息交流，完全没有了 空间距离的限制。在远程医疗、远程教育、远程培训、远程销售、远程市场推广 和金融服务业等领域的应用，将会大大提高工作效率、节省费用和节约时间。 1 1 视频会议系统的概述 视频会议系统需要实现网络中的两个或多个地点的用户群之间实时传输语 音、视频和数据等信息，一般是多点对多点的。在各类型的会议系统中，根据对 会议终端与会议终端之间源数据流( 视频流，音频流和信息流) 的处理方式不同， 大体上可分为集中式和分布式系统。 对于集中式系统，就是利用多点控制设备( m c u ) 作为连接多个终端并集中处 理源数据流的平台堙1 ，如下图卜1 所示。其核心概念就是：每个终端发出的数据 流需要经过m c u 处理再转发去其它终端。这是普遍用于6 4 19 2 0 k b it s 的h 3 2 3 多媒体会议的一种方法。 华南理1 = 人学硕士学位论文 会议终端 会议终端 会议终端 图卜1 集中式视频会议系统3 1 3 fig u r e1 1c e n t r ai z e dvid e oc o n f e r e n c es y s t e m 其中，h 3 2 3 体系包含了大量的通讯控制协议和编码，主要有1 1 2 2 5 呼叫控 制协议、h 2 3 5 通讯加密协议、h 2 4 5 媒体控制协议、q 9 3 1 呼叫信令控制、t 1 2 0 数据应用协议阳3 ，以及h 2 6 1 、h 2 6 3 、h 2 6 3 + 、g 7 11 、g 7 2 3 、g 7 2 9 和g s m 等 视音频编码。h 3 2 3 协议簇之间关系如下图卜2 所示。 系统控制视频音频 燃h 笼，榫 l a n 图卜2h 3 2 3 协议簇1 1 f i g u r e1 2 h 3 2 3p r o t o c o ic i u s t e r 对于分布式系统，会议终端与会议终端之问交互的源数据流是以点对点的方 式进行的，并不像集中式系统那样经过同一单元转发数据，这种方法适用于基于 分组交互的网络环境，如下图1 - 3 所示。在这种机制下，系统中的每个会议终端 都是对等的，其源数据流传输采用p 2 p 模式。系统需要建立一个控制管理服务器。 服务器的功能主要是：管理会议注册信息：管理用户帐号信息：反馈在线用户信 息；处理控制管理信息；维护数据库信息等等。每个终端在开启后首先要登录服 务器，向服务器报告其在线并获取会议信息。分布式系统的架构非常灵活，扩展 性很好。 2 第一章绪论 控制禽务器 端b 视频会议终端a 图卜3 分布式视频会议系统 f i g u r e1 3d is t r i b u t e dv i d e oc o n f e r e n c es y s t e m 集中式的优点在于提高了传输的效率，同时减低了会议终端的处理负担，但 是另一方面整个会议系统就变为过于依赖处理节点并存在性能的瓶颈，限制了会 议系统的可扩展性。分布式的优点在于避免的集中式系统中对于处理节点过于依 赖的问题，每一个会议终端都是一个独立单元，相当于一个独立的处理节点，相 互之间不存在依存关系，同时解决集中式系统中存在性能瓶颈的问题。 1 2 视频会议系统的发展与现状 1 2 1 视频会议系统的发展历史 随着多媒体数据处理技术、显示技术、音视频编解码技术和互联网技术的发 展，视频会议系统也在不断的演化发展。其中，数据的传输方式由模拟传输发展 为数字传输，信息的传输媒介由专线电路发展为交换网络，视频采集与显示技术 由普通模拟信号发展为高清数据信号，视音频流由低效率低质量的发展为高效率 高质量的编码算法。 从2 0 世纪6 0 年代开始到现在，各个方面技术的进步，促进了视频会议系统 的发展。l9 6 4 年，a t & t 公司在世界展览会( w o r l d sf a i r ) 上首先推出了可视电话 ( p i c t u r e p h o n e ) 【8 l ，这是一种单对单的视频会议系统，但由于其系统使用成本太 高并没有得到普遍使用i s 。到7 0 年代时，数字传输方式的出现以及发展成熟，为 3 华南理t 大学硕七学何论文 视频会议系统的传输方式带来了革命。到了8 0 年代时，高压缩率编码的出现和压 缩质量的提高，很好地解决了视频会议系统视音频数据的存储量过大【7 】以及传输 数据量过高的问题。到了9 0 年代，个人电脑的出现及其性能的不断提高使视频会 议系统易用性得到了保证，并且极大地降低了系统成本；同时，基于i p 的分组交 换网络的出现，视频会议系统适应性得到增强；国际电联( i t u t ) 所制订多媒体 会议业务的h 3 2 3 信令协议标准【4 】和i n t e m e t 工程任务组( i e t f ) 所制订的面向 多媒体系统应用的s i p 协议的出现【6 1 ，从系统架构来看，h 3 2 3 标准属于集中式 架构，s i p 协议则属于分布式架构，会议终端之间视音频流交互运用r t p r t c p 1 3 1 协议来实现，它们的出现使不同品牌之间的视频会议系统有了统一标准，也为系 统的发展趋势指明了方向。在9 0 年代后期，中小型视频会议系统成为视频会议应 用中的主要产品。到了2 1 世纪初，高清晰采集与显示设备的出现，使视频会议系 统的会议视频质量得到了质的飞跃。 1 2 2 视频会议系统的现状 视频会议系统进行多年发展演化，在很好的融合许多最新的技术后，出现了 许多已经比较成熟的系统，按照集中式与分布式系统来归类：众多商用视频会议 系统都是属于集中式，如瑞福特的s m a r t m e e t i n g 口们和宝利通( p o l y c o m ) 口的v s x 系列等：而分布式的视频会议系统大多处于研究发展中，如a c c e s sg r i d t l 0 1 等。 瑞福特是专门从事视频会议系统开发的专业公司，其产品s m a r t m e e tin g 功能 成熟。而宝利通也是从事视频相关领域的专业公司，其v s x 系列产品也是十分受 欢迎的。这两家公司所开发的视频会议系统都是属于集中式，即所有终端之间的 源数据流都是m c u 来进行交换的。 a c c e s sg r i d ，译为访问网格，它是属于应用网格的范畴，是为方便其它计算 网格研究的工作人员服务的。该项目的主要目标是在i n t e r n e t 2 上研制适合高速 网络特点的可视化群组协同工作环境。它是美国科学基金会和能源部支持的重大 基础研究项目，由美国阿贡实验室( a n l ，a r g o n n en a t i o n a ll a b o r a t o r y ) 和芝 加哥大学( u n i v e r s i t yo fc h i c a g o ) 承担，1 9 9 8 年开始启动。到现在为止，已 经有9 0 个左右的大学和科研机构加入了这个组织，包括美国的5 0 多所，覆盖全 世界1 0 多个国家和地区。它已经成为1 2 公共服务环境的主要组成部分。a c c e s s g r i d 是由多媒体显示、多媒体数据采集等可视化交互环境通过网格中间件组合而 成。它能适应大规模的分布式视频会议、协同工作会议、研究讨论会、演讲会、 培训会议等的需要。a c c e s sg r id 的设计主要是针对那些群组与群组之间的交流 会议，而不是像传统的小型的个体间的会议。a c c e s sg r i d 系统由每个分布在不 同地域的a c c e s sg r id 结点( 以下简称a g 结点) 组成。现在，a g 结点数目已经 4 ， 第一章绪论 接近l o o 个，其中大多数是那些学校和研究所。每一个a g 结点不仅要满足大规模 的交互式视频会议的需要，也要能够适应随时可能举行的小型会议。但是在音频 的其他方面却还需要做一些努力，例如开辟一个单独的音频信道、音频平衡、声 音自动切换等方面。另外在a g 中图像传输所使用的编码是h 2 6 1 编码，它在调整 帧大小、压缩技术和帧率传输上还有很多缺陷，所以需要开发一种更先进的、更 具有灵活性的新的编码方法1 。显然，a g 的视频会议系统属于分布式会议系统。 1 2 3 视频会议系统的发展趋势 未来，视频会议系统将在系统功能和架构上不断完善，并利用在多媒体数据 处理、显示、视音频编解码和互联网等多领域技术的进展来促进自身的发展。 从系统功能上看，由于i n t e r n e t 互连网络环境不断改善和技术不断发展，i p 网络的传输带宽和质量得到不断提高，基于i p 网络的视频会议系统的前景越来越 被看好。随着多媒体数据处理研究心”的不断发展以及个人电脑产品性能的迅速提 升，使得视频会议系统的数据处理工作可以在个人电脑中完成。视音频编解码的 编解码效率、编码质量和压缩比不断提高。显示及视频采集设备正朝着高清晰方 向发展，新一代的视频会议系统将会建立在高分辨率、高码率以及高质量的视频 流的基础上。以上这些都是促进视频会议系统发展的新动力心引。 从系统架构上来看，现有的集中式会议系统发展已经十分成熟，大多已处于 商用的阶段中。而分布式会议系统仍处于研究过程中，但已引起人们的重视。集 中式和分布式这两种系统，虽然各有特点以及具有各自不同的优势，但都是未来 视频会议系统中不可缺少的重要成员。 1 3 本课题的立题意义 视频会议系统为人们提供一个实时交互音视频信息和其它消息的平台。通过 会议系统，可以节省大量的会议费用和会议时间。视频会议系统在军事、医疗、 远程教育、商务洽谈等方面都有广泛的应用。 本课题从提高视频会议系统的会议质量、易用性、可扩展性以及降低系统的 成本方面入手，并克服了原有系统的一些不足之处，其主要研究、设计和实现了 视频会议系统中面向于应用的四个功能模块，下面将分别简要介绍： 基于d ir e c t s o u n d 技术的多路音频管理与缓冲模块。由于当前的视频会议系 统中，对于声音的处理是使用w i n d o w sm u l t i m e d i ap l a t f o ms d k 1 8 】中的w a v e l n 系列函数来采集声音和w a v e o u t 系列函数来播放声音，这是基于纯软件的声音处 理架构，并没有很好地利用声卡的硬件资源。而应用d ir e c t s o u n d 技术，就可以 5 华南理工大学硕十学位论文 运用其提供的与设备无关的程序接口( a p i ) ，充分利用声卡硬件资源来进行声音 处理，增强声音混音质量，降低采集与播放造成的延时，提高系统资源的利用率。 由于d ir e c t s o u n d 的工作机制比w a v e l n 或w a v e o u t 系列函数更为复杂，且需要 保证视频会议系统音频流的实时性，所以为了更好地在视频会议系统中应用 d i r e c t s o u n d 技术，就需要建立一套适合其特点的多路音频下的管理与缓冲机制。 基于调整缓冲池播放边界值来实现视音频同步模块。在涉及到流媒体处理的 软件系统中，实现视音频同步一般方法是实时比较视音频数据的时间戳，并判断 即将播放的视音频数据是否处于同一时间片内，若处于同一时间内就实现播放， 否则就等待，这样做的优点是能够很好地保证播放中的视音频是绝对同步的，缺 点就是：由于视音频数据经常处于比较、等待和匹配的过程中，系统资源消耗比 较高，并且会影响视音频播放的连续性和实时性。通过调整缓冲池播放边界值来 实现视音频同步的机理主要是：增大或减小播放缓冲池的播放边界值来影响视音 频数据的播放延时，从而实现对视音频播放的同步。对于视频会议系统而言，为 了保证实时性、播放连续性与提高会议质量，研究和设计一套基于调整缓冲池播 放边界值实现来视音频同步是比较合适的选择。 分布式视频会议系统的控制管理架构。在以集中式视频会议系统为主体的众 多商用视频会议系统中，由于其控制流与数据流都是通过多点控制单元( m c u ) 来 转发的，所以会议控制管理功能都是通过m c u 来实现的。而在分布式视频会议系 统中，面对网络中的多个分布式会议终端及其它网络设备，如远程数据库、文档 共享服务器、远程云台以及网页服务器等，需要研究和设计一套适合其特点的控 制管理架构，以实现对这些网络设备资源的控制与管理。 兼容支持i p v 4 v 6 的网络模块，使视频会议系统能够运行在下一代互联网上， 适应了网络技术的发展，拓宽了应用领域并延长它的软件生命周期。 综上所述，本课题所实现的的视频会议系统：采用了d i r e c t s o u n d 技术，并 建立了与其相适应的多路音频管理与缓冲机制，运用了声卡硬件资源和间接减少 了系统开销，降低声音延时以及提高混音质量；视音频同步机制的建立很好地提 高会议质量；控制管理子系统的建立实现了系统网络设备的控制和管理：实现系 统对支持i p v 4 v 6 网络协议，拓宽了应用领域并延长它的软件生命周期。 1 4 本课题的来源和主要研究内容 本课题受国家发改委的中国下一代互联网示范工程( c n g i ) 2 0 0 5 年研究开 发、产业化及应用试验项目之“c n g i 大规模路由和组播技术的研究与试验一项 目资助。 本论文的主要研究内容为：视频会议系统项目的音频处理、控制管理子系统 6 第一章绪论 与支持i p v 4 v 6 网络模块的研究和实现。完成的系统已在华南理工大学校园网内 使用，并且在c e r n e t 2 纯i p v 6 网络成功完成相关测试，取得了良好的效果。 在系统的研究和实现中，作者主要完成了以下工作： 1 研究了o ir e c t s o u n d 技术、i p 组播技术、r t p r t c p 协议、i p v 6 技术以及 音频处理技术等，对本系统中用到的关键技术进行了有针对性的研究，并查阅了 有关书籍、杂志、专业文献和网络媒体等大量参考资料，研究这些技术在多媒体 网络中的应用。 2 研究了多媒体音频工具r a t 的架构与特点，对访问网格项目( a c c e s s g r i d ) 中关于实时视音频流处理及其分布式管理架构进行了研究。最终初步确定了本系 统框架的设计思路。 3 研究并实现了基于o ir e c t s o u n d 技术的多路音频管理与缓冲机制：利用了 d i r e c t s o u n d 技术能充分使用硬件资源的特点，将其溶入到视频会议系统中，并 成功降低了音频延时、提升了多路音频混音质量以及节省了系统资源开销。 4 设计开发了基于分布式的视频会议系统控制管理子系统的框架：在制定了 系统的设计目标和设计要求后，对系统的控制管理逻辑进行设计，并将整个子系 统按照处理层次划分为若干模块。在此基础上，对系统进行模块设计。 5 设计并实现了兼容支持i p v 4 v 6 的网络模块。模块运行时首先会对主机网 络环境进行分析，将i p v 4 v 6 资源归类供用户选择。 6 在开发过程中，系统进行了全面的单元测试，确保各个模块单元工作正常。 在开发出初步软件版本后，对本系统进行了多次的整体测试，并根据测试结果修 正了已经发现的错误。 1 5 本章小结 本章首先介绍了视频会议系统的历史、现状和发展的趋势，在归纳视频会议 系统国内外现状的基础上，指出了现有视频会议系统中的不足，从而引出本课题 研究的意义。最后，本章对本课题研究的主要内容作了简要介绍。 7 华南理t 大学硕士学位论文 第二章视频会议系统中的相关技术 2 1d ir e c t s o u n d 技术 d i r e c t s o u n d 技术作为d i r e c t x 架构中的一部分，是专门应用于声音处理的。 下面将从d i r e c t s o u n d 的主要特点、体系结构、主要技术细节以及系统集成等方 面，来简要地介绍d i r e c t s o u n d 技术。 2 1 1dir e c t s o u n d 技术的主要特点 d i r e c t s o u n d 技术十分适合用于进行音频处理工作。应用d i r e c t s o u n d 所提 供的与设备无关的程序接口( a p i ) ，就可以不理会硬件底层操作细节，尽可能发 挥硬件的最佳性能。d i r e c t s o u n d 为声音处理提供了多路音频流的低延时混音， 并根据硬件配置和性能提供硬件加速以及对声音设备直接存取的功能，与此同时 又会保持与当前设备驱动程序的兼容性，能实现3 d 音效，并支持实时的音频采集。 2 1 2dir e c t s o u n d 技术的体系结构 在d i r e c t s o u n d 技术中，使用了新的模型来实现播放和采集数字音频以及实 现音频特效。由于d i r e c t s o u n d 具有实时查询硬件配置信息及其特性的能力，所 以d i r e c t s o u n d 可以根据其查找结果来选择最好的解决方案，以实现硬件的最佳 性能。如果当前硬件不具备某项特性时，d i r e c t s o u n d 会使用软件来仿真，这样 做虽然能保证此项特性的实现，但却会增加了系统的开销。 d i r e c t s o u n d 的声音播放建立在i d i r e c t s o u n d 接口、处理声音缓冲接口 ( i d i r e c t s o u n d b u f f e r ) 以及实现3 d 效果接口( i d i r e c t s o u n d 3 d b u f f e r ， i d i r e c t s o u n d 3 d l i s t e n e r ) 的基础之上。 而d i r e c t s o u n d 的声音采集建立在声音采集接口( i d i r e c t s o u n d c a p t u r e ) 与 声音采集缓冲接口i