（计算机软件与理论专业论文）基于组件技术的视频会议系统平台设计与相关技术研究.pdf

摘要 摘要 声文并茂的视频会议系统为人们提供了一个即时迅捷的交流平台，随 着网络和硬件的飞速发展，充分利用先进的计算机及网络技术，开展基于 网络的远程会议，实现多方之间音频、视频和数据的全方位沟通，已经成 为普遍而又紧迫的需求。而对视频会议质量有着重大影响的拥塞控制及视 音频同步技术的研究更是成为了研究工作的重中之重。 基于组件技术的视频会议系统平台设计与相关技术研究解决了视频会 议系统平台的总体设计问题，重点研究了对视频会议质量有着重大影响的 拥塞控制和视音频同步技术，提出了音频优先自调节四缓存拥塞控制方案 和音频流主导自适应媒体问帧同步调整算法。 首先，本文对视频会议系统的平台设计做了大量的分析工作，设计出 系统的总体框架，并利用组件技术将已有组件和新组件嵌入到框架之中。 其次，本文针对视频会议系统的具体需要，重点对系统中视音频传输 时所遇到的拥塞控制问题进行了研究，提出了音频优先自调节四缓存拥塞 控制方案，此方案采取音频优先的策略，降低了在视频会议召开时由于大 量视音频数据传输而引起网络拥塞的风险，提高了通信质量。 再次，本文着重研究了对接收端播放质量有着重大影响的视音频同步 技术，提出音频流主导自适应媒体间帧同步调整算法，实验证明，此算法 能大幅降低视音频不同步比率，提高回放质量。 最后，本文对多路视音频传输问题进行了分析研究，在不增加资源耗 费、保证视频会议质量的前提下解决了多路视音频数据的管理问题。目前， 本文己实现了在l a n 网络环境下，基于组件技术支持的h 3 2 3 协议族视频 会议平台系统，系统在校园网上运行正常。 关键词视频会议系统；拥塞控制：视音频同步；h 3 2 3 ；组件 燕山大学工学硕士学位论文 a b s t r a c t v i d e oc o n f e r e n c i n gs y s t e mw i t ho n l i n ea u d i o ，v i d e oa n dt e x tp r o v i d e s p e o p l ew i t har e a l - t i m ec o m m u n i c a t i o np l a t f o r m w i t ht h er a p i dd e v e l o p m e n to f t h ei n t e r n e ta n dh a r d w a r e ，i ti sac o m m o na n de m e r g e n c yd e m a n dt od e v e b p n e t w o r kb a s e dr e m o t ec o n f e r e n c ea n dc o m m u n i c a t i o nw i t ha u d i o ，v i d e oa n d d a t at h r o u g ha d v a n c e dt e c h n o l o g yo fc o m p u t e ra n dn e t w o r k h o w e v e r , t h e r e s e a r c ho nc o n g e s t i o nc o n t r o la n ds y n c h r o n i z a t i o nt e c h n o l o g yb e t w e e na u d i o _ a n dv i d e ob e c o m e st h em o s ts i g n i f i c a n t p l a t f o r md e s i g no fv i d e oc o n f e r e n c i n gs y s t e mb a s e do nc o m p o n e n t t e c h n o l o g i e sa n dr e s e a r c ho nr e l a t i v et e c h n o l o g i e sr e s o l v et h ep r o b l e mo f g e n e r a ld e s i g no fv i d e oc o n f e r e n c i n gs y s t e mp l a t f o r m t l l i sp a p e re m p h a s i z e s o nt h es t u d yo ft h ec o n g e s t i o nc o n t r o la n dv i d e oa n da u d i os y n c h r o n i z a t i o n t e c h n o l o g yt h a th a v eg r e a ti n f l u e n c eo nv i d e oc o n f e r e n c eq u a l i t y t l l i sp a p e r a l s ob r i n g sf o r w a r das c h e m eo fa u d i of i r s ta d j e c t i v ef o u rc a c h e sc o n g e s t i o n c o n t r o la n da na d j u s t i v ea l g o r i t h mo fa u d i ol e a d i n ga d a p t i v ei n t e r m e d i af r a m e s y n c h r o n i z a t i o n f i r s t l y i nt h ep a p e rm u c ha n a l y z i n gr e s e a r c hw o r ka b o u t v i d e oc o n f e r e n c e s y s t e mh a sb e e nd o n e ，a n dt h em a i nf r a m eo f t h es y s t e mi sd e s i g n e d a l s o ，t h e m o d u l e sn e wa n de x i s t e da r ee m b e d d e di n t ot h ef r a m et h r o u g hc o m p o n e n tb a s e d t e c h n o l o g y s e c o n d l y , t h ep a p e rm a i n l ys t u d i e st h ep r o b l e m so fc o n g e s t i o nc o n t r o l d u r i n gt h ep r o c e d u r eo fv i d e oa n da u d i ot r a n s f e r r i n go nt h ep l a t f o r m a na u d i o f i r s ta d j e c t i v ef o u rc a c h e sc o n g e s t i o nc o n t r o ls c h e m ew i t ha u d i of i r s ts t r a t e g yi s p r e s e n t e d ，w h i c hd e c r e a s e st h er i s ko fc o n g e s t i o nw h i l el a r g eq u a n t i t i e so fa u d i o a n dv i d e od a t aa r et r a n s f e r r e dd u r i n gt h ev i d e oc o n f e r e n c e ，t h u sc o m m u n i c a t i o n q u a l i t yi si m p r o v e d t l l i r d l y ，t h ep a p e rm a i n l yd i s c u s s e dt h ea u d ma n dv i d e os y n c h r o n i z a t i o n n a b s u a c t t e c h n o l o g yt h a th a sg r e a ti n f l u e n c eo i lr e p l a yq u a l i t y o ft h er e c e i v e r a n a d j u s t i v ea l g o r i t h mo fa u d i ol e a d i n ga d a p t i v ei n t e r - m e d i af r a m es y n c h r o n i z a t i o n i sp r e s e n t e d i td r a m a t i c a l l yl o w e r e dt h ea s y n c h r o n i s mr a t i ob e t w e e na u d i oa n d v i d e os t r e a m , t h u st h er e p l a yq u a l i t yi si m p r o v e d a tl a s t ，p r o b l e m so fm u l t i - s t r e a ma u d i oa n dv i d e ot r a n s f e r r i n ga r ea n a l y z e d ， w i t h o u tm o r er e s o u r c ec o s ta n dd e c l i n eo f v i d e oc o n f e r e n c eq u a l i t y , t h ep r o b l e m o f m u m s t r e a ma u d i oa n dv i d e od a t am a n a g e m e n ti sr e s o l v e d t h eh 3 2 3v i d e o c o n f e r e n c i n gs y s t e mb a s e do nc o m p o n e n tt e c h n o l o g yu n d e rt h el a nc o n d i t i o n l u l l sw e l lo nt h en e to f c a m p u s k e y w o r d sv i d e oc o n f e r e n c i n gs y s t e m ；c o n g e s t i o nc o n t r o l ；v i d e oa n da u d i o s y n c h r o n i z a t i o n ；h 3 2 3 ；c o m p o n e n t s i h 燕山大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文基于组件技术的视频会 议系统平台设计与相关技术研究，是本人在导师指导下，在燕山大学攻读 硕士学位期间独立进行研究工作所取得的成果。据本人所知，论文中除已 注明部分外不包含他人已发表或撰写过的研究成果。对本文的研究工作做 出重要贡献的个人和集体，均已在文中以明确方式注明。本声明的法律结 果将完全由本人承担。 作者签字子宅 日期：旆；月仃日 燕山大学硕士学位论文使用授权书 基于组件技术的视频会议系统平台设计与相关技术研究系本人在 燕山大学攻读硕士学位期间在导师指导下完成的硕士学位论文。本论文的 研究成果归燕山大学所有，本人如需发表将署名燕山大学为第完成单位 及相关人员。本人完全了解燕山大学关于保存、使用学位论文的规定，同 意学校保留并向有关部门送交论文的复印件和电子版本，允许论文被查阅 和借阅。本人授权燕山大学，可以采用影印、缩印或其他复制手段保存论 文，可以公布论文的全部或部分内容。 保密口，在 年解密后适用本授权书。 本学位论文属于 不保密d ( 请在以上相应方框内打“4 ”) 作者签名：净燕兹日期：砂。辞3 月，日 导师铭卸枷 日期加占夥小r 日 第1 章绪论 1 1 研究背景 第1 章绪论 根据统计，在人类的通信与交流过程中，有效性信息的5 0 6 0 依赖 于面对面的视觉效果，3 3 3 6 依赖于说话者的声音，只有7 依赖于交 流内容本身【1 。因此，“只闻其声，不见其人”的电话系统远远满足不了诸 多应用的需求。人类的情感沟通越来越趋向于使用更为丰富、生动的通讯 方式，社会交流的不断发展，经济活动的愈发活跃，也对信息交流的及时 性、准确性和全面性不断提出更高的要求【2 】。 近年来，网络和计算机的发展极为迅速，宽带网络已像电话一样走进 千家万户。计算机硬件的发展更是日新月异，个人电脑的处理能力飞速提 高，多媒体信息的处理能力显著增强，完全胜任对视音频数据处理的要求。 在9 0 年代初期，第一套视频会议国际标准h 3 2 0 3 1 获得了通过，不同品 牌的产品之间所存在的兼容性问题得到了解决。1 9 9 6 年底，i t u ( i n t e r n a t i o n a l t e l e c o m m u n i c a t i o n u n i o n ) y 、通过了h 3 2 3 视频会议标准，为现有的分组网络 p b n ( p a c k e t b a s e d n e t w o r k ) 提供了多媒体通信标准，是目前应用最为广泛的 协议，当今基于硬件的视频会议系统基本上都采用h 3 2 3 标准，以保证所有 厂商生产的各种不同的终端和m c u ( m u k ic o n t r o lu m t ) 之间的互通【4 】。除此 之外，e t s i ( e u r o p e a n t e l e c o m m u r t i c a t i o n ss t a n d a r d si n s t i t u t e ) 、i e t f ( i n t e m e t e n g i n e e r i n gt a s kf o r c e ) 、i m t c ( i n t e m a t i o n a lm u l t i m e d i at e l ec o n f e r e n c i n g c o n s o r t i u m ) 等组织也制定各种标准，为视频会议的发展奠定了坚实的基础。 1 2 研究意义 1 2 1 视频会议系统的研究意义 信息技术的迅猛发展，改变了各行各业的传统工作模式。信息的无限 量扩大，交通工具的便捷，互联网技术的充分应用等导致了行业问竞争的 全球化，这就要求现代政府部门和企业要具备更加灵敏的神经，更扁平化 1 燕山大学工学硕士学位论文 的管理，更快速的反应和决策。而传统的会议形式需要参与会议的人们从 四面八方赶到同一个地点，浪费大量时间，无法保证会议的随时随地召开； 并且，从经济上而言，会消耗大量的差旅费用和会议费用：除经济因素之 外，许多业务繁忙的商务人士和政府工作人员，经常因参加各种会议而四 处奔波、舟车劳顿，不利于人的身心健康；另外，各种各样的意外都会影 响会议的正常进行：如航班的延迟、火车汽车的晚点、天气等自然因素的 影响等，尤其是非典之类的疫病，更是为人们的沟通带来极大不便。 因此，充分利用先进的计算机及网络技术，开展基于网络的远程视频 会议，实现多方之间及时迅捷的全方位沟通，成为包括各行各业以及个人 交流的紧迫需求。 视频会议系统( v i d e oc o n f e r e n c i n g ) ，又被称为“电视会议系统”。它是 指两个或两个以上不同地方的个人或者群体，通过传输线路及多媒体设备， 将声音影像以及文件资料互传，实现即时互动的沟通，达到会议目的的系 统设备口j 。视频会议系统是一种非常典型的图像通信系统，它是融计算机技 术、通信网络技术、微电子技术于一身的产物 6 】。通信终端设备将本终端的 音像信号变成数字化信号，并且把其它终端通过网络发送过来的音像信号 重现为视觉、听觉可获取的信息。利用视频会议系统，与会者既可以听到 对方的声音，也可以看到对方的视频图像，同时还能在会议中共享和传输 一些电子资料，如图片，表格，文件，以及应用程序等等。与传统的会议 相比，视频会议系统能够为异地的人们提供一个即时交流的平台，节省大 量的时间和差旅费用，提高工作效率；与单纯的电话会议相比，视频会议 增强了会议的气氛，与会者可以看到其它人的相貌，表情，给人以身临其 境的感觉i ，j 。 视频会议系统应用于商务企业，意味着更加方便和更加灵活的沟通方 式，使相关事务的商榷及决策环节更加直接、全面和透彻。企业总部与分 支机构之间可以利用视频会议系统完成即时信息传递、即时公告、即时表 决、文件传输等工作，实现快速决策的目的；企业总部可以让分布在全球 的分支机构雇员通过该系统接受培训，尽快掌握最新的产品技术知识，既 节省培训费用又不会影响企业的正常运作。 2 第1 章绪论 视频会议系统应用于电子政务，为国家政府机关的内部沟通、文件传 达以及学习提高提供了一个通用的交流平台。特别是在非典之后，各政府 机关，企事业单位纷纷采用视频会议系统，以达到节省差旅费用、迅速传 达文件精神、及时解决重大问题的目的。 视频会议系统应用于远程教学和技术培训，各级的教育主管部门和学 校，通过视频会议系统，可以定期或者随机性地召开各种工作会议，开展 各种形式的培训和教学，解决了学校部分学员能够接受最优秀的教师授课 的问题。很多公司也利用它进行员工的培训。 视频会议系统应用于远程医疗和专家会诊，通过在分散于各地的医院 之间部署会议系统，可以共享医疗资源，降低会诊成本，使人们就医不再 受医疗手段和诊断水平的限制，提高医疗诊断的及时性，准确性。 1 2 2 组件化程序设计的研究意义 2 0 世纪6 0 年代爆发的软件危机促使人们思考解决的办法。尤其是8 0 年 代后期兴起的面向对象编程掀起了一场编程模式的革命【”。并形成了以软件 周期和软件开发方法学为特征的软件工程，作为解决软件危机的对策。尽 管如此，软件危机至今仍未得到完全的解决。 软件工程学中一个很重要的研究方向就是软件复用，软件复用可以大 大节约软件开发的成本。组件技术为软件复用指明了发展方向。 组件技术使近2 0 年来兴起的面向对象技术进入到成熟化的实际应用阶 段。在组件技术的概念模式下，软件系统可以被视为相互协同工作的对象 集合，其中每个对象都会提供特定的服务，发出特定的消息，并且以标准 形式公布出来，以便其他对象了解和调用。组件之间的接口通过一种与平 台无关的语言i d l ( i n t e r f a c ed e f i n el a n g u a g e ) p 】来定义，而且是二进制兼容 的，使用者可以直接调用执行模块来获得对象提供的服务。早期的类库提 供的是源代码级的重用，只适用于比较小规模的开发形式；而组件则封装 得更加彻底，更易于使用，并且不限于c + + 之类的语言，可以在各种开发语 言和开发环境中使用。由于组件技术的出现，软件开发的方式有了很大的 变化，可以把软件开发的内容分成若干个层次，将每个层次封装成一个个 燕山大学工学硕士学位论文 的组件，在构建应用系统时，将这些个组件有机地组装起来就成为一个系 统，就像是用零件组装出一台机器一样。程序开发人员可以按需要设计出 许多组件，在构建应用系统时可以根据自己的应用需求选择所需要的组件， 若发现某个组件有问题，只需要对它进行修改或替换即可，不必像传统开 发方法那样对整个系统进行重构；同时，一个组件可以被多个应用系统使 用。组件技术的应用，使软件的可维护性和可重用性大大提高，显著地减 少了应用软件开发的复杂度，避免了软件资源的极大浪费。 对基于组件的软件开发模式的研究，在国民经济中具有重要的实用价 值。社会对软件的需求会越来越大，安全性和质量的要求会越来越高。基 于组件的软件开发模式有助于提高软件开发的效率，降低软件开发的成本， 减少开发失败的风险，保证信息的安全。对我国软件经济的发展产生了很 大的影响。 1 2 3 拥塞控制与视音频同步技术的研究意义 拥塞控制是目前网络上的一个研究热点。由于最初的t c p ( t r a n s m i s s i o n c o n t r o lp r o t o c o d 协议中，只有流控制( f l o wc o n t r 0 1 ) ，而却没有拥塞控制 1 0 】， 接收端利用t c p 报头信息将接收能力通知给发送端。这种控制机制只考虑到 了接收端的接收能力，而并没有考虑到网络的传输能力，这样就会导致网 络中拥塞崩溃的发生【l ”。拥塞崩溃会极大的影响网络的传输速度，甚至中 断网络传输。因此，科研人员们在网络的拥塞控制领域开展了大量的研究 工作。拥塞控制算法对于保证网络的稳定具有十分重要的作用。在视频会 议的应用领域，视频会议要实现即时互动的沟通这一本质就决定了它对传 输时延十分敏感，如果网络发生拥塞或者拥塞崩溃，将会对视频会议质量 会造成很大的不良影响。视频会议中视音频数据的传输和播放需要满足的 q o s ( q u a l i t yo f s e r v i c e ) 指标【l ”，主要包括以下四个。 ( 1 ) 吞吐量流媒体传输需要有一个最低的带宽要求，为了保证流媒体 数据的及时流畅播放，下层网络应为上层应用提供一个大于最低带宽的连 接【l3 1 ，并且也要求网络的传输速度能够保证接收端及时的接收数据，发送 端及时的发出数据。 4 第1 章绪论 f 2 1 时延和抖动流媒体的传输有实时性要求，数据包必须在一定时间 内到达，否则即使到达也已经无用；虽然利用缓冲区机制可以放宽对时延 和抖动的要求，但是缓冲区的大小受接收端系统的限制，并且过大的缓冲 区会造成很长的延迟。因此，流媒体传输系统需要有一定的策略保证时延 和抖动的要求i l 。 f 3 1 误码率和丢包率误码和丢包会导致帧的丢失或无法解码，从而造 成播放质量的下降，只有控制误码率和丢包率在一定范围内才能保证流媒 体的播放质量。 ( 4 ) 同步性在接收端回放时应保证视音频的同步，即唇音同步，视频 与音频失步会大大削弱与会者的实时感，影响视频会议的总体质量。 因此，要保证稳定的视频会议质量，就需要尽量消除由拥塞控制和视 音频不同步所造成的不良影响，这对增强视频会议质量有着极为重要的意 义，并且也适用于网络上其它的流媒体应用。 1 3 国内外发展现状 1 3 1 视频会议系统的发展现状 ( 1 ) 国外的发展与现状国外对视频会议的研究开发进行得较早。作为 视频会议产品的可视电话在1 9 6 4 年被美国贝尔实验室首先研制出来【1 5 l ，但 由于通信和网络技术条件的限制，可视电话只是停留在实验室阶段。n 2 0 世纪9 0 年代以后，随着计算机芯片技术的进步和图像、语音压缩编码技术 的快速发展，特别是1 9 9 6 年h 3 2 0 标准的确立，使视频会议展现出了广阔的 市场发展前景。 随着宽带网络的飞速发展，人们越来越认识到在网络开展多媒体业务 的重要性。1 9 9 6 年，i t u t 又提出了h 3 2 3 系列标准和建议，是视频会议发 展史上又一个新的里程碑，h 3 2 3 使得视频会议能够在使用最广泛的i n t e m e t 上得以推广。视频会议系统和相关产品也日趋成熟化，许多研究机构和厂 商投入到视频会议的开发和研制中。国外著名的视频会议系统有c o m e l l 大 学开发的c u s e em e 、m i c r o s o f t 的n e t m e e t i n g 等，著名厂商有美国的宝利通、 以色列的威速等，他们在视频会议的相关产品的研发方面已经有多年经验。 燕山大学工学硕士学位论文 并且占有了全球视频会议系统市场很大的份额。 ( 2 ) 国内的发展与现状我国有关视频会议系统的研究从2 0 世纪7 0 年代 初开始，1 9 7 8 年在北京和广州之间首次开通模拟视频会议业务实验，由于 费用较高，无法广泛应用。8 0 年代初期南京邮电学院研制成功8m b p s 视频 会议设备1 “1 ，尽管是初期设备，但是在福建的点对点的应用中仍取得了一 定的成绩。到了8 0 年代末期，北京邮电大学，浙江大学，电子部三所，北 京大学均开始了6 4k b p s 或者1 2 8k b p s 视频会议编解码器的研制。其中北京 邮电大学和南京邮电大学在视频会议编码方面都取得了很大的进展。1 9 8 8 年，我国邮电部与法国邮电部协作，建成北京国际视频会议系统。这一系 统的使用使我国视频会议业务又迈出了新的一步【1 1 1 。1 9 9 4 年中国电信建成 国内第一个会议电视党政专网，采用点对点结构的非标准视频网络，容量 较小，没有采用多点控制设备。1 9 9 6 年建成全国公众会议电视网，这个网 络采用了多点控制设备的两级级联技术，以北京m c u 为中心点，八大区各 设一台m c u 为二级中心点，各省终端通过2 兆专线电路接入本大区的m c u 。 随着视讯技术的发展和通信市场的变化，中国电信于2 0 0 2 年推出了定位于 市场中低端用户的“新视通”业务，系统兼顾了h 3 2 0 和h 3 2 3 协议【18 1 ，支 持多种接入方式。 目前，我国视频会议产品化的工作已经初具规模，著名的产品有国防 科技大学的基于校园网的多点会议系统、中科院声学所开发的基于h 2 6 1 的 视听多媒体桌面视频会议系统、北京邮电大学研究的基于i n t e r a c t 的简单桌 面会议电视系统等。著名厂商有华为、中兴、中太多媒体、浙江南望等企 业，他们的产品在国内市场处于领先地位。并且形成了一个迅速发展的视 讯产业，打破了国外产品一统天下的局面。 1 3 2 组件技术的发展现状 组件对象模型c o m ( c o m p o n e n to b j e c tm o d e l ) 是f l j m i c r o s o f t 提出的组件 标准，它不仅定义了组件程序之间的交互标准，也提供了组件程序运行所 需的环境1 1 9 】。早在1 9 9 3 年，c o m 就作为底层规范随0 l e ( 0 b j e c tl i n k i n ga n d e m b e d d i n g ) , q 4 现在市场，随后m i c r o s o t j i 发布了一系列基于c o m 的技术，如 6 第1 章绪论 今，c o m 己经成为微软的基石，它不仅是构建w m d o w s 操作系统的支柱之 一，也为n e tf r a m e w o r k 做了极好的技术铺垫。 c o m 最初作为桌面操作系统平台上的组件技术，主要为o l e j 日务，但 是随着w i n d o w sn t 与d c o m ( d i s t r i b u t e dc o m p o n e n to b j e c tm o d e o 2 0 1 的发 布，c o m 通过底层的远程支持使组件技术延伸到了分布式应用领域，这充 分体现了c o m 技术的扩展能力以及组件结构模型的优势。m t s ( m i c r o s o r t r a n s a c t i o ns e r v e r ) l 2 1 】也为c o m 增添了许多新的内容，弥补了c o m 的一些不 足，它注重于服务器端的组件管理和配置环境。c o m + j 进一步把c o m 和 m t s 统一起来，形成了真正适合于企业应用的组件技术。 1 3 3 拥塞控制与视音频同步技术的发展现状 拥塞控制和视音频同步技术的研究是从2 0 世纪9 0 年代后期随着多媒体 应用的日益增加而发展起来的。 目前，对拥塞控制的研究大致分为以下三类。 ( 1 ) 对t c p 协议本身的改进包括对t c p 中各种机制的改进和对t c p 在 各种网络环境下优化的研究。近年来，t c p 中采用了很多新的算法，包括慢 启动【”1 、拥塞避免、快速重传、快速恢复、选择性应答【2 3 1 等，大大提高了 网络传输的性能。t c p 中使用的拥塞控制算法已经成为保证i n t e m e t 稳定性 的重要因素。 ( 2 ) 对多媒体传输拥塞控制的研究包括传输协议的设计和传输公平性 的研究。s f l o y a 等提出了对单播u d p ( u s e rd a t a g r a mp r o t o c 0 1 ) 的t c p 友好控 制算法，为基于速率的组播拥塞控制奠定了基础 2 4 】，m h a n d e l e y 和s f l o y d 于1 9 9 9 年提出了采用随机延迟的抑制机制来进行反馈处理，提供了基于速 率的可靠组播拥塞控制的框架【2 5 。 ( 3 ) 对“主动队列管理”算法的研究近些年来，非线性规划理论2 6 啪 系统控制理论【2 7 1 被引入到拥塞控制的研究中来，一些研究者尝试使用严格 的数学模型来描述端系统和网关组成的系统口引。这对拥塞控制的研究有很 大的推动作用。 现有的同步方法大致有以下四类。 燕山大学工学硕士学位论文 f 1 1 分层同步法在分层同步法中，把多媒体演播或各种多媒体对象抽 象为含有多个节点的树，它由代表串行和并行演示的子树结点组成。分层 同步法操作结构层次清晰、管理方便【2 9 j 。 ( 2 ) 时问轴同步法时间轴同步法又分为两种，一种是基于全局时间轴 的同步法【3 0 】，通过把相互独立的对象依附到一个时间轴上来描述，丢掉或 更改一个对象不影响其它对象的同步。这种描述要维持一个全局时间轴。 每个对象可将此全局时间映射到局部时间，并沿此局部时间前进【3 l 】。另一 种是基于虚拟时间轴同步法1 3 “，它是参考时间轴方法的一般化情形。在该 方法中，按用户定义的度量单位定义坐标系统，同步关系以该时间轴为基 准参考，而且，可用若干虚拟轴产生一个虚拟的坐标空间1 3 3 1 。 ( 3 ) 参考点同步法此方法把时间相关单媒体对象看作离散的子单元序 列口4 1 。这样一来，媒体对象表现的开始点和结束点，以及各子单元的开始 点，都可以作为参考点瞰j 。这种方法没有明确的时间轴来描述对象之间的 时间关系【3 。对象之间的同步被定义为在不同对象的子单元之间，具有同 一时间表现的参考点连接，在这种同步中，诸如视频、音频这样的动态对 象，被作为时间无关的子单元组成的序列在常数时间段上的表现。 ( 4 ) 区间同步法此方法将每个对象的表现持续时间称为一个区间。两 个区间之间可以用不同的时序关系来表示。这种方法适用于定义时间相关 媒体和时间无关媒体等媒体对象之间的同步关系，是一种灵活的同步表示 法，允许使用多个运行时媒体表现参数，但对不同对象内部相应各予单元 之间的同步问题却无能为力。 1 4 本文的研究内容及其结构安排 本文重点研究了h 3 2 3 视频会议系统平台的设计与实现，对系统的总体 框架和各个部件进行了具体的设计，并对视频会议召开时出现的拥塞控制 与视音频同步问题进行了突出研究，提出了音频优先四缓存自调节拥塞控 制方案和音频流主导自适应媒体间帧同步调整算法。全文共分为四章，包 括结论一共五个部分。 第1 章绪论，介绍了本课题的研究背景和意义、相关研究的发展现状、 8 第1 章绪论 给出全文整体结构。 第2 章对系统所遵循的h 3 2 3 标准的研究讨论，介绍视频会议的国际 标准，重点介绍目前应用最广泛也是本系统所遵循的h 3 2 3 标准。 第3 章拥塞控制与同步技术的研究与算法设计，分析研究了对视频会 议质量有着重要影响的两大因素：网络传输中涉及到的拥塞控制问题和终 端回放时涉及到的视音频同步技术。对己有策略进行了研究，提出了音频 优先自调节四缓存拥塞控制方案，此方案在一定程度上缓解了网络的拥塞 状态，同时也解决了媒体内同步的问题，一举两得，本章还详细阐述了本 文所提出的音频流主导自适应媒体间帧同步调整算法，实验证明，此算法 能大大提高视音频同步比率，使视频会议质量达到一个新的水平。 第4 章系统平台的总体设计与各模块的具体实现，介绍了本系统平台 设计的总体思想，详细阐述了本系统中用户管理模块、主持人发言功能模 块、视音频通信模块、文字白板模块和文件传送模块的具体实现；并给出 了系统测试的结果和数据。 结论，最后对全文进行了总结，概述了本文所做的研究工作和取得的 成果，对本文的创新点进行了着重讲述，并指出系统的不足之处，对基于 组件技术的视频会议系统进行展望。 9 燕山大学工学硕士学位论文 第2 章对系统所遵循的h 3 2 3 标准的研究讨论 为了保证来自不同厂家的产品之间可以互通，许多国际标准化组织致 力于视频会议标准的开发和推广，其中最具影响力的有四个组织，分别是： 国际电信联盟标准部，它致力于制定通用的视频会议标准，如h 3 2 0 、h 3 2 3 等f 3 7 】；欧洲电信标准协会，它希望向各类网络运营者都提供面向业务的解 决方案，它的工作主要基于h 3 2 3 系列建议和目前己存在的电路交换网标 准；i n t e r n e t 工程任务组，它所制定的信令协议包括己广泛应用的s i p ( s e s s i o n i n i t i a t i o np r o t o c 0 1 ) p 8 1 i m e m e t 和l p s t n ( p u b l i cs w i t c h e dt e l e p h o n en e t w o r k ) 的网络互通协议等；国际多媒体远程会议协会，其宗旨是建立开放的国际 标准，推动交互式多媒体远程会议解决方案的发展和实行。上述标准中以 国际电信联盟标准部制定的h 3 2 3 标准应用最为广泛，目前大多数成熟产品 都符合此标准，考虑到系统通用性，本系统也选择遵循h 3 2 3 标准。 2 1h 3 2 3 协议的由来和发展 国际电信联盟标准部从1 9 9 5 年5 月开始制订多媒体会议业务的信令协 议标准，1 9 9 6 年1 2 月，s g l 6 j , 组通过了第一版h 3 2 3 口”。第一版h 3 2 3 协议 族标准描述了在分组网上多媒体网络的系统架构，它是指一组多媒体的协 议群，包括呼叫控制信令h 2 2 5 4 0 1 、媒体控制信令h 2 4 5 1 4 、数据会议t 1 2 0 4 2 1 和传真协议t 3 8 ，以及实时媒体流协议r t p ( r e a lt i m ep r o t o c 0 1 ) 和其控制协 议r t c p ( r e a lt i m ec o n t r o lp r o t o c o d 。h 3 2 3 协议不仅系统地规范了分组语音 会议标准而且也包括了完整的数据和视频会议标准。1 9 9 8 年1 月，第二版 h 3 2 3 4 3 1 推出，它克服和完善了第一版的一些不足，增加了快速连接机制和 h 2 4 5 的隧道机制。提出了补充业务架构h 4 5 0 系列协议和安全架构h 2 3 5 协 议，以及其它p s t n 互联信令机制的改善。1 9 9 9 年9 月，第三版h 3 2 3 4 4 1 只有小 规模的增添和修正，增加了支持u d p 、附件g 、h 4 5 0 4 h 4 5 0 7 协议和一些 h 3 2 3 h 2 4 5 的附件等。2 0 0 0 年1 1 月，第四版h 3 2 3 4 5 1 增加了一系列电信运营 所要求的重要功能，包括h 3 2 3 系统的可靠性、可扩展性和灵活性。这使 1 0 第2 章对系统所遵循的h 3 2 3 标准的研究讨论 l 3 2 3 系统以第四版为标志在完整性上和系统性上走向了成熟。2 0 0 3 年9 月， 第五版h 3 2 3 1 4 6 1 出现了，它的目标是追求协议稳定和通用扩展的平衡。第五 版沿用第四版的通用扩展架构模型来扩充新的功能，h 4 6 0 系列标准正是这 种通用扩充能力的体现。 从实现上，h 3 2 3 协议是目前商用视频会议系统普遍采用的协议。尽管 h 3 2 3 协议受到了来自s i p 协议越来越多的冲击和挑战，但是作为一个成熟 的、可管理的协议，h 3 2 3 协议无疑还将长期存在并继续发挥作用，在h 3 2 3 协议基础上研究开发视讯业务具有广阔的前景。 h 3 2 3 协议制定的目标是为分组交换网上的多媒体通信系统提供标准。 因此，其适用的网络类型是分组交换网络p b n ，其使用的通信内容涵盖了 除音频、视频、数据以及它们的组合这些逻辑信道外，还包括了多个控制 信道。h 3 2 3 视频会议系统应该支持p b n 与其他类型网络的互通，包括p s t n 、 i s d n ( i n t e g r a t e ds e r v i c e sd i g r a ln e t w o r k ) 和有q o s 保证的l a n ( l o c a la r e a n e t w o r k ) ，它描述的主要内容是在p b n 上实现多媒体通信的系统定义和一般 控制过程。 h 3 2 3 协议是一个框架性协议，旨在定义多媒体通信系统的整体结构和 主要工作过程，它需要一组协议的支持，包括音频、视频编解码协议、呼 叫控制协议、媒体流传输协议、数据传输协议等等。这些协议规定了系统 详细的技术内容，并在h 3 2 3 协议的组织下，与h 3 2 3 协议一起构成了分组 交换网上多媒体通信系统的技术标准，h 3 2 3 协议及其相关协议也经常被称 为h 3 2 3 协议族。 2 2h 3 2 3 协议的特点 h 3 2 3 协议的推出符合在开放式网络平台和应用平台上进行互连互通 的通信发展趋势。它具有以下几个特点。 ( 1 ) 编解码的标准统一h 3 2 3 协议为音频、视频数据流的压缩和解压建 立了统一的标准，以此来保证不同厂家所生产的产品之间可以互通。它也 为不同的厂商所生产的特殊硬件和软件的附加特性与增强性能提供了极大 的灵活性。 燕山太学工学硕士学位论文 ( 2 ) 采用了协商机制用户希望在与其他用户进行通信时无需考虑兼容 性问题，h 3 2 3 协议提供了在客户端之间调整性能，为会议设置共同性能的 方法，在保证接收者可以解压缩信息的同时，还规范了接收端和发送端之 间在交换媒体流之前的控制过程，借以告知彼此的处理能力从而协商媒体 通信的方式，h 3 2 3 协议也建立了公共的呼叫设置和控制协议。 ( 3 1 网络独立性h 3 2 3 协议基于底层网络结构。随着包括带宽管理技术 在内的各种网络技术的不断发展，基于h 3 2 3 协议的解决方案可以无需修改 直接利用它们的特性。 f 4 ) 平台独立性h 3 2 3 系统不依赖于任何硬件和操作系统，它所兼容的 平台可以有多种规格和类型，包括支持视频功能的个人计算机、专用平台、 有线电视的机顶盒、有i p ( i n t e r n e tp r o t o c 0 1 ) 功能的电话等。 ( 5 ) 多点支持h 3 2 3 系统中的m c u 提供了一个强大而灵活的结构，可 以支持多点的会议。多点控制单元由多点控制器和多点处理器组成。多点 控制器提供支持多点会议的控制功能，进行与每个终端间的能力交换，以 确定会议的公共能力。在有一个终端离开一个会议时多点控制器将修改它 的能力集并将它发送给与会的其它终端。多点控制器为会议选定通信模式， 并使得在会议中的各终端工作在所选定的共同通信模式中。在连接完成后， 多点控制器可以使用h 2 4 5 信令来选择会议方式，它可以存在于网关、网闸、 终端或m c u 中。多点处理器接收来自终端的音频、视频和数据码流，这些 码流在多点处理器中进行处理后送回终端。多点处理器对视频的处理有两 种方式：视频切换和视频复合。 ( 6 ) 带宽管理 由于音频和视频通信传输的数据量大，对网络带宽的需 求高，若不加以监控，会阻塞企业的网络。h 3 2 3 系统的带宽管理功能，能 够对网络中并发的h 3 2 3 连接数以及h 3 2 3 应用可获得的带宽总量进行限 制，一方面，这些限制保证了网络上的h 3 2 3 关键应用不会被中断，另一方 面，又为网络上的其它应用保留了足够的资源。 ( 7 ) 网间会议h 3 2 3 协议提供一种连接基于包交换的视频会议系统与 基于电路交换或基于i s d n 的视频会议系统的手段。h 3 2 3 使用不同视频会议 标准中共同的编解码技术来减少或消除协议转换，从而提供优化的性能。 1 2 第2 章对系统所遵循的h 3 2 3 标准的研究讨论 f 8 ) 终端的灵活性一个h 3 2 3 会议能够包括具有不同功能的终端。所有 终端必须支持声音通信，视频通信和数据通信是可选的。h 3 2 3 协议规定了 不同的音频、视频和数据终端共同工作所需的操作模式，用户可根据需要 和终端的性能自行选择。 2 3h 3 2 3 协议栈框架结构 由于h 3 2 3 的设计目标就是基于底层的基础网络协议，因此在o s i ( o p e n s y s t e mi n t e r c o n n e c tr e f e r e n c em o d e l l 七层参考模型的分层结构中， l 3 2 3 属 于会话层以上的控制协议。其栈结构如图2 1 所示。 音频，视频应用终端控制和管理数据应用 音频编码视频编码 g 7 ) o (h 2 6 xh ，2 2 5h 2 2 5h 2 4 5 媒体t 1 2 0 r a s呼叫信令信道控制协议 r n u 1 四 面向无连接的传输层协议( u d p )面向连接的传输层协议( t c p ) 网 络 层 链路层 物理层 图2 1h 3 2 3 协议栈结构 f i g 2 - 1h 3 2 3p r o t o c o ls t a c ks t r u c t u r e 图2 1 中下面四层是o s i 层次中传输层以下的四层，是p b n 提供的网络 协议，具体至i j t c p i p 协议来说，涉及的传输层协议有两类：u d p 用于传输 实时媒体流以及传输终端与网守间的r a s ( r e g i