（计算机应用技术专业论文）基于sockets的桌面视频会议系统研究.pdf

茎王! 笪! 箜丝塞亘塑錾全丛垂笙堑苤 摘要 桌面视频会议系统是计算视技术与通信技术相结合的产物，它作为多媒体通 信技术的一个重要组成部分，是随着i n t e m 曲h 衄n e t 的迅猛发展，而得广泛的应 用。针对现有视频会议系统的不足，本文讨论了基于s o c k e t s 技术的桌面视频会议 系统的设计。 基于s o c k e t s 技术对多点通信的广泛支持，提出采用s o c k e t s 的i p 组播技术与层 次化视频流技术结合的办法从而形成一个高性篚的基于h i t e r l l e t 桌面视频会议解 决方案。 文章对系统功能进行定义并设计了桌面视频会议系统的网络结构。讨论了软 件m c u 多点通信的实现方式，并设计m c u 的软件结构，同时对各模块功能进行 定义。分析了终端系统结构，并设计了终端系统软件结构。设计了会议管理中心 的软件模块组成及预约流程和主叫呼集会议流程。 对基于s o c k e t s 技术的i p 组播进行深入的研究，分析s 0 c k e t s 的接口元素，并设 计了口组播的程序实现，同时对组播中层次化视频传输进行探讨，分析层次化视 频编码的方案，设计了积累型的自适应算法层次加入。 关键词：s o c k e t s ，桌面视频会议，m c u ，驴组播，层次化视频 董士墨堕苎堂笪皇亘塑塑全丛丕堕受塞 a b s t r a c t d e s h o p 们d e o c 伽血咖c 证gs y s t e mi st h ep r o d u c 曲no fc o i r l p u t e r t e c h n o l o g ya i l d c o m m u n i c a d o nt e c h l l o l o g y w i t hd e v c l o p m e mo fi n t e m t 州腑锄e tt e c h n o i o g y ， i ti s b r o a da p p 岫g 丛a 皿p 0 咖c ed c p a r to fm u l d m e d i ac o 咖i l n i c a t i o nt e c h n o l o 时 a c c o r d 如gt ot h cs c a r c i t yo fe ) 【i s 曲gv i d e o c o n f e r e n c i l l gs y s t e l = i l ，t l l i sp a p e rd i s c l l s s e s 也ed e s i 辨o f d e s pv i d e o c o 正陀吐i n gs y s t e mb a s e do ns o e k e 乜t e c h n o i o 醪。 b a s e do na b r o a ds u p p o r to fs o c k e 拄t e c h n o l o g yt om u l t i c a s t ，t h ea r t i c l eb r i n g f b 九v a r daw a yt b a tc o m b i n es o c k e t s smm u l t i c a s tt c c h n o l o g ya n dl a y e r e dv i d e on o w t e c h n o l o g y i t 丘d mah i g hc a p a b i l i t yp r o j e c to fd e s k 幻p 、r i d e o c o n f e r e n c i n gs y s t e m b a s e d o ni 】1 t e f n e t t h i sp a p e rd e 丘n es y s t 锄sf h n c t i o na l l dd e s i g nt l l en e m o r ks 讯】c 嘁o fd e s m p v i d e o c o n f e r c n c i n gs y s t c m s o f tm c u m u h i c a s tr e a l i z i n gm o d eh a sb e e nd i s c u s s e d ， s o rm c us n l l c n 聪h a sb c c nd e s i 口，a n d “e r ym o d u l e 缸c t i o nh a sb e e nd e f i n e d i t 锄a l y s e st e m l i n 址s y s 地1s n l 工c t u ：r c 卸dd e s i 印si t ss o rs t m c t u r e nd e s i g l l ss o f t r r 州i l l ec o i r l p o s i n g 、p r e c o n 打a c tn o wa n dh l t i a t i v ec a l l i n gm e e t i n gn o wo fm e e t i n g m 赳l a g e rc e n 廿e i pm u l t i c a s tb a s e do ns o c k e t st e c h n o l o g yh 船b e e n d e 印i yi n v e s t i g a t e d s o c k e t s e l e m e n th a sb c c n 蛆a l y s e d ，a i l d 口m u l t i c a s t p r o 班吼h a sb e e nr e a l i z e d l a y e r e d v i d e on o wo fm u l t i c a s th 船b e e nd e e p l yi n v e s t i g a t e dt o o ，n 蛆a i y s e s 【a y e r e dv i d e o p r o j e c to f c o d i n g 翘dd e s i 口强锄d v ea l g o 一血mb 硒eo nf h n 出 k e yw o r d ：s o c k 幽，d e s k t o pv i d e o c o n f b r c n c i n g ， m c u ，mm m t i c a s t l a y e 他d 、r i d e o 2 基于s o c k e t s 的桌面视频会望亟堕l ! 窒 第一章系统概述 近年来多媒体通信的发展非常迅速，以视频会议、可视电话、视频点播等为 代表的多媒体通信产品大量涌现，进入到社会生活的方方面面。 多媒体通信作为一种新型的通信业务是一种群体通信业务，目前大致可以分 为交互型业务和分配型业务两类。其特点是：业务多样性、一对多服务、以视频 交互业务为核心和跨网络的可操作性。 视频会议属于典型的交互式多媒体通信业务，可在同一传输媒介承载多种信 息媒体图像、语音、数据等，实现多个地点之间交互式通信。研究表明在 人们的日常工作生活中，有近一半以上的信息获取来自与视觉和听觉，因此在通 信中引入图象、声音等综合信息，将极大的丰富通信的内容、增强信息交流的效 果。作为一种通信手段，视频会议以其真实、高效、实时等优点更毹够增强通信 者之间的沟通。 1 1 视频会议系统定义 “视频会议系统”( v i d e o c o n f e r e n c i n g ) ，有时又被称为“电视会议系 统”。所谓的视频会议系统是指两个或两个以上不同地方的个人或群体，通过传 输线路及多媒体设备，将声音、影像及文件资料互传，达到即时且互动的沟通， 以完成会议目的之系统设备。 视频会议系统是集通信、计算机技术、微电子技术于一体的远程异地通信方 式，该系统是一种典型的图像通信。在通信的发送端，将图像和声音信号变成数 字化信号在接收端再把它重现为视觉、听觉可获取的信息，与电话会议相比， 具有直观性强，信息量大等特点。各个会场的终端通过通信网络互连，来接收其 它会场的图像和声音，同时向其它会场发送本会场的图像和声音。在多点r 两个 以上会场终端) 会议的情况下，出席会议的人员通过电视会议系统的多点控制单 元( m l l l 6 p o i tc o n 廿o lu i i i t 简称m c u ) 控制会议进程、随意浏览对方的会场、观看 会场全景或发言人的特写镜头、进行交谈商讨：视频会议系统不仅可以听到声 音，还可以看到会议参加者，共同面对商讨问题，研究图纸、实物，与真实的会 基于s o c k e 仨的桌面视频会议系统研究 议无异，使每一个与会者确有身临其境之感。这套系统还可以同时提供文件传 真、静止图文传递等一系列辅助服务项目，还可以广泛用于现场教学、商务谈判 等多种领域，如图1 1 。 1 2 视频会议的发展 图1 1 视频会议示意图 视频会议至今已有3 0 多年的历史了，其间经过了一个从模拟视频会议到专有 数字视频会议再到公共数字视频会议的发展过程。 最早的视频会议是采用模拟方式传输的，但由于在模拟微波( 或同轴电缆 等) 线路上传输一路模拟视频会议信号所需带宽为6 m h z ，相当于占用9 6 0 个电话 线路的带宽，在运营成本上是较昂贵的，因此其商业推广应用受到很大的限制。 8 0 年代以后，数字方式逐渐成为主流。随着近年来通信网络的数字化、超大 规模集成电路的飞跃发展，及以数字视频压缩技术为主导的多媒体信息技术迅猛 发展，各种速率( p 6 4 k b p s ，p = 1 3 0 为整数) 的产品纷纷推出，视频会议的实用 化日益显示出强劲的发展态势。 在视频会议的发展初期，各家制造商的编解码都采用自己的标准和算法，而 并没有一个可共同遵守的公共标准。这就给不同制造商的设备之间的互连互通造 成困难，影响了视频会议的实际应用发展。1 9 9 0 年i t u t l 3 2 0 标准的推出，为 结束这种混乱无序状态的开始。该标准对视频会议系统的性能指标、信息结构、 茎王! 箜! 堕笪塞亘塑塑金丛垂堑盟塞 控制命令、规程和组网原则做了完整的规定，还规定了编解码器的主要结构，同 时也规定了视频会议的信号的组成、数据结构，这一系列的标准的制定为各种产 品在网络上的互通提供了保证。如今各制造商都完全遵循同样的国际标准，视频 会议作为一种产业开始迅速发展。 当前视频会议发展的另一个新的趋势是遵循h ，3 2 3 协议的视频会议。h 3 2 3 协 议是r r u t 于1 9 9 6 年5 月制定的在分组交换网络上工作的视频会议的标准。分组 交换网络包括局域网、企业网、城域网、a t m 网、i i l t r a n e t 和h n l c t ，还包括遵 循分组交换协议如p p p 的p s t n 和i s d n 等。h 3 2 3 视频会议不仅可以利用已经有的 网络设施，而且可以利用网上( 尤其是i n t e m e t 上) 丰富的信息资源。h 3 2 3 视频 会议和h 3 2 0 视频会议的互连互通可以通过h 3 2 3 h 3 2 0 网关实现。 视频会议的末来发展可以划分为四股潮流。第一潮就是目前己投入使用、受 人喜爱的拨号组群电视会议。第二潮为基于i s d n 的桌面视频会议系统。另一个 潮流，也即中心潮流，是基于l a n 的产品。最后一个潮流是末来之潮，这个最大 的潮流就是m t e m e t 上的组播视频会议，尽管它也将是最有争议的潮流。 1 3 视频会议系统分类 视频会议系统作为目前最被看好的技术，对其进行科学的、系统的、全面的 分类是相当重要的，会对其发展起到巨大的推动和指导作用。可以从视频会议系 统通信网络、传输内容、终端配置以及媒体选择的不同，对其分类，下面将各种 分类方法作一简要描述。 1 3 1 从通信网络( 或传输介质) 角度 这是一种最直观，最简单也是最通用的分类方法。支持视频会议系统的通 信网络有很多，而且各种通信网络均有其各自独特的特性，从而导致了在不同 通信网络上视频会议系统设计和部署的差异性。包括现有的和未来的，通信网 络实际上有很多种，但从其结构的本质分，只有几种，即：通用电话网 ( p o t s ：p i a i n o l dt e l e p h o n es e r v i c e ) 、局域网( l a n ：l o c a la r e a n e t 、i i ，o r k ) 、综合业务数字网( i s d n ：l n 呦旧t 酣s e r v i sd i g i 协in e t w o 水) 、 了 垄王! ! ! ! 堕笪塞亘塑堑全丝丕堑堑塞 异步传输网( a t m 网络：a s y n c h r o n o u st 怕n s f e rm o d e ) 、因特网( i n t e m e t ) 。这 样就形成了5 种视频会议系统，即基于p o t s 、l a n 、l s d n 、a t m 、i n t e m e t 的 视频会议系统。 1 3 2 从传输内容角度 在实际的计算机会议系统中，根据不同程度的需求和目的，在网络中交互 的会议内容也有极大的差别，这样形成了计算机会议系统的几种不同形式：文 件会议、数据会议、可视会议系统、桌面视频会议系统。 文件会议( d o c u m e n tc o n 伦r e n c f n g ) ：与会者共享屏幕上的一个或多个窗 口，通过这些窗口交换信息。这样的窗口称为共享白板，用户在这个白板上进 行交互式的讨论或对文件进行修改等。文件会议系统可以传输图文，但不能传 递语音。数据会议( d a t ac o n f e r e n c i n g ) ：在文件会议系统的基础上，在相同 的通信线路上增加同时传送声音的功能，就成为数据会议。可视会议系统：在 数据会议系统基础上，再增加静态图像或准动态图像传输的功能，便构成了可 视会议系统。桌面视频会议系统( d e s j ( t 叩v i d e oc o n f e r e n c i n g ) ：桌面视频会 议系统，可以支持语音、视频、文本、图形等多种媒体，因此也称为多媒体会 议系统( m u i t i m e d i ac o n f e 陀n c es y s t e m ) 。桌面视频会议系统是视频会议系 统发展的方向。从狭义角度讲，前两种会议系统并不属于视频会议系统。在此 处这么处理的唯一目的是，使读者对视频会议系统结构有个更全面的了解和体 会。 1 3 - 3 从终端配置角度 为了同时且实时地提供每个与会者的活动情况，从终端角度可将视频会议 系统分为两种：多监视器系统( m u n j p | em o n i o r s ) 和多窗口系统( s j n g l e m o n i t o rs c n e e nw i t hs e g m e n t e dw i n d o 、s ) 多窗口系统只需要一个监视器，每个会议场点( c o n f e r e n c es i t e ) 的活动 情况只体现为一个窗口。这种系统的通讯硬件成本和处理设备成本比较低，网 络为每一次会议提供一个会议桥( c o n f e r e n b 喇g e ) ，该会议桥收集了从所 薹王塾! 墼垒塑塞亘塑堑金丛垂丝堑瑟 有会议场点发送的音频和视频信息，并混合音频信号，合成视频信号，然后再 将结果信号分发给每一个会议场点，由于有会议桥的存在，每个会议场点只需 一个输入通道( i n c o m i n gc h a n n e l ) 便可接收到所有与会者的信息并在本地场 点实时显示出来，不需进行复杂的视频和音频信号处理，从而降低了运行成 本。而多监视器系统则恰恰相反，不需要窗口技术，远端每一个会议场点的活 动情况在本地场点都体现为一个单独的监视器，而且还需要若干输入通道来接 收所有会议场点的活动信息，对视频、音频信号也要做较复杂的处理，不仅导 致了通信硬件成本和处理设备成本的增加，而且还显著地增加了运行成本。 1 3 4 从媒体选择角度 为了优化网络连接，从媒体选择角度，可将视频会议系统分为两类：媒体 可选系统( s e l e c c a b l em e d i ac o n f e 陀n c e ) 和媒体固定系统( c o m m o nm e d i a c o n f 色r e n c e ) 对于媒体可选系统，每一个与会者( 或会议场点) 均有权选择( 或授权选 择和限制) 在本地所需观察的特定场点的活动情况，这样，呈现在每个场点面 前的会议活动情况是不尽相同的。这种系统中，每个会议场点都需要一个特制 的输入通道来接收外来信息，而且会议桥必须有足够的处理能力( 或潜力) 为 每个会议场点处理各不相同的视频音频信息数据( 包括合成视频信号，混合音 频信号等功能) ；从而导致了成本的上升，但却明显地增加了灵活性，有利于 集中管理和授权控制，为各种存取保密、私有数据保密技术的实现提供了很强 的硬件和软件设计基础。而在媒体固定系统中，呈现在每个与会者面前的会议 活动情况都是相同的，园此，会议桥只须将合成的视频信号和音频信号多目 ( m u i l i c a s t i n g ) 发送给所有会议场点，比媒体可选系统需要更少的带宽便可完 成会议目的。虽然成本低，但灵活性很差，使各种保密技术的实现只能在高层 协议中完成，且使这种实现复杂化，难于维护和设计。 1 3 5 根据与会者参加的方式 9 茎王! ! ! ! 呈坚鲍塞亘塑塑盒丛丕筮堑塞 根据与会者参加的方式，视频会议系统可分为四种：单用户系统、拨号群 组系统、点到点系统和多点可视系统。此外，有时也将视频会议系统分为室内 型会议系统和桌上型会议系统，或分为预先安排型( p 陀s c h e d u i e d ) 和即时召 开型( o n d e m a n d ) ，等等。实际产品化的视频会议系统，是以上几种分类的 综合体，如拨号群组系统必须设计为“预先安排型”系统，否则无法工作。 1 4 国内外研究现状及水平 l 、会议系统 华为公司v i e wp o i n t 8 0 0 0 系列，包括v i e wp o i m 8 6 2 0 m c u 、v i e wp o i t 8 0 2 0 终端。 v i e wp o i n t 8 6 2 0 m c u 符合h 3 2 0 、t 1 2 0 标准支持6 4 个e l 、9 6 个v 3 5 终端或1 2 8 个i s d n 终端，支持混合方式，终端多画面和速率协议适配。 中兴公司z ) c 3 2 0 0 由硬件和软件两部分组成，配件完成网络接口，视音频处理，也提供e 1 、 v 3 5 、i s d n 接口，视频只切换，不作图像编解码处理。音频做到完全混音，软 件则完成会议控制及管理。 国外还有p i c t a r ct c i 、c l i 、g t 系公司产品。 特点：必须专用设备及技术实现视音频编解码，并通过专用m c u 实现多点 通信，价格高，对协作功能支持困难，难实现会议文档管理，优点是视音频质量 较好。 2 、桌面系统 h l t e r 的p r 0 s h a r e 、s u n 的s h o w m e 、s g i 的i i l p e r s o n 和a p p l e 的q u i c k t i i n e c o 血m c i n g 。大多实现视音频交互功能和电子白板、应用程序共享。 特点：采用开放技术和通用设备，利用已有的计算机通信网络来实现传输， 价格底。同时可利用通用桌面平台，实现数据协作及会议文档的生成管理。不足 在于视音频质量较差，一般只支持l a n 或i s d n 网络环境。 薹王! ! ! ! 堕笪塞亘塑塑全丝丕堕丛塞 第二章桌面视频会议系统的结构 针对现有桌面视频会议系统的采用开放技术和通用设备，利用已有的计算机 通信网络来实现传输，但视音频质量较差，一般只支持l a n 或i s d n 网络环境的 特点，利用s o c k e t 对多点通信支持的技术特点设计符合i t uh 3 2 3 标准，支持 t 1 2 0 数据会议，基于1 1 1 t e m e t 的视频会议系统。 2 1 桌面视频会议系统的网络结构 桌面视频会议系统由若干系统终端( 多媒体p c 机) 、网络( 比如i m e m e t ) 和 多点控制单元m c u ( m l l i m p o i n tc o n t r o iu n i t ) 组成，m c u 位于整个系统的中 心，每台系统端都通过m c u 实现相互之间的通信连接( 如图2 1 所示) 。 图2 1 桌面视频会议系统网络结构 系统终端是各用户参加视频会议的工具，系统终端通过网络与m c u 相连， m c u 要完成会议主席终端和其他终端之间信令以及多媒体数据的传输，它还负 责切换，混合来自各系统终端的多媒体数据，m c u 通常是安装在网络中某个节 点上的独立设备，价格较贵，而且需要单独地配置和维护，这使得很多购买了桌 面视频会议终端产品的用户只能够进行点对点的视频通信，阻碍了桌面视频会议 系统应用的迸一步推广。 羹王堡! 堂的塞亘堡塑金丛丕缍堑窒 随着p c 机处理多媒体数据的能力的增强，开发集成了m c u 功能的桌面视频 会议系统已经成为了可能，因此本课题主要研究通过软件实现m c u 功能的桌面 视频会议系统。 系统将会议终端和m c u 的功能集成在一起，可以方便地校园网或者公司内部 网上举行多点的视频会议，我校校园网的主干网的传输速率高达1 0 0 0 m b s ，主干 网连接的各局域网的传输速率为1 0 0 m b s ，同一网段的两台计算机之间的传输速 率为7 0 m b s 以上，即使是在跨网段的两台计算机之间，传输速率仍然可以达到 3 0 m b s 一5 0 0 k b s ，良好的网络带宽状况使得开展多媒体通信成为了可能。 2 2 系统功能定义 1 符合以下h 3 2 3 协议标准，支持t 1 2 0 协议的数据会议，如图2 2 。 喜婚使蟠 终靖 盘揖 奎角应角盘角 拄糕和管翌 0 1 lh 搿oh 搿0 h ：” 口? ：k 2 6 1 信号咩：i f控刮 【1 2 07 ：如h2 6 3n c pr a s 售谴信遭 旺? j量遵 4 b ：9 r f r p x 盐40 讶t 1 2 j 下可童恃精犯d 西可毫传赣汀c p l 同- 培呈n n 1 2 毪路屡 1 日舳2 3 ：3 琦理星f i e e e ：辩 图2 2h 3 2 3 协议标准 2 软件m c u 的方式在局域网环境下实现多点视频会议的功能，提供音、视频转 发。召开视频会议前，首先必须将参加会议的终端i p 地址输入到会议管理中 心( 可视为多点控制单元的一部分) 中管理。当有用户登陆进来，管理系统 自动核对其m 地址并予确认。m c u 可处理多个媒体流类型，处理视频的m p 能 够提供视频的切换和混合，处理音频的m p 能将发言人音频进行多播输出。 3 用户提供在低带宽条件下2 5 3 0 帧的质量视频图象及清晰同步的音频回放。 在网络环境理想的情况下，可实现3 0 帧秒的实时图像效果，一般情况下可实 基于s o c k e t s 的桌面视频会议系统婴塞 现2 0 帧，秒的实时图像效果。具有对远端及本端图象、声音进行动态设置的功 能，能以画中画和独立窗口的形式显示本端图象，实现对图象的任意缩放功 能。 4 支持共享白板、文字交谈、文件传输、应用共享。 5 采用主席控制方式召开会议，对申请参加者和中途退出者进行许可管理，对申 请发言及允许发言者进行切换管理，对不服从会议管理的参与者可强制拒绝。 6 提供主席动态设置功能，在会议主席离开会议的特殊情况下，由会议管理系统 启动一个主席代理程序，行使主席的相似功能，从而为会议正常进行提供了保 障。 7 结合办公自动化系统提供了一整套网上会议管理功能，支持会议的申请、预 约、查询、会议安排等功能，对会议参加人员进行注册和安全管理。 8 m c u 对发言者音频和视频数据进行实时压缩和存储，并由会议管理子系统提 供视频文件的编辑、分类、检索服务。以便日后需要的时候，可以通过视频点 播系统进行点播和观看。 9 终端应用程序对发言人音频提供实时语音识别处理，并在会议结束时提交给 m c u ：据此自动生成会议纪要。 1 0 m c u 系统最大可同时接入4 8 个网络视频终端，并具有良好的伸缩性能。 薹王! 堡! 苎兰笪塞亘塑塑金丛丕堑盟窒 2 3 桌面视频会议的主要流程图 桌面视频会议的主要流程如图2 3 。 显 a 开 会 主不会会会议 结 议 斗 席 斗 到议议议文 报就 a斗 斗+ + 始 开进结档 到 位人始行柬处 柬 贝 理 图2 3 桌面视频会议的主要流程图 1 4 茎王堕! 堂笪塞亘塑墅垒丝丕丝塾基 第三章桌面视频会议系统的m c u 随着p c 机处理多媒体数据的能力的增强，用软件实现m c u 的功能，开发集 成了m c u 功能桌面视频会议系统已经成为可能。 3 1 桌面视频会议系统m c u 主要任务 在桌面视频会议系统，m c u 主要要完成两个任务： 媒体流的控制。m c u 将来自各会议场点的信息流，经过同步分离后，抽取出 音频、视频、数据等信息和信令，再将各会议场点的信息和信令，送入同一种处 理模块，完成相应的音频混合或切换、视频混合或切换、数据广播和路由选择、 定时和会议控制等过程，最后将各会议场点所需的各种信息重新组合起来，送往 各相应的终端系统设备。m c u 还有自动统一传输速率的功能，同一次会议的所有 终端系统应该工作在同一速率上，如果与它连接的终端系统速率不一致，它会自 动选择所有终端系统的最低速率为工作速率。 会议管理。实现和所有系统终端之间的多媒体实时通信，由发起会议的系统 终端( 会议主席终端) 来完成m c u 的功能，因此系统中的m c u 只需要完成和其 他参加视频会议的其他终端( 与会终端) 之间的多媒体实时通信。 3 2m c u 和各系统终端之间的多媒体实时通信 3 2 1m c u 和各系统终端之间多点数据连接的建立 在桌面视频会议系统中，一个很重要的问题是如何建立m c u 到多个系统终端 的数据连接。目前可以有三种方法来实现一点到多点的数据连接：在网络上广播 数据包( b r o a d c 蠲t ) ；用多个点对点的数据连接来实现一点到多点的数据通信 ( u n i c a s t ) ；使用口多目地址广播( m u m c a 5 t ) 。 基于s o c k e t s f f q 桌面视频会议系统研究 通过在网络上广播数据包来实现多点通信的办法是简单，但是网络上的所有 计算机都必须接收广播数据，因此这种办法会对网络造成很大的压力，不适合于 传输实时多媒体信息。 用多个点对点的数据连接来实现一点到多点的数据通信的办法，在采用电路 交换技术的网络( 例如i s d n ) 应用比较广泛，在i n t e m e t 中，也可以使用多个 t c p 连接或者多个u d p 连接来实现多点的数据通信，这种办法要在m c u 所在的网 络上多次传输同一数据，对网终带宽的利用率不高，从而使参加视频会议的系统 终端的数量受到了一定限制。 和前两种方法相比，i p 多目地址广播是一种功能很强的数据传输方式。一方 面，它和普遍广播方式一样，发送数据的一方只需要发送一次数据。另一方面， 它和普遍广播方式又有很大差别，在碑多目地址广播中，只有那些同意收数据 ( 加入了多目地址广播会话组) 的计算机才会接收到广播的数据。显然，口多目 地址广播可以节约网络带宽提高网络效率，是网络多媒体消息传输的较好解决 方案。 3 2 2 点到点多媒体实时通信的实现 在w i m d o w s 系统中，网络通信可以通过w i n s o c k 接口来实现，应用程序使用 w i i l s o c k 接口实现相互之间的通信，w i n s o c k 又利用下层的网络通讯协议协功能和 操作系统调用来实现实际的通信工作。在w i i l s o c k 中，网络通信的基础是套接口 ( s o c k e t ) ，套接口是网络通信中的一个端点。 在桌面视频会议系统中，m c u 要实现多点多媒体实时通信，各系统终端要实 现点到点多媒体实时通信，点到点多媒体实时通信是多点多媒体实时通信的基础。 为了简化数据传输控制，系统终端和m c u 之间的数据连接用两条s o c k e t 连接 来实现，一条s o c k e t 连接负责将多媒体数据从系统终端发向m c u ，另一条s o c k e t 连接负责接收m c u 发来的多媒体数据。在桌面视频会议中，采用多线程技术， 每个s o c k e t 连接都有一个相应的数据传输线程来管理该连接的数据传输。这样每 个系统终端都有两个线程专门用于传输多媒体数据，系统终端的主线程采集到多 媒体数据以后，将数据交给数据发送线程，由数据发送线程将数据传送给 m c u ，使用一个数据队列来实现系统终端的主线程和数据发送线程之间的通 薹王! ! 堕垒笪塞亘塑塑盒丝丕丝堑基 信。主线程将采集到的多媒体数据封装以后加进数据队列，数据发送线程从数据 队列中取出数据发送出去。 由于【n t c i t l c t 不能够向应用程序提供固定的网络带宽，因此在桌面视频会议系 统中，必须根据网络的带宽状况动态调整发送的多媒体数据的数据量。考虑到桌 面视频会议系统对音频数据传输质量的要求比较高，音频数据不能够丢失，因此 流量控制策略应该是优先保证音频数据的传输，合理舍弃视频数据。 通过限定数据队列中的视频帧数来实现上述的流量控制策略。系统终端采集 到一峻视频数据时根据数据队列中等待发送的视频数据的帧数来作决定，如果此 时等待发送的视频数据的帧数还没有达到了规定的上限，就可以将刚采集到的视 频数据封装到后加进数据队列，否则要予以丢弃。 按上述策略，在网络带宽状况较好的时候，系统终端可以将采集到的视频数 据全部发送出去，m c u 就可以接收到质量较好的视频数据。网络带宽状况越 差，系统终端发送出去的视频数据就越少，因此m c u 接收的视频数据的质量就 越差。如果即使所有的视频数据都被丢弃仍然无法保证音频数据的实时传输，视 频会议就无法继续进行下去，只能够停止。 由于在数据队列中采用了上述简单而有效的流量控制策略，能够根据网络带 宽状况自适应地调整系统终端发送的多媒体数据的数据量，既保证视频会议能够 顺利进行，也在一定程序上降低了应用程序对网络的压力，提高了网络资源的利 用率。 3 2 3 一点到多点多媒体实时通信的实现 在传统的网络应用中，一般来说，一个发送者对应一个接收者。源i p ( i n t e m e tp m t o c o l ，网际协议) 主机向指定的目标碑主机发送信息包，这种通信方 式称为单路广播。当客户数目增加时，服务器必须向每一个客户发送它们自己申 请数据报拷贝，这样服务器负载就会加重。比起m 单播来，m 多播的优势是明显 的，它实现了一个发送者对应多个接收者或多个发送者对应多个接收者。在一对 多点方式中，发送者仅向一个组地址发送信息，接收者只要加入该组就可以接收 信息，所有的接收者的是同一个数据流，这就有效地解决了发送者的c p u 负担和 网络通信的负担。 堇至! 塑堑垒笪塞亘塑塑盒丝墨堑堑壅 i p 多播地址也称作组地址，采用的是d 类碑地址。在点分十进制表达中，地 址范围为2 2 4 o 0 ，o 到2 3 9 2 5 5 2 5 5 2 5 5 。其中有一些地址是指定的，如2 2 4 o 0 1 指 定为子网内的全部主机、2 2 40 0 2 指定为子网内所有路由器、2 2 4 o o o 到 2 2 4 0 ，0 2 5 5 被保留用作多播路由信息等。 在m 包头部有一个t 1 l ( t i m et ol i r e ，生存期) 域，可用来限制多播数据 报( d a 协g 眦s ) 的范围。r r l 的值表示数据报可以被路由器转发的次数，路由 器每进行一次转发，就将m 的值减l ，如果t t l 值减少到o ，则该数据报不会再 传递下去。换句话说，即若一个端点加入多播组，便会同时指定一个t t l 参数， 通过该参数，我们便知道对于在端点机器上运行的多播应用程序来说，为了收发 数据，中途需要经历多少个路由器。这样做可解决数据报在网络上的无限期存活 问题。 多播返还( m u l t i c a s tl o o p b a c k ) 是指这样一种情况，即一个多播数据报要 发送到一个多播组。与此同时，发送者本身也属于这个多播组。这样，复制的数 据报会返还给自己。 为了实现多播传送，需设计一种方法以允许主机通知其他主机有关该组的 成员关系和成员状态的信息，以及记录多播组中有那些主机及主机的添加删除情 况，这些管理工作是通过i g m p ( i t e m e tg t o u pm a n a g e m e n tp r o t o c o l ，i n t e m e t 组 管理协议) 来实现的。 一般来说，发送多播口数据报比较容易，只需在i p 头部设置正确的主机组地 址，然后多播数据按普通的i p 数据报发送操作方式发送出去。相对而言，接收过 程比较复杂。为了接收某个口多播数据报，应用程序需先申请加入特定的主机 组。加入多播组后，需向本地网络的每一个路由器都发送一条i g m p 消息。其中 使用特殊地址2 2 4 o o 2 。根据通信需要指定发送分组的生存期( 丁r l ) 。 3 3 来自不同系统终端的多媒体数据的切换 会议主席终端在视频会议进行的过程中可以根据其他与会终端的申请或者会 议的实际情况来决定将会议发言方从一个终端切换到另一个终端，m c u 接到会 议主席终端的命令后会向其他与会终端发送切换发言方的通知消息。 基于s o c k e t s 的桌面视频会议系统哑究 原来的发言方接收到切换发言方的通知消息以后会停止采集多媒体数据，新 的发言方接收到切换发言方的通知消息以后会开始采集多媒体数据。在i n t e m e t 上，数据的传输都有了一定的延迟，因此交换也需要加以控制，否则其他的系统 终端就有可能接收到来自两个系统终端的多媒体数据，导致回放模块不能够正常 工作。 为了解决切换发言方时的数据同步问题，引入被称为数据流切换标志的一种 特殊数据。原来的发言方接收到切换发言方的通知消息以后停止采集多媒体数 据，在清空了本终端的多媒体数据发送队列中的多媒体数据以后在数据队列中加 进数据流切换标志数据。新的发言方接收到数据流切换标志数据以后才开始采集 本终端的多媒体数据。所有的数据都要经过m c u 的转发，因此其他的系统终端 是在收到数据流切换标志数据以后才接收到来自新的发言方的数据，这样就实现 了数据同步。 3 4m c u 软件结构 采用v c 作为开发平台，以上述策略为核心开发桌面视频会议系统软件，软件 结构如图3 1 。 3 4 1 会议处理模块 图3 1m c u 软件结构 会议处理模块主要处理视频交换、多画面合成、音频编解码、音频协议适配 和混音等功能。 1 9 基至! ! ! ! 堕丝塞亘堡塑盒丝墨堕堑窒 语音处理包括混音和语音编解码处理等部分，处理r t p 包的接收、解包、丢 包计算和统计、打包、发送，语音模块主要完成音频数据的转发、混音表的转 发、音频协议转发。 3 4 2 会议控制模块 控制模块包括会议控制、管理、网络交通情况监视和网络服务质量控制和 h 3 2 3 信令处理部分，具体实现下列功能： 会议资源管理：为每个召开的会议会场分配资源：完成节点呼入呼出，入 会离会的处理流程； 会议状态管理：管理和维护中每个会议的状态，状态包括自由讨论、主席广 播、选择观看等： 会议控制信令处理：在会议中对各种会议控制命令进行处理，如主席控制命 令； l 3 2 3 信令处理：包括r a s 、q 9 31 和h 2 4 5 信令的处理。 1 接入控制 f 1 ) 注册 视频系统使用m c u 进行管理，节点在呼叫前必须注册。m c u 的一个重要功 能就是实现对 l 3 2 3 终端的接入控制，m c u 可以设置只允许经过预定义的节点注 册，节点通过r r q 消息向m c u 请求注册，m c u 收到r r q 消息后，基于一定的策 略( 如当前节点是否处于受限网段、当前注册节点数是否超过m c u 的最大注册 容量等) 决定是否接受注册，如果接受则发送r c f 消息给请求节点，同时在m c u 地址信息表更新该节点为“在线”状态；如果不接受则发送r j u 消息给请求节点。 ( 2 ) 呼叫建立 节点注册后才能发起呼叫，呼叫信令消息有两种传送方式，由m c u 可选择 任一种呼叫方式： m c u 转发呼叫信令，呼叫信令消息由m c u 在两节点之间转发； 节点直接呼叫信令，呼叫信令在节点间直接传送。 2 0 薹王i 塑! 堂盟皇亘塑塑金丝丕堑婴签 ( 3 ) 节点呼叫流程 节点呼叫流程按是否都未在m c u 上注册、是否一个在m c u 上注册一个未注 册、是否都在m c u 上注册、是否位于同一个区域、是否使用m c u 强制路由等来 区分不同的呼叫建立流程， 2 网段限制 一个m c u 管理的区域往往是由很多网段组成的，系统管理员可以通过在 m c u 的“网段限制”功能添加网段，m c u 将禁止该网段内的节点使用m c u 。 例如：m c u 有一限制网段属性为：网段i p 为“l o 7 6 2 2 8 ”，子网掩码为 2 5 5 2 5 5 2 5 2 o ”，其中有节点口地址为“1 0 7 6 2 3 5 5 ”向m c u 发起注册请求，m c u 首先判断该节点的i p 是否处于限制网段内，判断方法为： 因节点疋同子网掩码相与， ( 1 0 7 6 2 3 5 5 ) n ( 2 5 5 2 5 5 2 5 2 o ) = 1 0 7 6 2 0 o 因网段田同子网掩码相与，( 1 0 7 6 2 2 8 ) n ( 2 5 5 2 5 5 2 5 2 ，o ) = l o 7 6 2 0 o 园比较两次相与的结果是否相等，相等则处于限制网段，不能注册，本例两次 相与结果相等，m c u 判断该节点位于限制网段内，不能注册。 3 动态节点鉴权 动态注册的节点必须在m c u 上进行预定义，预定义时将节点的i p 地址设置为 0 o 0 0 ，节点名称和节点号码将作为鉴权信息。当m c u 接收到节点的动态注册请 求后，m c u 将i 认s 信令中的动态节点名称、节点号码分别同预定义时指定的节 点名称、号码进行验证，只有验证完全正常后m c u 才接受节点的注册请求。 4 日志管理 日志信息记录了所有的r a s 消息和运行错误。通过日志信息可查看节点的注 册、呼叫记录，方便分析、定位和解决问题。 5 、终端会议控制 支持h 3 2 3 终端主席会议控制，实现广播会场、远端闭音，取消闭音、远端静 音取消静音、点名发言、自由讨论、允许申请发言、增加会场、断开会场、设 置多画面、结束会议功能。通过控制软件进行终端会议控制过程如图3 2 所示。 董王! ! 鲢垡笪塞亘塑塑盒堡丕堕婴塞 一 会议控制 m c u终端 图3 2 会议控制软件会议控制过程 薹王! ! k 曼! 兰笪塞亘塑塑盒丛丕笙盟塞 第四章桌面视频会议终端 桌面视频会议终端主要完成视频、音频编码解码工作。同时终端之间数据协 作是视频会议顺利召开的重要组成。 4 1 终端系统结构 终端系统实际上代表视频会议中的本地会议场点，其结构图如图4 1 所示，主 要包括以下几部分。 l 视频输入设备斗| 视额一l l 媳码一广一 j 厂鼋暖蕊面酾i j - 一群勰一广一 多一 路一用户一 n 两丽天面爵_ 卜厂吾丽 复。 和， i 编码一k r 面n用一网络一 n 蓟虱酝吾夏吾= h 解码蓦一l一 = 一一 和_拇口一 厂蔼面萄爵 厂i 趸= d j 设备一 广 协议p 广一 解一 i - - - ，- - - - - 一_ - - - - - - - - - - - - - - - - _ 一 厂i 1 订广蠹百胡 复一 用一 控制一广1 协议一广一 通信 网络 信道 图4 1 终端系统结构 1 视频输入输出设备 ( 1 ) 视频输入设备 视频输入设备采集的各种视频信号都须经过视频输入口，将视频信号( 模拟 或数字) 送入视频编码器内进行处理( 变换、压缩等) 。视频输入设备包括摄像机 及录像机。摄像机主要有主摄像机、辅助摄像机和图文摄像机。其中，主摄像机 主要用来摄取发言人的特写镜头，但主摄像机可被控制转动，这种控制可以是手 动的，也可以是自动的。手动方式主要由参加会议人员通过控制器，控制摄像机 上下、左右转动以及焦距的调节，也可以控制对方会场的主摄像机的转动。自动 方式涉及到摄像头方向性的技术问题，可以加入声学扫描技术，用数字信号处理 方法将发言者的声音叠加起来，形成一个很窄的声波，再自动调整摄像头对准本 会议场点发言者，如果没有太大干扰，反应速度是比较满意的。辅助摄像机主要 薹王! ! ! ! 坐笪塞亘塑筮金丛丕堕丛塞 用来摄取会场全景图像，或不同角度的部分场面镜头，或摄取白板上的内容。辅 助摄像机主要由人工操作控制，属于手动方式。图摄像机一般固定在某一特定位 置，用来摄取文件、图表等，其焦距己事先调整好。录像机可播放事先录制好的 活动和静止图像。小型视频会议系统一般只采用主摄像机。主摄像机镜头一般采 用2 5 万点像素或3 0 万像素的分辨率；体积较小，易于安装。辅助摄像机可以选择 广角镜头、特殊监控镜头等。 ( 2 ) 视频输出设备 视频输出设备包括监视器、投影机、电视墙、多画面、视频处理器等。监视 器用于显示接收的图像：会议人数较多时，可采用投影机或电视墙。为了在监视 器上既可以显示其它会议场点的图像，同时又可以显示本会议场点的画面，一般 采用多窗口系统，每个会议场点的情况在屏幕上只表现为一个窗口，并且可以允 许这种窗口随意放大缩小，而不失真。 2 音频输入输出