（计算机应用技术专业论文）基于linux具有自主控制能力的mcu.pdf

摘要 摘要 随着网络和多媒体技术的发展，视频会议系统的应用越来越广泛，加入会议的终 端越来越多，m c u 的容量越来越大，在一个m c u 上可以承载几十个甚至上百个独立会 议，且每一组会议都有为数不等的与会终端，有各自不同的会议进程和控制要求。由 一个管理员同时管理和控制如此多的会议是不可能的。而且这种传统视频会议管理方 式不能满足一些新的需求，例如：通过终端实现呼p q 挂断会议、请求发言、申请主 席、分屏模式切换、主席指定某终端发言等功能；在多分屏工作模式下，实现远程摄 像机控制和切换多画面等功能。为此作者采用一种新的视频会议控制方式：m c u 的自 主控制【1 2 1 。 自主控制就是会议终端通过遥控器向m c u 发送组合键参与会议控制的一种视频 会议控制方法，即在视频会议终端和m c u 之间利用h 2 8 1 远端摄像机控制功能完成终 端对m c u 的自主控制。这种模式通过远程摄像机控制消息，在终端之间传输用户申请 信息。任一个与会成员身份的改变，首先必须向主席提出申请，经主席同意后，m c u 自动完成具体的切换动作，包括用户身份的改变和音视频流转发逻辑的改变。这种模 式无需管理员对会议进行实时管理，由与会者通过协商来完成，更接近实际会议的需 求，在今后的视频会议中将得到广泛的应用。 本文首先介绍了视频会议系统的一些基本知识，包括分类、组成、发展现状等， 对i t u th 3 2 3 多点视频会议系统及相关模块的设计和实现进行了探讨。其次优化了 o p e n h 3 2 3 协议栈，在l i n u x 操作系统上实现了传统m c u 的所有功能，并且给出了测试 结果。在此基础之上，本文对现有的m c u 结构进行了改进，提出了一种具有自主控制 能力的m c u 模块结构，通过引入m a c ( m c ua u t o n o m o u sc o n t r 0 1 ) 模块，解决了已有 的m c u 程序中m c 和m p 的功能可扩展性问题，从而实现了视频会议中各终端之间的自 主控制功能。 最后，对本文所做的工作进行了总结；指出了视频会议系统功能的可改进之处并 给出了建议；对视频会议系统的发展进行了总结和展望。 关键词：视频会议；m c u ；a 3 2 3 协议：自主控制 a b s t r a c t a st h ed e v e l o p m e n to fi n t e r n e ta n dm u l t i m e d i at e c h n o l o g y , t h ev i d e oc o n f e r e n c e s y s t e mi sa p p l i e dm o r ea n dm o r ew i d e l y , t h en u m b e ro fe n d p o i n t sc o n n e c t e dt ot h em c u a n dt h em c u c a p a c i t ya r eg e t t i n gm o r ea n dm o r eb i g e r am c uc a nh o l dd o z e n se v e n h u n d r e d so fc o n f e r e n c e s e v e r yc o n f e r e n c eh a sd i f f e r e n tn u m b e r so fe n d p o i n t s ，c o n f e r e n c e p r o c e s s e sa n dc o n t r o ld e m o n d s 1 1 1 et r a d i t i o n a lm a n a g e m e n tm e t h o di si m p o s s i b l e c o n t r o l l i n gs om a n ye n d p o i n t so nam c u f u r t h e rm o r e ，t h eo l dm e t h o dc a l ln o tm e e ts o m e n e wr e q u i r e m e n t s f o re x a m p l e ：t h ee n d p o i n tc a l l i n g h u n g i n gu pc o n f e r e n c e ，a p p l y i n gt o s p e a k , a p p l yt ob ec h a i r m a n ，c h a j l q l l a na s kaa u d i e n c et os p e a k ；u n d e rt h e m u l t i s c r e e n m o d e f a re n dc a m e r ac o n t r o l l i n ga n dm u l t i s c r e e nm o d es w i t c h i n ga n ds oo n b u tag e n e r a l a u d i e n c ei sn o ta u t h o r i z e dt oa c c e s sa n dc o n t r o lt h em c u b e c a u s em c ui sah i g hl e v e l e q u i p m e n ti nt e l e c o n m m u n i c a t i o n s ot h ep a p e rp r o p o s e dan e wk i n do fm a n a g e m e n t m e t h o d 叫m o n o m o u sc o n t r o lm a n a g e m e n t a m o n o m o u sc o n t r o lm o d ei sav i d e oc o n f e r e n c em a n a g e m e n tm e t h o dw h i c hm e a n st o m a n a g et h ec o n f e r e n c eb ys e n d i n gf a re n d p o i n tc a m e r ac o n t r o lc e l l st om c ub y e n d p o i n t s t 1 1 i sk i n do fc o n t r o lm o d ei sm a i n l yu s i n gt h eh 2 81f u n c t i o n , t r a n s m i t i n gu s e r s a p p l yi n f o r m a t i o nb e t w e e nu s e r s m c ua u t o m a t i c l yp r o c e s se v e r yi d e n t i t ys w i c h i n g a c t i o n ；v i d e o a u d i ot r a n s m i t i n gl o g i c t l l i sk i n do fc o n t r o lm o d ed o n tn e e dam a n a g e r a n y m o r e ，i ti sm o r ec o n v e n i e n tf o rt h ec o n f e r e n c ep a t i c i p a t e r st os a t i s f yt h e i rr e q u i r e m e n t s a t 伍s t ，t h ep a p e l i n t r o d u c e ds o m eb a s i ck n o w l e d g eo fv i d e oc o n f e r e n c e i n g s y s t e m , i n c l u d i n gc l a s s i f y i n g ，c o m p o n e n t s ，d e v e l o p i n gs i t u a t i o na n ds oo n ，n l ed e s i g na n d i m p l e m e n t o fi t u th 3 2 3m u l t i m e d i a a p p l i c a t i o ns y s t e m i sd i s c u s s e di nt h e t h e s i s s e c o n d l y , i to p t i m i z e do p e n h 3 2 3p r o t o c o l s ，i m p l e m e n t e d a l lf u n c t i o n so ft h e t r a d i t i 锄m c u a n da l s og i v e dt h et e s t i n gr e s u l t s t h ep a p e ra l s or a i s e dan e wc o n s t r u c t i o no f m c u t h a ti n c l u d i n gam o d u l en a m e dm a c ( m c ua u t o n o m o u sc o n t r 0 1 ) m o d u l e , t h e f u n c t i o no ft h i sm o d u l ei st oi m p l e m e n tt h ea u t o n o m o u sc o n t r o lf u n c t i o n a tl a s t ，d i s c u s s e dt h ee x p a n t i o no ft h es y s t e mf u n c t i o n s ，a n dg i v e ds o m es u g g e s t i o n s a b o u tt h es y s t e mi m p r o v e m e n t sa n da l s og i v e sao u t l o o ka n dc o n c l u s i o no fv i d e o c o n f e r e n c ed e v e l o p m e n t s t h ec o n t e n to ft h i sp a p e rk e 印u p 、7 l ，i t ht h ed e v e l o p m e n to f s c i e n c ea n dt e c h n o l o g ya n di tc o n t a i n ss o m ei n n o v a t i o ni d e a sa n dp r a c t i c a lv a l u e s k e yw o r d s ：v i d e oc o n f e r e n c e ；m c u ；h 3 2 3p r o t o c o l ；a u t o n o m o u sc o n t r o l i 学位论文原创性声明 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所呈交的论文是本人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和 致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含本人已用于其他学位申请的论文或成果。与我一同工作的同志对本研究所做的任 何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：曲! 一勇日期：2 竺芝年。生月日 西安邮电学院 学位论文知识产权声明 本人完全了解西安邮电学院有关保留和使用学位论文的规定，即：研究生在校攻 读学位期间论文工作的知识产权单位属西安邮电学院。学校有权保留并向国家有关部 门或机构送交论文的复印件和电子版。本人允许论文被查阅和借阅。学校可以将本学 位论文全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复印 手段保存和汇编本学位论文。同时本人保证，毕业后结合学位论文研究课题再撰写的 文章一律署名单位为西安邮电学院。 本人签名： 导师签名：易强怕 ， f 日期：三丝生年乙月丝日 第一章绪论 第一章绪论 1 1 视频会议系统概述 随着网络技术的发展和多媒体技术的崛起，视频会议系统得到越来越广泛的应 用，它对于召开重要的会议，及时作出重要决策、发布重要消息和提高工作效率等有 着重要的价值和意义。i p 网络的特点和强劲的发展势头让人们相信它将成为通信网 络的主流技术，所以基于i p 网络的视频会议系统的研究和开发得到了迅速的发展。 国际电信联盟( i t u - t ) 制订了基于分组网络的多媒体通信系统标准_ h 3 2 3 标准，i p 网络视频会议系统遵从i t u - th 3 2 3 标准。 1 1 1 视频会议系统概念 视频会议( v i d e oc o n f e r e n c e ) 亦称会议电视，是一种使用专门的视频设备实现 电子会议的一种模式，是利用计算机技术和通信设备通过传输信道在两点或多个地点 之间建立可视多媒体通信，实现图像、语音及数据交流的一种会议形式。它是通过网 络在两点或多点之间交互传输视频、音频和数据来实现远距离用户“面对面 的沟通 与信息共享。 参与会议的每个会议成员对应一个会场，每个会场放置一台视频会议终端。视频 会议终端负责对会场内的声音和图像进行采集并进行相关的编码处理，传输给对方的 终端或者视频会议中心的多点控制单元( m u l t i p o i n tc o n t r o lu n i t ，m c u ) l l j ，同 时接收对方的音视频数据，解码后显示异地会场的图像，并且播放相关的声音。 进行多个会场同时参与的会议，需要在网络结点处放置一台处理多点连接和媒体 流的m c u 设备。参与会议的所有会场都与m c u 建立连接，每个会场的声音和图像都传 输到m c u ，m c u 根据当前会议的状态，对相应的图像和声音进行合成和处理，然后发 送给参与会议的每个会场。因此，m c u 是多会场视频会议的核心设备，它负责管理和 维护每一个分会场的信息。当参与视频会议分会场增加，一个m c u 无法同时处理所有 会场的同时接入时，可将多个m c u 进行级联来完成视频会议的扩展，各级m c u 之间相 互协调来保证整个会议的正常运行。 1 1 2 视频会议系统分类 视频会议系统有多种分类方法： 根据可同时参加会议的终端数目的不同，视频会议系统可分为点对点会议系统和 西安邮电学院硕士学位论文 多点会议系统两类。点对点系统只限于两点间交换信息，实际上它不是一个真正的会 议系统，只是一个最简单的原型。多点系统允许同时有三个或三个以上的终端参加会 议，其结构比点对点系统复杂得多，在软硬件方面都有特殊的要求。 根据应用环境的不同，视频会议系统分为面向群体的会议室型视频会议系统和面 向个人的桌面型视频会议系统。前者有专用会议室和设备，因此其图像质量等指标能 达到较高水平，但灵活性较差。后者是以桌面型计算机为核心的一台会议电视终端， 其软硬件环境不可能象会议室那样有专门的要求，因此其图像、声音质量不如第一类 系统好。然而由于计算机的智能性和配置的灵活性，使用起来更方便、灵活。 根据使用的技术方法，视频会议系统可分为基于线路和基于分组两种模式。基于 线路的视频会议系统产生于8 0 年代初，它运行在能保证一定比特率的网络上( 如电 话网和n - i s d n ) ，其代表为基于i s d n 的h 3 2 0 视频会议系统。这种会议系统技术现 已相当成熟，由于运营成本太高，这种都运行在n i s d n 上的视频会议系统逐渐被淘 汰。基于分组的会议模式出现于9 0 年代初期，该模式的系统运行在有足够比特率的 局域网或广域网上，这些网络大多运行t c p i p 协议，因此又称其为i p 视频会议系统， 其典型代表为定义了在无服务质量保证( q o s ) 的局域网( l a n ) 上进行多媒体通信的 h 3 2 3 标准。它代表着当前视频会议系统的发展趋势。 1 1 3 视频会议发展状况 视频会议系统的历史可追溯到本世纪6 0 年代初，当时美国电报电话公司【a t & t 公司曾推出过模拟视讯会议系统 p i c t u r e p h o n e 。 进入7 0 年代以来，由于视频会议相关技术领域的长足进步，最主要是数字式传 输的出现，传统视频会议系统所用模拟信号的采样或传输方法也得到极大的改善，数 字信号处理技术开始走向成熟。从总体看，7 0 年代视频会议系统的发展处于相对平 静的时期，但视频会议系统的研究工作并未中断。 进入8 0 年代中期，通信科技发展迅猛，编码和信息压缩技术的发展，使得视频 会议设备的实用性大为提高。但此时的视频会议系统由于价格和技术的因素，仍只限 于高档的会议室视频会议系统的应用，从而限制了视讯会议系统的进一步普及。 9 0 年代初期，第一套国际标准h 3 2 0 获得通过，不同品牌产品之间的兼容性问 题得到解决。配合h 2 6 1 视频压缩集成电路技术的开发，视频会议系统也有朝小型化 发展的趋势。在1 9 9 2 1 9 9 5 年期间，中小型视频会议系统成为视频会议应用中的主要 产品。视频会议系统在9 0 年代中期的另一个发展趋势为桌上型产品开始成熟。 9 0 年代后期，随着d 网络迅速发展和普及，人们对视频业务的需求量急剧增加， 这促进了视频会议标准的形成和视频会议产品的发展。基于m 网络的h 3 2 3 标准视 2 第一章绪论 频会议系统已经成为目前主流的视频会议产品。从大型会议室视频系统到桌面型视频 会议系统，从嵌入式产品到p c 机上软件产品，应有尽有。 尤其是美国“9 1 1 和s a r s 事件后，人们更加认识到视频会议产品的重要性， 使得全球视频会议产品的销售量以平均每年2 9 年平均增长率增长。同时，视频厂商 之间的竞争也更为激烈，除了压低成本和降低价格外，各大厂商纷纷加大科研力量， 来提高视频图像质量，减少传输带宽，增加系统功能，提高系统稳定性等等。 1 2 视频会议的自主控制 1 2 1 自主控制模式背景及简介 随着视频会议技术的发展，会议规模越来越大、参与的终端越来越多，m c u 的容 量越来越大，在一个m c u 上可能承载十几到几十个甚至几百个独立会议，而每一组会 议都有为数不等的与会终端，有各自的会议进程和不同的控制要求。在这种情况下， 由一个管理员同时管理和控制如此多的会议是不合适，也是不可能的。管理员无法记 住所有终端所在地，也无法得到终端用户对会议的需求，例如：一般听众想发言，他 又无法通知管理员改变自己身份；会议主席想指定某一终端发言但是无法通知管理 员。 在多点视频会议中经常会有通过终端实现呼n q 挂断、请求发言、申请主席、分 屏模式切换、主席指定某终端发言或指定下一轮主席等功能需求，以及在多分屏工作 模式下，如何实现远程摄像机控制和切换多画面等功能需求。所以单纯依靠视频终端 本身已有的远程摄像机控制功能已经远远不能满足新一代视频会议系统的需求，迫切 需要一种在终端一侧能够由用户自己发起会议、组织会议和管理会议的方法，而不是 由会议管理员在后台通过m c u 管理界面操作和管理会议。 m c u 是多点视频会议的核心设备，直接由终端用户通过w e b 和专用客户端界面访 问和操作m c u 是不合适的，存在安全隐患。 为此作者基于专利一种基于远程摄像机遥控功能的视频会议自主控制的方法 提出在l i n u x 上实现具有自主控制功能的m c u 。简洁地说：自主控制就是会议终端通 过遥控器向m c u 发送组合键参与会议控制的一种视频会议控制方法。即在视频会议终 端和m c u 之间利用h 2 8 1 远端摄像机控制功能完成终端对m c u 的自主控制。 具有自主控制能力的m c u 捕获每个与会终端发来的远程摄像机控制消息，并动态 生成与控制要求相关的控制字幕菜单字幕，将该控制菜单以半透明字幕的方式与发往 相应目的终端的视频流相叠加，并采用常用的视频编解码器( i t u - th 2 6 1 、h 2 6 3 、 h 2 6 3 + 、h 2 6 4 等) 其进行编码。当终端接收到m c u 发来的编码视频流后，按照既定 西安邮电学院硕士学位论文 的视频编解码格式对其解码，控制字幕以透明的方式被叠加在原有的视频图像上，与 动态的视频图像组成一个完整的视频图像，目的终端依据视频图像上的控制字幕提示 做出选择，并将该信息发送到m c u 上，从而利用远程摄像机控制协议在m c u 上实现多 项会议自主控制功能。 现在视频会议终端都具有远程摄像机控制功能，在终端遥控器上设置有开始远程 控制键“f a r ，上移键“f 一，下移键“i ，左移键“一 ，右移键“一 ，远程控 制结束键“n e a r ，镜头缩放功能键“z o o m + ，z o o m 一。 终端发送自主控制信号( f a r + f ) 组合键，多点控制单元收到该信号后，进入自 主控制模式，判断发送申请控制信号的与会终端的身份是一般听众、选定听众还是主 席，并动态生成与该身份的控制要求相应的控制菜单，将该控制菜单以半透明字幕、 图标或对话框的方式与发往相应目的终端的视频流相叠加。 目的终端的屏幕上显示经解码后的多点控制单元发来的叠加了控制菜单字幕的 视频图像，操作者通过会议终端遥控器选择并确认所要实现的控制操作，同时m c u 根据需要适时生成新的下一级控制字幕，并通过改变、增强或闪烁字幕背景色来突显 所选择的功能。终端根据字幕合成画面用遥控器左移键，右移键做出选择，上移键退 出，下移键确定，经过协商过程从而完成会议的控制。 自主控制功能包括有：在m c u 上实现主席选择听众发言、主席选择切换下一轮主 席、一般听众申请发言、选定听众申请主席、终端呼叫发起会议，会议发起终端挂断 会议、分屏模式切换以及多分屏工作模式下的远程摄像机控制和多画面的切换等问 题。这些会议自主控制功能的实现，可以帮助会议的组织者或使用者能更加快捷、自 主地召开和组织多点会议。 下面重点介绍一下自主控制模式的实现原理l 1 2 1 。 1 远端摄象机控制信道的建立 通过在终端和m c u 端实现能力h 2 2 4 d a t a c a p a b i l i t y ，通知对端、本端支持远端 摄像机控制功能。m c u 依据i t u - th 3 2 3a n n e xq 和h 2 8 1 协议可以与p o l y c o m v s x 6 0 0 0 、v i e w s t a t i o n 系列，以及a e t h r av e g a s t a rg o l d 和s l i v e r 等目前国内外 主流标准的h 3 2 3 终端之间通过h 2 4 5 能力的协商，建立起f e c c ( f a re n dc a m e r a c o n t r 0 1 ) 信道，该信道是一个标准的p i n d i r e c t c h a n n e l 信道，基于t c p 链接，对控 制信息进行r t p 封装后传输给对方。 2 f e c c 控制信息的获取和解析 用于传输f e c c 控制信息的f e c c 信道是在终端和m c u 连接建立时和音视频信道一 起建立起来的。当终端用户按下远端摄象机的控制界面或遥控器上的按钮“f a r 以 及摄象机上下左右按钮中的任意一个时，终端在承载h 2 8 1 信息的h 2 2 4 通道中向 4 第一章绪论 m c u 发送h 2 8 1f e c c 控制信息，包括a c t i o nm e s s a g e ( 活动消息，即p t z f 消息) 、 s e l e c tv i d e os o u r c e 和a c t i v a t ep r e s e t 等。其中比较常用的是p t z f 消息，其结 构如图1 1 所示( 以s t a r ta c t i o nr e q u e s t 为例) ： 8765 4 3 2l s t a r ta c t i o nr e q u e s t ( c o d ev a l u e = 0 x o 1 ) pr 一1 l = o tu _ 1 d = ozi = l o = ofi = l o = o r e s e r v e d t i m e o u t 图1 1s t a r t a c t i o n 消息结构图 图1 1 中，p ( p a n 表示镜头左右摇动) ，t ( t i l t 表示镜头上下转) ，z ( z o o m 表示 镜头缩放) ，f ( f o c u s 表示镜头聚焦) ，每个消息对应着摄像机的一个动作( 如上转， 下转等) 。m c u 捕获每个与会终端发来的远端摄像机控制消息，按照图1 1 所示的消 息结构进行解码和分析判断，确认是执行哪个动作。 3 控制信息与视频画面的合成 当m c u 启动后，操作员就可以根据终端用户提供的注册信息在m c u 端为视频会议 终端进行注册。注册信息主要包括用户名、别名、终端i p 地址、终端型号和呼叫带 宽等。一旦注册完毕，m c u 会根据用户的注册信息，为每一个终端制作会议控制所需 的各种“图标 ，并为每个终端用户指定一个身份。例如，将“用户名 + “切换选定 听众 的文字转换成汉字区位码，然后根据字幕叠加原理把字幕叠加在视频流，如图 1 2 所示。 文本格式 “ 图象格式 ( 字幕格式) l xx 申请发言，是否同意? 图1 2 添加到视频画面的字幕 这些图标是在会议进行中根据需要动态生成的。叠加后发往终端的画面如图1 3 所示。终端的选择反馈给多点控制单元，m c u 根据用户做出的选择替换下一屏字幕。 图1 3 主席同意申请发言图1 4 主席拒绝申请发言 5 西安邮电擘院硕士学位论文 如果此时主席按下“一一键，表示主席拒绝“x x 申请发言 ，m c u 发送图1 4 的 画面给主席。 如果此时主席按下“i 键，表示主席同意“) 【) ( 申请发言”，多点控制单元收到 “i 键后给申请终端发送如图1 5 画面。告知申请终端主席同意“x x 发言。 图1 5 终端收到的确认图像 申请发言的终端收到此画面后，按下“i 键确认，“f 键结束此次自主控制 过程。 1 2 2 嵌入式l i n u x 在视频会议中的应用 嵌入式l i n u x 是按照嵌入式操作系统的要求而设计的一种小型操作系统，它由一 个k e r n e l ( 内核) 及一些根据需要进行定制的系统模块组成。k e r n e l 一般只有几百k b 左右，即使加上其它必须的模块和应用程序，所需的存储空间也很小。它具有多任务、 多进程的系统特征，有些还具有实时性。一个小型的嵌入式l i n u x 系统只需要引导程 序、l i n u x 微内核、初始化进程3 个基本元素。运行嵌入式l i n u x 的c p u 可以是x 8 6 、 a l p h a 、s p a r c 、m i p s 、p p c 等。与这些芯片搭配的主板都很小，通常只有一张p c i 卡 大小，有的甚至更小。嵌入式l i n u x 所需的存储器不是软磁盘、硬盘这些众所周知的 常规存储器，它主要使用r o m 、c o m p a c t f l a s h 、m - s y s t e m s 的d i s k o n c h i p 、s o n y 的 m e m o r y s t i c k 、i b m 的m i c r o d r i v e 等体积极小( 与主板上的b i o s 大小相近) ，且存储 容量不太大的存储器。它的内存可以使用普通的内存，也可以使用专用的r a m 。 与其它嵌入式操作系统相比，l i n u x 的源代码是开放的，不存在黑箱技术。l i n u x 作为一种可裁剪的软件平台系统，很可能发展成为未来嵌入式设备产品的绝佳资源。 l i n u x 与生俱来的优秀网络血统更为今后的发展铺平了一条宽广平坦的大路。因此， 在保持l i n u x 内核系统更小、更稳定、更具价格竞争力等优势的同时，对系统内核进 行实时性优化，更加使之能够适应对工业控制领域高实时性的要求。这也正是嵌入式 l i n u x 操作系统在嵌入式工控系统中的发展所在。同时也使l i n u x 成为嵌入式操作系 统中的新贵。 嵌入式l i n u xo s 与w i n d o w sc e 相比的优点： l i n u x 是开放源代码的，遍布全球的众多l i n u x 爱好者都是l i n u x 开发者的强大 技术支持者：而w i n d o w sc e 是非开放性o s ：使第三方很难实现产品的定制。 第一章绪论 l i n u x 的内核小、效率高：而w i n d o w sc e 在这方面是笨拙的，占用过多的r a m ， 应用程序庞大。 l i n u x 是开放源代码的o s ，在价格上极具竞争力，完全免费。w i n d o w sc e 的版 权费用是厂家不得不考虑的因素，产品的成本因此提高了。 l i n u x 内核的结构在网络方面是非常完整的，l i n u x 在内核结构的设计中考虑适 应系统的可裁减性的要求，w i n d o w sc e 在内核结构的设计中并未考虑适应系统的高 度可裁减性的要求。 作者使用的嵌入式l i n u x 操作系统严格意义上称为l i n u x 小系统，是裁剪l i n u x 操作系统发行版然后移植到c f 卡上，硬件平台是x 8 6 结构的，在这样的平台上运行 m c u 程序。 1 3 1 主要工作 1 3 主要工作和本文内容 作者所研究的项目是基于h 3 2 3 标准视频会议系统m c u ( 多点控制单元) 产品 的研究和开发，目前已经是较为成熟的产品。但是，随着用户需求的增加和市场竞争 的激烈，必须不断进行产品的完善和升级。作为高科技产品，要想在市场上立于不败 之地，必须不断去进行技术更新。 目前主流的视频会议的控制方式为c s 模式，由控制软件控制会议的流程。会议 成员的管理和调度都是通过m c u 的控制台来实现，由会议管理员手动操作。为此本 课题在传统的m c u 控制方式基础上提出具有自主控制能力的m c u 。 本文中作者的主要工作是： l 、在m c u 3 0 0 及m c u 4 0 0 硬件平台上搭建嵌入式l i n u x 操作系统。 2 、在l i n u x 上实现m e d i a s w i t c hv 5 2 2w i n d o w s x p 版本的所有功能。 3 、在原m c u 结构基础上加入了m a c 模块，实现了部分自主控制功能。 l i n u x 下实现的m c u 主要功能有：能与各个视频会议终端厂商的产品进行互通： a l t e m 、p o l y c o m 、秉飞、华为等；实现了对终端之间音频、视频数据的接受和转发； 为达到现场效果实现了音频数据的线性混音；h 2 6 1 四画面合成和经过二次编解码的 h 2 6 3 多画面合成( 有1 0 种模式可供选择) 。其余附加功能有：可以通过i l a s 信道 注册到h 3 2 3 网守用以完成记费功能；可以保存终端列表方便下次会议的管理：可以 提供四种会议控制模式：手动控制、语音激励、主席轮询、听众轮询。字幕叠加功能， 在多画面合成中给各幅图象加上标示用于区分各个不同的终端。会议预约功能，在预 定时刻自动呼叫各个与会终端发起会议。在l i n u x 下h 2 6 3 编解码器采用f f a n p e g 的 7 西安邮电学院项士学位论文 r f c 2 1 9 c o d e c ，支持的音频格式包括g 7 1 1 a l a w , g 7 1 1 u l a w 。上述功能都经过话音 质量、视频质量、唇音同步等测试，完全实现了视频会议的要求。 4 、根据对h 2 8 1 的扩展协议添加自主控制功能。 通过阅读大量的多媒体通信相关资料、r f c 文档、论文、深入理解m c u 了的功 能和组成，完成了m c u 程序在l i n u x 操作系统上的实现，并且完成了测试。m c u 程序实现的过程中，主要难点是通信协议，结构复杂，涉及到很多编程方面的技术。 自主控制功能是在原有m c u 的基础上，增加了自主控制模块m a c ( m c ua u t o n o m o u s c o n t r 0 1 ) ，m a c 处理各终端发来的f e c c 信号，根据终端的身份进入自主控制流程。 现在已经实现了部分自主控制功能。 1 3 2 本文内容 根据作者所做工作，本文的研究内容主要集中在视频会议系统在l i n u x 操作系统 上的设计与实现以及自主控制功能的实现。 因此，本论文的内容安排如下： 第一章介绍了视频会议系统的基本概念、视频会议系统的分类以及国内外视频会 议发展状况，并阐述了本文研究的意义和目的。 第二章概要介绍了本文中用到的h 3 2 3 标准以及h 2 2 4 、h 2 8 1 协议。 第三章m c u 在l i n u x 上的实现。介绍了多点处理单元的设计、音频视频信号的处 理模块m p 。l i n u x 下的图像伸缩算法以及多画面合成中用到的f f m p e g h 2 6 3 编解码器。 并且介绍了m e d i a s w i t c h 中主要的类及结构体定义和程序结构。 第四章详细介绍了m c u 系统上自主控制模块m a c 设计原理及思路。详细说明了自 主控制系统的消息机制以及自主控制消息与h 2 8 1 定义消息的关系。 第五章介绍自主控制功能的实现以及嵌入式li n u x 的定制过程。 第六章对本文的内容和所做工作作概括性总结。 最后是结束语，致谢和参考文献。 8 第二章h 3 2 3 标准及其自主控制相关协议 第二章h 3 2 3 标准及其自主控制相关协议 2 1h 3 2 3 概述 为了能在不保证q o s 的分组交换网络p b n ( p a c k e tb a s e dn e t w o r k s ) 上展开多 媒体会议，由i t u 的第1 5 研究组s g - 1 5 于1 9 9 6 年通过h 3 2 3 建议的第一版，并在 1 9 9 8 年提出了h 3 2 3 的第二版。h 3 2 3 制定了无q o s ( 服务质量) 保证的分组网络上 的多媒体通信系统标准，这些分组网络主宰了当今的桌面网络系统，包括基于 t c p i p 、i p x 分组交换的以太网、快速以太网、令牌网、f d d i 技术。因此，h 3 2 3 标 准为l a n 、w a n 、i n t e r n e t 、因特网上的多媒体通信应用提供了技术基础和保障。 h 3 2 3 是i t u 多媒体通信系列标准h 3 2 x 的一部份，该系列标准使得在现有通信 网络上进行视频会议成为可能，其中，h 3 2 0 是在n i s d n 上进行多媒体通信的标准； h 3 2 1 是在b - i s d n 上进行多媒体通信的标准；h 3 2 2 是在有服务质量保证的l a n 上进 行多媒体通信的标准；h 3 2 4 是在g s t n 和无线网络上进行多媒体通信的标准。h 3 2 3 为现有的分组网络p b n ( 如i p 网络) 提供多媒体通信标准。若和其它的i p 技术如i e t f 的资源预留协议r s v p 相结合，就可以实现i p 网络的多媒体通信。基于i p 的l a n 正 变得越来越强大，如i po v e rs d h s o n e t 、i po v e ra t m 技术正在快速发展以及l a n 宽 带正在不断的提高。由于能提供设备与设备、应用与应用、供应商与供应商之间的互 操作能力，因此，h 3 2 3 能够保证所有h 3 2 3 兼容设备的互操作性。更高速率的处理 器、日益增强的图形器件和强大的多媒体加速芯片使得p c 成为一个越来越强大的多 媒体平台。h 3 2 3 可提供p b n 与别的网络之间进行多媒体通信的互连互通标准。许多 计算机、网络通信公司，如i n t e r 、m i c r o s o f t 和n e t s c a p e 都支持h 3 2 3 标准。h 3 2 3 标准包括在无q o s 保证的分组网络中进行多媒体通信所需的技术要求。这些分组网络 包括l a n 、w a n 、i n t e r n e t 因特网以及使用p p p 等分组协议通过g s t n 或i s d n 的拨号 连接或点对点连接。 从整体上来说，h 3 2 3 是一个框架性协议，它涉及到终端设备、视频、音频和数 据传输、通信控制、网络接口方面的内容，还包括了组成多点视频会议的多点控制单 元( m c u ) 、多点控制器( m c ) 、多点处理器( m p ) 、网关以及网守等设备。它的基本组 成单元是”域”，在h 3 2 3 系统中，所谓域是指一个由网守管理的网关、多点控制单元 ( m c u ) 、多点控制器( m c ) 、多点处理器( m p ) 和所有终端组成的集合一个域最少 包含一个终端，而且必须有且只有一个网守。 9 西安邮电学院硕士学位论文 2 2 1h 3 2 3 系统结构 2 2h 3 2 3 系统组成 h 3 2 3 系统结构如图2 1 所示，图中还示出和其它系统终端的互通与连接【4 1 。 图2 ih 3 2 3 系统结构图 h 3 2 3 系统中各个逻辑组成部份称为h 3 2 3 的实体，其种类有：终端、网关、网 守、多点控制单元( m c 卜_ m u l t i p o i n tc o n t r o lu n i t ) 、多点控制器( m c ) 、多点处 理器( m p ) 。其中，终端、网关和m c u 统称为端点( e n d p o i n t ) ，端点可以发起呼叫， 也可以接收呼叫，媒体信息流就在端点生成或终结。网守、m c 和m p 则不可呼叫，但 是网守参与呼叫的控制，具有传输层地址，是可寻址的h 3 2 3 实体：m c 和m p 执行多 点呼叫信息流的处理和控制，是系统的功能实体，物理上总是位于某个端点之中，因 此没有独立的传输层地址，是既不可呼叫又不可寻址的h 3 2 3 实体。 2 2 2h 3 2 3 组件的功能 l 、终端功能 h 3 2 3 终端是在p b n 上遵从h 3 2 3 建议标准进行实时通信的端点设备，它可以 集成在个人计算机中，也可以是一个独立的设备，如以太网电话机或视频会议终端。 l o 第二章h 3 2 3 标准及其自主控制相关协议 h 3 2 3 终端的功能结构如图2 2 所示l i j 。 图2 2 是考虑到同时传送音频、视频和数据信号的一般多媒体终端结构。所有的 h 3 2 3 终端都必须有一个音频编解码器，必须能收发g 7 1 l 音频信号，作为任选功能 可收发g 7 2 2 、g 7 2 8 、g 7 2 9 、g 7 2 3 1 和m p e g l 音频编码信号。实际通信时编码器 究竟采用什么算法，通过h 2 4 5 5 j 协议的“能力交换 过程由收发双方协商确定。终 端应能按不对称方式工作，例如按g 7 1 1 编码发送，按g 7 2 8 编码接收。视频编解码 器是可选的。如果提供视频能力，必须符合本标准的要求。所有提供视频通信的h 3 2 3 终端必须能够根据h 2 6 1 q c i f 进行编解码。作为可选项，终端也可以根据h 2 6 1 、 h 2 6 3 【o j 或h 2 6 4 7 1 的其它模式进行编解码。如果终端支持h 2 6 3 c i f 或更高分辨率， 它必须也能够支持h 2 6 1 c i f 。所有支持h 2 6 3 的终端必须支持h 2 6 3q c i f 。网络中 的h 2 6 1 、h 2 6 3 和h 2 6 4 编解码器必须不带b c h 纠错和纠错帧。 l g g l $ # f # fg l f lg l g l 。 | 薹 l gg l ；铋 雅酬8 雕 l 越 接收 。辩 通路 耀 澄 分组 网接 口 时延 i l 层封装8 l ； l l 1 1 ”曼m 锺 冀i|1”，f 音频i ，o 设备 l l g 7 “2 g 、l 苫7 1 8 g 7 2 9 l l i“l i i l 目e i 目f 目r _ * gg _ 日er l 码器， l 膝 2 0 等) i 控制 5 0 呼叫控制。 5 0r a s 制 燃 隧l l l l l j j | l 溺l l l le e l8 l5 h 3 3 终端功能结构图 功能 供h 3 2 3 终端和广域网上其它i t u 终端之间实时二方通信的端点设备。 在s-ip-scn使用环境下，则涉及网关和网关之间的通信。图21中示出了h323 系统网关和gstn(包括pstn和plmn)、n-isdn、oos确保的lan(如ieee8029 综合l a n ) 以及b - i s d n 的互通情况。 说，网关的作用就是完成两项转换功能：媒体信息编码的转换和信令的 西安邮电学院硕士学位论文 转换。对于后者来说，如果把网关视为原来网络的一个终端，则其需完成的是用户信 令至h 3 2 3 控制协议的转换；如果把网关视为原来网络中的一个节点，则需完成网络 信令至h 3 2 3 协议的转换，相对来说比较复杂，但是网关的容量将可以显著增加。网 关对于h 3 2 3 系统和已有网络的互通具有十分重要的意义，i t u t 正在积极制订网关 控制协议，以推动分组网多媒体业务的拓展。 3 、网守功能 网守又称为网闸或