（计算机应用技术专业论文）基于web的视频会议系统.pdf

中文摘要 中文摘要 视频会议系统是计算机网络、数据库、多媒体及通信技术不断发展的产物， 它突破了与会者的地域限制，使人们足不出户就可与远在天涯的朋友展开讨论， 举行远程会议。目前，视频会议系统己成为国内外宽带网上的一个研究和应用 的热点。 如何在网络上建立一个有效的实时交互会议环境是基于w e b 的视频会议系 统所需要解决的关键技术之一，在这方面已经有很多研究。w e b 视频会议系统是 基于w e b 、建立在i n t e r n e t 基础上的一种实时会议系统。它的设计与实现是一 个比较复杂的系统工程，需要多种技术的支持，这些技术包括常用的w e b 技术 ( 例如：s e r v l e t 、a p p l e t 和j s p ) 、s o c k e t 阿络编程、音视频编解码知识、 音视频数据的压缩与解压缩等。 本篇论文首先简要介绍了视频会议系统的概念、发展现状、特点和功能以及 本系统用到的相关技术：然后详细介绍了系统中用到的j m f ( j a v a 媒体框架) 技术和r t p 流技术；最后，通过一个初步实现了的基于w e b 的视频会议系统实 例，介绍了该系统的分析设计过程以及实现该系统的具体方法。本系统实现了 视频会议广播( 对多) 以及视频会议讨论( 一对一) 两种功能。除音、视频采集 设备外，客户端只要有一个w e b 浏览器即可登陆系统参与会议。系统采用j a v a 编程语占实现，具有较强的先进性、实用性以及跨平台的特性。 关键字：w e b 视频会议多媒体技术j m fr t p 英史摘要 a b s t r a c t v i d e o c o n f e r e n c es y s t e mi st h er e s u l to ft h ed e v e l o p m e n to fc o m p u t e rn e t w o r k ， d a t a b a s e ，m u l t i m e d i aa n dc o m m u n i c a t i o nt e c h n o l o g i e s p e o p l ec a nc o m m u n i c a t ew i t h f r i e n d sf a r a w a yb yu s i n gt h e s y s t e m ，s on o w a d a y sv i d e o c o n f e r e n c es y s t e m b e c o m e so n eo f t h en e wf o c u s e si nt h er e s e a r c ha n da p p l i c a t i o no f w i d eb a n db o t ha t h o m ea n da b r o a d i ti so n eo ft h ek e yt e c h n o l o g i e st h a tw e b - b a s e dv i d e o c o n f e r e n c es y s t e mn e e d s s o l v i n gh o w t os e tu pa l le f f e c t i v er e a lt i m ec o n f e r e n c ee n v i r o n m e n ti nt h en e t w o r k a l o ta r es t u d i e di nt h i sr e s p e c t w 西- b a s e dv i d e o c o n f e r e n c es y s t e mi st os e tu po nt h e b a s i so fi n t e r a c t i t sd e s i g na n dr e a l i z i n gi sar e l a t i v e l yc o m p l i c a t e ds y s t e m e n g i n e e r i n g ，a n di tn e e d ss u p p o r to fm a n yk i n d so ft e c h n o l o g y , i n c l u d i n gw e b t e c h n o l o g i e s ( s u c ha s ：s e r v l e t , a p p l e ta n dj s p ) ，s o c k e tn e t w o r kp r o g r a m m i n g ，a n d a u d i o n i d e oc o d e c 压 e c o d e ck n o w l e d g ea n da u d i o v i d e oc o m p r e s s i o na n d d e c o m p r e s s i o n t h i s t h e s i ss t a r t s w i t h t h e b r i e f i n t r o d u c t i o n o f t h ec o n c e p t i o n , d e v e l o p i n gs t a t u s ， t r a i ta n df u n c t i o no f t h ev i d e o c o n f e r e n c es y s t e ma n dt h er e l a t e dt e c h n o k i g i e su s e di n t h i ss y s t e m ，t h e ni ti n t r o d u c e sj m f ( j a v am e d i af r a m e w o r k ) t e c h n o l o g i e sa n di u 甲 s t r e a m i n gt e c h n o l o g i e su s e di nt h i ss y s t e mi nd e t a i l a tl a s t ，t h r o u g haw e b b a s e d v i d e o c o n f e r e n c es y s t e mi n s t a n c e ，i ti n t r o d u c e st h ea n a l y s i sa n dd e s i g no ft h i s w e b - b a s e dv i d e o c o n f e r e n c es y s t e ma n dd e s c r i b e st h er e a l i z a t i o no ft h es y s t e m t h i s s y s t e mr e a l i z e sv i d e oc o n f e r e n c eb r o a d c a s t ( o n et om u l t i u s e r s ) a n dv i d e oc o n f e r e n c e d i s c u s s i o n ( o n et oo n e ) ac l i e n t c a n l o g i nt h es y s t e mt o p a r t i c i p a t e t h e v i d e o c o n f e r e n c eo n l yw i t hw e bb r o w s e ri n c l u d i n gs o m ea u d i oa n dv i d e o d e v i c e s t h i ss y s t e mi sc a r r i e do u tb yj a v ap r o g r a ml a n g u a g e ，a n d h a sm o r e a d v a n c e d ，a v a i l a b l ea n dc r o s s i n gp l a t f o r mt r a i t s k e ”v o r d s ：w e b v i d e o - c o n f e r e n c em u l t i m e d i at e c h n o l o g yj m fr t p i i 目录 图表目录 圈2 】j m r 体系结构 图2 2j m f 事件模型 图2 - 3j m f 数据模型 图2 4 删f 控制、 圈2 - 5 播就器结构与接口 图26 播放嚣状态转换图， 圈27 处理器结构， 图28j m f 事件 国2 - 9 数据在处理器内部的处理过程 图3 - lr t p 体系结构 国3 - 2 用j 6 l p 技术实现盯p 流接收和发送处理过程 图3 - 3r t p 事件 固4 - 1 视频会议系统硬件结构示意图， 图42 视频会议广播( 一对多) 子系统的结构模型 国4 3 主控服务器和音、视频服务器的结构 图4 4 主持人和普通成员用户的操作流程 图4 - 5 登陆界面， 图4 - 6 主持人界面， 圈47 普通成员初始界面 图48 普通成员接收音视频界面+ 一 图4 - 9 音、视频服务器运行时的界面 囤4 一l o 音、视频交互流程示意强一 图4 一l l 客户端界面， 圈d 一1 2 打开本地视频窗口的客户端界面 图41 3 客户端大致流程 + 襄4l 服务器端配置， 表4 2 客户端配置 他埽培协坞舯n盟丝拈踮盯鹋曲蚰n虬船婚蛆驰蚰 南开大学学位论文版权使用授权书 本人完全了解南开大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷小和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文：学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动a 学位论文作者签名：彦金彩 2 0 0 5 年5 月2 0 日 经指导教师同意，本学位论文属于保密，在 l o 年解密后适用本授权书。 i 指导教师签名：学位论文作者签名： l 解密时间：2 0 1 5 年5 月2 0 日 各密级的虽长保密年限及书写格式规定如下 内部5 年( 昂k5 年，可少于5 年) 秘密l o 年( 最长1 0 年，可少，l o 年) 机密2 0 年( 最长2 0 年，可少于2 0 年) 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名：虏令弘 2 0 0 5 年5 月2 0 日 第一章视频会议系统概述 第一章视频会议系统概述 1 1 视频会议的产生背景 会议是人类社会经济生活中交流信息不可缺少的一部分。根据统计，在人 类的通信与交流当中，有效性的信息5 0 6 0 依赖于面对面的视觉效果，3 3 3 6 依赖于说话者的声音，只有7 依赖于交流内容本身“。随着全球步入 信息化时代，人们对了解事物、交换信息的要求越来越高。在需求的推动下， 多媒体计算机技术与通信技术相结合，逐渐发展成为一种新的边缘技术多 媒体通信技术。个人计算机的普及、微电子技术、多媒体技术的飞速发展、综 合业务数字网的建立以及宽带综合业务数字网的研究进展，都有力地推动了多 媒体通信的发展。集音频、视频、图像、文字、数据为一体的多媒体信息，使 越来越多的人开始通过互联网享受到网上生活、远程医疗、远程通讯的乐趣， 缩短了时区和地域的距离。企业宽带网络的普及给视频会议提供了发展背景。 越来越多的企业希望能够远程办公、远程全功能会议得以实现，以此来得到高 效的通信，降低差旅费用，降低企业成本，同时使得决策周期缩短，提高生产 效率。这些需求给了视频会议一个巨大的发展空间。 1 2 视频会议的概念 视频会议系统，也称为会议电视系统，是指两个或两个以上不问地方的个 人或群体，通过传输线路及多媒体设备，将声音、影像及文件资料互传，达到 即时且互动地沟通，以完成会议目的的系统设备“1 。视频会议系统是集多媒体通 信、计算机技术于一体的远程异地通信方式。在召开视频会议时，处于两地或 多个不同地点的与会代表，即可听到对方的声音，又能看到对方以及会议中展 示的实物、图片、表格和文件等，与真实的会议无异，使每个与会者有身临其 境之感。 第。章砚频会议系统概述 1 3 视频会议的发展历史与现状 从6 0 年代开始，世界发达国家开始研究模拟视频会议系统，并逐渐商用化。 6 0 年代末期，在压缩编码技术推动下，视频会议系统开始由模拟系统转为数字 系统。8 0 年代初期，随着2 m b i t s 彩色数字视频会议系统的研制成功，日本和 美国分别形成了非标准的国内视频会议网。8 0 年代中期，大规模集成电路技术 飞速发展，图像编解码技术取得突破，网络通信费用降低，这些都为视频会议 走向实用提供了良好的发展条件。8 0 年代末至今，多媒体技术、计算机技术、 通信网络技术都得到了快速发展。此时，c c i t t ( i t u t ) 也形成了h 2 0 0 系列建 议，规定了统一的视频输入输出标准、算法标准、误码校验标准及一系列互通 的模式转换标准，解决了不同厂商的设备互通问题，打破了视频会议技术及其 设备被少数大公司一统天下的垄断局面，极大的推动了视频会议的发展。另外， 高速i p 网络及i n t e r n e t 的迅猛发展，各种数字数据网、分组交换网、i s d n 以 及a t m 的逐步建设和投入使用，也使视频会议的应用与发展进入了一个新的时 期嘲嘲。 近年来，视频会议业务开始在我国推广使用，国家视频会议骨干网已经建 成，并逐渐发展到远程医疗、远程教学等领域。视频会议通信系统产品的研制 也保持与国际同步。在开发出基于专用网的视频会议系统的基础上，基于n - i s d n 的多媒体终端和多点控制单元( m c u ) 也进入了实用阶段。目前已经形成了国内 中兴、华为等大企业与国外如i v t e l 、p i c t u r e t e l 、v c o n 等公司共同分享国内 视频会议电视市场的竞争局面。 视频会议作为交互式多媒体通信的先驱，已经有2 0 多年的历史，顺应三网 合一的发展趋势，势必要进入一个新的发展阶段。主要的原因是：第一、交互 式多媒体通信所依附的传输网络基础，由电路交换式的i s d n 和专线网络向分组 交换式的i p 网终过渡。第二、其针对的市场目标将由大型公司、政府机构的会 议室向小型化的工作组会议室和个人化的桌面延伸，最终发展到家庭。第三、 功能已由原先单纯的电视会议功能发展成远程教学系统、远程监控系统、远程 医疗系统等多方面的综合业务。 但是i n t e r n e t 原来是用于计算机互联和数据通信的网络，使用t c p i p 协 议，就其目前广泛使用的i p v 4 协议路由器来说，存在着无法控制带宽和端对端 时延、q o s 得不到保证等问题，难以满足多媒体通信业务的发展。但随着a t m 技 第一章视频会议系统概述 术，t p 交换技术、千兆比以太网技术在网络层逐步统一到l p 上，基于i p 的视 频会议将成为实时多媒体通信最为理想的方向，是视频会议发展的主流。国外 公司如p i c t u r e t e l 、w e a r n e s 、v c o n 等正致力于开发i n t e r n e t 网的实时视频、 音频会议电视系统，并且已经取得了很好的效果。可以肯定，随着i p 的目益普 及，以及i p 性能的逐步改善，性能良好、使用方便、价格便宜的i p 视频会议 系统将会得到广泛应用。“”。 1 4 视频会议应用前景 近年来，由于压缩技术的飞速发展，通讯技术的巨大进步，提供了更大的 频宽以容纳大量的会议多媒体数据( 包括视频和音频) ；而且伴随着i t u 相关国 际标准的陆续制订，使得视频通讯时代提前来临。况且，p c 对视频会议系统领 域的介入，使得这一贵族化的技术具有了大众的价格，再加上许多基于i n t e r n e t 的视频会议系统的产品化，为视频会议系统进入广阔的商用和民用市场奠定了 基础。 1 商务交流 当今商务上的交流通常是指从自己的计算机中取出信息后再将它们转交给 别人。这一过程一般包括打印p c 机文件、发传真、寄送文档、打电话、讨论并 更正信息，最后完成对原p c 机文件的修改。每一步都会花不少时间，还有可能 产生误解。视频会议系统改进了这一过程，就是让用户相互之间能够直接用自 己的p c 机进行交流，免去了中间的一切环节。 2 商业会议 视频会议系统最主要的功能是提供视频为远程双方提供面对面的会谈，因 此达到会议目的。其最直接的效益是节省了因会议而造成的各种费用及时间支 出。企业应用视频会议系统，可提高员工的生产率。 3 企业客户服务和产品开发 公司客户使用视频会议系统不仅可以减少支出，而且可以避免重要职员频 繁的出差，增进职工及业务部门间的交流，更好的实施内部管理及员工培训， 最终全面提高公司的效率。 4 招募员工 以往企业招募新人时，不是派人事主管或用人单位主管赴各学校对毕业生 第一章视频会议系统概述 进行宣传，并直接在学校面试，要不就是要应试者集中刽公司进行多次面试。 对于招募者及应试者而言，重复且来回奔波的面试实在是一件苦不堪言的工作。 5 远程教学 远程教育的优势在于它突破了时空限制，增加了学习机会，有利于扩大教 学规模、提高教学质量、降低教学成本。学习者可以在自己方便的时间，适合 的地点，按照自己需要的速度和方式，运用更加丰富的教学资源来进行学习。 6 远程医疗和会诊 在分散于异地的医院之间部属视频会议系统，不仅可提高医疗质量，降低 医院的运行成本，而且还可提高医疗诊断的及时性、准确性，最终达到远程“现 场”协作会诊医疗的目的。 7 科研合作和工程设计 在科学技术转化为生产力的过程中，各种机构和部门之间的频繁交流是必 不可少的。而视频会议系统彻底改变了人们之间信息相互交流的方式，这种新 颖的交流方式在科研合作和工程设计中有不可估量的作用和地位。例如可以通 过视频会议进行学术讨论的协同工作，项目总体规划设计阶段的相互协作等。 1 5 视频会议特点及功能 本视频会议( w e b 视频会议) 系统是一个基于w e b 的，具有实时语音、视频 支持的交互性交流环境，它具备以下特点： 1 完全基于w e b 采用b s 模式实现视频会议系统有以下几个优点：( 1 ) 简化了客户端软件， 客户方仅仅装上操作系统，协议软件和浏览器作为平台连接入网络，就可以加 入会议系统进行交流；( 2 ) 多平台应用，由于采用b s 模式，客户方只需要浏 览器( i e 或n e t s c a p e 等) ，而不需额外的软件，所以客户方操作系统可以有 多种选择，可以是w i n d o w s 系列，也可以是l i n u x 等别的平台，充分利用了资 源和设备，节省了开支，相对于传统的视频会议系统而言，这是一个较大的优 势：( 3 ) 有利于管理和维护。所有的应用软件的开发、维护和升级工作集中在 了服务器端，系统升级时，只需修改服务器端软件就可以满足需要，从而大大 改变了系统维护人员的工作结构和降低了劳动强度，提高了信息发布的及时性 和广泛性。 4 第一耄视频会议系统概述 2 具有良好的交互性 会议主持人可以在视频会议室中借助摄像头话筒进行发言，普通会议成员 可以进入会议室收看视频听取发言。在没有主持人的允许下，会议室中的普通 成员不能举手申请发言。只有在主持人同意普通成员举手发言的情况下，普通 成员才可以举手申请发言，只有获得发言权的成员才可以进行发言。允许普通 会议成员举手申请发言，是否允许举手的普通会议成员发言，这些权利都在主 持人端进行控制。 3 可以实现点对点以及多点广播的实时语音、视频 通过点对点语音、视频通信，与会成员可以选择会议室中的另一名成员进 行一对一交流；通过语音、视频广播，分布在异地的参会成员可以像在同一个 会议室中一样，自由的交流。多点实时语音、视频广播，简单的说，就是一端 的语音、视频可以通过i n t e r n e t f n n n - - 个w e b 会议室中的其他成员。 4 电子自板 与会成员可以在白板上进行书写，通过它可以方便地进行交流。比如主持 人可以指定某个与会成员进行书写、绘图等操作，这个成员的动作所有的其它 成员都可以看到。该功能由范万水同学开发，有待集成到本模型系统。 5 网络消息 会议室中除了提供语音视频交流之外，还提供了同步文本交流的工具。所 有成员都可以发送文本消息，这个和公共聊天室工具类似，成员之间可以就某 个主题进行讨论，也可以选择发送的对象，对某个成员发送。 1 6 视频会议相关技术 本w e b 视频会议系统用到的技术有j s p 、j a v aa p p l e t 、j a v as e r v t e t 、多 线程技术、s o c k e t 技术以及2 4 f 技术。 1 6 1j s p 技术 j s p 的实现是在传统的网页h t m l 文件中加入j a v a 程序片断( s c r i p t l e t ) 和j s p 标记( t a g ) ，从而构成了j s p 页面。w e b 服务器在遇到访问j s p 网页的请 求时，首先执行其中的程序片断，然后将执行结果以h t m l 格式返回给客户端。 第一章视频会议系统概述 程序片断i r 以实现建立动态阀站所需要的功能，包括操作数据库、重新定向网 页及发送e - m a il 等。所有程序操作都在服务器端执行，网络上传送给客户端的 仅是得到的结果，从而对客户浏览器的要求最低。 j s p 技术的优点： 1 应用程序内容与页面显示分离 使用j s p 技术，w e b 页面开发人员可以使用h t m l 或者x y l 标记来设计和格 式化最终页面，同时使用j s p 标记或者s c r i p t e t 来生成页面上根据请求而变 化的动态内容( 例如当前用户的信息) 。生成内容的逻辑被封装在标记和j a v a b e a n 组件中，并且捆绑在s c r i p t l e t 中，所有的脚本程序在服务器端运行。这 样，w e b 管理人员和页面设计者，能够编辑和使用j s p 页面，而不会影响到内容 的生成。 在服务器端，由j s p 引擎解释j s p 标记和s c r i p t l e t ，生成所请求的内容， 并将结果以h t 札( 或者x m l ) 页面的形式发送回浏览器。这样既可以保护作者 自己的程序代码，又可以保证任何基于h t m l 的w e b 浏览器的完全可用性。 2 次编写，到处运行 由于j s p 页面的内置脚本语言是基于j a v a 编程语言的，并且所有的j s p 页 面都要被编译成s e r v le t ，因此j s p 页面具有j a v a 技术的所有优点，包括健壮 的存储管理和安全性等。当然其中最重要的一点就是“一次编写，到处运行”。 3 强调可重用的组件 绝大多数j s p 页面依赖于可重用的、跨平台的组件( j a v ab e a n 组件) 来执 行应用程序中所需要的复杂处理。开发人员能够共享和交换组件，使得这些组 件能为更多的开发者或者客户团体所使用。这些组件有助于将网页和程序分离， 节约了开发时间，同时充分发挥了j a v a 和其他脚本语言的跨平台的能力和灵活 性。 4 采用标记简化页面的开发 j s p 技术封装了许多功能，提供了一系列的j s p 标记。使用它们，能够完成 j a v ab e a n 组件、设置或查询组件的属性及下载h p p l e t 等功能。 1 6 2j a v aa p p l e t 技术 j a v a 程序可以分为a p p li c a t i o n 应用程序和a p p l e t 小应用程序。a p p l e t 第章视频会议系统概述 是种特殊的j a v a 程序，它是j a v a 在w e b 上的应用技术。它通常通过支持j a v a 的网页浏览器下载后执行。a p p l e t 并不能算是一个完整的应用程序，它只能算 是个可被调用应用的程序模块。a p p l e t 的程序结构与j a v a 独立应用程序最大 的不同之处就是a p p l e t 并没有程序执行的进入点，而是提供数个可被浏览器调 用执行的函数，所以a p p l e t 是必须通过网页才能显示。 a p p l e t 类是所有a p p l e t 的基类，所有的j a v a 小应用程序都必须从该类继 承。如果要编写实用的a p p l e t 程序，那么对a p p l e t 类中的四种基本方法： i n i t ( ) 、s t a r t 0 、s t o p ( ) 和d e s t r o y ( ) 一定要熟悉。 i n it0 这个方法主要是为a p p l e t 的正常运行做一些初始化工作，就像建筑 大厦要打地基一样。当一个a p p l e t 被系统调用时，系统首先执行的就是该方法 内的代码。通常可以在该方法中完成从主页向a p p l e t 传递参数“1 。 s t a r t 0 是在i n i t ( ) 方法调用之后将自动调用的。而且，每当用户离开包含 该a p p l e t 的主页后又再返回时，系统又会再执行一遍s t a r t 0 方法”。 s t o p ( ) 方法是在用户离开a p p l e t 所在页面时执行，因此，它也是可以被多 次执行的。 d e s t r o y0 在浏览器关闭的时候才调用。 1 6 3j a v as e r v i e t 技术 s e r v l e t 是服务器端的小程序，是一个与协议无关、跨平台的服务方构件。 与运行于客户端的a p p l e t 对应，他们都是使用j a v a 语言编写的小型程序。与 a p p l e t 相比较，s e r v l e t 是属于后端处理的w e b 应用程序，而a p p l e t 是属于前 端处理的应用。s e r v l e t 也和a p p l e t 一样，它不能单独地被摆在j v m 上执行， s e r v l e t 必须被挂在附有s e r v l e t 引擎的w e b 服务器上，才能发挥它的作用。 当用户的浏览器通过i n t e r n e t 发出请求到w e b 服务器时，w e b 服务器会先 根据请求所指定的地址，辨别是一般的网页资源还是s e r v l e t 应用程序，如果 辩识的结果是属于s e r v l e t 程序的请求时，w e b 服务器将会通过s e r v i e t 引擎把 用户的需求送给指定的s e r v i e t 负责处理。s e r v l e t 程序的执行过程，通常是依 据用户的需求动态生成一段h t m l 代码、或是一组数据，然后将处理结果回传给 浏览器进行显示，甚至还可以通过s e r v l e t 来存取数据库内的资源，执行更复 杂的数据处理工作“。 第一章视频会议系统概述 s e r v l e t 没有m a i n 方法，只有一些特定方法用于启动、执行和退出。它还 可以与运行于客户端的a p p l e t 进行交互，也可以直接与客户端的t t t m l 页面交 互。 1 6 4 多线程技术 服务器端将为每一个连接的用户开启一个线程提供服务，并将开启的线程 放入线程池中，进行管理控制，这里就要用到多线程机制。 所谓线程就是程序中一个执行流，多线程程序是指一个程序中包含有多个 执行流，多线程是实现并发机制的一种有效手段。通过使用线程可以使程序看 起来似乎同时做几件事情。当然，不同的线程实际上并不是同时运行的( 除非 你使用的是多处理器机器) ；实际上，每个线程在相同的处理器上得到时间片， 但是结果像是不同的线程在同时执行。 在j a v a 程序启动时，它有一个主线程。我们可以与主线程交互，还可以启 动其他线程。通过调用线程对象的s t a r t 方法启动线程，线程启动时使用的代 码放在r u n 方法中。 创建新线程有两个办法，一种是将类声明为t h r e a d 类的子类，另外一种方 法是声明一个实现r u n n a b l e 接口的类。 1 6 5s o c k e t 技术 要进行音视频数据的传输，首先就是要建立数据连接。常用的通讯协议中， t c p 较可靠，所以用在不允许数据丢失的应用上。而u d p 则较多应用于处理速度 要求较快、数据传输可靠性要求不是很高的应用上，如数据广播。r t p 是针对多 媒体数据流的一种传输协议，它提供了端到端的实时媒体( 如交互式音视频) 传输服务。 j a v a 在这方面有其独特的优势。j a v a 提供了丰富的网络类库的支持，可以 轻松编写多种类型的网络通信程序。在系统中客户端与服务器端控制消息的传 输使用了t c p i p 协议，通过j a v a 的s o c k e t 类进行编程。音视频流的传输使用 基于u d p 的r t p 协议。 第一章视频会议系统概述 1 6 6 音视频数字信号的编码与解码 本系统视频编码采用了h 2 6 3 图像编码协议，音频编码采用了g 7 2 3 音频 编码协议 1 h 2 6 3 压缩编码格式”“ h 2 6 3 视频编码标准是专为中高质量运动图像压缩所设计的低码率图像压 缩标准。h 2 6 3 采用运动视频编码中常见的编码方法，将编码过程分为帧内编 码和帧间编码两个部分。i 帧内用改进的d c t 变换并量化，在帧间采用1 2 象 素运动矢量预测补偿技术，使运动补偿更加精确，量化后适用改进的变长编码 表( v l c ) 地量化数据进行熵编码，得到最终的编码系数。 与h 2 6 1 的p 6 4 k 的传输码率相比，h 2 6 3 的码率更低，单位码率可以小 于6 4 k ，且支持的原始图像格式更多，包括了在视频和电视信号中常见的q c i f ， c i f ，e d t v ，i t u r6 0 1 ，i t u r7 0 9 等等。 h ，2 6 3 的编码速度快，其设计编码延时不超过1 5 0 m s ；码率低，在5 1 2k 乃 至3 8 4 k 带宽下仍可得到相当满意的图像效果，十分适用于需要双向编解码并 传输的场合( 如：可视电话) 和网络条件不是很好的场合( 如：远程监控) 。 2 g 7 2 3 压缩编码格式“ g 7 2 3 语音编码器是一种用于多媒体通信，编码速率为5 3 k b i t s s 和 6 3 k b i t s 的双码率编码方案。g 7 2 3 标准是国际电信联盟( i t ) 制定的多媒 体通信标准中的一个组成部分，可以应用于i p 电话等系统中。其中，5 3 k b i t s s 码率编码器采用多脉冲最大似然量化技术( m p m l q ) ，6 3 k b it s s 码率编码器 采用代数码激励线性预测技术。 第章j m f 技术简介 第二章j m f 技术简介 2 1j 肝技术概述 j m f ( j a v a m e d i a f r a m e w o r k ) 是由s u n 和i b m 公司共同开发的，能够在j a v a 应用程序和小应用程序中显示、获取多媒体数据的一套类的集合。j m f 提供了一 个统一的架构和通信协议来管理基于时间( t i m e b a s e d ) 媒体的获取、处理和 传输。j m f 支持目前几乎所有的媒体类型，比如a i f f ，a u ，a v i ，m i d i ，g s m ， m p e g ，o u i c k t i m e ，r m f ，w a v 等。利用j m f 可以很容易的创建、显示、捕获、操 作和存储时间媒体的j a v a 应用程序和j a v aa p p l e t 程序“。 作为j a v a 的扩展，它也具有跨平台特性，可以做到“编写一次，处处运行”。 j m f 以一种跨平台与设备无关的方式支持j a v a 应用对音频、视频设备的访问， 同时支持用连续的方式对语音或视频进行处理。 j m f 可以满足用户对媒体操作的各个层次的要求。开发者利用j m f 不仅可以 播放媒体，还可以对原始媒体数据进行特殊的处理，或者优化对现有格式的处 理，或者使用新的播放机制，甚至无缝的扩展j m f 来支持特殊或新的媒体类型 格式。 2 1 1 体系结构( a r o h i t e c t u r e ) v c r 是一种我们所熟悉的用来记录、处理、回放基于时间的媒体的设备。当 用v c r 播放电影的时候，v c r 读取并解析录像带上的数据，然后将这些数据发送 到电视和音箱等设备上回放出来。j ! i i f 的结构与此类似。数据源( d a t a s o u r c e ) 就像录像带一样封装了媒体信息。播放器( p l a y e r ) 类似于v c r 提供处理和控 制机制。利用删f 播放和捕获音频和视频需要相应的输入输出设备，如麦克风、 摄像机、音箱和监视器。 数据源和播放器是j m f 用来对采集、再现和处理时基媒体进行管理的主要 的高层a p i 。j m f 同时也提供了低层a p i 用来支持无缝整合高级用户自定义处理 组件和扩展。这种分层结构饺开发者可以很简单地使用j m fa p i 来处理时基媒 体并支持高级媒体应用，同时也保持了未来媒体技术发展所需要的灵活性和可 第二章j m f 技术简介 扩展性。图2 一l 展示了j m f 的体系结构。 t v 厦甩， p p le t s b e a n s j 船圆故以及女隰”i 图2 - ij 肝体系结构 2 1 2 时间模型( t i mm o d e i ) j m f 中的时间精确到毫微秒，由t i m e 类来表示。支持j m f 时间模型的类都 通过实现c t o c k 接口来追踪菜一特定媒体流的播放。c l o c k 接口定义了用来控制 媒体数据的播放所必需的基本技术和同步操作。j m f 用t i m e b a s e 、m e d i a t i m e 和 r a t i o 来建立媒体流的时间模型，它们可由c l o c k 接口得到。t i m e b a s e 类表示 时间基，就像手表里的石英振荡器，产生连续的时钟滴答，跟踪从某点开始的 连续时间，时间基时间通常是基于系统时间；m e d i a t i m e 用来表示当前媒体流的 播放位置。媒体开始处的m e d i a t i m e 值为零，结束处的m e d i a t i m e 值等于整个 媒体流的持续时间；r a t i o 表示媒体当前播放速度与正常播放速度的比值，可以 是正值或负值，正常时为1 0 ，若大于l 则表示比原来快，若为负值则表示倒放。 m e d i a t i m e 可以用下列公式计算： m e d j a t i m e = m e d i a s t a r t t i m e + r a t e 丰( t i m e b a s e t i m e - t i m e b a s e s t a r t t i m e ) 。 2 1 3 管理器( m a n a g e r ) 顾名思义，管理器这个对象正是负责各种管理工作的，调用管理器这个中 间对象可以定制多媒体流的处理过程。管理类有四种：m a n a g e r 、 p a c k a g e m a n a g e r 、c a p t u r e d e v i c e m a n a g e r 年口p l u g l n m a n a g e r 。 m a n a g e r 管理数据源( d a t a s o u r c e ) 类、媒体播放器( p l a y e r ) 类、媒体处 理器( p r o c e s s o r ) 类和数据池( d a t a s i n k ) 类的创建。m a n a g e r 可以用缺省或 第一章j m f 技术简介 自定义方式创建这些类的对象，自定义的对象可以和j m f 对象无缝组合在一起。 p a c k a g e m a n a g e r 维护包含j m f 类的包的登记表，比如自定义播放器，处理 器，数据源和数据池等。 c 8 p t u r e d e v i c e m a n a g e r 维护一个捕获设备登记表，这些设备包括摄像头， 话筒等。 p l u g i n m a n a g e r 维护一个可用的j y f 处理过程插件登记表，包括多路复用器 ( 1 t i p l e x e r ) 、多路分解器( d e m u l t i p l e x e r ) 、编码解码器( c o d e c s ) 、效果 ( e f f e c t s ) 和渲染( r e n d e r e r ) 插件。 2 1 4 事件模型( e v e n tm o d e i ) j 她使用一个结构化的事件通知机制，应用程序通过它来取得当前多媒体流 的状态并对各种例外( 如资源不可用) 做出反应。j m f 对象在任何时候想要报告 当前状态时，都会发出一个媒体事件( m e d i a e v e n t ) ，媒体事件是事件类型中的 一个子类。与此对应，j m f 也定义了一个事件监听接口，要接收事件的对象通过 调用a d d l i s t e n e r 0 方法实现这个接口，就可以收到相应事件通知消息了。媒体 事件是由控制器( 例如播放器和处理器) 对象和特定控制对象发出的。此外， 还有一类事件由r t p 会话管理器( r t p s e s s i o n m a n a g e r ) 对象发送，这将在后面 解释。 台有 v , 龀h a e v e n t a d d c o n t r o l l r 口e l r l e l s t e n s t e e r r e m o v e c o n tir l ln e rr 口ies t e n e 箍承 g e t s o u r c e e o n t r o l l e r 图2 - 2j 事件模型 第一童j m f 技术简介 2 15 数据模型( d a t am o d e i ) 图2 - 3j 断数据模型 j m f 播放器通常使用数据源管理媒体内容的传输。数据源结构中包括媒体流 的地址和传输所用协议及软件的信息，前者由一个m e d i a l o c a t o r 或u r l 来标识， m e d i a l o c a t o r 类似于u r l ，并可由u r l 来构造。在j a v a 语言中，只有当相应的 协议处理器安装以后，才能构造u r l ，而m e d i a l o c a t o r 却没有这个限制。一个 d a t a s o u r c e 对象管理一组源媒体流( s o u r c e s t r e a m ) 对象。一般数据源使用字 节数组作为传输单元，缓冲数据源使用缓冲( b u f f e r ) 对象作为传输单元。j m f 支持两种类型的数据源： p u ll 数据源：由客户端激发数据传输，并控制从p u l l 数据源来的数据流， 即由客户端主动从服务器端将数据“拉”( p u l l ) 过来的。例如，超文本传输协 议h t t p 就是一种p u l l 协议。 p u s h 数据源：由服务器端激发数据传输，并控制数据的流向的，即数据的 传输是由服务器端“推”( p u s h ) 动的。例如，实时传输协议r t p 就是用于媒体 的实时流式传输的一种p u s h 协议。 另外，j m f 还定义了两种特殊类型的数据源，可克隆数据源和合并数据源。 前者用于创建数据源的克隆体，数据源被克隆后不能再被直接引用，要访问它 需要通过克隆体；后者用于合并几个同类型数据源的数据流到一个数据源中， 第= 章j m f 技术简介 这样就可以在做流的连接、断开、开始、终i 操作时，用一个控制器来管理几 个数据源里的数据。 一个对象的精确媒体格式是有f o r m a t 对象来表示的。媒体格式本身不带任 何特殊编码格式参数和全局时间信息，它只是描述格式编码名称以及这种格式 所要求的数据类型。j m f 扩展了f o r m a t 对象来定义音频专用格式以及视频专用 格式。a u d i o f o r m a t 描述声音格式特性，例如采样率和通道数。v i d e o f o r m a t 封 装了与视频数据有关的信息。为了从控制器得到格式变化通知，必须实现 c o n t r o l l e r l i s t e n e r 接口监听f o r m a t c h a n g e e v e n t s 事件。 2 1 6 控制( c o n t r o l s ) 控制器( c o n t r 0 1 ) 为设置和查询对象的属性提供了种机制，常与用户界 面组件交互。控制器通过发出事件来通知其自身状态的改变，要接收这些事件 就必须实现c o n t r o l l e r l i s t e n e r 接口。在j m fa p i 中，能够实现控制接口的对 象有控制器