（模式识别与智能系统专业论文）基于ip网络的视频会议系统的研究.pdf

摘要 随着网络通信和多媒体技术的发展，人们已不满足简单的语音和文字通信， 希望集语音、文字和图像于一体的多媒体通信多媒体通信是继电报、传真、电 话之后新的通信技术。视频会议系统是种应用网络技术和音频视频编解码技 术来实现虚拟会议的多媒体通信系统，能够使地理上分散的用户在网络上通过视 频、声音、文本等信息流进行交互式的交流。 由于分组交换的口网络特别是i n t e r n e t 的飞速发展，与l p 有关的技术也取 得了巨大的发展。基于口交换网络的视频会议系统的实现由于其成本的低廉， 交互性强大，多点共同参与的特点和优点取代了传统的电视、电话会议，成为了 人们通过远程进行会议交流的理想选择。 本文以河北省良科电子科技公司为依托，围绕“基于i p 网络的视频会议系 统的研究”这一课题展开的。视频会议系统采用r t p r t c p 协议作为媒体控制协 议，音频采用g 7 2 3 ，视频编码采用h 2 6 3 标准，实现了局域网内点对点的视频 会议系统。 本文主要阐述以下几个方面的内容： ( 1 ) 分析了视频会议系统的发展，应用及意义并提出了视频会议系统发展的 几个技术问题 ( 2 ) 分析并研究了视频会议系统使用的关键技术。 ( 3 ) 分析并研究了视频会议系统的基本原理和实现标准。 ( 4 ) 实现了局域网点对点视频会议系统的总体设计。 ( 5 ) 介绍了视频会议系统的控制和通信过程，视频和音频采集和传输过程。 关键词：视频会议系统，h 3 2 3 协议，组播，r t p r t c p 协议 a b s t r a c t w i t ht h ed e v e l o p m e n to ft h et e c h n o l o g yo fm u l t i m e d i aa n dn e t w o r k i n g , t e x ta n d v o i dc o m m u n i c a t i o nv i a n t e m e tc 托n o tm e e tt h er e q u i r e m e n t so ft h ep e o p l e p e o p l e n e e dan e wc o m m u n i c a t i o nt h a tc a nt r a n s m i tt e x t , v o i da n dv e d i o i td e v e l o p e da f t e r t e l e p h o n e , t e l e g r a p ha n df a x n o wv i d e o c o n f e r e n c e ，a na p p l i c a t i o no fm u l t i m e d i a c o m m u n i c a t i o n , a p p l i e sn e t w o r k i n gt e c h n o l o g ya n dm u l t i m e d i ac o d e ct or e a l i z ea v i r t u a lc o n f e r e n c e t h r o u g hv i d c o c o n f e r e n c e ，p e o p l ew h oa r en o ti nt h es a m ep l a c e c a nc o m m u n i c a t ef r e e l ya n de f f e c t i v e l yw i t he a c ho t h e r a st h em p i dd e v e l o p m e n to ft h e 口p a c k e ts w i t c h i n gn e t w o r k se s p e c i a l l yt h e i n t e m e t ，t h et e c h n o l o g ya b o u ti ph a sm a d et r e m e n d o u sd e v e l o p m e n t i p - b a s e dv i d e o c o n f e r e n c es y s t e mo ft h ee x c h a n g en e t w o r kb e c a u s eo fi t sl o wc o s t ，i n t e r a c t i v e p o w e r f u la n dm o r ei nc e m m o nw i t ht h ec h a r a c t e r i s t i c sh a sr e p l a c e dt h et r a d i t i o n a l t e l e v i s i o na n dt e l e p h o n ec o n f e r e n c e 。i th a sb e c o m ea l li d e a lc h o i c ee x c h a n g e st h r o u g h t h el o n gm e e t i n g i | lt h i s p a p e rt a l ka b o u t ”r e a s e r c ho f i p b a s e dn e t w o r kv i d e oc o n f e r e n c e s y s t e m ”w h i c hi sd e v e l o p e di nt h eh e b e ie l e c t r o n i ct e c h n o l o g yc o m p a n i e s t h ev i d e o c o n f e r e n c er e a l i z e dap o i n t - t o p o i i l tv i d e oc o n f e r e n c es y s t e mu s i n gr t p r t c pa s m e d i ac o n t r o lp r o t o c o l ，g 7 2 3s t a n d a r da sa u d i oc o d e c , h 2 6 3s t a n d a r da sv i d e o c o d e c t h i sp a p e rm a i n l yd e s c r i b e st h ef o l l o w i n ga s p e c t s ： ( 1 ) a n a l y s i so ft h ea p p l i c a t i o na n ds i g n i f i c a n c eo ft h ev i d e oc o n f e r e n c es y s t e m a n dt h ed e v e l o p m e n to fs e v e r a lt e c h n i c a lp r o b l e m st h ev i d e oc o n f e r e n c e s y s t e m ； ( 2 ) a n a l y s i s o fk e yt e c h n o l o g i e so fv i d e oc o n f e r e n c es y s t e m s ； ( 3 ) a n a l y s i sa n ds t u d ya b o u tt h eb a s i cp r i n c i p l e so ft h ev i d e oc o n f e r e n c es y s t e m a n di t ss t a n d a r d s ； ( 4 ) ai _ a nd e s i g no fap o i n t - t o p o i n tv i d e oc o n f e r e n c es y s t e m ； ( 5 ) t h er e a l i z a t i o no f t h ea u d i oa n dv i d e oc a p t u r ea n dt r a n s m i s s i o n 。 k e y w o r d s ：v i d e oc o n f e r e es y s t e m ，h 3 2 3p r o t o c o l ，m u l t i c a s t ，r t p r t c p 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得云洼王些盍堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示了谢意。 学位论文作者签名名下双 签字日期：严z 月争日 ，f 学位论文版权使用授权书 本学位论文作者完全了解丞洼王些太堂有关保留、使用学位论文的规定。 特授权丞洼至些盘堂可以将学位论文的全部或部分内容编入有关数据库进行 检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学 校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者虢研敏致 签字日期： 。7 年2 月铲h 名：倬阢孕 签字日期：。7 年2 月日 学位论文的主要创新点 一、本文利用了基于c o m 组件的d i r e c t s h o w 技术设计了一套 实现视频和音频信号的实时采集、压缩和回放的方案，达到了较好的 效果。 二、本文音频视频传输模块采用基于u d p 的r t p r t c p 协议实 现，保证了音频视频流传输的实时性和连续性。 第一章绪论 1 1 课题的背景 第一章绪论 随着i n t e m e t 和视频压缩技术的飞速发展，使得i n t e r a c t 网络成为信息交换 和传输的重要手段之一，简单的数据计算、数据存取、数据访问已无法满足政府、 教育、企业等的需求，希望实现数据、音频、视频的双向互通，进行实时的多方 位的信息沟通，因而，以i p 网络为基础的多媒体视频会议己成为主要的发展趋 势，受到国内外市场的普遍关注1 1 1 。个人计算机的普及、微电子技术和多媒体技 术的飞速发展、综合业务数字网的建立及宽带综合业务数字网的研究发展，都有 力的推动了视频会议的发展。 目前，随着现代宽带网络技术的迅速发展，基于口网络的视频会议系统正 成为会议系统发展的主流。当前的多媒体会议系统大多基于硬件插卡方案，以满 足实时应用的要求，但存在很大缺点，它需要额外的资金购买硬件，而且一旦出 现新的协议或算法，就必须更换硬件，因此基于p 交换网络的视频会议系统的 实现由于其成本的低廉，交互性强大，多点共同参与的特点和优点取代了传统的 电视、电话会议，成为了人们通过远程进行会议交流的理想选择。基于口协议 的交换技术的发展，使传统电信业务和互联网数据业务的整合成为可能。它能为 用户提供直接、全面的沟通交流，并能节约时间、降低成本、提高生产率，在社 会性的信息交流中了发挥了巨大的沟通作用。 1 2 视频会议系统的现状与发展 在视频会议出现之前，人们要实现异地召开会议，只能利用会议电话技术， 参会人员彼此只能听见声音。而人们彼此通信交流有3 个基本要素：内容、表述 方式和视频。其中视频因素是最有力的，任何人类交流的应用都因引入视觉的因 素而使效果大大提高。视频会议正好满足了这方面的要求 2 1 。 1 2 1 视频会议系统的概念 视频会议系统【4 1 ( v i d c o n f e r e n c e ) 是指两个或两个以上不同地方的个人或 群体通过传输线路及多媒体设备，将声音、影像及文件资料互传，达到及时且互 动的沟通。 第一章绪论 视频会议系统是集通信、计算机技术、多媒体技术于一体的远程异地通信方 式。在召开视频会议时，处于两地或不同地点的与会代表，以及会议中展示的实 物、图片、表格、文件等，与真实的会议无异，使每个与会者有身临其境之感。 在实际应用中，视频会议系统能够提高工作效率，降低远距离会议的费用。 1 2 2 视频会议系统的现状 国外对视频会议的研究开发远远早于中国，第一代视频会议产品的可视电话 是由美国贝尔实验室1 9 6 4 年研制出来，我国第一台拥有自主知识产权的1 s d n 可视电话2 0 0 1 年7 月才研制成功。随后视频会议提供厂商加大了视频会议终 端产品的研发，众多国际品牌脱颖而出，以w e b e x 为代表的运营平台提供商也 给视频会议市场注入了新的活力。在美国，视频会议已渗透到政府、商业、金融、 交通、服务、教育等各行业，其中远程教育和远程医疗占了相当大的比重。在这 其中，美国政府对信息化建设起到了非常重大的推动作用，在远程教学方面，诸 多美国大企业利用视频会议系统为员工提供培训，而m r r 和d u k e 等顶尖大学 也都在远程教育方面进行了很大投资。9 1 1 事件之后，美国出现了企业集团、个 人大规模采购与使用视频会议系统的热潮，据w a i n h o u s e 调查，有9 1 的商业 企业倾向于采取视频会议的工作方式。 中国的视讯业发展已有1 0 年的历程。发展之初的视频会议系统只是针对政 府、金融、集团公司等高端市场，主要在专网中运行，且造价不菲，预算往往高 达百万、千万元。受2 0 0 3 年s a r s 的影响，中国视频会议系统市场近两年突 破了以往的平缓发展局面，开始步入稳步快速发展阶段。混网及企业公网市场代 替基于专线网络的视频会议系统占了主流地位。2 0 0 4 年，基于混网和企业公网 的产品占到了6 8 8 的比例，2 0 0 5 年，这一比例将高达8 7 5 ，成为市场主流。 赛迪顾问公司去年年底的调查显示，我国在政府、金融、能源、通信、交通、医 疗、教育等重点行业机构中视频会议设备的用户比例达到了6 6 3 ，视频会议系 统已经成为了我国行业信息交流和传递的重要手段。计世资讯( c c wr e s e a r c h ) 预测，未来3 年内，视频会议系统将以复合年平均增长率2 6 1 的速度增长。 1 2 3 视频会议系统的发展趋势 视频会议大致经历了以下几个发展阶段。 第一阶段，2 0 世纪6 0 年代至踟年代的模拟技术视频会议。1 9 6 4 年，世 界上最早的模拟技术可视电话p i c t u r cp h o n em o d - - i 诞生于美国贝尔实验 室，采用了图像和语音分时传输的方法，传输带宽为3 0 0 3 4 0 0 h z 。进入2 0 世 纪7 0 年代，由于数字式传输的出现，传统视频会议系统所用模拟信号的采样和 2 第一章绪论 变换方法得到极大改善，数字信号处理技术逐渐成熟对数据压缩的研究生成了 视频会议产品的核心技术c o d e c ( c o d e r d e c o d e r ) 。 第二阶段，2 0 世纪9 0 年代初至1 9 9 5 年基于i s d n 的数字视频会议。这 一阶段的前期是基于s d h 、d d n 网的视频会议，后期主要是基于i s d n 网的 视频会议。2 0 世纪9 0 年代初期，第一套国际标准h 3 2 0 获得通过，不同品牌 之问的兼容性问题得到了解决。 第三阶段，1 9 9 5 年以后基于坤网的数字视频会议。2 0 世纪9 0 年代后期， 随着p c 的快速升级，数据存储和处理能力越来越强，信息压缩技术发展快速， 进一步推动了视频会议系统的发展。 目前视频会议系统正在向i n t e r a c t 网络上的多媒体会议方向发展。 随着通信网络运营带宽业务的拓展以及在保证网络服务质量情况下对核心 宽带骨干网技术的应用，可以预见，网络传输能力将迸一步提高，从而促进视频 会议系统的快速发展。视频会议系统未来的发展趋势有以下几点1 7 j 。 ( 1 ) 编解码方式由硬件转向软件。 ( 2 ) 协议类型从h 3 2 0 向h 3 2 3 转化 ( 3 ) 市场重心向低价位普通用户市场转移。 “) 流媒体广播技术越来越多的应用于视频会议系统。 ( 5 ) 虚拟合作应用服务成为视频会议系统面向企业的核心功能之一。 1 3 视频会议系统的类型 根据运行环境和支持标准等视频会议系统可以划分为以下不同的类型1 4 j 。 ( 1 ) 根据会议节点数目不同，视频会议系统分为点对点视频会议系统和多点 视频会议系统。点对点视频会议系统应用于两个通信节点间，多点视频会议系统 应用于两个以上节点之自j 的通信。 ( 2 ) 根据视频会议系统运行的通信网络分类，可以分为： 专网或数字数据网( d d n ) 型：一般运行在1 2 8 - 3 8 4 k b s 的速率下，提供中 等质量的服务，可以召开点对点的视频会议。 i s d n 型：采用h 3 2 0 协议，用于基于电路交换的带宽6 4 k b s 一2 m b s 的窄带 i s d n 等网络。 l a n w a n 型：采用h 3 2 3 协议，运行在局域网或广域网上，可提供1 5 - 2 0 帧，s 的c i f 或q c i f 图象。局域网一般用于一个公司或组织内部，其多路复用方 式可以很好地支持组播功能，多方之间的通信实现起来比较方便，同时其内置协 议使得会议的组织和管理便捷，参加会议人员可以随时加入或退出会议。 i n t e m e t 型：i n t e r a c t 是使用分组交换的计算机网络。目前i n t e m e t 己成为主 第一章绪论 流多媒体通信网络，甚至成为未来带宽多媒体通信网络的第一阶段，以m 协议 为基础的具有多媒体通信功能的应用系统也将成为主要发展趋势。 o ) 根据运行终端可以划分为以下不同的类型。 桌面型视频会议系统：桌面视频会议日益受到青睐，因为它有效地利用了现 有的资源。视频会议仅仅是桌面上运行的多种应用之一。桌面型视频会议系统在 普通计算机上增加一些附加设备，主要利用计算机软件完成会议功能。 会议室视频会议系统：在带有环境控制设备的会议房问里装置一个或多个大 屏幕，系统由屏幕、摄像机、麦克风和辅助设备等组成。这些配置是永久性的， 它们不能移动到别的房间或大楼内，但可以提供高质量的视频和同步音频。 可视电话系统：该系统用于点到点通信，它满足了在电话上进行视频会议传 输的需求。系统组成包括一个小屏幕、内部摄像机、视频编解码器、音频系统和 键盘。 1 4 研究视频会议系统的意义 基于i p 网络的视频会议系统是一种集音频、视频、数据为一体的多媒体网 络通信的应用，是人们继单一媒体实现网络上的实时通信后对多媒体实现实时通 信提出的要求。实现l p 网络上的视频会议系统有着社会和技术发展两方面的意 义。从它的技术发展意义来讲，研究四网络上的视频会议系统促进了网络中多 媒体信息的编码压缩解压技术，同时还促进了口网络对媒体的实时传输技术、 多点传输技术和业务保障( q o s ) 技术的不断发展。 从产生的社会效益来讲，视频会议可以节省大量的会议费用，但实现m 网 络上的视频会议系统不仅仅只是提供给人们一个可以进行异地实时会议的工具， 还可以在这个基础上增开网络实时通信的增值服务。除了上述视频会议系统的类 型外，还可以在办公自动化、紧急求援、现场指挥调度等许多方面发挥作用，因 此有较好的发展前景。 1 5 本文主要研究内容 本文的主要研究内容是采用h 3 2 3 协议构建基于i p 网络的视频会议系统。 本文研究了视频会议系统的发展、意义。并且对视频会议使用的关键技术，相关 协议进行了深入研究，并实现了一个局域网内点对点的视频会议系统，该系统能 实现点对点的视频会议的召开，具有良好的实时性、交互性。 在第二章中，对视频会议系统所使用的关键技术做了介绍。 在第三章中，介绍了视频会议的基本原理和实现标准，详细介绍了h 3 2 3 协 第一章绪论 议。 在第四章中，介绍了视频会议系统的总体设计，提出了点对点视频会议系统 的总体设计方案。 在第五章中，详细介绍了视频会议系统的控制和通信过程，视频和音频采集 和传输过程，使用d i r e c t s h o w 编程实现视音频数据的采集和回放，利用w i n s o c k 编程实现视音频数据的传输。 本文的最后一章对本论文的内容进行总结，指出不足和将来需要深入研究的 问题。 第二章视频会议系统所使用的关键技术 第二章视频会议系统所使用的关键技术 视频会议系统涉及计算机网络、多媒体通信、媒体信号处理等多方面的内容， 是计算机网络中的一种多媒体通信的应用。系统采用了包括计算机网络技术、媒 体信号编码压缩解压技术、多点传输技术以及保证系统q o s 的多方面的技术。 其中最为核心的技术是网络技术、媒体编解码技术和媒体信号传输技术。视频会 议系统经过了由模拟向数字、由电信网向计算机网络、由无标准向有协议标准的 发展。 在i n t c m e t 上实现视频会议系统，需要解决以下几个主要方面的关键技术： 一是多媒体信息处理技术；二是网络技术；三是信息安全技术。 2 1 多媒体信息处理技术 2 1 1 多媒体压缩技术 压缩编码技术是视频会议系统的关键技术之一，多媒体信息，特别是连续媒 体信息源将产生大量的实时数据，如果直接进行传输或存储，则会对网络带宽和 存储空间带来很大的负担。因此，多媒体数据在传输前或存储前必须经过压缩处 理，传送到目的地后再解压播放。这样可以节省大量的网络带宽。 多媒体数据压缩是通过数学运算将原来较大的文件变为较小文件的数字处 理技术，数据解压缩是把压缩数据还原成原始数据或与原始数据相近的数据的技 术。数据压缩通常可分为无损压缩和有损压缩两种类型。无损压缩是指压缩后的 数据经过重构还原后与原始数据完全相同，有损压缩是指压缩后的数据经过重构 还原后与原始数据有所不同。 衡量一种压缩技术的好坏主要综合考虑三个指标：一是压缩比要大；二是算 法要简单，压缩解压缩速度要快，能够满足实时性要求；三是压缩损失要少， 即解压缩的效果要好 数据压缩的技术核心是压缩算法，目前常用的压缩方法有两类：一是无损压 缩( 又称冗余压缩法或熵编码法) ，主要用于文本和数据压缩，典型的有h u f f m a n 算法、游程编码。二是有损压缩( 熵压缩法) ，主要用于图像和声音的压缩，常用 的有模型编码、矢量量化、子带编码等。在具体应用中，常混合采用多种压缩算 法，如用于静态图像压缩的j p e g ，以及今年来发展起来的支持静态图像压缩的 m p e g 等。 第二章视频会议系统所使用的关键技术 2 1 2 音频编解码技术 数字音频编码有许多成熟的算法和标准，它们大多采用基于差分脉冲编码调 制( a d p c m ，a d a p t i v e d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n ) 、线形预测编码( l p c ， l i n e a rp r e d i c t i v ec o d i n g ) 和码本激励( c e l p ，c o d ee x c i t e dl i n e a rp r e d i c t i o n ) 等方 法，目前应用最广的音频压缩标准是g 7 x x 系列标准，主要包括g 7 1 1 、g 7 2 1 、 g 7 2 2 、g 7 2 3 、g 7 2 6 、g 7 2 8 和g 7 2 9 ，可以分为基于采样的编码和基于帧的编 码。 g 7 1 1 和g 7 2 2 属于基于采样的编码，特点是每个话音采样均用固定数目比 特来表示。g 7 1 1 包含a 律和n 律p c m 两种方式，编码器数据率为6 4 k b p s 。g 7 2 2 全称是数据率为6 4 k b p s 的7 k h z 音频编码，也是由r r u - t 制定的音频编解码标 准。 g 7 2 3 、g 7 2 8 和g 7 2 9 是基于帧的话音编码，本文采用的是g 7 2 3 语音编 码，g 7 2 3 是一个双速率的语音编码器，g 7 2 3 1 语音编码是h 3 2 3 协议首推的 语音编码器，它不仅具有两种低速率语音编码输出，而且具有很好的语音质量， 因此，目前在职的多媒体通信系统中应用特别普遍。它的两个编码速率分别为 6 4 k 和5 3 k 。高速率( 6 4 k ) 采用多脉冲激励最大似然量化( m p _ m l q ) 算法，低速 率( 5 3 k ) 采用代数码本激励线形预测( a c e l p ) 算法。这两种算法具有相同的理论 基础，都是基于线形预测( l p g ) ，都采用非周期性分量的激励源。不同之处在于 对m pm l q 采用多脉冲最大似然量化激励，而对a c e l p 采用的是代数码本激 励。 2 1 3 视频编解码技术 所谓编解码方式就是指通过特定的压缩技术，将某个视频格式的文件转换成 另一种视频格式文件的方式。目前视频编码技术主要有两种标准：一是国际电信 联盟远程通信标准化组( 删t ，i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n - t e l e c o m - m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r ) 的h 2 6 x 系列标准：二是国际标准化组织国际电 工委员会( 1 s o 1 e c ) j 主动图象专家组的m p e g ( m o t i o np i c t u r ee x p e r tg r o u p ) 系列标 准。其中，h 2 6 3 ：系列标准能够在很低的码率下保证解码图象的质量，更加适合 i n t e r a c t 上的实时视频业务。目前视频流传输中最为流行的编解码标准有l t u t 制 定的h 2 6 1 、h 2 6 2 、h 2 6 3 及由r r u t 视频编码专家组( v c e g ) 和m p e g 联合组成 的联合视频组提出的高度压缩数字视频编解码器标准h 2 6 4 。 1 、h 2 6 1 编解码标准 h 2 6 1 是1 9 9 9 年n u - t 制定的视频编码标准，属于视频编解码器。设计的 第二章视频会议系统所使用的关键技术 目的是能够在带宽为6 4 k b i t s 的综合业务数字网i s d n ( i n t e g r a t e ds e r v i c e sd i g i t a l n e t w o r k ) 上传输质量可接受的视频信号。编码程序设计的码率是能够在 4 0 k 2 m b i t s 之问工作，能够对c i f 和q c w 分辨率的视频进行编码，即亮度分辨 率分别是3 5 2 x 2 8 8 和1 7 6 x 1 4 4 ，色度采用4 ：2 ：0 采样，分辨率分别是1 7 6 x 1 4 4 和8 8 x 7 2 。 h 2 6 1 是第一个使用的数字编码标准，之后的视频编码国际标准基本上都是 基于h 2 6 1 相同的设计框架，包括m p e g 一1 m p e g 2 n 2 6 2 和h 2 6 3 ，甚至h 2 6 4 。 h 2 6 1 使用了混合编码框架，包括了基于运动补偿的桢见预测，基于离散余弦变 化的空域变换编码，量化、z i g - z a g 扫描和熵编码。 h 2 6 1 编码时基本的操作单位成为宏块。h 2 6 1 使用y c b c f 颜色空间，并采 用4 ：2 ：o 色度抽样，每个宏块包括1 6 x 1 6 的亮度抽样值和两个相应的8 x 8 的 色度抽样值。 h 2 6 1 使用帧问预测来消除冗余，并使用了运动矢量来进行运动补偿。变换 编码部分使用了一个8 x 8 的离散余弦变换来消除空域的冗余，然后对变换后的系 数进行阶梯量化( 这一步是有损压缩) ，之后对量化后的变换系数进行z i g - z a g 扫 描，并进行熵编码来消除统计冗余。 2 、h 2 6 2 编解码标准 h 2 6 2 是由删- t 的v c e g 组织和i s o i e c 的m p e g 组织联合制定的，通 常用来为广播信号提供视频和音频编码，包括数字卫星电视、有线电视等。其支 持隔行扫描和逐行扫描，在逐行扫描模式下，编码的基本单位是帧，在隔行扫描 模式下，编码的基本单位可以是帧也可以是场。然而，类似于x d s l 、u m t s ( 通 用移动系统) 技术只能提供较小的传输速率，甚至d v b t ，也没有足够的频段可 用，提供的节目很有限，随着高清电视的引入，迫切需要高压缩比技术的出现。 3 、h 2 6 3 编解码标准 h 2 6 3 是由u t 制定的视频会议用的低码率视频编码标准，属于视频编解 码器。h 2 6 3 最初设计为基于h 3 2 4 的系统进行传输( 即基于公共交换电话网和 其它基于电路交换的网络进行视频会议和视频电话) h 2 6 3 的编码算法与h 2 6 1 一样，但做了一些改善和改变，以提高性能和纠错能力。h 2 6 3 标准在低码率 下能够提供l b h 2 6 1 更好的图像效果，h 2 6 3 的运动补偿使用半象素精度，数据 流层次结构的某些部分在h 2 6 3 中是可选的，使得编解码可以配置成更低的数据 率或更好的纠错能力，h 2 6 3 支持5 种分辨率等。它的第一版于1 9 9 5 年完成，在 所有码率下都优于之前的h 2 6 1 。之后还有在1 9 9 8 年增加了新的功能的第二版 h 2 6 3 + ，或者a q h 2 6 3 v 2 ，以及在2 0 0 0 年完成的第三版h 2 6 3 + + ，即h 2 6 3 v 3 。 h 2 6 3 只有5 种视频源格式，h 2 6 3 + 允许使用更多的源格式；h 2 6 3 + 保持了原先 第二章视频会议系统所使用的关键技术 版本h 2 6 3 的所有技术，但是通过增加了几个附录显著的提高了编码效率并提供 了其它的一些能力，例如增强了抵抗传输信道的数据丢失的鲁棒性( r o b u s t n e s s ) 。 可见，h 2 6 3 能够提供更好的图象质量和更低的传输速率，因此，h 2 6 3 标 准是口网络视频通信采用最多的一种编码方式，更适合m 视频会议系统，也是 本文推荐使用的视频编码算法。 h 2 6 3 主体算法框架如图2 - 1 所示。 图像输入 图2 - 1h 2 6 3 算法压缩流程图 4 、h 2 6 4 编解码标准 在h 2 6 3 之后，r r u 可在- 与m p e g 的合作下) 的下一代视频编解码器是h 2 6 4 ， 由于h 2 6 4 在性能上超越了h 2 6 3 很多，现在通常认为h 2 6 3 是一个过时的标准 ( 虽然它的开发完成并不是很久以前的事情) h 2 6 4 是由u t 视频编码专家组 ( v c e g ) 和i s o e c 运动图像专家组( m p e g ) 联合组成的联合视频组( j v t ，j o i n t v i d e o t e a m ) 提出的高度压缩数字视频编解码器标准。h 2 6 4 最初的目标是希望 新的编解码器能够在比相对以前的视频标准( l b 如h 2 6 3 ) 低很多的码率下( 比如 说，一半或者更少1 提供很好的视频质量；同时，并不增加很多复杂的编码工具， 使得硬件难以实现。另外一个目标是可适应性，即该编解码器能够在一个很广的 范围内使用( 比如说，既包含高码率也包含低码率，以及不同的视频分辨率) ，并 且能在各种网络和系统上f 比如组播，d v d 存储，r t p f l p 包网络，l t u - t 多媒 第二章视频会议系统所使用的关键技术 体电话系统) 1 - 作。它的应用范围包括可视电话、视频会议、t v 、d v d 以及硬 盘存储、流媒体、数字摄影、数字视频制作等等。和现有的视频编码标准，如 m p e g 1 、m p e g 2 、m p e g - 4 相比，h 2 6 4 至少一倍以上的更加出色的压缩效 率。本文采用h 2 6 3 编码，因此不做更多介绍。 2 2 网络技术 2 2 1 多媒体信息的特点埘 多媒体技术是把文字、音频、视频，图形等多媒体信息通过计算机进行数字 化采集、获取、压缩解压缩、编辑和存储等加工处理的技术。一般说来，文本 信息在网络上传送时不需要严格的实时控制，却要求可靠的服务。而声音、视频 信息可以允许少量的信息流失，但对时问的延迟却非常敏感，要求网络能实时传 送。 下面具体讨论一下多媒体信息的特点。 1 、语音、视频信息都要求实时传送。语音信号在网络上的延迟不得大于 2 0 0 m s ，视频传输不得低于每秒2 0 帧，否则就会出现失真或不连续。 2 、可以容忍少量信息的流失。对于某些媒体信息，满足一定程度的传送正 确率即可，不必1 0 0 地正确传送。对于语音的传送，只要流失率在2 以内， 就不会对接收方的播放效果产生太大的影响。 3 、广播服务。许可应用，如电视会议、计算机协同工作等经常要做广播服 务，即一个群体中某一成员传送信息时，该群体中其它成员能收到此消息，而不 属于此群体的则不能收到。 4 、较长的持续时间。多媒体通信通常需持续较长的时间，如开一个多媒体 电视会议可能要几个小时 5 、弹性带宽。各种媒体在网络中传送时所需的带宽不同。如：文本信息的 传送时因无实时要求，不需太大的带宽；一般讲话的语音在保证接收方听起来不 失真的前提下，需要6 4 k b p s 带宽。 6 、较严格的延迟变化度。延迟变化度是指信息在网络上传送时延迟的差异 程度。 7 、同步播放。多媒体信息的同步播放可以分为两类，即媒体间同步播放和 媒体内同步播放。媒体间的同步多为语音和视频之问的同步，如声音应和其口型 吻合；媒体内的同步播放是指如何让媒体在收方的播放效果与发方的效果一样， 即如何消除因网络传输延迟所造成的影响。 第二章视频会议系统所使用的关键技术 2 2 2 多媒体信号传输技术 在h l t c m c t 上传输多媒体信息，对实时性要求很高，一般都是采用实时传 送协议r t p ( r e a l - t i m et r a n s p o r tp r o t o c 0 1 ) 协议进行封装传输。口网络的通信协议 是基于t c p i p 协议的，当然，口协议和t c p 协议是核心协议。此外，为了保证 视频会议的音频和视频码流的实时传输，需要使用实时传输协议r t p 。以上几个 通信协议是口网的主要通信协议，是口网的通信基础，口网的所有业务将都 是在这些通信协议的基础上建立起来的。 2 2 2 1 r t p r t c p 协议 实时传输协议r t p 1 4 i ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) ：是针对i n t e m e t 上多媒体 数据流的一个传输协议，有i e t f ( i n t e m e t 工程任务组) 作为r f c l 8 8 9 发布。r t p 被定义为在一对一或一对多的传输情况下工作，其目的是提供时间信息和实现流 同步，r t p 的典型应用建立在u d p 上，但也可以在t c p 或a t m 等其他协议之 上工作。r t p 本身只保证实时数据的传输，并不能为按顺序传送数据包提供可靠 的传送机制，也不提供流量控制或拥塞控制，它依靠r t c p 提供这些服务。 实时传输控制协议r t c p ( r e a l t i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) ：负责管理传 输质量在当前应用程序之间交换控制信息。在r t p 会话期间，各参与者周期性 地传送r t c p 包，包中含有已发送的数据包的数量、丢失的数据包的数量等统计 资料，因此，服务器可以利用这些信息动态地改变传输速率，甚至改变有效载荷 类型。r t p 和r t c p 配合使用，能以有效的反馈和最小的开销使传输速率最佳化， 故特别适合传送网上的实时数据。 利用r t p 能够在1 对l ( u n i c a s t ，单播) 或者1 对多( m u l t i c a s t , 多播) 的网络环境 中实现流媒体数据的实时传输。r t p 通常使用u d p 来进行多媒体数据的传输， 但如果需要的话可以使用t c p 或者a t m 等其它协议。r t p 协议的设计目的是提 高实时数据传输中的时间戳信息以及各数据流的同步功能。r t p 协议提供序列号 字段使接受方根据检测收到的分组序列号来判断是否有分组丢失，并可重新恢复 发送时的分组序列；提供时间戳字段用于重新建立原始音频、视频的时序，帮助 接受方确定数据到达时间的一致性或变化，提供同步源标识符( s s r c ) 字段，在 接收端为包分组从而进行回放。r t p 本身并不能为按序传输数据包提供可靠的保 证，也不提供流量控制和拥塞控制，这些都由实时传输控制协议r t c p 来负责完 成，通常r t c p 会采用与r t p 相同的分发机制，向会话中的所有成员周期性地 发送控制信息，应用程序通过接收这些数据，从中获取相关资料，从而能够对服 务质量进行控制或者对网络情况进行诊断。 当应用程序开始一个r t p 会话时将使用两个端口：一个给r t p ，一个给 l l 第二章视频会议系统所使用的关键技术 r t c p 。在r t p 会话期间，各参与者周期性地传送r t c p 包。r t c p 包中含有已 发送的数据包的数量、丢失的数据包的数量等统计资料，因此，服务器可以利用 这些信息动态地改变传输速率，甚至改变有效载荷类型。r t p 和r t c p 配合使用， 它们能以有效的反馈和最小的开销使传输效率最佳化，因而特别适合传送网上的 实时数据。 2 2 2 2 视音频采用u d p 、t c p i p 、r t p r t c p 技术传输的特点 m 协议是一个点到点的通信协议，提供无连接的数据报传输机制，不能保 证传输的可靠性。t c p i p 协议是为包含多种物理网络技术而设计的，而这种包 容性主要体现在l p 层当中。在口层中，i p 数据报和口地址将各种网络技术的 帧格式、地址格式统一起来，达到屏蔽低层细节提供一致性向上接口的目的。m 协议向上层f r o , , u d p 等慢供统一的口数据报，使得各种下层网络的物理帧 的差异性对上层协议不复存在。 t c p 协议和u d p 协议是口网中的传输层上并列的协议。传输控制协议t c p 是面向连接的，提供高可靠性服务；用户数据报协议u d p 是无连接的，提供高效 率的服务。t c i 协议要提供高可靠性的服务，而它的下层通信基础则是无连接的， 提供m 数据报服务的i p 层这样，可靠性传输问题完全要在t c p 中来解决。 t c p 的主要工作有连接管理、流量控制和崩溃恢复等，其中连接管理要解决的主 要问题是由于确认和超时重传机制造成的延时和重复，t c p 用到了报文生存时间 和三次握手等机制加以解决；流量控制则采用滑动窗f l 机制；崩溃恢复的主要工作 是恢复崩溃前的连接状态，为此主机需向其它主机广播一个查询报文。u d p 协 议几乎直接建立在口协议之上，不提供可靠性服务，而是提供高效及时的用户 数据报服务。t c p 协议和u d p 协议的另一项工作是提供复用( 进程间通信) 手段 利用端口来控制传输端口，这是我们要用到的。 r t p 协议是媒体信息进行实时传输所必须采用的技术，它包含了两部分内容 其一是实时传输协议r t p ，定义了数据报文格式及其使用规则；其二是实时传输 控制协议r t c p , r t p 传输服务提供者之间的连接被称为r t p 会话，就每一个会 话参加者而言，会话由一对传输层地址标识，即一个网络层地址加上两个端口地 址，一个端e l 为r t p 报文的发送接收所占用，另一个端口为r t c p 报文的发送， 接收所占用。在进行多媒体数据通信时，不同媒体类型数据由不同的r t p 会话 传输，借助于r t c p ，会话参加者不仅可以监测数据通信质量，还可以行使一些 基本的会话控制功能，如参加退出会话、识别其它参加者身份等。r t p 报文可 以灵活地承载特定应用所定义的a d u ，它还就一些常用的编码方式如g 7 2 1 ， h 2 6 1 j p e c m p e g 等定义了码流的打包方案；r t p 完全依赖于低层网络提供传 输实时数据的o o s 要求的保障。另外，r t p 还定义了两类功能模块：混合器和翻 第二章视频会议系统所使用的关键技术 译器，以保证具有不同通信条件的用户可以顺畅地完成数据的交换。r t c p 是r t p 的控制协议，用于监视网络的服务质量，以及周期性地在正在进行的与会者中传 递消息。通常r t p 和r t c p 的协议元是用u d p 协议元提供不同的端口号来装载 的，并利用u d p 的复用和校验和来实现r t p 和r t c p 的复用。 本文研究的视频会议系统是基于分组交换的，因而会议系统中的码流在传输 之前就必须进行打包，根据数据包上的标签进行统计复用同时，由于会议系统 中的不同信息码流各自有不同的特点。所以，它们对下层网络的承载要求也不同。 对于m 网，在实现时可以用以下方法解决这个问题，音频和视频码流对实时性 要求很高，即使少量的时延，对视频会议来说也是无法忍受的。但是，它们对于 少量的丢包却不太敏感。因此，对于音频和视频码流、采用实时传输协议r t p 来对它们进行打包再运用面向无连接的u d p 协议进行实时传输。数据和控制信 号对于服务质量要求很高，少量的包丢失或出错都是无法忍受的。因此，对于数 据和控制码流，在传输层运用面向连接、提供可靠的t c p 协议，从而完成它们 的可靠传送。 2 2 3 组播技术 视频会议业务需要点对多点的通信。目前视频会议系统的通信有单播 ( u n i c a s t i n g ) 和组播( m u l t i c a s t i n g ) 两种方式。 单播技术是一种点对