（通信与信息系统专业论文）视频会议速率控制的实现研究.pdf

摘要 随着i n t e m e t 和多媒体通信技术的迅速发展，传统的通信方式已不能满足人们 日益增长的交流需求，实时交互式的视频通信更能有效的传送信息。视频会议系 统正是在这种迫切需要的推动下开发成功的新一代通信产品。它不仅适用于家庭 生活，而且还可以广泛应用于各项商务活动、远程教学等多种领域。 视频会议系统的实现与很多技术相关，视频压缩编解码技术是其核心技术之 一，其中速率控制方法则是视频编码的关键部分，它对编码的图像质量和输出速 率产生直接影响。本文在分析和总结了当前各种基于h 2 6 3 速率控制算法的基础 上，针对厂商具体的视频会议系统，设计和实现了适于中速率环境的速率控制方 案。 首先，本文介绍了速率控制算法的发展，然后介绍了h 3 2 3 视频会议系统的 总体框架，阐明了本课题的研究背景和意义，同时介绍了两个主流的视频编码标 准i t u th 2 6 3 及h 2 6 4 。其次，研究了国内外各种基于h 2 6 3 的主要的速率控 制算法及基本原理，并对其结果进行了详细的分析，根据视频会议系统的特征和 运行环境，提出了适于中速率环境的速率控制算法，并予以实现。实践证明，该 算法同t m n 8 速率控制算法相比可获得更高的控制精度，和更满意的图像恢复质 量。最后指出这种方案的待改进地方。 关键词：视频会议h 2 6 3 h 2 6 4速率控制 a b s t r a c t w i t ht h e q u i c k l yd e v e l o p m e n to f i n t e m e ta n dm u l t i m e d i ac o m m u n i c a t i o n t e c h n o l o g y , t h et r a d i t i o n a lc o m m u n i c a t i o nm e t h o dc a n ts a r i s f yt h ep e o p l ed e m a n d h u m a n b e i n ga t t a c hm o r ei m p o r t a n c et ot h ee x p r e s s i o no ff a c ea n db o d y , r e a l - t i m e i n t e r a c t i r ev i d e oc a nt r a r t s f e ri n f o r m a t i o nf a c t u a l l y 1 1 1 ev i d e o c o n f e r e n c ei st h en e w c o m m u n i c a t i o np r o d u c t ，w h i c hi sd e v e l o p e ds u c c e s s f u l l yu n d e rt h eu r g e n td e m a n d i t i sn o to n l yf i tf o rt h ef a m i l yl i f e ，b u tw i d e l ya p p l i e di nv a r i o u s b u s i n e s sa f f a i r s ， l o n g d i s t a n c et e a c h i n ga n do t h e rf i e l d s t h er e a l i z a t i o no fv i d e o c o n f e r e n c ei n v o l v em u c hc o n c e r n e dt e c h n i q u e 、o n eo ft 1 1 e k e r n e l si sv i d e oc o d e c ，i nw h i c hr a t ec o n t r o la l g o r i t h mi st h ep r i m a r ys e g m e n t i t a f f e c t st h eo u t p u tr a t ea n dt h eq u a l i t yo fe n c o d e dv i d e od i r e c t l y i nm yp a p e r , a f t e r a n a l y z i n gs o m ec u r r e n tr a t ec o n t r o la l g o r i t h m so nh 2 6 3 ，id e s i g na n di m p l e m e n ta n e wa l g o r i t h ma c c o r d i n ga st h es p e c f i cv i d e o c o n f e r e n c es y s t e mo fm a n u f a c t u r eu n d e r t h em e d i u mr a t e f i r s t ，t h ep a p e ri n t r o d u c e st h ed e v e l o p m e n to fr a t ec o n t r o la l g o r i t h m ，t h e np r o v i d e sa r e v i e wo ft h eh 3 2 3v i d e o c o n f e r e n c e c l a r i f i e st h eb a c k g r o u n da n ds i g n i f i c a n c eo ft h e r e s e a r c h ，a tt h es a m et i m e ，i n t r o d u c e ss o m em a i nv i d e os t a n d a r d s ，s u c ha sh 2 6 3a n d h 2 6 4 s e c o n d l y , t h ep a p e rd i s c u s s e sm a n yr a t ec o n t r o la l g o r i t h m sa n db a s i cp r i n c i p l e s o nh 2 6 3i nt h ew o r l d ，a n da n a l y s e st h ec o r r e s p o n d i n gr e s u l t s ，t h e ns e t sf o r t ha n d i m p l e m e n t st h er a t ec o n t r o lp o l i c yf o rt h em e d i u mr a t ei nt e r m so ft h ec h a r a c t e r i s t i c a n da p p l i c a t e de n v i r o n m e n to fv i d e o c o n f c f e n c e t h er e s u l t so ft l l ee x p e r i m e n t ss h o w t h a ti tp r o v i d e sm o r ea c c u r a t er a t ec o n t r 0 1a n db e t t e ri m a g eq u a l i t yc o n t r a s tw i t ht h e r a t ec o n t r o la l g o r i t h mt m n 8 a t1 a s t t h i s p a p e ri n d i c a t e st h e1 i m i t a t i o no ft h e p r o p o s e da l g o r i t h m k e y w o r d ：v i d e o c o n f e r e n c e h 2 6 3 h 2 6 4r a t ec o n t r o l 独创 生( 或创新性) 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均己在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：塞i 缉：日期型! ：f 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密在年解密后适用本授权书。 本人签名 导师签名 塞迄：冠i 鳗z 缀 日期塑 ： 罗 日期型，z 厶穸 第一章绪论 第一章绪论 1 i 速率控制概述 在视频图像信息远程实时传输系统中，需要传输大量的视频图像信息，但在 现有网络带宽有限的情况下，必需压缩其占有的线路带宽，即采用图像压缩技术， 才能远程传输运动图像。其中，通过速率控制可以使图像在信道传输时充分利用 带宽。通常的视频压缩算法都采用了可变长编码，编码生成的视频码流是可变速 率的。为了能够在实际的固定速率信道或可变速率信道上传输，需要引入缓冲区 缓存视频码流数据。因此，视频编码算法必须提供一个有效的缓冲区管理策略， 确保缓冲区不会发生上溢和下溢。编码器通过速率控制算法，调整生成的视频码 流满足既定的缓冲区管理策略；同时在速率控制算法中使用自适应量化方法，确 保压缩视频的质量。换句话说，速率控制策略的目的就是，通过对量化步长的自 适应选择，使视频编码器在一定视频数据带宽的限制下能够保证较稳定的速率和 帧率以及较小的视频时延。 由此可见，速率控制策略的选择对于能否成功地在信道上传输视频数据起着 至关重要的作用。在一些视频编码的国际标准中，无论是h 2 6 x 系列，还是m p e g 系列，都没有对速率控制模块做具体的规定，因此人们可以根据不同的应用环境 和不同的视频编码协议而采用各种有效的速率控制策略。 由于视频码流结构具有分层的特点，因而速率控制方案的研究一般分成了两 个层次：图像层速率控制和宏块层速率控制。图像层速率控制的主要任务是，根 据系统对编码器输出速率的期望、系统传输延迟的限制、传送缓冲区的满溢程度 等，在帧图像编码前，确定该帧图像的输出期望比特数。宏块层速率控制的主 要任务是，根据图像层速率控制确定的该帧图像的输出期望比特数。给图像各部 分选择合适的量化步长。 1 2 速率控制算法的研究发展状况 传统的视频编码方案( m p e g ，h 2 6 x ) 中都有一个共同的特征，就是通过压 缩的方法来产生变长的码流，然而，这样的码流并不适合在固定速率的信道上直 接传送。为了使传输尽可能高效和精确，需要考虑许多编码因素；信道速率，编 码速率及图像内容。为了使速率控制更加有效，必须充分考虑各种编码因素之间 的关系，为编码参数建立精确的模型。 2 视频会议速率控制的实现研究 到现在为止，针对各种不同协议和应用，人们对速率控制技术也进行了各种 详细的讨论和研究，如采用h 2 6 1 协议和h 2 6 3 协议的视频会议系统应用j1 2 1 ， 用于存储媒质和实时通信的m p e g i ，m p e g - 2 标准1 3 11 4 1 ，面向视频对象编码的 m p e g - 4 标准l “，以及最新的采用了h 2 6 4 的视频编码应用1 6 1 。针对不同的编码 方案，进行速率控制时需要采用不同的编码参数，考虑不同的限制条件。例如在 m p e ( 3 - 2 中，最影响图像质量的编码参数是纹理编码的量化参数，这个参数的选 择可以在一帧的基础上进行，也可以根据宏块的不同来确定。在大多数具体的实 现中，为了实现目标速率，编码参数是根据缓冲区充盈度来确定的。而在h 2 6 3 的编码方案中，由于加了低速率的限制，所以允许跳帧，具体说来，当缓冲区濒 临上溢时，编码器就要舍掉部分图像，这就产生了跳帧。同跳帧机制相结合，速 率控制算法还要确定合适的q p 以获得理想的速率。 由于码流结构是一种分层结构，因此国内外的许多专家分别从图像层和宏块 层两个方面来研究。图像层的速率控制主要是为每一视频帧分配目标速率，在早 期的一些方法中，没有充分考虑失真和帧间的相关性，而采用简单的公式来获得 丑标速率，还有一些方法采用基于搜索的率失真策略来取得帧的期望比特数，这 些方法有的会产生较大的延迟，有的复杂度较高，因此仅适用于离线及高复杂度 的编码器。例如文献【7 】中的算法要求多次使用不同的量化参数来编一帧，而文献 【8 】【9 】中的算法则要求在编码前，对每一g o p 都要进行运动补偿和预分析。同这 些方法相比，t m n 8 【j 中的速率控制算法考虑到了帧间的相关性及失真度量，并 且算法复杂度较低。 宏块层速率控制的焦点主要集中在为每一帧的宏块选择合适的量化步长这一 问题上。最初人们用不同的量化步长对同一宏块进行编码，根据编码效果选择量 化步- k t 4 j ，但这种方法计算量大，不适合于实时应用。后来，人们开始为编码器 建立数学模型，根据可用比特数，缓冲区占用情况来选择量化步长【j “，然而这种 简单的基于模型的方法并不能精确地实现目标速率，并且由于它们允许较大的缓 冲区延迟( 许多码流在编码缓冲区中累积) ，在低速率情况下可能会引起频繁的跳 帧或浪费信道带宽。文献【1 0 】则提出了一种在低延迟环境中较为有效的基于模型 的速率控制算法，这种方法致力于运动补偿或帧间的速率控制，它使用拉各朗日 优化方法，在期望比特数的限制下将帧失真最小化，使得每一帧能较精确的实现 目标速率，且获得较高的图像质量。而近来人们又发现如果用p 表示宏块中d c t 系数量化后零系数所占的百分比l l 纠，它同编码速率r 之间有着更为直接的关系， 因此在p 域的基础上建立模型来进行速率控制。另外，人们又在速率控制算法中 加入了视觉权重因子h ，使得图像的恢复质量更能满足入眼的需求。同样，在视 频会议的应用环境中，为了顾及人们的主观视觉感受，人们提出了基于感兴趣区 域的速率控制方法l l 卅，这种方法使得图像细节更加丰富，且满足信道速率的要求。 第一章绪论 3 1 3 本文所作工作及章节结构 本论文在总结和分析了多种基于h 2 6 3 的速率控制算法的基础上，提出了一 种面向i n t e m e t 视频会议的中速率实时视频速率控制方案。该方案基于传统的 t m n 8 算法，并在此基础上进行了一定的改进，其中包括对i 帧的有效控制、跳 帧控制及简单而有效的帧层比特分配策略等。 本论文各章节的内容安排如下： 第一章为绪论，对速率控制概念及其发展和目前国内外研究的进展进行概述 性的介绍。 第二章对本论文研究的背景环境视频会议系统进行概要介绍，包括视频 会议的组成、分类和发展状况，并对视频会议的相关协议做了简要说明，着重介 绍了h 3 2 3 协议体系。 第三章介绍了速率控制算法的应用环境视频编码协议，对视频编码标准 进行了概要性的介绍，并着重介绍了h 2 6 3 及h 2 6 4 编码标准。 第四章为视频速率控制算法研究。首先介绍了经典的t m n 8 的速率控制算法， 基于d 域的速率控制算法及m p e g - 4 速率控制算法，并对上述算法进行了总结和 分析，最后根据视频会议系统的特点，提出了适于中速率环境的速率控制算法， 并对算法进行了详细的讨论和阐述。 第五章是实验结果及分析。 第二章视频会议系统 5 第二章视频会议系统 2 1 视频会议系统概述 尽管人们对千里迢迢的赴会已习以为常，实际上这种习惯的会议方式既“劳 民伤财”又效率低下。长期以来，身处异地的人们一直期望能够借助某种介质， 足不出户地进行面对面的交流。进入9 0 年代后，呈指数增长的i n t e r n e t 规模已遍 及世界1 8 0 多个国家和地区，它对多媒体数据的传输没有根本性的限制，正是人 们期望的这种介质。于是，视频会议应运而生并很快成为多媒体通信领域的一个 研究热点。 视频会议系统( v i d e o c o n f e r e n c i n g ) ，有时又被称为“电视会议系统”，是指 两个或两个以上不同地方的个人或群体，通过传输线路及多媒体设备，将声音、 影像及文件资料互传，达到及时且互动的沟通，以完成会议目的。该系统是一种 典型的图像通信。在通信的发送端，将图像和声音信号变成数字信号，在接收端 再把它重现为视觉、听觉可获取的信息，其主要特征在于它的分布性、实时性和 协作性。与电话会议相比，具有直观性强，互动性高，信息量大的特点。 2 2 1 基本组成 2 2 视频会议系统的基本组成及分类 视频会议系统在物理结构上包括会议结点机和通信网络两部分。典型的会议 结点机主要由音，视频获取设备、回放设备、媒体编解码部件、通信接口卡和会议 功能模块构成；网络部分主要指支持实时多点传输的网关和信道。完整的视频会 议系统的逻辑模型如图2 1 所示，由六大模块构成： 人机交互模块，即视频会议系统的人机界面； 会议文档部件，包括会议文档的自动生成、管理和查询等功能模块及与数据 库的接口模块； 媒体处理部件，包括音、视频信息的获取、编码、解码、回放等处理模块； 共享空间部件，包括共享空间管理模块、电子白板及应用过程共享功能模块； 会议管理部件，包括会议的发起、与会人员管理、会话建立以及会议结束等 处理模块； 传输与控制部件，包括点一点、多点通信模块，拥塞控制及q o s 处理模块。 6 视频会议速率控制的实现研究 视频会议系统人机界面 会议管理器媒体处理部分共享部分文档及会员 获取、c o d e c ，回放电子白板等库管理模块 传输与控制模块 点一点通信多点通信拥塞控制 q o s 处理 图2 1 视频会议系统的逻辑模型 视频会议系统主要是由视频会议终端、多点控制器、信道( 网络) 及控制管 理软件组成。 视频会议终端的主要功能是：完成音视频信号的采集、编辑处理及显示输出， 视频音频数字信号的编解码，最后将符合国际标准的压缩码流经线路接口送到信 道，或从信道上将标准压缩码流经线路接口送到终端。此外，终端还要形成通信 的各种控制信息，如同步控制和指示信号、定义帧结构、呼叫规程及加密标准、 传送密钥及密钥的管理标准等。 2 2 2 会议系统的分类 会议系统一般分为会议室会议系统和桌面会议系统两类。会议室会议的地点 位于专用的会议室中，配置有高质量的专用硬件、软件、大屏幕显示器以及音响 系统。通常使用专用的宽带通信信道，系统造价昂贵，主要用于有固定地点和时 间的大型会议；桌面会议系统就是在一般的个人机上配置简单的硬件，利用公共 通信网络来实现会议功能。因为终端就在桌面上，在家里随时可以参加一个远程 会议或讨论问题。这类系统造价低、灵活性好，视频质量可满足基本要求，是通 常意义上的会议系统。 基于业务流的分类。根据系统提供的业务流的不同，会议系统可分为： ( 1 ) 数据会议( d a t ac o n f e r e n c i n gs y s t e m ) 。这种会议系统利用计算机通过同 步或异步方式在带宽相当窄的网络上进行传统的数据交换。会议终端上运行的是 用户数据应用程序，是一种较低级的会议形式。 ( 2 ) 音频、图形会议( a u d i oa n dg r a p h i c sc o n f e r e n c i n gs y s t e m ) 。在音频、图 形会议中，主要利用语音进行多方交流，辅以传真机等通信设备传送图形文件， 这是一种早期的会议形式。 ( 3 ) 视频会议( v i d e o c o n f e r e n c i n gs y s t e m ) 。在这种系统中，除了传统数据和 音频外，信息流中还包含有压缩视频。通过动态头肩像的实时传送，与会者不仅 能听到发言人的声音，而且可看到其手势和面部表情，实现了面对面的交流。 第二章视频会议系统 7 “) 多媒体会议( m u l t i m e d i ac o n f e r e n c i n gs y e t e m ) 。多媒体会议系统的业务 流为多媒体数据( 图形、图像、音频、视频等) ，除了具有视频会议的所有功能外， 它还是一种c s c w 工具，支持用户应用程序共享，提供电子白板和文字交谈功能。 系统中的多媒体概念不仅仅表现在业务流的多媒体形式上，还体现在多媒体集成 化的共享空间、很强的多用户交互性及多媒体业务流的一致性控制上。 ( 5 ) 虚拟会议( v m u a ls p a c et e l e c o n f e r e n c i n gs y s t e m ，v s t ) 。虚拟会议是会 议系统的高级形式。它与视频会议系统中所采用的独立视频窗口不同，它提供了 一种虚拟会议环境，多个与会者的图像统一出现在虚拟会场中，表现形式是运动 参数驱动的运动人脸模型。系统中的重要部件m c u ( 多点控制单元) 将接收到 的音、视频码流进行混合，在编码状态下生成虚拟会议室，并将混合后的业务流 传送给每个与会者。 基于网络支撑环境的分类。根据支撑系统的网络结构的不同，会议系统可分 为： ( 1 ) p s t n 会议系统。受m o d e m 的限制，基于p s t n 的会议应用不能提供高 质量的视频业务。通过甚低比特率压缩技术，高倍压缩后的视频以每秒几帧的速 度传送。这种会议系统要求有m c u 支持，与会站点数很少。 ( 2 ) l a n 会议系统。l a n 的的带宽足以支持桌面视频会议连接，因而可提供 相对较高的视频质量。但受覆盖区域的限制，基于l a n 的视频会议系统的实用价 值并不大。 ( 3 ) i s d n 会议系统。n i s d n 的基本带宽为1 2 8 k b p s ，可基本满足会议中头肩 像图像的传输。b i s d n 采用a t m 交换技术，带宽足以满足广播级视频传输的要 求。作为一种新的通信网技术，a t m 特别适合多媒体数据的传输，但覆盖范围仍 较小。 ( 4 ) i n t e m e t 会议系统。i p 网“尽力而为”的特性对业务的带宽没有本质上的 限制，因而口网上可包含多种等级的会议业务。考虑到对其他应用的友好性和公 正性，在相当长的时间内仍要求低位率的m 业务。 网络环境的不同决定了相应会议系统使用的网络资源及提供的q o s 不同。因 而，虽然这些系统的基本结构相似，但并不能互相替代。 每种会议系统还可再分为集中式会议系统、分布式会议系统和混合式会议系 统。集中式会议系统包含有由中心服务器构成的m c u 或专用的多点会议桥 ( m u l t i p o i n tc o n f e r e n c eb r i d g e ，m c b ) ，整个会议管理及业务控制均是由m c u 或 m c b 来完成，所有结点机均以点对点的方式向m c u 发送多媒体数据流和控制流， 大大减轻了结点机和用户的负担；分布式会议系统中的所有站点均是平等的，会 议管理和业务控制由各自的端结点来实现。混合式会议系统是二者的结合，部分 数据流传送给m c u ，另外一部分直接传送给参加会议的结点机。 8视频会议速率控制的实现研究 在这些多媒体通信系统中，h 3 2 3 为现有的分组网提供了较为通用的多媒体通 信标准，包含了在无q o s 保证的分组网络中进行多媒体通信所需的技术要求，和 i e t f 的r s v p 结合起来就可实现i n t e r n e t 上的多媒体通信。它提供了设备与设备、 应用与应用之间的互操作接口，作为分组网络上视频会议系统的通用标准，己逐 步被商家和研究人员接受。许多计算机、网络通信公司如i n t e l ，m i c r o s o f t 和n e t s c a p e 的相关产品都支持h 3 2 3 。 2 3 视频会议系统的发展状况 视频会议系统研究可追溯到2 0 世纪7 0 年代，起因于对未来世界的设想：人 们不管走到哪里，都可利用图像和声音互相交流。8 0 年代后，会议室会议系统得 到较快的发展，产生了许多会议室视频会议系统。这些系统大都采用专用设备和 专用线路，装配在固定的会议室内，系统通信质量一般，视频通常有运动效应， 声音延时较大，不能和其官通信系统互通。目前的会议室系统己基本成熟，一些 大公司如p i c t u r e t e l , c l i ，g t 等均已推出较完整的会议室视频会议系统，但仍是 基于专用设备、线路，价格很高，可利用资源少 2 3 1 商务桌面视频会议系统 桌面视频会议系统是9 0 年代后伴随着计算机技术、通信网络和多媒体技术的 进步而快速发展起来的。和会议室系统不同，桌面视频会议系统采用开放技术和 通用设各实现音、视频信号的获取、编码、传输、解码和回放，利用己建成的计 算机通信网络来实现多媒体信息的传输，价格相对较低。桌面系统可充分利用通 用平台上丰富的资源，较好地支持电子白板和应用过程共享等协作应用，会议 文档的生成、管理也容易实现。目前己有不少厂商推出了桌面视频会议系统产品， 其中以i n t e l 的p r o s h a r e 和t e a m s t a t i o n ，s u n 的s h o w m e ，8 ( 3 i 的i n p e r s o n 、i b m 的p e r s o n - t o - p e r s o n 及a p p l e 的q u i c k t i m ec o n f e r e n c i n g 等公司的产品较为著名。 p r o s h a r e 和s h o w m e 还提供了应用共享功能。s h o w m e 和l n p e r s o n 具有地址薄管 理和音频传输模式管理( 单工、双工、p u s h - w - t a l k ) 功能。目前这些产品均有新的 版本，不断地拓展功能和改善通信质量。从系统模型上说，它们都可以看成是可 视电话和电子白板的功能集成；从网络环境上说，它们都支持l a n 和i s d n , 从 所采用的技术上说，它们既采用开放技术( 如h ，3 2 0 ，h 3 2 3 或t 1 2 0 等国际标准) 又采用了专有技术( 如i n d e o 和c i n e p a e 等) 。但目前产品也存在着明显的不足。因 此，这些系统的应用受到了较大的限制。 第二章视频会议系统 9 2 3 2i p 桌面视频会议系统 从覆盖地域范围的意义上说，m 桌面视频会议是真正可替代传统会议的远程 会议系统，因此有着美好的发展前景。目前可用于i n t e m e t 的桌面视频会议系统 很多，较为著名的系统有c o m d l 大学开发的c u - s e e m e ，m i c r o s o f t 的n e t m e e t i n g ， i n r i j 的i v s 及b e r k e l e y 的v i c 。 c u - s e e m e 是由c o m e l l 大学开发的在i n t e m e t 上广泛使用的一个桌面视频会 议系统，可在w i n d o w s 和m a c i n t o s h 两种平台上运行。它支持点对点的连接，或 通过一个反射器( r e f l e c t o r ) 来支持点对多点、多点对多点的视频会议连接。 c u - s e e m e 采用1 6 0 x 1 2 0 和3 2 0 x 2 4 0 的4 位灰度图像，数据传输率不大于1 0 0 k b p s 。 它支持s l m ( s e r i a ll i n ei n t e m e tp r o t o c 0 1 ) 和p p p ( p o i n tt op o i n tp r o t o c 0 1 ) 拨号 连接，因此，用户在家中就可以通过电话线参加国际性的会议。 n e t m c e t i n g 是另一个可在i n t e m e t 上应用的桌面视频会议系统。它支持音视 频和简单数据的传输，同时还具有闲聊、电子白板、文件传送和应用程序共享等 功能。目录服务器是n e t m c e t i n g 的m c u ，用户进入会议时登录到该服务器，与 会结点从中可获取会议信息。为了保证通信时的视频质量，n e t m e e t t n g 规定同时 只能有两个与会站点传送视频信号，但会议发起者可以随时进行切换，以使其他 与会者也能进行面对面的交流。因此，n e t m e e t i n g 是一个集中式的m 视频会议系 统。由于n e t m e e t i n g 功能较多，视频传送的帧率目前还不高。 i v s0 n r i av i d e o c o n f c r e n c i n gs y s t e m ) 是最早( 第一版于9 2 年推出) 的用于 i n t e r a c t 上的软件视颇会议工具之一。使用工作站在i n t e m e t 上传送音频和视频， 其中音频采用p c m 和a d p c m 编码，视频采用h 2 6 1 编码，这两种编码器均是 由软件实现。i v s 的数据传输与会议控制使用了r t p 协议，具有差错控制、拥塞 控制和自适应流控能力。i v s 没有m c u ，采用m u l t i c a s t 通信方式进行多点传输， 是一个以工作站为端结点的分布式i t 视频会议系统。 v i c 是b e r k e l e y 大学开发出的多媒体会议系统，其中视频编码采用分层的、 基于小波的编码算法，将视频分成任意层次的流，传送给不同的多播组，逐层提 供渐进的图像质量，以匹配网络的异构性。系统具有视频网关，可将高质量的j - p e g 视频转换成低位率的h 2 6 1 流。v i c 使用的视频编码器是硬件j p e g 编码器，再 通过h u l h m n 编、解码转换成h 2 6 1 码流。接收端的解码器是可伸缩的，根据c p u 的能力自适应地调节负载。 1 0 视频会议速率控制的实现研究 2 3 3i p 视频会议的现状分析 如果我们把视频会议领域看作成为一个生态圈，那么这个生态圈中目前是由 以下角色组成的： 产品提供商： 产品提供商目前是视频会议领域中的核心组成部分，他们研发和生产多种类 型的视频会议产品及系统，包括m c u ( 多点控制器) 、g a t e w a y ( 1 两关) 、g a t e k e e p e r ( 网 闸) 、v i d e oc l i e n t ( 视频终端) 、v i d e os e tt o p ( 机顶盒式视频终端) 、电话会议终端产 品等多种产品，以及提供网络平台通讯系统、管理工具和配件。产品提供商在该 行业中可以直接面对最终用户，或者通过中间代理商，都可以直接从市场获得基 于产品销售的利润。 由于视频会议系统涉及的产品较多，国内外著名的产品提供商之中很少有提 供全方位的系统产品，如p o l y c o m , 、v c o n 、v t e l 、中兴通讯、华为通讯等 在终端产品上占有较多优势，e z e n i a 、a c c o r d 在m c u 产品上居于领先位置， 目前深圳瑞福特在国内是首家全方位产品体系提供商。 通讯网络运营商： 通讯网络运营商是视频会议系统赖以生存的基础平台，同时网络环境也限制 了视频产品的技术发展和市场推动。他们在投入大量的资金进行基础建设后，需 要寻找上层的服务提供商和产品提供商，来为自己的网络创造增值服务。同时， 由于通讯网络运营商自身条件的影响，一般都具备巨大的品牌效应，产品提供商 通过与他们的合作，是为产品提供全面的解决方案和快速创立品牌的基本途径。 目前视频会议领域的通讯网络运营商基本上由i t 业界的骨干网络运营商和 部分i s p 商组成，在国内如电信、网通、联通、铁通、卫通等。 行业应用系统提供商： 面对广大的企业用户市场，通用的会议式产品必须要根据企业的实际功能需 求和使用模式，进行一定的改变，特别是在协同工作( 文件共享) 方面。这就产 生了具备丰富的行业应用经验，拥有良好的客户资源的提供商，他们能够根据实 际的案例，综合各方面的条件和资源，提供完全符合特定行业需求的行业应用系 统。目前视频会议系统主要应用行业有政府、教育、金融、电讯、石油、电力等。 服务平台提供商： 服务平台提供商是在通讯网络的基础上，为客户提供远程视频会议系统租用 和其它a s p 服务。他们面对的是直接客户，但是这种服务平台投资大，不过回报 稳定，在行业中属于长期项目。目前在国内，铁通和网通已经开始建立个人用户 的视频会议服务平台。 第二章视频会议系统 内容提供商： 内容提供商是在行业应用平台服务上层的专业服务机构，他们面对特定的专 业客户，提供相应的内容服务，比如远程教学的内容服务、实时股评服务等。内 容提供商通过收集、整理、编辑和发布特定的资讯内容和课程，并组织、协调客 户之间的关系来获得服务利润。 通过以上分析我们不难看出，现在视频会议领域已经形成了以个人和企业为 重心，包括内容服务的三大应用服务市场。 2 4 视频会议系统h 3 2 3 标准结构 h 3 2 3 是专为在已有的局域网上运行多媒体系统而设计的它描述了将实时 的语音、图像数据传输到p c 机和视频电话中所需要提供的设备和服务h 3 2 3 与现有的局域网卡、集线器以及路由器具有良好的兼容性l i “。 发展h 3 2 3 的一个主要目的是同其他终端的互操作性。这包括运行在n - i s d n 上的h 3 2 0 终端、b i s d n 上的h 3 2 1 终端、i s o o 以太网上h 3 2 2 终端、p s t n ( g s t n ) 上h 3 2 4 终端以及删上h 3 1 0 终端。 2 4 1h 3 2 3 标准层次结构 h 。3 2 3 是一个伞式标准，它参考了其他删一t 标准。h 3 2 3 提供了系统和组 建描述，呼叫模型描述以及呼叫信号处理。图2 2 给出了h 3 2 3 层次结构框图。 该框图主要包括以下内容： h 2 5 5 0 描述了媒体( 音频和视频) 流打包、媒体流同步、控制流打包及控制 消息格式 h 2 4 5 描述了用于打开和关闭传输音频、视频和数据的逻辑信道以及容量交 换、模式请求、控制和指示 这两个标准用于控制h 3 2 3 设备的操作和h 3 2 3 终端间通信。 在音频压缩中，g t l l 是必需的，而g 7 2 2 ，g l 7 2 8 ，g 7 2 3 1 和g 7 2 9 是可选 的。 在视频压缩中，h 2 6 1 q c i f 方式是必需的，而h 2 6 1 c i f 和h 2 6 3 所有图像格 式是可选的。 t 1 2 0 系列标准用于数据应用，包括t 1 2 3 ，t 1 2 4 ，t 1 2 5 等。 h 3 2 3 基于m t f 的r t p r t c p 协议。 传输、网络、链路和物理层是l a n 的功能，不在h 3 2 3 范围之内，t c p i p 以太网协议显示在括号内。 1 2 视频会议速率控制的实现研究 音频视频终端数据 应用应用 控制和管理 应用 g 7 1 1 g 7 2 2h 2 5 5 0h 2 4 5 g 7 2 3 0h 2 6 1h 2 2 5 0 信号呼叫控制 t 1 2 4 g 7 2 8h 2 6 3r ：r c pr a s 信道信道 g 7 2 9信道 肿 x 2 2 40 级t 1 2 5 不可靠传输( u d p )可靠传输( t c p ) 网络层( 口) t 1 2 3 链路层( i e e e8 0 2 3 ) 物理层( i e e e8 0 2 3 ) 2 4 2h 3 2 3 终端结构 图2 - 2h 3 2 3 层次结构框架图 h 3 2 3 终端提供实时双向的音频、视频和数据通信。该标准定义了呼叫信号、 控制信息、复用、音视频c o d e c 和数据协议。图2 3 给出了h 3 2 3 终端的图例。 同其他i t u 标准一样，h 3 2 3 并没有规定音频、视频设备，数据应用和网络。但 是，它必须配备一定能力来提供最小级别的互操作性。 其中h 2 2 5 0 定义了呼叫信号、登记、准许以及媒体流打包和同步的信令。 h 2 4 5 定义了容量互换、打开关闭传输媒体流逻辑信道，以及其他命令请求和指 示的信令。h 3 2 3 提供了媒体编码很大的灵活性。对于音频，1 1 7 1 1 ，g 7 2 2 ，g 7 2 8 ， g 7 2 3 1 和0 7 2 9 均可用。这些算法允许在低比特率，低延迟和高质量间选择。对 于视频，h 2 6 1 q c i f 和c i f ，以及h 2 6 3 所有模式均可用。这种可选择性提供了 同其他终端类型的兼容性，这样在网关中无需再将媒体流转议。h 3 2 3 推荐1 2 0 系列标准作为数据应用，这个标准对所有i t i j t 终端类型均通用。 第二章视频会议系统1 3 图2 - 3h 3 2 3 终端设备结构图 第三章数字视频编码技术 1 5 第三章数字视频编码技术 3 1 视频编码标准概述 随着网络技术的发展以及人们对多媒体业务需求的不断增长，视频通信正在 逐步成为数字通信网络的主要业务之一，如：实时监控、远程医疗、会议电视、 可视电话等。为了高效地在网络上传输视频数据，通常需要对视频进行压缩编码。 典型的视频编码器的框图如图3 1 所示，它包括运动补偿的帧间预测、离散 余弦变换( d i s c r e t ec o s m ct r a n s f o r m ，d c t ) 、量化、熵编码以及与固定速率的 信道相匹配的速率控制等部分。视频编码器就是要在保证图像有满意的质量的前 提下，最大限度地压缩速率。 图像数据传输l 与否指示 i 量化器指示 i 量化变换系数i 位移矢量 图3 - 1 典型的视频编码器 目前制定视频编码标准的国际组织组主要有两个：n u - t 和i s o m c 。1 1 r u _ t 1 6 视频会议速率控制的实现研究 的建议标准h 系列( 如h 2 6 1 ，h 2 6 3 等) 主要用于实时视频通信，如视频电视会 议、可视电话等。而i s o i e c 的建议标准m p e g 系列( 如m p e g - 1 、m p e g - 2 、 m p e g - 4 等) 主要用于数字电视广播、d v d 等。这里，我们简要介绍一些视频编 码标准。 h 1 2 0 ：c c i t t ( 即后来的i t u - t ) 于1 9 8 4 年制定的h 1 2 0 是第一个国际数 字视频编码标准。在1 9 8 8 年第二个版本中，h 1 2 0 增加了背景预测技术和后来被 广泛使用的运动补偿技术。随着新技术、新标准的不断出现，h 1 2 0 系统已基本 被更有效的数字压缩系统所代替。 h 2 6 1 ：h 2 6 1 是第一个被广泛应用的数字视频编码标准，于1 9 9 0 年制定。 它使数字视频信号能够以p * 6 4 k b p s 的速率在电信网络中传输。h 2 6 1 标准的颁布 具有非常重要的意义。它综合了图像编码4 0 多年的研究成果，首次采用了d c t 加帧间运动补偿预测的混合编码模式；它的规范的数据模式、编码器模块结构、 编码输出码流的层次结构、开放的编码控制与实现策略等技术，对后来制定的视 频编码标准产生了深远的影响。同时，h 2 6 1 标注的颁布为不同生产厂商的设备 互通打下了基础，促进了视频通信的产业化发展，使得数字视频通信在较短的时 间内得到了很大的普及。 j p e g ：j p e g 是i s o i e c 和i t u - t 的联合图片专家组( j o i n tp h o t o g r a p h i c e x p e r t sg r o u p ，j p e g ) 的缩写。它制定的以自适应离散余弦变换( a d a p t i v ed c t ) 为基础的“连续色调静止图像压缩编码”建议于1 9 9 1 年3 月正式成为i s o i e c 1 0 9 1 8 标准，即通常所说的j p e g 标准。j p e g 标准的基本编码方案与h 2 6 1 的i n d i a 编码模式相类似，只是增加了直流d c t 系数的预测编码，同时参考人的主观感觉 设计了变换系数量化表。活动j p e g 技术是j p e g 编码标准的压缩算法在数字视 频编码中的应用，这种技术对运动图像分帧进行j p e g 编码，编码后的图像之间 不存在信息依赖，易于实现精确到帧的视频编辑，因而在数字电视节目制作领域 得到了广泛的应用。 m p e g - 1 ：m p e g - 1 是国际标准化组织( i s o ) 的活动图像专家组( m o v i n g p i c t u r ee x p e r tg r o u p ，m p e g ) 开发的满足媒体存储应用的活动图像及其伴音的压 缩、解压缩以及编码描述的国际标准。m p e g - 1 是1 9 9 2 年m p e g 工作组制定的 第一个标准，其标准号是i s o i e c1 l1 7 2 ，标题是：高至1 5m b i t s 数字存储媒体 上的活动图像及其伴音的编码，主要包括：系统、视频、音频、一致性、参考软 件等五部分。m p e g - 1 的目的是满足各种存储媒体对视频压缩的统一格式需求， 可用于6 2 5 线和5 2 5 线电视系统，对传输速率约1 5m b i f f s 的存储媒体提供连续 的、活动图像的编码表示，例如v c d 、计算机磁盘存储等。 m p e g - 2 ：m p e g - 2 标准是m p e g 于1 9 9 5 年推出的第二个国际标准，标准号 是i s o i