（计算机软件与理论专业论文）视讯终端编解码中间件模型的研究与实现.pdf

南京邮电大学 硕士学位论文摘要 学科、专业：工学计算机软件与理论 研究方向：软件技术及其在通信中的应用 作者：2 0 0 7 级研究生韩海娜 指导教师：陈春玲 中文题目：视讯终端编解码中间件模型的研究与实现 英文题目：r e s e a r c ha n di m p l e m e n t a t i o no fc o d e cm i d d l e w a r em o d e l o fv i d e ot e r m i n a l 主题词：视频会议，中间件，编码器，解码器，混合器 k e y w o r d s ：v i d e oc o n f e r e n c i n g ，t e r m i n a l ，m i d d l e w a r e ，e n c o d e r d e c o d e r , m l x e r 南京邮电大学硕士研究生学位论文摘要 摘要 编码分辨率和编码协议的多样性，使得视频会议终端产品的底层硬件也越来越多样 化，为了减少因底层硬件等的变化带来的上层应用软件的大规模的变化，利用中间件技术 在视频会议终端产品中建立一个编解码中间件，达到降低开发成本和加快开发速度的目 的。 研究了视频会议系统的国内外研究现状；分析了视频会议的关键技术和基于h 3 2 3 协 议的视频会议系统的组成；探讨了中间件技术；在理论研究的基础上，对视频会议终端产 品的体系结构进行了详细的分析，在底层硬件和上层应用软件之间设计一个编解码中间 件，把对底层硬件的操作在驱动层的基础上又进行了封装，在编解码中间件中抽象出编码 器、解码器和混合器，并对上层应用软件提供一套标准的调用接口。在视频会议终端产品 的开发中加入了编解码中间件，并对中间件进行了测试，测试结果表明，不同编码分辨率 和编码协议的图像经编解码中间件处理后对上层的应用软件是没有差异的，达到了设计中 间件的最初目的。 将编解码中间件应用到视频会议终端产品中，能够有效地加快视频会议终端产品的开 发速度，并且降低产品的开发成本。 关键字：视频会议，终端，中间件，编码器，解码器，混合器 南京邮电大学硕：e 研究生学位论文 a b s t r a c t a b s t r a c t b e c a u s eo ft h ed i v e r s i t yo fe n c o d i n gr e s o l u t i o na n de n c o d i n gp r o t o c o l s ，t h e u n d e r l y i n gh a r d w a r eo ft h ev i d e oc o n f e r e n c i n gt e r m i n a lb e c o m e sm o r ea n dm o r e d i v e r s e i no r d e rt or e d u c et h es o f t w a r ea p p l i c a t i o nt oc h a n g e sal o ta l o n gw i t h t h ec h a n g i n go ft h eu n d e r l y i n gh a r d w a r e ac o d e cm i d d l e w a r ew a sd e s i g n e di nt h e v i d e oc o n f e r e n c i n gt e r m i n a la c c o r d i n gt ot h em i d d l e w a r et e c h n o l o g yi nt h ep u r p o s e o fr e d u c i n gd e v e l o p m e n tc o s t sa n ds p e e d i n gu pt h ed e v e l o p m e n tp a c e t h ea th o m ea n da b r o a dr e s e a r c ho ft h ev i d e oc o n f e r e n c i n gs y s t e mw a ss t u d i e d ： t h ek e yt e c h n o l o g i e so ft h ev i d e oc o n f e r e n c i n ga n dt h ec o m p o s i t i o no ft h ev i d e o c o n f e r e n c i n gs y s t e mw e r ea n a l y z e d ：t h em i d d l e w a r et e c h n o l o g yw a se x p l o r e d t h e a r c h i t e c t u r eo ft h ev i d e oc o n f e r e n c i n gt e r m i n a lw a sa n a l y z e dd e t a i lo nt h eb a s i c o ft h es t u d yo ft h e o r i e s ，ac o d e cm i d d l e w a r ew a sd e s i g n e db e t w e e nt h eu n d e r l y i n g h a r d w a r e a n d t h eu p p e ra p p l i c a t i o ns o f t w a r e ，t h eo p e r a t i o no ft h eu n d e r l y i n g h a r d w a r ew a sp a c k a g e do nt h eb a s i co ft h ed r i v e rl a y e r ，e n c o d e r s 、d e c o d e r sa n d m i x e r sw e r ea b s t r a c t e di nt h ec o d e cm i d d l e w a r ea n das e to fs t a n d a r dc a l l e d i n t e r f a c e sw e r ep r o v id e dt ot h eu p p e rs o f t w a r e t h ec o d e cm id d le w a r ew a sa d d e d i nt h ee x p l o i t a t i o no ft h ev i d e oc o n f e r e n c i n gt e r m i n a l ，t h ec o d e cm i d d l e w a r ew a s t e s t e d ，r e s u l t so ft h et e s ts h o w e dt h a ti m a g eo fd i f f e r e n te n c o d i n gr e s o l u t i o n a n de n c o d i n gp r o t o c o l sp r o c e s s e db yt h ec o d e cm i d d l e w a r ew a sn o td if f e r e n tt ot h e u p p e ra p p l i c a t i o ns o f t w a r e ，a n dt h i sa c h i e v e dt h eo r i g i n a lp u r p o s eo ft h ed e s i g n o ft h ec o d e cm id d le w a r e a p p l y i n gc o d e cm i d d l e w a r et ot h ev i d e oc o n f e r e n c i n gt e r m i n a lc a ns p e e du pt h e d e v e l o p m e n tp a c ea n dr e d u c ed e v e l o p m e n tc o s t s j a k e y w o r d s ：v i d e oc o n f e r e n c i n g ，t e r m i n a l ，m i d d l e w a r e ，e n c o d e r ，d e c o d e r ，m i x e r 南京邮电大学硕士研究生学位论文目录 目录 摘要i a b s t r a c t 二】 i 目j 录 第一章绪论1 1 1 背景1 1 2 课题研究内容l 1 3 论文组织结构2 第二章视频会议系统及相关技术4 2 1 视频会议的发展4 2 2 视频会议在国内的现状5 2 3 视频会议的关键技术6 2 3 1h 2 6 3 h 2 6 4 视频编解码协议6 2 3 2h 3 2 3 协议8 2 4 基于h 3 2 3 协议的视频会议系统的组成l o 2 4 1 终端l l 2 4 2 网关1 2 2 4 3 网守1 2 2 4 4m c u 13 2 5 本章小结1 3 第三章中间件技术及视讯终端体系结构的研究1 4 3 1 中间件1 4 3 2 视讯终端体系结构分析1 5 3 2 1 硬件平台16 3 2 2 设备驱动17 3 2 3 上层软件2 2 3 3 本章小结2 3 第四章编解码中间件模型的设计与实现：2 4 4 1 功能分析2 4 4 2 基本对象及设计模型2 6 4 。2 1d s p 对象2 7 4 2 2 通道对象2 9 4 2 3 编码器模型3 2 4 2 4 解码器模型3 5 4 2 5 混合器对象和s e r d e s 对象3 7 4 2 6o s d 进程与o s d 切换逻辑。3 9 4 3 实现的相应接口描述4 0 4 3 1 与上层软件的接口4 0 4 3 2 与下层驱动的接口4 2 4 3 3 编解码器调用流程4 5 4 4 本章小结4 8 第五章编解码中间件模型的测试及结果分析。4 9 5 1 测试目的4 9 i 目录 4 9 4 9 4 9 4 9 ：4 9 ! ；( ) 5 4 5 1 ； ! ；! ； ! ；6 5 7 ! ；8 6 0 i v 南京邮电大学硕士研究生学位论文 第一章绪论 1 1 背景 第一章绪论 近几年多媒体技术的发展可以说是一日千里，注定要成为通信领域的又一新热点。与 此同时，多媒体技术应用领域中的视频会议技术在本世纪也有了飞速的发展。视频会议是 通过互联网通信技术来实现的网络虚拟会议，通过图像、声音等多种方式交流信息，使得 在地理上分散的用户可以共聚一处，支持人们远距离进行实时信息交流与共享、开展系统 工作的应用视讯系统。视频会议极大地方便了协作员之间真实、直观的交流，对于远程教 学和会议也有着举足轻重的作用n 1 。从2 0 世纪6 0 年代的模拟视频技术到2 0 世纪9 0 年代 拥有自己的协议体系，经历了3 0 年，而从2 0 0 0 年后的h 2 6 4 高清编解码技术到最近几年 的7 2 0 p 、1 0 8 0 p 高清视频会议只用了不到7 年时间口1 。随着各种技术的不断发展和一系列 国际标准的出台，视频会议技术及其设备由少数大公司一统天下的局面被打破了，逐渐发 展成为由外商和中国本土企业共同分争视频会议市场的格局。目前，国外视频会议生产 厂商有：以色列n e t a v 、美国l i f e s i z e 、欧洲t a n d b e r g 、美国p o l y c o m 、欧洲a e t h r a 、 美国v t e l 、日本s o n y ，国内公司有华鼎、华为、中兴等，各种各样的视讯产品纷纷涌现， 视频会议产品正在经历从标清到高清，再到超高清的发展之路。就视频编解码分辨率来讲 有c i f 、4 c i f 、7 2 0 p 、1 0 8 0 p 、x g a 、s x g a 、u x g a ，就视频编解码协议来讲有h 2 6 1 、h 2 6 3 、 h 2 6 4 h 1 ，就编解码硬件d s p 来讲有t id s p 、a o id s p 、f r e e s c a led s p 嘲，编解码分辨率和编 解码协议的多样性，对视频会议产品的更新速度提出了很大的挑战性。 1 2 课题研究内容 中间件是位于底层硬件平台之上，上层应用软件之下的中间适配层，该适配层向下屏 蔽掉硬件平台的差异，向上为应用软件提供统一的标准接口。应用层的开发是基于该接口 进行的。随着计算机软件技术的发展，中间件技术也已经日渐成熟，并且出现了不同层次， 不同类型的中间件产品，如专门的数字电视中间件，安全中间件，数据管理中间件等。中 间件技术所带来的好处已经在数不清的i t 应用中得到了体现。e b a 是世界领先的中间件技 术软件厂商，曾有一位e b a 的客户从i b m 平台迁移到s u n 的平台，原来开发的2 0 0 万行的 c 语言代码仅仅花了3 个小时就重新编译完成了，没有遇到任何问题，如果没有中间件， 这样的平台迁移，其工作量势必让任何人大伤脑筋，可见中间件的作用有多大1 。 南京邮电大学硕士研究生学位论文第一章绪论 视频会议系统中的基于不同协议、不同分辨率的图像在编解码时需要的运算能力不 同，而不同的d s p 硬件平台能够提供的运算能力也不同，从而使视频会议终端产品的底层 硬件不断的更新换代。底层硬件的不断变化必然会引起上层应用软件的变化，因此迫切需 要找到一种软件技术来对底层的硬件操作进行封装，对上层应用软件提供标准的调用接 口，不管底层的硬件怎么更新换代，只需要对位于软硬件中间层的软件进行升级，并保持 它对外的接口定义不变，应用软件几乎不需要任何的修改。根据中间件技术的思想，可以 通过在视频会议终端产品中开发一个中间件，来连接底层的硬件和上层的应用软件，这样 就可以减少多媒体开发商由于硬件的变化而需要改变整个系统带来的巨大投资。 本课题研究目的是将中间件技术应用到多媒体终端产品的开发中，来解决终端产品开 发中遇到的应用软件需要随着硬件的变化而不断变化的问题，使得应用软件可以运行在不 同的硬件结构上。这种应用不但减少了视频会议终端开发厂商的投资，而且加快了产品开 发的进度和效率。 本文的主要工作如下： 1 仔细研究视频会议终端产品中的底层硬件结构，分析出终端产品为了完成其特定 的功能需要对这些硬件进行的操作。 2 通过研究中间件技术在众多领域中的应用，深入地分析中间件技术原理、特点及 优势。 3 通过对底层硬件所要完成的操作的分析，将对各种硬件的操作分别在编解码中间 件中抽象出相应的对象模型，并向上层软件提供一套标准的接口。 4 对编解码中间件进行设计和实现，并进行测试。 1 3 论文组织结构 论文内容共分为六章，安排如下： 第一章绪论。对本课题的研究背景进行介绍，并分析阐述本论文的主要内容。 第二章视频会议及相关技术的研究。简单地介绍了视频会议的发展及相关的技术。 第三章对中间件技术进行分析和研究，并且对视频会议终端的体系结构进行分析， 特别是对位于编解码中间件下层的设备驱动层和位于编解码中间件之上的软件层进行研 究。 第四章编解码中间件的设计与实现。分别在中间件中抽象出了编码器对象、解码器 对象以及混合器对象，并设计出编码器模型、解码器模型、混合器模型和中间件总体结构。 2 南京邮电大学硕士研究生学位论文 第一章绪论 最后是对编解码中间件的实现，提供了一套供上层软件调用的标准接口。 第五章编解码中间件的测试与总结。通过对基于不同协议和分辨率的图像进行编解 码后对上层软件来说没有差异性，说明了编解码中间件的通用性。 第六章总结与展望。对全文工作进行总结，并对未来工作进行展望。 3 南京邮电大学硕士研究生学位论文第二章视频会议及相关技术介绍 第二章视频会议系统及相关技术 视频会议系统是指两个或两个以上不同地方的个人或群体，利用视频摄像和显示设 备，经过信号压缩和编解码处理，经过通信线路的传输，实现交互式实时音视频通信、文 件互传、桌面共享等多种功能的系统设备口1 。多媒体视频会议系统是集通信、计算机技术、 多媒体技术于一体的运程异地通信方式，为人们提供了全新的交互服务，是网络时代出现 的一种新型的会议方式。在实际应用中，视频会议能够提高工作效率，降低远距离会议的 费用。 相比传统意义的面对面的会议形式和以前的电话会议，视频会议有着相当大的优势， 视频会议可以让处于不同地点的人“坐”在一起开会，为人们的交流打破了空间的限制， 使得以前人们认为不可能发生的事成为可能。并且，视频会议具有电话会议无法提供的交 流质量和效率。由于视频会议系统传输的是声音和动态图像等多媒体数据，这些多媒体数 据的原信号的数据量较大，所以无法直接地在一般条件的数字线路上进行传输，同时基于 对实际使用效果的要求，用户还要求传输的声音和图像信号是连续平滑的，要想达到这样 的效果，视频会议系统在声音、图像压缩、数据以及应用程序共享等方面都对技术提出了 很高的要求。 2 1 视频会议的发展 视频会议的发展经历了漫长的路程，总的来说，主要经历了模拟视频会议、数字视频 会议和国际统一标准的数字视频会议三个阶段。 2 0 世纪6 0 年代开始，世界发达国家开始进行视频会议的研究，并逐渐商用化，其代 表有美国贝尔实验室研制的可视电话与英国b t 公司的1 m h z 带宽黑白视频会议系统，由于 早期的视频会议系统是以模拟方式传输，占用很大的带宽，实用性并不大嘲。2 0 世纪6 0 年代末期，在压缩编码技术的推动下，由模拟系统向数字系统转换。 2 0 世纪8 0 年代初期，研制出2 m b p s 彩色数字视频会议系统，日本和美国形成非标准 的国内视频会议网。后来c c i t t 制定了h 2 0 0 系列建议，规定了统一的视频输入输出标准、 算法标准、误码校验标准及一系列互通的模式转换标准，解决了不同厂家的设备互通问题， 为后来的视频技术的发展和应用奠定了基础。2 0 世纪8 0 年代中期，大规模集成电路技术 的飞速发展，图像编解码技术取得突破，信道费用的降低，为视频会议走向使用提供了良 好的发展条件。但此时的视频会议由于价格和技术等因素，仍只是限于高档的会议室视频 4 南京邮电大学硕士研究生学位论文第二章视频会议及相关技术介绍 会议系统的应用，从而限制了视频会议的进一步普及。 2 0 世纪8 0 年代末到9 0 年代初，随着计算机、微电子、数字信号处理以及图像处理技 术的发展，视频会议的理论研究和实用系统研制方面也得到了迅速的发展，特别是h 3 2 0 标准发布以及h 2 6 1 图像编码标准完成，使视频会议真正意义上有了统一的标准，极大的 促进了视频会议产业的发展，视频会议系统也有朝小型化发展的趋势阳1 ，2 0 世纪9 0 年代 中期，中小型视频会议系统成为视频会议应用中的主要产品。 2 0 世纪9 0 年代后期以来，随着i p 网络的迅速发展与普及，人们对视频业务的需求量 急剧增加，这大大促进了视频会议标准的形成和视频会议产品的发展，自1 9 9 6 年h 3 2 3 协议第一版本的颁布到2 0 0 0 年1 1 月h 3 2 3 第四版本的发布，可以说h 3 2 3 建议系列基本 上已经成为一套比较成熟的多媒体通信协议，i n t e r n e t 工程任务组( ie 1 i f ) 也开发出实时 传输协议( r t p ) 、资源预留协议( r s v p ) 等与i t u _ t 的h 3 2 3 建议配合，以保证在i p 网络 上传输实时音频视频流。i t u - th 3 2 3 建议的形成，标志着视频通信正式进入了一个全新 时代。基于i p 网络的h 3 2 3 标准的视频会议系统已经成为目前主流的视频会议产品。 2 l 世纪以来，特别是从2 0 0 2 年以来，视频会议应用呈现迅猛的发展势头，成为通信 业和i t 界的一大热点，“9 1 1 事件 、“s a r s 疫情 及全球经济增长放慢刺激了消费者对 视频会议通信的需求，引发了全球视频会议应用的高潮。通过视频会议系统来实现人与人 之间的沟通已成为必由之路。目前i t 融合和高清视频会议已经成为视频会议的两大发展 方向，显示屏价格的降低和质量的提升在推动高清视频会议发展方面产生了积极的影响， 高清会议体验将颠覆传统的会议模式，给与会者带来更高质量的会议体验。 2 2 视频会议在国内的现状 在国内，多媒体视频会议系统作为国家“九五 重点科技攻关项目，研究也大致经历 了模拟、数字和统一制式三个阶段。 我国有关电视会议的研究从2 0 世纪7 0 年代初开始，1 9 7 8 年在北京和广州之间首次开 通了模拟视频会议业务实验，由于经济上不合算，使用较少，2 0 世纪8 0 年代初期南京邮 电学院研制成功8 m b p s 视频会议设备，尽管是初期设备，还不完善，但在福建的点对点的 应用中仍取行了一定的成绩。2 0 世纪8 0 年代末期，北京邮电大学、浙江大学、电子部三 所以及北京大学均开始6 4 k b p s 或1 2 8 k b p s 视频会议编解码器的研制。北京邮电大学经过 多年的研制，完成技术难度大且符合h 2 6 1 建议的6 4 k b p s 及11 2 k b p s 图像编解码器的开 发工作。南京邮电学院在早期研究8 m b p s 波形编解码器的基础上，又完成了符合h 2 6 1 建 5 南京邮电大学硕士研究生学位论文第二章视频会议及相关技术介绍 议的2 m b p s 波形编解码器的研制工作。1 9 8 7 年又一度开通北京、上海、广州的静态可视电 话业务，虽然技术水准较低，但对我国图像通信仍起到促进作用。1 9 8 8 年，我国邮电部与 法国邮电部协作，建成了北京国际视频会议系统。这一系统的使用使我国视频会议业务迈 出了新的一步。此后，1 9 9 2 年3 月，北京长话大楼使用符合h 2 6 1 标准的图像编解码器开 通了中、日、美三方视频会议业务，又相继开通了新加坡、韩国、英国的视频会议业务。 随着改革开放的深入，我国视频会议业务也得到突飞猛进的发展。中国邮电电信总局 目前已建成了以北京为中心的国家公用视频会议骨干网，在全国起到了示范作用。铁道部、 中国海关、交通部以及河北、安徽、浙江、湖北、广东、江苏、山东等省，也纷纷建立了 专用网和省内公用网。目前，在我国视频会议产品化的工作已经初具规模，其中深圳中兴 通讯公司1 9 9 6 年自主开发的z x m v c 3 0 0 0 系列视频会议终端设备及多点控制单元( m c u ) 已 获得原邮电部入网许可证，作为国产设备其市场份额处于领先地位。国内视频会议设备的 研制和开发经历了启蒙和初步发展阶段后，逐步走向了市场，并且形成了一个迅速发展的 视讯产业，打破了国外产品一统天下的局面。1 9 9 9 年9 月，中兴公司推出了国内第一家基 于i p 网络的多媒体视频会议系统。该系统按照i t u _ th 3 2 3 v 2 标准开发，可以实现m c u 两级级连，具有全部h 2 4 5 主席控制功能，实现了完全的主席终端，并在全部终端上实现 了用户列表，真正实现了交互式教学和电子白板。进入2 1 世纪，国内也有越来越多的企 业开始研制h 3 2 3 这一视频会议系统核心技术，自2 0 0 0 年以后，特别是2 0 0 3 年非典疫情 在国内爆发以来，视频会议迎来了在内地发展的一个高峰。随着i n t e r n e t 的不断普及以 及网络的日益完善，中国的视频会议技术逐渐走向成熟。现在许多大的企事业单位、机关 部委、外国驻京机构、跨国性集团都有了自己的视频会议系统。 2 3 视频会议的关键技术 视频会议涉及到很多的内容，其关键技术包括信息压缩技术、多点控制技术、传输和 接口技术、国际标准化等多项技术，本文主要对视频编解码协议和h 3 2 3 协议进行分析。 2 3 1h 2 6 3 h 2 6 4 视频编解码协议 多媒体信息主要是指音频和视频信息，多媒体信息处理技术主要是针对各种音频和视 频进行处理，视频会议的发展过程也反映出信息处理技术特别是视频压缩技术的发展历 程，在目前网络带宽不富裕的条件下，多媒体信息压缩技术已成为视频会议最关键的问题 之一n 州。i t u - t 与i s o i e c 是制定视频编码标准的两大组织，i t u - t 的标准包括h 2 6 1 、 6 南京邮电大学硕士研究生学位论文第二章视频会议及相关技术介绍 h 2 6 2 、h 2 6 3 以及h 2 6 4 ，主要应用于实时视频通信领域，如会议电视。m p e g 系列标准是 由i s o i e c 制定的，主要用于视频存储( d v d ) 、广播电视、因特网或无线网上的流媒体等。 两个组织也共同制定了一些标准，h 2 6 2 标准等同于m p e g - 2 的视频编码标准，而目前最热 门的h 2 6 4 则是m p e g - 4 标准的第1 0 部分。下面主要对h 2 6 3 和h 2 6 4 标准进行分析。 h 2 6 3 是1 9 9 6 年6 月由视频编码专家组i t u - t 推出的一种面向低比特流视频通信应用 的视频压缩标准，它具有较高的压缩比、较强的鲁棒性，尤其适用于p s t n 及无线i n t e r n e t 网络环境下的视频传输m 1 。目前，h 2 6 3 标准已被工业界广泛采用，例如，可视电话标准 1 1 l u t 的h 3 2 4 、h 3 2 0 、h 3 2 3 、h 3 1 0 等均采用了h 2 6 3 视频部分的编码协议刁。h 2 6 3 视频编码标准是专为中高质量运动图像压缩所设计的低码率图像压缩标准。它支持的原始 图像格式包括在视频和电视信号中常见的q c i f 、c i f 、e d t v 、i t u - r6 0 1 以及i t u r7 0 9 等。h 2 6 3 采用运动视频编码中常见的编码方法，将编码过程分为帧内编码和帧间编码， 帧内编码是指在对一帧图像进行编码时，仅仅考虑本帧的数据而不考虑相邻帧之间的冗余 信息，这实际上与静态图像编码类似，帧间编码则是指基于许多视频或动画的连续前后两 帧具有很大的相关性，或者说前后两帧信息变化很小的特点，也即连续的视频其相邻帧之 间具有冗余信息，根据这一特性，对相邻帧之间的冗余量就可以进一步提高压缩量，减小 压缩比。在帧内采用改进的d t c 变换并量化，在帧间采用1 2 像素运动矢量预测补偿技术， 使运动补偿更加精确，量化后使用改进的变长编码表的量化数据进行熵编码，得到最后的 编码系数。h 2 6 3 的编码速度快，其设计编码延时不超过1 5 0 m s ，码率低，在5 1 2 k 乃至3 8 4 k 带宽下仍能得到相当满意的图像效果，十分适用于需要双向编码并传输的场合，如可视电 话，和网络条件不是很好的场合，如远程监控。 2 0 0 3 年i t u - t 视频编码专家组和i s o i e c 运动图像专家组共同正式推出h 2 6 4 视频编 码标准“耵。h 2 6 4 是由两个组织联合组建的联合视频组共同制定的新数字视频编码标准， 它既是i t u _ t 的h 2 6 4 ，又是i s o i e c 的m p e g 一4 高级视频编码( a d v a n c ev i d e oc o d i n g ，a v c ) ， 而且它将成为m p e g - 4 的第1 0 部分。h 2 6 4 最大的优势是具有较高的数据压缩比率，在同 等图像质量的条件下，h 2 6 4 的压缩比是m p e g - 2 的2 倍以上，是m p e g - 4 的1 5 - - - 2 倍。和 m p e g - 2 和m p e g 一4a s p 等压缩技术相比，h 2 6 4 压缩技术将大大节约用户的下载时间和数 据流量收费。特别值得一提的是，h 2 6 4 还具有高压缩比的同时还拥有高质量流畅的图像。 h 2 6 4 标准的主要特点如下： ( 1 ) 系统分为两层，视频编码层( v c l ) 和网络抽象层( n a l ) 。其中v c l 是对视 频内容的高效表达，同以往的标准一样采用了基于块的混合视频编码方式，主要集中 7 南京邮电大学硕士研究生学位论文第二章视频会议及相关技术介绍 于研究编码效率，n a l 负责以网络所要求的恰当的方式对数据进行打包和传送。新增 的n a l 大大增加了网络友好，这是标准的一个最显著的特点 1 3 o ( 2 ) 具有了更高的编码效率和高质量的视频画面。同h 2 6 3 等标准相比，能够 平均节省大于5 0 的码率。并且h 2 6 4 能够在低码率情况下提供高质量的视频图像， 在较低带宽上提供高质量的图像传输是h 2 6 4 的应用亮点。 ( 3 ) 适用的范围更加广泛。h 2 6 4 可以工作在实时通信应用低延时模式下，如视 频会议，也可以工作在没有延时的视频存储或以服务器为基础的视频流式应用中。 ( 4 ) 采用混合编码结构。同h 2 6 3 相同，h 2 6 4 也使用采用d c t 变换编码加d p c u 的差分编码的混合编码结构，还增加了如多模式运动估计、帧内预测、多帧预测、基 于内容的变长编码以及4 x 4 二维整数变换等新的编码方式，提高了编码效率。 ( 5 ) h 2 6 4 的编码选项较少。在h 2 6 3 中编码时往往需要设置相当多选项，增加 了编码的难度，而h 2 6 4 做到了力求简洁的“回归基本一，降低了编码时复杂度。 ( 6 ) 强大的容错处理能力。h 2 6 4 提供了解决网络传输包丢失问题所需的工具， 适用于在高误码率传输的无线网络中传输视频数据。并且也提供了在易产生误码的无 线网中处理比特误码的工具n 钔。 ( 7 ) 较高的复杂度。2 6 4 性能的改进是以增加复杂性为代价而获得的。据估计， h 2 6 4 编码的计算复杂度大约相当于h 2 6 3 的3 倍，解码复杂度大约相当于h 2 6 3 的 2 倍。 h 2 6 4 的出现，使得在同等速率下，h 2 6 4 能够比h 2 6 3 减少5 0 的码率。也就是 说，用户即使是只利用3 8 4 k b i t s 的带宽，就可以享受h 2 6 3 下高达7 6 8 k b i t s 的高 质量视频服务。h 2 6 4 不但有助于节省庞大开支，还可以提高资源的使用效率，同时 令达到商业质量的视频会议服务拥有更多的潜在客户。目前，已经有少数几家厂商的 视频会议产品支持h 2 6 4 协议，厂商们致力于普及h 2 6 4 这个全新的业界标准。随着 其它视频会议方案厂商陆续效仿他们的做法，我们必将能全面体验h 2 6 4 视频服务的 优势。 2 3 2h 3 2 3 协议 视频会议系统的建立是依据国际电信组织i t u - t 的h 3 2 x 系列标准建设的。h 3 2 0 和 h 3 2 3 都是i t u 多媒体通信系列标准h 3 2 x 的一部分，该系列标准使得在现有通信网络上 进行视频会议成为可能。其中，h 3 2 0 是在n - i s d n ( 窄带综合业务数据网) 上进行多媒体 8 南京邮电大学硕士研究生学位论文第二章视频会议及相关技术介绍 通信的标准，而h 3 2 3 是为现有的无服务质量保证的i p 网络提供的多媒体通信标准n 司。 h 3 2 3 为音频、视频数据流的压缩和解压建立了标准，保证来自于不同厂家的产品有共同 支持的平台。它也为基于厂商特殊硬件和软件的附加特性与增强性能提供了极大的灵活性 n 司n 刀。h 3 2 3 协议成为目前应用最广最通用的协议标准。 h 3 2 3 标准是建立在t c p i p 这一协议之上，使网上的多媒体应用和业务与基础传输网 络无关，会议电视只是h 3 2 3 建议的应用之一。另外，许多呼叫补充业务如呼叫转移、呼 叫传送、呼叫等待等等，i p 电话业务、i p 传真业务等都采用h 3 2 3 标准为基础，而且h 3 2 3 建议被认为是未来视讯会议发展的必然方向“羽。h 3 2 3 协议是一个框架性协议，旨在定义 多媒体通信系统的整体结构和主要工作过程，它需要一组协议的支持，包括音频、视频编 解码协议、呼叫控制协议、媒体流传输协议以及数据传输协议等等。这些协议规定了系统 详细的技术内容，并在h 3 2 3 协议的组织下，与h 3 2 3 协议一起构成了分组多媒体通信系 统的技术标准，h 3 2 3 协议及其相关协议通常被称为h 3 2 3 协议族n 町。h 3 2 3 协议栈结构 如图2 1 所示。 声像应用终端控制和管理数据应用 g 7 x xh 2 6 x h 2 2 5 0h 2 4 5 加密k “终端至网闸信 h 2 2 5 0 媒体通道 t 1 2 0 令( r a s ) 呼叫信令 控制 系列 l u p 不可靠传送协议 可靠传输协议 网络 层 链路层 物理层 图2 1h 3 2 3 协议栈结构 在h 3 2 3 协议栈结构中，其下三层为p b n 的底层协议。传输层有两类协议：不可靠传 输协议，如u d p ，用于传送实时声像信号和终端至网闸的登记协议；可靠传输协议，如t c p ， 用于传送数据信号及呼叫信令和媒体控制协议。话音编码采用相应的g 系列建议，其中 g 7 1 1 为必备的编码，其余为任选方式，目前i p 电话最常用的是g 7 2 9 a 和g 7 2 3 1 。视 频编码采用h 2 6 0 系列建议，如h 2 6 1 、h 2 6 3 等，上述实时音频和视频编码信号均封装 在r t p 协议分组中，以提供实时信息和数据报信号，供接收端重组信号，其作用类似a t m 中的从l 1 。r t c p 协议提供0 0 s 监控功能，它是r t p 协议的一部分。需要指出的是，r t p 虽 然名为实时协议，但只是提供了实时应用的适配功能和质量监视手段，并不提供机制保证 信号的及时传送，也不保证q o s 。r t p 协议由i e t f 定义。 9 南京邮电大学硕士研究生学位论文第二章视频会议及相关技术介绍 数据通信采用t 1 2 0 系列建议，是用于多媒体会议的数据协议栈。i p 网络中的传真协 议正在定义之中，支持该协议的h 3 2 3 标准也正在制定之中，该协议用于第三类传真机。 h 2 2 5 0 和h 2 4 5 是h 3 2 3 系统的核心协议，前者主要用于呼叫控制，后者用于媒体 信道控制。在h 3 2 3 中，呼叫指的是两个端点之间的一种点到点的联系。一个呼叫通信可 以只包含一种媒体，也可以包含多种多媒体信息，每种媒体信息在一个逻辑信道上传送， 在i p 网络中，逻辑信道就是t c p 连接或者无连接的u d p 通道。每个逻辑信道的打开和关 闭、参数设定、收发双方的能力协商等控制功能由h 2 4 5 协议完成，它还要完成多点会议 呼叫各逻辑信道的配合控制功能。h 2 4 5 的控制信号在一条专门的可靠信道上传送，称为 h 2 4 5 控制信道，控制信道必须在任何逻辑信道之前先行建立，并在通信结束后释放。在 任何呼叫开始之前，首先必需在端点之间建立呼叫联系，同时建立h 2 4 5 控制信道，这就 是h 2 2 5 呼叫信令协议的主要功能，当控制功能移交给h 2 4 5 以后，原则上呼叫联系即可 释放，如果有补充业务的话，则要到整个通信结束后才释放呼叫联系。呼叫释放也由 h 2 2 5 0 完成。 随着i n t e r n e t 和企业i n t e r n e t 的飞速发展，基于i p 技术的h 3 2 3 标准组网方式得 到了世界范围内越来越广泛的应用。其主要优势表现在三个方面：连接的广泛性和易用性， 可以方便地将视频会议延伸到企业的各个层面；建设成本低，可以有效地降低企业通信费 用，特别是高速通信的费用；可以在一种网络上开展多种业务，并同时支持多种企业通信 业务如话音、数据和视频业务等嗍。总之，作为下一代多媒体通信网平台的h 3 2 3 技术将 以其优秀灵活的生命力逐步得到广泛的应用。i t u - th 3 2 3 标准于1 9 9 6 年6 月通过，该标 准是世界上第一个也是唯一一个多个供应商的l a n 电视会议产品可以互操作的标准。 2 4 基于h 3 2 3 协议的视频会议系统的组成 h 3 2 3 用来在基于包交换的网络上传输音频、视频和数据。它描述了呼叫信令和控制、 多媒体传输和控制、带宽控制以及多点会议等业务，主要由终端( t e r m i n a l ) 、网关 ( g a t e w a y ) 、网守( g a t e k e e p e r ) 和多点控制单元( m c u ) 4 部分组成乜u 。其中，终端、网关 和m c u 统称为端点，端点可以发起呼叫，也可以接受呼叫，媒体控制信息流就是在端点生 成或终结。h 3 2 3 的系统结构如图2 2 所示，图中还示出和其他系统终端的互通连接。 l o 南京邮电大学硕士研究生学位论文 第二章视频会议及相关技术介绍 2 4 1 终端 图2 2h 3 2 3 系统结构 ! 按h 3 2 1 ：模式运行 ：的h 3 1 0 1终端 视频会议的终端是分组网络中提供实时、双向通信的节点设备，也是一种终端用户设 备，可以和网关、多点接入控制单元通信。终端的主要功能是采集视频音频信号，经处 理后送给m c u 或其他终端，同时接收视频音频信号，处理后送给相应的输出设备圆。所有 h 3 2 3 终端都必需有一个音频编解码器，必须能收发g 7 11 音频信号，作为任选功能可收 发g 7 2 2 、g 7 2 8 、g 7 2 9 、g 7 2 3 1 和m p e g l 音频编码信号。实际通信时编解码器采用什 么算法，通过h 2 4 5 协议的“能力交换 过程由收发双方协商确定。终端应能按不对称方 式工作，例如按g 7 1 1 编码发送，按g 7 2 8 编码接收。 视频终端设备由数字编解码器、控制软件和外围视音频输入输出设备如摄像机、监视 器、音箱、音频输入设备等组成。基本的工作流程是：由各视频源送来的视音频信号、控 制台来的r s 一2 3 2 控制信号，经过模拟切换器，把需要传输的某路信号选中送数字编码传 输器，经过视频编码器实时混合编码后得到符合通讯信道标准的数据流，利用光纤、微波、 电缆等网络传输信道传输到远方视频终端或m c u 。在远方的视频终端或m c