（计算机应用技术专业论文）视频会议客户端关键技术的研究与实现.pdf

税频会议客户端关键技术的研究实现 视频会议客户端关键技术的研究与实现 摘要 从2 0 世纪9 0 年代初到今天，随着网络技术与多媒体技术的发展， 视频会议技术在人们的通信与交流中得到了越来越j 1 + 泛的应用。本文 以n e t v i d e o 视频会议系统为背景，探讨了视频会议客户端开发所涉 及的关键技术以及具体实现方法。 本文的主要内容如下： ( 1 ) 介绍视频会议系统的体系结构与模型。我们参照d a v i c 参 考模型设计了n e t v i d e o 视频会议系统结构以及协议流程，并着重介 绍j 7 客户端的体系结构。 ( 2 ) 详细讨论我们在视频会议客户端使用的关键技术和开发方 法，包括：客户端中的构件技术、流媒体应用程序框架技术、视频编 解技术、m p e g - 4 技术，流媒体传输技术以及视频流加密技术等。 ( 3 ) 详细描述了n e t - v i d e o 系统中客户端的实现。首先描述了 客户端实现的框架结构，并详细给出了流媒体处理中所用到的 d i r e c t s h o wf i i t e r 的实现方法，然后介绍视频流加密的实现方法与 算法，还介绍流媒体传输的策略。 最后，论文对n e t - v i d e o 系统客户端的开发进行总结，并提出了 实现跨平台客户端与视频会议流媒体中间件的设想。 关键字：视频会议流媒体应用程序框架d ir e c t s h o wm p e g - 4x vid 视频流加密 坝i 论文 视频会议客户端关键技术的研究0 实现 r e s e a c ha n di m p l e m e n t a t i o no ft h e t e c h n o l o g i e si nv i d e oc o n f e r e n c i n g c l i e n t - e n d a b s t r a c t w i t ht h ep r o g r e s si nn e t w o r k i n ga n dm u l t i m e d i at e c h n o l o g i e si nt h e p a s td e c a d e ，v i d e oc o n f e r e n c i n gt e c h n o l o g yh a sb e e nm o r ea n dm o r e w i d e l ya p p l i e di nt h eh u m a nc o m m u n i c a t i o n s t h i sp a p e rd i s s c u s s e st h e k e yt e c h n o l o g i e sa n di m p l e m e n t a t i o nm e t h o d sf o rd e v e l o p i n gt h e c l i e n t - e n do f t h ev i d e oc o n f e r e n c i n gs y s t e m ，n e t - v i d e o t h em a i nw o r k so f t h i sp a p e ra r ea sf o l l o w s ： ( 1 ) i td e s c r i b e st h ea r c h i t e c t r ea n dm o d e lo ft h ev i d e oc o n f e r e n c i n g s y s t e m w ed e s i g nt h ea r c h i t e c t u r ea n dp r o t o c o lf l o w o ft h e n e t v i d e ov i d e oc o n f e r e n c i n gs y s t e mr e f e r e dt od a v i cs y s t e m r e f e r e n c em o d e l ，a n dt h ep a p e rd e s c r i b e st h ea r c h i t e c t u r eo ft h e c l i e n t - e n dp a r t i c u l a r l y ( 2 ) i td i s c u s s e st h ek e yt e c h n o l o g i e sa n dd e v e l o p i n gm e t h o d si nt h e d e v e l o p m e n to fo u rn e t v i d e os y s t e m ，i n c l u d i n gc o m p o n e n t t e c h n o l o g yo f t h ev i d e oc o n f e r e n c i n gc l i e n t - e n d ，s t r e a m i n gm e d i a a p p l i c a t i o nf r a m e w o r k ，v i d e oc o d e c ，m p e g 一4 ，s t r e a m i n gm e d i a t r a n s p o r t a t i o na n dv i d e os t r e a me n c r y p t i o n ( 3 ) i tp r e s e n t st h ei m p l e m e n t a t i o nm e t h o d si nt h ec l i e n t - e n do f n e t - v i d e os y s t e mi nd e t a i l f i r s t ，i td e s c r i b e st h ea r c h i t e c h t u r eo f t h ec l i e n t e n d ，p r e s e n t st h e t h ei m p l e m e n t a t i o nm e t h o d so ft h e d i r e c t s h o wf i l t e r su s e di ns t r e a m i n gm e d i ap r o c e s s i n g i ta s l o d e s c r i b e st h e i m p l e m e n t a t i o nm e t h o da n da l g o r i t h mu s e d i n v i d e os t r e a me n c r y p t i o na n ds t r e a m i n gm e d i at r a n s p o r t a t i o n f i n a l l y , t h i sp a p e rc o n c l u d e sm yw o r ko nt h ec l i e n t e n do f n e t - v i d e os y s t e m ，a n da l s op r o p o s e st h es c h e m e sf o ri m p l e m e n t i n ga c r o s s - - p l a t f o r mc l i e n t - e n d a n dav i d e oc o n f e r e n c i n g s t r e a m i n gm e d i a m i d d l e w a r e 懒】论文桃频会议客户端关键技术的研究实现 k e yw o r d s ：v i d e oc o n f e r e n c i n g ，s t r e a m i n gm e d i aa p p l i c a t i o n f r a m e w o r ，d i r e c t s h o w ，m p e g 4 ，x v i d ，v i d e os t r e a me n c r y p t i o n 揪1 沦立 w 频会波客户端关键技术的 ! j f 究实现 创新性声明 本人声明所呈瓮的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知阶r 史中特别加以标注衣i 致谢中所罗列的内弈以外，论文”不 包含其他人【土经处八一! i l 撰写过的研究成果，也| i 包含为获l k l b ； | l l j 5 i u 火学或其他 教甜机构的学位! 啦1 ；而使用过的材料。与我一| i _ 司一f l j 的阳志刈小研究所做的任 何贡献均已在论义1 ：了明确的说明并表示了谢意。 申请学位论文j 瓷料若有不实之处，本人承担一切相关责任。 本人签名：坠坠 同期： z 丛生i ：! ! 关于论文使用授权的说明 学位沦文作者i 仓了解北京邮电大学有关保留和使用学位论文韵规定，即： 研究生在校攻读学他i 垌问论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部fj 域机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公靠譬晓论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇嘴学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：夺学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论小属于保密范围，适用本授权书。 本人签名：坠坠 只期： 丝! ! ：21 竺 导师签名：_ 乡弘咤卜日期：i 多乒函笋秘 c 5 8 e 3 3 8 坝e 史 剃频会议客户螭关键投术的研究，实现 1 。1 视频会议的应用背景 1 1 1 视频会议简介 第一章概述 近二十年以来，随着计算机技术、电信技术与网络技术的迅猛发展，人类交 流的方式已经发生了翻天覆她的变化。从e m a j l 这样的简单文字服务到丰富多 样的w e b 服务。从简单的b b s 交流到远程实时语音通信，无一不大大缩小了 人与人之间的距离并提高了人们的工作效率。尤其是近十年以来，随着动态图像 压缩技术、宽带网络技术以及图形用户界面( g u i ) 等技术的发展逐渐成熟，另 一种可视的交流工具一视频会议( v i d e oc o n f e r e n c i n g ) 逐步在现代通信交流中扮 演起重要的角色。 简单的晚，视频会议就是让位于不同地点的人们通过听声音和看图像的方式 进行交流。这些地点一般配备有麦克风、扩音器、摄像头与投影设备等。从2 0 世 纪9 0 年代初开始，视频会议就已经成为现实，最初是想通过i s d n 连接，将大 公司较远的分散的地点连接起来。设备很昂贵，与图像质量和使用方便程度有关 的问题表明所得到的效果要比预想的差。那些设计在公司以太网上运行的设备， 也对网络带宽造成压力，所以有时要限制数据速率以避免堵塞网络。现在，出于 犬公司采用更高带宽的局域网和骨干网，这些限制已不再是问题了。因特网和i p 网络的发展已通过个人计算机处理能力的提高体现出来。这些发展与音视频压缩 技术相结合，使得基本的视频会议可以在个人计算机上举行，只需要很少的甚至 不需要专门的硬件。这种形式的视频会议称为桌面视频会议，这也是本文主要研 究的对象。 就我阳一前的情况来说随着国内电脑和网络应用的广泛普及和迅速增长， p c 的速度越来越快，特别是在2 0 0 0 年下半年丌始国内各地大中城市频繁建起宽 带城域网，宽带土网的单位和个人迅速增长。越来越多的企业和个人丌始将使用 视频会议系统进行通信交流提到议事闩程上。尤其是对于中小型企、来说，租用 0 线和特殊的硬件没备所进行的电视会议赀用太高，而灵活性与扩允t t 也不够 奸此浆川艰1 ：玎联网的视频会议( 尤其是桌面视频会议) 成为他们旧前选。 侦j ：论文 视频会议客户端关锄拉术的研究实现 1 1 2 视频会议的典型应用 随着社会的发展，公司集团的发展，分公司和办事机构分和全吲及至世界各 地，特刖是企业集团，视频会议愈来愈成为一项最热门的通信技术，并迅速向新 闻、金融、教育、航天、电力、能源、政府、医疗等各个领域漫延，其应用范围 也已超出“会议”的范畴，在技术培训、生产调度、紧急救援、商务谈判、远程 教学、远程医疗等方面广泛应用。 企业会议成为视频会议的最主要应用之一。企业内的各部门员工只须坐在自 己的个人电脑前就可以与公司中的其他人开会。这极大的节省了时间和成本。 远程教育也是视频会议的一个重要应用点。就我国目前的情况来看，越来越 多的人渴望接收高等教育但由于各种原因有无法集中到起来上课，因此远程 教育在高校中逐步兴起，而采用了视频会议的远程教育更能使学生全方位地理解 所授内容并增强教师与学生的交流。 视频会议的应用实例还有很多，在此就不一一列举。 1 2 视频会议的主要功能和模式 1 2 1 视频会议的主要功能 前面曾经提到过，视频会议就是让位于不同地点的人们通过听声音和看图像 的方式进行交流。但是随着视频会议技术的不断发展，视频会议也不仅仅局限在 声音和图像两种功能。目前，视频会议包括的主要功能或者说服务如下： 一会议管理：一个视频会议系统往往要开许多会议。视频会议系统应该能 够对这些会议进行统一的管理。 一用户管理：一个视频会议系统会存在不同身份的大量用户，视频会议系 统要对这些用户进行管理。 一会议控制：会议进行中用户要进行诸如发言申请这样的操作，视频会议 系统要能对这样的操作进行处理。 _ 会议通知：通过e m a i l 、网页通知、短信息等方式通知用j 1 ，j ：会。 一 秆频服务：通过音频压缩和传输技术让与会抒j i 相l 听到声音。 - 视频服务：通过视频压缩和传输技术让与会肴忆相看到图像。 一文字聊天服务：让与会者通过简单的文字进行通信。 _ 自板服务：让与会者通过图形进行信息的进一步表达。 _ 共享服务：让与会者可以共享( 观看与控制) 自己的桌面或者文档。 坝1 论史 税额会议客户端关键技术的研究，实现 _ 文件传输服务：将与会者的重要文件传输给其他与会者。 可以看到，视频会议系统的功能不仅仅局限于语音和图像，它以各种各样的 媒体手段让视频会议用户享受最为自由和灵活的交流。 1 2 2 视频会议系统的几种模式 从视频会议的应用限制和范围角度来看，视频会议系统可以分为专用视频会 议系统和桌面视频会议系统。专用视频会议系统需要专门的硬件( 视频压缩卡、 多点控制单元等) 以及专用网络以便进行视频会议：桌面视频会议系统只需要一 般的个人电脑与互联网( i p 网络) 就可以进行视频会议。 从交互的实体角度来看，视频会议系统可以分为一对、对多和多对多的 视频会议系统。一对一是指两个人之间进行通信交流，m i c r o s o f t 公司的 n e t m e e t i n g 就属于这类系统；一对多是指其中一个人可以与其它任何人交流，但 不能同时多个人交流，一般来说远程教学系统多属于此类系统：多对多是指与会 者互相之间可以自由地进行交流，这样的系统多用于企业的会议。本论文的项目 背景n e t v i d e o 就属于这类视频会议系统。 从会议的控制角度来看，视频会议系统可以分为主席控制模式和自由进行模 式。主席控制模式是指视频会议进行过程中由会议主席来决定谁进行发自自由 进行模式发言。则完全自由。 从会议实体的实现角度看，视频会议系统可以分为客户，服务器结构与对等 实体结构两种。客户服务器结构是指与会者拥有一个视频会议服务的客户端， 这些客户端通过一个中心服务器的管理进行通信，本论文的项目背景n e t v i d e o 就属于这类视频会议系统。而对等实体结构则是指与会者的视频会议程序对等地 进行通信而无需服务器进行调节。本文所讨论的视频会议系统仅限于前者的。 1 3 视频会议主要技术概述 1 3 1 流媒体l 亳术概述 流媒体( s t r e a m i n g m e d i a ) 是指在在网络上使用流式传输技术的连续时基媒 体怂通过网络传输的啬锨、视频或多媒体文件。流媒体实现的关键技术之一就 灶流式传输。所c ：! f 的流式传输技术，现在二翅贳指通过嘲络传送媒体( 如视频、音 频) 的技术总称，其特定含义为通过网络将影音节目传送到终端机。实现流式传 输分两种方法：实时流式传输方式( r e a l t i m es t r e a m i n g ) 和顺序流式传输方式 ( d r o g r e s s i v es t r e a m i n g ) ，视频会议系统主要利用实时流传输方式。流媒体技术 坝l ? 论文 税频会议客户端关键技术的o d t , 0 实现 的其他主要内容包括媒体数据的捕捉( c a p u t ) ，媒体数据的回放( p l a y b a c k ) ， 媒体数据的编码和解码( e n c o d i n ga n dd e c o d i n g ) 及媒体数据的录带r j ( r e c o r d i n g ) 。 1 3 2 音视频编解码技术概述 为了让视频会议的与会者进行最直接最实时的沟通，视频会议在运作过程中 牵涉到大量音频与视频信号的传输。这些信号的数据量非常大，而要求传输的时 问又不能太长。假设视频会议的视频帧速率为3 0 帧每秒，分辨率为3 5 2 2 8 8 ( c i f ) ， 每像素2 4 比特采样，可以计算出每秒的视频数据量为3 5 2 + 2 8 8 2 4 + 3 0 = 7 2 ，9 9 0 ，7 2 0 b i t s = 8 9 1 0 k b y t e s 。这样大的数据量即使在自己独占的一个1 0 m 局域 网都无法满足实时性要求。因此必须对媒体数据进行压缩( 编码) 再进行传输， 传输到另一端后再解压缩( 解码) 后进行回放。 现有的些视频编码标准有：m p e g l ，m p e g 2 ，m p e g 4 ( 参考 7 】) ，h 2 6 3 等，其中m p e g 4 与 l 2 6 3 更适合与应用在视频会议中。音频编码标准有：g 7 2 3 ， m p 3 与g s m 等。n e t v i d e o 系统则采用了g s m 与m p e g 4 技术。 1 3 3 音视频实时传输技术概述 如何实时地将视频和音频数据通过网络进行传输是流媒体最为关键的技术 之一。由于实时流媒体数据的实时性和对错误的较高容忍度等特性，使得传统的 传输协议不适合传输流媒体数据。如t c p 协议进行可靠地传输，拥有超时重传 的机制，但传输时延较大，故不适合流媒体数据的传输：u d p 相对来浇较为适 合传输流媒体数据，但经u d p 传输的数据包可能打乱顺序，因此也不适合直接 用来传输流媒体数据。因此，需要有专门设计的上层流媒体传输协议来实现流媒 体数据的传输。 目前用于媒体实时传输的比较流行的协议是r t p ( r t p ，r e a l t i m e t r a n s p o r t p r o t o c 0 1 ) 一实时传输协议( 参考i 11 1 ) 。它是用于i n t e m e t 上针对多媒体数据流 的一种传输协议。r t p 被定义为在一对一或一对多的传输情况下工作，其目的是 提供时洲信息和实现流同步。r t p 通常使用u d p 柬传送数据。通常来晓，r t p 都会配合另种协议使用- - r t c p ( r e a l - t i m e t r a n s p o r t c o n t r o lp r o t o c 0 1 ) ，实时传 输控制设。它c jr t p 一起提供流量控制和搠塞控制服务。在r t p 会活期川， 各参与者周期性地传送r t c p 包。r t c p 包中含有已发送的数据包的数量、丢失 的数据包的数量等统计资制，因此，服务器可以利用这些信息动态地改变传输速 率，甚至改变有效载荷类型。另外还有一个值得一提的协议是r t s p ( r e a l t i m e s t r e a m i n gp r o t o c 0 1 ) ，实时流协议( 参考【l l 】) 。浚协议定义了一对多应用程序如 坝一i ：论文 视频会议客户端关键技术的研究- i 实舭 何有效地通过i p 网络传送多媒体数据。 本文以n e t v i d e o 系统为项目背景，重点介绍了视频会议系统客户端的关键 技术及其实现方法。本文第二章将介绍视频会议系统的总体结构：第三章将介绍 视频会议客户端的关键技术；第四章将针对n e t v i d e o 系统客户端的实现干1 ：洋细 介绍：最后，第五章将进行工作总结。 第二章视频会议系统的系统结构 2 1 视频会议系统的基本结构 在这一节酋先给出一个客户服务器结构的视频会议系统的基本结构 视频会议 客户端 ，_ 、 圣 t 一7 图2 - i 视频会议系统基本结构 上图中实线代表数据流，虚线代表命令流。图2 一l 展示的是一个视频会议 系统的通用模型，而具体的视频会议系统的结构则会有部分出入。图中引入了三 个实体：视频会议客户端，视频会议服务器、接入网关。下面分别介绍。 视频会议客户端：视频会议客户端是视频会议系统巾与会者用到的用户界 面。它负责向与会者提供会议系统的所有功能。他除了给与会者提供一个便于操 作的用户界碰外，最重要功能的是进行各种媒体( 包括流媒体与普通媒体) 处理 和传输。客户端部分也是本文所要重点研究的对象。 视频会泌服务器：视频会议服务器是会议的控制c h c 、。他负责维护会 义与川 、的状态，处理来自客户端的命令，列会议流程进行控制j f ：列姒体数= 封_ ! ：进扎转发。 般柬况，会议服务器应该能够同时管理多个f 在进行r 1 1 的会议。 接入网关：一个大型的视频会议系统往往需要多个视频会议服务器来分担系 6 凰凰凰 坝i 论义 ! | l ：频会c 义客户端关键技术的研究l 实瑰 统的负荷，接入网关负责根据系统的带宽占用，资源占用情况将登陆的用户分配 到不同的视频会议服务器上去。另外，它还应具有用户身份认证的功能。 2 2 d a v i c 系统参考模型简介 上一节中的图2 1 给出了一个视频会议系统的基本结构，本节将从模型的角 度束进一步探讨视频会议系统的结构。这里将参照d a v i c 所提出的参考模型( 参 考 1 3 ，1 9 】) 。 2 2 1 d a v i c 简介 r d a v i c ( d i g i t a l a u d i o v i s u a lc o u n c i l ) 是数字音频视频委员会的缩写。他成 立于1 9 9 4 年，是一个位于瑞士的非赢利组织。这个协会的目标是增进交互式数 字音频视频应用程序与服务的发展，它通过发布一系列用于加强协同工作能力的 开放式接口和协议来实现这一目标。目前已发布了d a v i c l 0 至】4 规范，这些 规范都是向后兼容的，它们是交互式多媒体商业应用经验的结晶。 2 2 2 d a v i c 系统参考模型 d a v i c 所发布的规范内容涵盖面很广，并不只是针对视频会议系统，但规 范中提出的d a v i c 系统参考模型对于设计视频会议系统具有很好的借鉴价值。 因此下面将简要介绍d a v i c 系统参考模型。 d a v i c 的系统参考模型由5 个子系统组成：内容提供者( c p s ) ，业务提供 者( s p s ) ，业务消费者( s c s ) ，c p s 与s p s 之问的传输系统，s p s 与s c s 之糊 的传输系统。如图2 2 所示： 倾i j 论文 视频会议客户端关键技术的研究j 实现 s p s s c s ： ( o l l l c r i p r o v i d e rc p s - s p sd e l i v e r ys e r v i c ep r o v i d e r s e r v i c e _ o n s b i t i c r ： s y x t e m ( c 陬js y s t e m s y s t e m ( s p s ) p r i c i p a ls c r v 沁 。 s y s l c m ( s c s ) p r o v i d e rs y s t u m ： 二 一一杏一一( ) 一碴卜+ 一 二 一一一一由一一一o - 一一毡 + 。 ； il a p p l i c a t i o 。ns e r v i c c i ： ii i n t e f f a c e i f 一+ 呻一o 9 一卜。 一 o 或v o 时c ( 甜) c ( v ) = l 式( 3 2 ) ：= 式中坟x ，y ) 为时域信号，f ( u ，v ) 为变换后频域空间的系数。其逆变换的形式 如下： m 川= 号萎n - i 萎n - ic 0 c ( v ) 脚) c o s 【等l , j 咖s 【等叫 m ，y ) = 音( “) c ( v ) ，( 州) c o s 【窘“万】c o s 【三箸v 万】 j v 。0 7 式( 3 - 3 ) 在进行图像压缩时一般对8 * 8 的图像块进行d c t 变换。 量化：图像数据在经过d c t 转换为频率系数后，为了后面实现数据的压缩， 还要对d c t 系数作量化处理。量化的作用是在保持一定质量前提下，丢弃图像 中对视觉效果影响不大的信息，它是造成视频编码信息损失的根源。 编码：经过了d c t 变换，量化后的图像数据并没有减少，因此还需要进行 编码来完成最后的压缩工作。量化后矩阵的d c ( 直流分量) 数在图像的各个宏 块1 1 ；i j 呈强相关性，因此一般采用差值脉冲编码调制的差值编码法。量化后矩阵 a c ( 交流分量) 数则首先以z i g z a g ( 不一定都用z i g z a g 顺序) 的顺序排列起来， 然后将系数与他们前面的0 的个数考虑在一起进行游程编码，然后再对这个编码 逊千= _ | ：i l u f f i n a n 编码即完成这个宏块的编码。 j ：i f 的已经摹本说明了帧内编码的实现流程与主业技术。f 两婴简啦介绍帧 | 1 | j 编码的主要技术。 运动补偿：所谓运动补偿技术。就是在动态序列图像实时编码中运肆j 运动信 息以及像素的位移矢量，进行图像高效编码的方法。出于帧序列的相邻画面之问 的运动部分具有连续性，即当前画面上的图像可以看成是前面某时刻画面上图像 钡：l ：论文 锐频会议客户端关键技术的研究实现 的位移，位移的幅度值和方向在画面各处可以不同。 如果能够确定当前帧的某个块( 目标块，t a r g e tb l o c k ) 是通过上一帧的哪个 块( 匹配块，m a t c h i n gb l o c k ) 移动过来的，那么这两个块之i 刊的位移就叫做运 动阳量( m o t i o nv e c t o r ) ，运动补偿的主要工作就在于找到运动向鲞，从而划这两 个块之间的差异部分进行编码。运动补偿的主要流程如下图所示： f r a m e s e g m e n t a t i o n rb l o c k s i r s e a r c ht h r e s h o l d b l o c km a t c h i n g m 州o n r s m o t i o nv e c t o tc o r r e c t i o n b i o c i c s r1 s e a r c ht h m h o l d v e c t o r c o d i n g b l o c k c o d i n g t r a n s m i s s i o n 图3 - 6 运动补偿编码流程 其中的s e a r c ht h r e s h o l d 这一步判断目标块与上一帧相同位置的块的差异是 否低于一个给定的阈值。如果是则运动向量位( o ，0 ) ，否则进行下一步处理。 b l o c k m a t c h i n g 这一步的目的是在一个以目标块为中心的搜索范围内通过一 定的匹配准则和搜索算法搜索到匹配块( 同时也确定了运动向量) 。这里的匹配 准则主要有归化二维互相关函数，均方误差准则与绝对帧问羞平均准则等；搜 索算法订：维埘数搜索算法( 2 d 1 0 9 算法) ，三步搜索法与卜字搜索算法c s a ( c r o s s s e a r c ha l g o r i t h m ) 等。 v e c t o rc o d i n g 卸对每一个目标块的运动向量进行编码。通常采用算术编码 ( a r i t h m e t i cc o d i n g ) ，h u f f m a n 编码和游程编码。 p r e d i c a t i o ne r r o rc o d i n g 是指将眉标块与匹配块的差异用于帧内编码同样的 方法进行编码。 坝：i ：论文 视频会议客户端关键技术的酬兜t ，实现 在经历这些步骤后，帧间编码即告完成。 视频解码基本就是编码的逆过程。不过要注意，只有关键帧可以独它解码 而预测帧必须在前一帧的基础上进行解码。 3 3 。2 m p e g 4 技术 前面介绍了视频编解码的大致过程。为了使视频编解码标准化，业界的一些 组织提出了一些视频编解码标准，典型的有m p e g ( m o v i n gp i c t u r ee x p e r t s g r o u p ) 制定的m p e g - l ，m p e g - 2 和m p e g - 4 标准：i t u ( i n t e r n a t i o n a l t e l e c o m m u n i c a t i o n u n i o n ，国际电信联盟) 制定的h 2 6 1 ，h 2 6 3 标准。其中h 2 6 x 与m p e g - 4 比较适合与应用在视频会议系统中，由于n e t v i d e o 项目冲采用了符 合m p e g 4 标准的视频编解码器，因此本节将对m p e g 4 标准进行介绍。 m p e g 4 即“甚低速率视昕编码”，其标准的第1 版1 9 9 8 年1 1 月发布，1 9 9 9 年1 2 月发布了第2 版，它是m p e g 制定的i s 伽e c 标准。m p e g 4 标准为满足 音视频交互服务的开发者，网络服务提供者以及最终用户的需求提供了一整套技 术和工具。 m p e g 4 标准主要出以下特征( 参考【l ，7 】) ： 媒体对象：在m p e g - 4 标准中，一个视听场景由若干媒体对象组成，这些 媒体对象以分级的结构组织起来。一些典型的媒体对象如下： 静态图像( 比如一个固定的背景) ； 视频对象( 比如一个正在说话的人) ； 音频对象( 比如一个人的说话声音或者是背景音乐) m p e g - 4 对上述这样的媒体对象迸行了标准化，使他们能够表现来源于自 然界的图像以及人工合成的图像，另外可也是二维的也可以是三维的。除了上面 提到的媒体对象外，m p e g 4 还定义了文字与图形，合成声音等的编码表示方法。 对于视频编解码来说，最为重要的就是视频音频对象( a v o ) 。m p e g - 4 w j 。以划。a v o 进行复合来生成场景；对a v o 的数据灵活地多路合成与同步，以 便选择网络来传输：允许接收端用户在在视听场景中与a v o 进行交互。 媒体埘缘中流媒体数据的同步与表示：媒体对象所需要的流媒体数据在 m p e g 一4 巾用一个或多个基础流来表达。一个对象标识符标识了媒体对象的所有 枷又流。这使得我们既可以处理分级的编码数据又可以处理媒体内容元数据的关 联o j 榭鹰的知诅 产权信息。 。 每个流都有，套用于配置信息的描述符，例如决定所需解码器和编码速率精 度的信息。此外。描述符还可以携带传输时所要求的服务质量提示信息。 犟础流( e l e m e n t a r ys t r e a m ) 之白j 的同步是通过基础流内部的单独访问单元 蛾1 论文 视频会议客户端关键技术的研究1 0 实现 的时间戳实现的。同步层管理这些访问单元和时间戳的标识。这一层可以提供对 基础流中访问单元( 例如视频或音频帧，场景描述命令) 类型的鉴别，媒体对象 或哲场景描述的时基的复原，以及它们之间的同步。 传输多媒体集成框架：传输多媒体集成框架( d e l i v e r y m u l t i m e d i ai n t e g r a t i o n f r a m e w o r k ，d m i f ) 是m p e g - 4 制定的会话协议，用来管理多媒体数据流。它是 应用程序与集体传输方法之问的接口，它使得应用程序7 1 ：发者不必再为具体传输 方法困扰。得到适当的d m i f 实例支持后，一个应用程序可以运行在不同的传输 层。 知识产权的管理：m p e g 4 通过储存唯一标识号码来保护知识产权，这些唯 标谚 由一些国际编号系统( i n t e m a t i o n a l n m b e r i n gs y s t e m ) 生成( 如i s a n ，i s r c 等) 。这些号码可以用来标识一个媒体对象的权利所有者。m p e g - 4 给那些想控 制对知识产权进行访问的用户提供了一个紧密集成在系统层的标准接口。通过这 个接口，私有的版权控制系统可以很简单地集成到解码器的标准部分。 通过上面的介绍可以看出，m p e g 4 是一套涵盖面很广的用于视听交互系统 的标准。鉴于本论文的项目背景，下面我们只对m p e g 4 的视频编码部分进行 介绍。 m p e g 一4 用视频对象( v o ) 来表述视频内容的基本单元。一个视频对象是 - 一个允许用户访问( 搜索，浏览) 与操作( 剪切和粘贴) 的实体，如：一个站 市的人( 脱离背景) 就是一个v o ( v i d e oo b j e c t ) 。在一个给定的时刻许多视频 对象的实例被称作是一个视频对象平面( v o p ，v i d e o o b j e c tp l a n e ) 。视频编码的 过程中就产生了一个v o p 的编码表示以及用于显示的必要的构成信息。同一视 频对象的v o p 序列的形状、运动和纹理信息被编码传输，或者编码为一个隔离 的视频对象层( v o l ，v i d e oo b j e c tl a y e r ) 。 m p e g - 4 的文档规定了视频流的具体位流格式的语法。简单的说，m p e g 4 视频位流语法从上到下大致分为：视觉对象序列( v i s u a lo b j e c ts e q u e n c e ) ，视觉 对象( v i s u a lo b j e c t ) ，视频对象层( v i d e oo b j e c tl a y e r ) ，视频对象( v i d e oo b j e c t ) 。 个序列有多个v o 集合，一个v o 有多个v o l 。v o 是场景中的某个物体，它 是有生命期的，由有时| - 日j 上连续的许多帧构成。某一帧中的v o 就是v o p 。即 v o 足以v o p 的形式出现的，所以编码乜是针对浚时刻的v o 的形状、运动、 纹蝉这二i 类信息进行的。但山j 二位流格式篇幅过长就爿i ”说明了。 卜蚓( 摘自【1 】) 大致j ：描述了m p e g 4 对于煳则或任意形状的输入例像序 列的视频编码算法。 颂i 论文视频会议客户端关键技术的咿f 究j 实：目i i 图3 7m p e g - 4 视频编码器基本算法框图 这个基本算法框架包括形状编码( s h a p ec o d i n g ) 以及运动补偿和基于d c t 的纹理编码( 使用标准8 * 8 d c t 或者形状自适应d c t ) 。 m p e g - 4 所采用的基于内容的编码方法的重要优势在于：通过对场景中每个 埘象使用适当的并专门设计用来进行对象运动预测的方法可以明显提高压缩率。 f 面的一些运动预测方法可以用来提高压缩率以及提高对象表现的灵活性： 标准的8 * 8 或1 6 1 6 像素的基于块的运动估计与补偿( 最大到1 4 像素 精度) 。 伞局运动补偿( g l o b a l m o t i o nc o m p e n s a t i o n ，g m c ) 。将对象的令剧运动 利用少部分参数进行编码。 静态“精灵”( s p i r i t ) 的全局运动补偿。静态精灵是指一一个静止画面。 一般用来描述全景的背景。对于连续的图像序列，只需要对8 个描述摄 像头运动的全局参数进行编码就可以重构这个对象。 形状白适应d c t 。在纹理编码的领域，形状自适应d c t ( s a d c t ) i i f 以改善任意形状对象的编码效率。s a d c t 算法基于套预定义的维 d c t 基函数的规格化正交集。 坝1 论义视频会议客户端关键技术的研究与实现 3 3 3 x v i d 编解码器 目前流行着许多符合m p e g 一4 标准的视频编解码器，如m i c r o s o f tm p e g 。4 v i d e oc o d e cv l v 2 v 3 ，d i v x ，x v i d 等。其中x v i d ( 参考【1 8 】) 为n e t v i d e o 系统采用。 x v i d 是o p e n d i v x 编解码器的丌发分支。当m a y o 工程把o p e n d i v x 变成封 闭源码的d i v x 4 的时候，那些从事于o p e n d i v x 的非m a y o 工程的人们感到愤怒， 于是开始了x v i d 。所以两个项目有相同的起源。它是一个目前仍然在开发中的 开源项目。其主要优点在于： 开放源码； 支持2 一p a s s 编码： 不错的编码质量。比d i v x 4 更快的速度( 编译时你能针对你的机器优化 它) ； 在i 3 8 6 系统结构下对增强型指令集( m m x ，s s e ，3 d n o w ，s s e 2 ) 的 支持较为充分。 出于丌发视频会议系统的客户端时对视频编码器有比较灵活的要求，比如改 变编码质量，改变关键帧出现的频率等，开放源代码的视频编码器自然成为我们 的首选，因为我们可以方便地在x v i da p i 基础上构建灵活可调的d i r e c t s h o w f i l t e r 。下面我们简要介绍一下x v i d 的a p i ，我所采用的x v i d 版本为0 9 2 版。 限于篇幅，我们只介绍编码部分的a p i ，这里只牵涉到一个函数： i n tx v i de n c o r e ( v o i d + h a n d l e ，i n to p t ，v o i d + p a r a m i ，v o i d + p a m m 2 ) ； 这是一个多功能函数，其中的o p t 参数决定了所要调用的功能。当o p t 为 x v i de n cc r e a t e 时，该函数创建一个编码实例。其中的p a r a m l 参数指向一 个x v i de n cp a r a m 类型的结构，这个结构用于指定编码实例的各种属性， 其声明如下： t y p e d e f s t r u c t i n tw i d t h ，h e i g h t ； i n i n tf i n e r , f b a s e ； 【i n 】 m tr c b i t r a t e ； 【i n 】 m tr e r e a c t i o n _ d e l a yf a c t o r ；f i n m tr c _ a v e r a g i n g _ p e r i o d ； 【i n 】 i n tr e _ b u f f e r ； 【i n i n tm a x _ q u a n t i z e r ； 【i n 】 颂：论文 视频会议客户端关键技术的研究吁实现 i n tm i nq u a n t i z c r ； 【i n 】 i n tm a x k e y _ i n t e r v a l ； 【i n 】 v o i d + h a n d l e ； o u t 】 j x v i d - e n c p a r a m ； 其中w i d t h 与h e i g h t 规定编码图像的尺寸；f i n c r 与f b a s e 一起用来指定编码 的帧速率；r c _ b i t r a t e 用来指定编码的期望比特率：m a x _ q u a n t i z e r 与m i nq u a n t i z e r 可以指定量化的最大间隔与最小间隔，这两个参数可以有效的改变编码后媒体流 的比特率。m a x _ k e y _ i n t e r v a l 指定两个关键帧之间的最大预测帧数。h a n d l e 用于 向用户返回编码实例的句柄。 当o p t 为x v i d _ e n c _ e n c o d e 时该函数对帧图像进行编码。这时的 p a r a m l 参数是一个指向x v i d _ e n cf r a m e 结构的指针，这个结构用于指定编 码所用的各种信息( 此时p a r a m 2 参数为一个指向x v i de n cs t a t s 结构的指 针，用于返回统计信息，可选) ，其声明如下： t y p e d e f s t r u c t i n tg e n e r a l ； 【i n i n tm o t i o n ； f i n v o i d + b i t s t r e a m ； 【i n i n tl e n g t h ； 【o u t v o i d + i m a g e ；【i n i n tc o l o r s p