（通信与信息系统专业论文）mpeg4视频会议中的抗分组丢失研究.pdf

摘要 视频会议系统随着网络的不断发展，越来越贴近人们的生活。由于i p 网络的 越来越广泛的应用，基于i p 网络的视频会议系统也成为视频会议系统研究的热点。 对于视频会议系统来说，恢复的视频图像质量是人们关心的最重要的指标。i p 网络中的数据分组丢失会影响压缩在解码端得到的恢复图像的质量，因此对于i p 网络的多媒体通信，除了视频编码技术，i p 网络中的抗分组丢失技术是影响和提 高恢复视频质量的关键技术，论文重点研究i p 视频通信中的抗分组丢失技术。 论文首先对目前基于i p 网络的视频抗分组丢失技术进行了介绍，并对应用较 为广泛的信道纠删码技术中的r s 码和t o r n a d o 码进行了深入的学习，包括对它们 所骰的系列实验：然后根据视频会谈系统的实际应用要求，选取t o r n a d o 码作为 纠删码对视频流进行保护；最后，本文将t o r n a d o 码应用于视频会议的音视频传输 中，设计了种音视频联合保护方案和一种基于r t p f r t c p 的端到端反馈拥塞控 制策略，实验结果表观两神策略既降低了公组丢失带来的影响还有效的利用了 带宽。 关键词：视频会议抗分组丢失m p e g 4 纠删码 a b s t r a c t w i t ht h ed e v e l o p m e n to fn e t w o r k ，v i d e oc o n f e r e n c i n gs y s t e mi sm u c hc l o s e dt o p e o p l e se v e r y d a yl i f e e s p e c i a l l yi t c a r tc h a n g et h ew a yw eu s e dt oa t t e n dm e e t i n g s w i t hl o n gt r i p s i ts a v e st i m ea n dm o n e y a n da st h ei pb a s e dn e t w o r ki sm o r ea n dm o r e w i d e l yu s e d ，t h ev i d e oc o n f e r e n c i n go v e ri pb a s e dn e t w o r kb e c o m e st h ek e yt e c h n o l o g y i nv i d e oc o n f e r e n c i n ga p p l i c a t i o n a c c o r d i n g t ot h ev i d e oc o n f e r e n c i n gs y s t e m ，v i d e o e n c o d i n ga n dd e c o d i n g d e f i n i t e l yi st h ek e yi s s u e sb yw h i c ht h eq u a l i t yo ft h er e c o n s t r u c t e dv i d e oi sa f f e c t e d b u ti nt h ei pb a s e dn e t w o r k ，b e s i d e st h ev i d e oe n c o d i n gt e c h n o l o g y , t h ep a c k e tl o s sa l s o s e r i o u s l yi n f l u e n c e st h eq u a l i t yo fr e c o n s t r u c t e dp i c t u r e s t h ea i mo ft h i sp a p e ri st o m a k et h er e s e a r c ho n p a c k e tl o s sr e s i l i e n c e a tt h eb e g i n n i n g ，e x i s t i n gp a c k e tl o s sr e s i l i e n c et e c h n o l o g i e si ni pb a s e dn e t w o r k a r ew i d e l yi n v e s t i g a t e d s p e c i a l l yt h ee r a s u r ec o d e s ，r sc o d ea n dt o r n a d oc o d ea r e d e e p l ys t u d i e d t o r n a d oc o d ei ss e l e c t e da n du s e di no u rd e s i g n e dv i d e oc o n f e r e n c i n g s y s t e m i nt h es y s t e ma u d i oa n dv i d e ot r a n s m i t t e da r ej o i n t l yp r o t e c t e d ，a tt h es a m et i m e ， a l le n d t o - e n df e e d b a c kc o n g e s t i o nc o n t r o ls c h e m eb a s e do nr t p r t c pi su s e d ，f i n a l l y t h ee x p e r i m e n t so ft h es c h e m ea r em a d e t h er e s u l t so fe x p e r i m e n t ss h o wt h a t p r o p o s e ds c h e m en o to n l yd e c r e a s e st h ep a c k e tl o s sr a t i o ，b u ta l s oe f f i c i e n t l yu t i l i z e s n e t w o r kb a n d w i d t h ，t h e r e f o r et h eq u a l i t yo f t h er e c o n s t r u c t e dv i d e oa r er a i s e d k e y w o r d ：v i d e oe o n f e r e n c i n g p a c k e tl o s sr e s i l i e n c em p e g - 4e r a s u r ec o d e 独创性( 或创新性) 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文 中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大 学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究 所做的任何贡献均己在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 壬蒎 日期三堕：! ：2 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阗论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密在年解密后适用本授权书。 本人签名： 导师签名：么耄兰雄 日期趔：2 第一章绪论 第一章绪论 1 1 引言 随着多媒体技术和无线通信技术的日新月异，基于m 的各类多媒体业务的需求 量也日益增长，例如视频会议、远程医疗、碑t v 、远程教学等。其中，视频会议 更是得到了入们的青睐，越来越多的人通过网络召开视频会议，希望能够进行即 时互动的沟通。为了保证会议中的通信质量，视频压缩和差错控制是两项必不可 少的关键技术。 m p e g - 4 音视频压缩标准具有高压缩效率及较好的差错恢复性能，故被广泛的 应用于各类多媒体通信系统中。然而，实际传输的信道中存在各种各样的干扰， 例如：不可靠的有线无线信道中产生的随机误码、无线信道中多径衰落产生的误 码和口信道中由于阻塞造成的分组丢失等 由于带宽的限制，视频数据往往是经过压缩后才传输的，而压缩数据对误码 和分组丢失十分敏感，个别错误就会造成恢复图像质量严重下降。m p e g - 4 视频数 据采用了v l c 和时域预测，当遇到错误时，v i _ x 2 使得解码器很容易丢失与解码器 的同步，时域预测会使前一帧的错误在后续帧中扩散。 目前视频会议系统中的音视频数据流通常是通过基于r t p u d p 1 p 等无q o s ( 服务质量) 保证的网络协议来传送的，并且对于传输延迟、抖动、带宽限制及 丢包带来的影响，目前i n t e r n e t 的尽力两为0 ) e s t - , f f o r t ) 这一特性也无法提供好的质量 保证。这样，由于网络拥塞等原因导致的数据丢失便会严重影响视频会议系统接 收端的数据播放情况。 因此，为了保证视频会议中的通信质量，应采取多种差错控制方法与一定的 拥塞控制策略。 1 2 视频通信中的抗分组丢失概述 由于数据量的庞大和传输带宽的限制，视频数据在传输之前。要在信源端进 行压缩编码，然后与其他媒体数据( 例如音频数据) 进行复合打包，以形成我们 所说的分组( p a c k e t ) 。分组在传输的过程中，如果遇到了信道的干扰或分组丢失， 就需要由信道编码来进行数据的保护。在接收端，相应的依次进行信道解码，然 2m p e g - 4 视频会议中的抗分组丢失研究 后从复合数据中得到不同类型的媒体数据进行信源解码，在有反向信道时，可以 利用信息反馈对编码进行编码控制。 网络传输的过程中，分组丢失是不可避免的，而它对视频服务质量带来的影 响也是很大的。有实验1 1 】表明，当丢包率为3 时，最多可造成l 3 的帧无法正常解 码。 视频数据在传输过程中，一般有两类错误 2 1 。一种是比特错误，即由物理信道 的不完善引起的比特反转、插入和删除；另一种是删除错误，即无线信道中由于 各种噪声、干扰和多径衰落造成的随机误码和突发错误，是由于分组交换网中的 拥塞、迟延等引起的数据包丢失造成的。压缩后的多媒体数据对误码极其敏感， 当传输过程中发生错误时，不仅本帧图像受到影响，还会带来误码扩散 3 1 ，致使后 续帧无法正常解码，从而引起删除错误。由于会影响连续的比特流，删除错误的 影响比单个比特错误破坏性更大。因此，在分组视频通信系统中，主要研究删除 错误。 目前的抗分组丢失技术主要从三个环节上进行研究1 4 】【5 】= 信源端，传输层和解 码端。 信源端：主要进行顽建性编码嘲，通过在码流中增加一定数量的冗余信息，使 在有分组丢失时，经过解码的视频图像质量尽可能达到可按受的程度。这一技 术包括防止误码扩散的宏块帧内编码、独立分段预测、基于分层编码的不等保 护和多描述编码技术。 传输层：传输层的抗分组丢失技术主要有三种：信道纠删编码前向纠错f e c ( f o r w a r de r r o rc o r r e c t i o n ) 技术、顽健性打包和复合以及自动重发请求a r q ( a u t o m a t i cr e p e a tr e q u e s t ) 技术。f e c 技术既适用于帧内编码又适用于帧间 编码，在传输的码流中加入用于纠错的冗余信息，当遇到丢包时，利用冗余信 息恢复丢失信息。顽健性打包和复合是将编码后的数据按不同重要等级分别进 行打包 7 1 ，或将空间域或时间域相邻的块信息交织打包。a r q 技术主要是请求 重传丢失或延迟超时的分组。 解码端：错误掩盖e c ( e r r o rc o n c e a l m e n t ) 技术，不需要使用任何附加信息， 利用视频信号中的相关信息和人类视觉系统特性来掩盖出错的图像数据，包 括：时域误码掩盖算法、空间域误码掩盖算法和基于语法的修复。 第一章绪论 1 3 本文的工作及安排 本论文对基于口网络的抗分组丢失技术进行了分析和研究，将一种近来被广泛 采用的t o m a d o - n 删码应用到视频会议系统中，提出了一种音视频联合保护方案， 后又在传统的“加性增乘性降”( a i m d ) 算法基础上。提出了一种基于r t p r t c p 的端到端反馈拥塞控制策略。 本文各章节内容的具体安排如下： 第一章为绪论，对目前的视频抗分组丢失技术发展状况进行了概括性的介绍。 第二章对作为本论文研究背景的视频会议系统的发展现状、主要构成和分类 等进行了简单介绍，并对视频会议系统中的相关协议做了介绍，特别着重说明了 其中h ，3 2 3 协议体系的构成。 第三章针对本论文所研究的视频会议系统中采用的视频编解码标准m p e g - 4 进行了介绍，讨论了其中的主要视频编码方法。 第四章讨论视频通信中的抗分组丢失方法，并对其中应用比较广泛的纠删码 进行了详细介绍。针对纠删性能好的r s 纠删码和t o r n a d o 纠删码进行了一系列测试 来比较它们在应用中的优缺点。最后，根据测试结果，选定t o r n a d o 码作为本论文 视频会议系统中的纠删码保护。 第五章为本文的实验部分，主要阐述提出的两种策略的主要思想，并对其各 自实验结果进行分析。 第二章视频会议系统 第二章视频会议系统 2 1 视频会议技术的发展与现状 视频会议也称电视会议，是指人们通过利用视频信息在两个或多个地点通过 通信网络召开会议的一种形式它利用摄像机和话筒将一个地点参与开会的人的 声音和图像传送到另一个地点，并且在开会的过程中，还可以展示文字、数据等 信息；另外可以借助电子白板、传真机等技术，实现与对方会场人员的实时互动 沟通。这种利用通信网络同时传递图象、语音、数据等信息的交互式通信，在效 果上完全可以替代现场会议，有效地提高了工作效率，降低了会议经费并节省了 时间。因此，视频会议系统目前已得到了越来越广泛的应用。 1 9 6 4 年，美国的贝尔实验室研制出了世界上第一部可视电话机，这便是视频 会议技术发展的开始。到了7 0 年代初期，美国出现了一些类似的电视会议系统， 但那时大多采用模拟技术，需要占用9 6 0 个话路的带宽，这样的电视会议系统不具 备实用性，所以没有广泛应用开来。直到上世纪8 0 年代，随着大规模集成电路的 快速发展，图像压缩编码技术取得的飞跃性技术成果大大推动了视频会议由模拟 技术向数字化方向发展，从那时开始，视频会议系统逐渐具备了实用性。自9 0 年 代以后，国际上逐步出台了一系列有关数字电视会议的国际标准，为视频会议的 互通性提供了保证，也为它的推广奠定了基础。9 0 年代中后期开始，视频会议从 原来的基于i s d n 网络发展到了今天基于四网络和分组交换鼹络。 我国对视频会议技术的研究最早始于上世纪7 0 年代初，但很长一段时间内都 属于研究性质，并没有投入商用。1 9 9 4 年，视频会议系统首次在电信网中使用， 1 9 9 5 年1 1 月视频会议系统正式投入商用。目前中国一些通信公司已经有了自己的 视频会议产品，并且初具规模。 视频会议系统的功能不断完善，技术也快速更新，使其应用范围越来越广泛， 主要包括远程会议、医疗会诊、远程教学、政府办公、工程研讨、国防军事等。 相信随着各种网络技术越来越趋于完善的发展，视频会议系统将得到更加广泛的 应用。 6m p e g - 4 视频会议中的抗分组丢失研究 2 2 视频会议系统简介 2 2 1 视频会议拓扑结构 视频会议系统由终端和网络设备构成。其中，网络设备主要有多点控毒4 单元 m c u ( m i c r o c o n t r o l l e r u n i t ) 和传输网络。图2 1 便是一个视频会议系统的网络拓 扑结构。主要包括了会议终端、职网络和多点控制单元m c u ( 也称视频会议服务 器) 三部分。 图2 1 视频会议拓扑结构图 如果只是点对点的应用，是不需要m c u 的，例如可视电话系统。而多点视频 会议系统的实现则离不开m c u 。视频会议服务器m c u 的主要功能是协调和控制多 个终端间的视讯传输。因此，在交换网络中，必须通过多方视频会议服务器m c u 来实现多方视频会议。 2 2 2 视频会议系统的主要构成 图2 2 视频会议结构示意图 图2 2 是一个视频会议结构的示意图，而一个完整的视频会议系统主要由以下 几卜部分构成： 第二章视频会议系统 7 网守( g a t e k e e p e r ) ：视频会议系统是通过网守建立呼叫连接，把会议所要用 到的组件连接在一起的。当会议结束后，各个终端向网守发出会话结束请求， 网守确认会议结束。它的作用主要有：地址翻译、接入控制、带宽管理、带宽 控制、区域管理、呼q 控制管理、呼叫控制。它并不完成通信功能。 网关( g a t e w a y ) ；负责不同网络终端之间通信的转换编码，包括呼叫、控制 协议、复界的码流结构、音视频的转换等。 多点控制单元m c u ：负责连接两个以上的会议终端。它的主要作用就是对会 议进行控制。从终端处接收和转发媒体漉。当不同终端的各种媒体信息来到 m c u 时，它首先将它们同步分离，得到视频、音频、数据和信令信息，然后 再将各个终端的同类信息送入相应的处理模块进行处理，最后将各个终端所需 的信息重新组合起来，送往目的地。 数字传输通道：为视频会议系统提供网络支撑。 终端：借助终端，用户可以直观的得到各种会议信息。它主要完成音视频的编 解码和数据信息的复接，图2 3 便为一个视频会议系统终端的功能结构示意图。 图2 3 视频会议终端功能结构示意图 2 2 3 视频会议系统相关标准 为了便于各个视频会议系统设备供应商产品之间的互通，国际电信联盟0 t u ) 在8 0 年代初专门成立了视听会议研究小组，针对不同的网络环境制定了相应的多 媒体通信终端标准，即h 3 2 x 系列协议集： h 3 2 0 是在窄带综合业务数字网( n - i s d n ，n a r r o w b a n di s d n ) _ l j 差行多媒体通信 的标准： 3m p e 0 4 视频会议中的抗分组丢失硬究 h 3 2 1 是在宽带综合业务数字网( b i s d n ，b r o a d b a n di s d n ) 上进行多媒体通信 的标准； h 3 2 2 是在有q o s 保证的局域网0 n ，l o c a la r e a n e t w o r k ) 上进行多媒体通信 的标准； h 3 2 3 是在无q o s 保证的分组网络( p b n ，p a c k e t - b a s e dn e t w o r k ) 上进行多媒体通 信的标准； h 3 2 4 是在通用交换电信网( g s t n ，g e n e r a ls w i t c h e dt e l e c o m m u n i c a t i o n n e t w o r k ，包括p s t n ) 上进行多媒体通信的标准。 h 3 2 3 标准已经推出了4 个版本，第1 版于1 9 9 6 年6 月通过审核，目标网络局限 于l a n ，从第2 版开始，目标网络被扩展到一般的p b n ( 如m 网络、a ，r m 等) 。 目前，基于m 网络和a t m 分组交换网的视频会议系统采用的是h 3 2 3 协议，音 视频传输协议采用的是r t p r t c p 协议嘲。 2 2 4 视频会议的分类 视频会议系统根据不同的应用需求和目的可分为下面几类： 1 文件会议系统：与会者可通过共享白板进行交互式的讨论或对文件的修改 等。此类系统可以传输图文，但不能传递语音。 2 数据会议系统：在文件会议系统的基础上，在相同的通信线路上增加同时 传送声音的功能，就成为数据会议。 3 可视会议系统：在数据会议系统基础上，增加静态图像或动态图像传输的 功能。 4 桌面视频会议系统：支持语音、视频、文本、图形等多种媒体，因此也称 为多媒体会议系统( m u l t i m e d i ac o n f e r e n c es y s t e m ) 。桌面视频会议系统 是视频会议系统发展的主要方向。 而根据利用的传输网络的不同，视频会议系统可分成： 1 基于窄带i s d n 的视频会议系统h 3 2 0 ：带宽为n x 6 4 k b p s ( n 取1 0 - 3 0 ) ，是以 前使用较多的视频会议系统。它可以利用数字传输网、d d n 、i s d n 等网 络。采用i s d n 速率一般较低，但是在3 8 4 k b p s 的带宽下可以以合理的成本 提供高质量的音频和视频信号。 2 基于p s t n 的视频会议系统h 3 2 4 ：提供了在6 4 k b p s 带宽下的可视电话的规 第二章视颓会议系统9 范，其码率为5 3 k b p s 或6 4 k b p s ； 3 基于m 网络的视频会议系统( h 3 2 3 v 2 ) ：以l a n 或者i n t e r n e t 为通信网络， 由于p 网络的迅速发展，加上基于口网络的视频会议系统建立和使用的成 本较低，因而得到了广泛的应用，正在逐渐成为视频会议的主流。 4 基于a t m 网络的视频会议系统( h 3 2 1 h ，3 2 0 ) ：目前基于a t m 网的视频 会议系统主要采用两种协议。采用h 3 2 0 协议的a t m 交换网方式是指利用 a t m 交换机上的e l 仿真接口来提供直连专线进行组网。h 。3 2 1 协议是h 3 2 0 标准的视频会议终端应用于a t m 网络的转换标准，可与h 3 2 0 标准的视叛 会议兼容。h 3 2 0 协议技术上比较成熟，由于速率可高达2 m b p s ，图像质 量相当好，是目前使用最广泛的视频会议系统之一。 2 3 h 3 2 3 协议 2 ，3 1 系统结构 基于h 3 2 3 协议的视频会议系统的功能部件主要包括：终端、网守( g a t e k e e p e r ) 、网关( g a t ew a y ) 、多点控制器( m c ，m u l t i p o i n tc o n t r o l l e r ) 、多点处理器( m p ， m u l f i p o i n tp r o c e s s o r ) 和多点控制单元0 订c u ) 。系统结构如图2 4 所示。 图2 4h 3 2 3 系统结构示意图 其中，终端、网关和m c u 统称为端点，发起和接收呼叫；网守参与呼叫的控 1 0 m p f a i - 4 视频会议中的抗分组丢失研究 制，具有运输层地址，是可寻址的h 3 2 3 实体；m c 和m p 处理和控制多点呼叫信息 流，是功能实体，没有独立的运输层地址，是既不可呼叫又不可寻址的h 3 2 3 实体。 2 3 2 终端结构 h 3 2 3 终端提供实时双向通信，发送端采集提交的控制信令和媒体流，由控制 信令确定终端的发送方式并对媒体数据进行压缩，打成r t p 包发送到网络，为了提 高网络传输的效率，经过编码生成的多个音视频数据帧可以装, k - - 个r t p 报文中发 送：收端通过控制信令建立信道，在锝到被叫用户和系统允许后，从网络接收媒 体数据包，进行解r t p 包、缓冲、去除抖动，最后将还原后的媒体码流送给输出设 备。 h 3 2 3 终端在视频会议系统中直接面向用户，其结构图如下； 图2 5h 3 2 3 终端体系结构 2 3 3h 3 2 3 协议栈框架 在o s i 七层参考模型的分层结构中，h 3 2 3 协议属于应用层的控制协议，参照 了许多其它成熟标准，共同组成了h 3 2 3 系统的协议栈。图2 6 给出了协议栈的结构： 第二章视频会议系统 声像应用 终端控制和管罄； 数据砬脬 ， 卿磕 取2 墨 成2 药n 终 h ：粥，nh 2 笱攘俸 篙凄厕 如密二 勰尹端至网守7 呼日p 讨信令 信逗控翩 倍铺彩 器t 髟 矛可靠俸磋懒 、趣靠侍送协谚蓄贸- 网络层 链路恳 一一。“一一 一。j ，1 勰i 一，j 。? j 2j 17 图2 6h 3 2 3 协议栈结构 音频编码采用相应的g 系列建议，目前口电话最常用的是g 7 2 9 和g 7 2 3 1 ；视 频编码主要采用h 2 6 x 系列；音视频编码信号采用r t p r t c p 协议进行封装，而 h 2 2 5 0 定义了如何利用r t p 封装这些信号；数据通信采用t 1 2 0 系列建议，是用于 多媒体会议的数据协议栈：h 2 2 5 0 1 9 和h 2 4 5 1 0 】是h ，3 2 3 系统的核心协议，前者主 要用于呼叫控制，后者用于媒体信道控制。 h 2 2 5 0 协议在这里又分为r a s 协议和呼叫信令协议两部分。r a s 协议主要完 成端点和网守之间的管理工作；呼叫信令协议完成呼叫的建立、释放和h 2 4 5 控制 信道建立的任务。 h 3 2 3 系统采用h 2 4 5 协议管理逻辑信道的打开、关闭和维护，在口网络中，逻 辑信道就是t c p 连接或无连接的u d p 通道。此外，h 2 4 5 还涉及到能力交换、主从 确定等过程的控制。 2 4m p e g 4 在视频会议系统中应用的特点 m p e g - 4 的传输速率在4 8 k b p s 1 0 m b p s 之间，分辨率从q c 鹰到4 c i f 它通过 重建帧技术可以在很窄带宽上获得较佳的图像质量。m p e g 4 试图达到两个目标： 一是低比特率下的多媒体通信；二是多种格式韵多媒体通信的融合。 m p e g 标准的主要优点是图像质量好、运动连续，大幅动态图像的质量明显比 h 2 6 x 标准高；缺点是占用带宽较大，一般速率为2 m b p s 6 m b p s ，m p e g - 2 的典型 速率是3 m b p s ，m p e g - 4 的典型速率是2 m b p s 。 现在视频会议已经广泛应用于各种领域，人们对视频会议的图像质量要求不 断提高。在有些特殊的用途中，比如远程医疗、国防军事等，更是要求图像质量 1 2m p r ：o - 4 视频会议中的抗分组丢失研究 达到尽可能精细的程度。目前，网络条件都有了很大幅度的提升，例如基于专用i p 网的系统以及基于光纤网的系统都能满足较高质量图像对网络环境的要求，因此， 可以选用m p e o 系列的视频编码标准作为视频会议系统的视频编码标准。它会带来 更好的图像编码质量。 2 5 视频会议系统中的q o s 技术 h 3 2 3 系统中的q o s 技术可分为两类：基于网络的q o s 技术和基于终端的q o s 技 术。基于网络的q o s 技术是由网络中的路由器、交换机等提供q o s 支持，而目前现 有网络并不能提供很好的条件，因此难以实现。而基于终端的q o s 技术只需在各个 参会终端采取一定q o s 控制措施，不需要网络的参与，目前这种方法已被广泛应用 于视频会议系统中。 基于终端的q o s 技术可以分为两类：拥塞控制和差错控制。 拥塞控制目前主要采用的是基于速率的方法，发方根据接收到的信息反馈， 计算当前网络中可以承受的最大码率，然后调整编码器的输出速率，使其与当前 网络所能提供的服务达到一致。因为t c p 重传会造成较大时延，所以目前的实时多 媒体传输大多采用u d p 协议，但是它不提供拥塞控制和质量保证机制，所以要在 u d p 的上层采用拥塞控制机制。 差错控蒂般采用的方法主要有a r q 重传机制、前向纠错f e c 和误码掩盖技 术。这部分在第四章有较为详细的讨论。 图2 7 为h 3 2 3 系统中常用的一种q o s 控制方案，即在终端内部实施基于终端的 q o s 技术而在i p 网络中实施基于网络的q o s 技术。 图2 7h 3 2 3 的q o s 控制方案 本论文主要研究基于终端的q o s 技术，并对于拥塞控制和差错控制都提出了自 己研究过程中得到的一些新的策略，这部分将在第五章的实验部分给出。 第三章m p e g - 4 视频编码标准原理简介 第三章m p e g 一4 视频编码标准原理简介 3 1m p e g - 4 标准概述 3 。1 1m p e g - 4 标准的产生 m p e g ( m o v i n gp i c t u r ee x p e r tg r o u p ) ，即活动图像专家小组，成立于1 9 8 8 年， 其目标是针对活动图像压缩m p e g 组织于1 9 9 9 年1 月正式颁布了m p e g _ 4 的第一 版，同年1 2 月又公布了第二版。m p e g 4 标准的正式标号是i s o i e c1 4 4 9 6 。 m p e g 4 的初衷是针对视频会议、视频电话的超低比特率( 6 4 k b ，s ) 编码，原 标准的名称为甚低比特率视听编码( v e r y - l o wb i t r a t ea u d i o - v i s u a lc o d i n g ) 。在调查 制定的过程中，m p e g 感受到了两大变化，一是高性能通用芯片性价比的提高使得 基于软件的压缩编码方法具有实用性，并且对基于物体的压缩编码方法的研究也 掀起了热潮；二是对于多媒体信息，特别是视频信息，从以前的播放型应用转向 了基于内容的访闯和操作应用。因此，m p e g 修改了原有计划，制定了现在人们所 认知的m p e o - 4 标准。 3 1 2m p e g 4 标准的发展目标 m p e g - 4 的新目标被定义为：支持多种多媒体应用，特别是多媒体信息基于内 容的检索和访问，可根据应用的不同要求现场配置解码器，其编码系统开放，可 随时加入新的有效的算法模块。 m p e g - 4 的码率控制的目标是要获得在给定码率条件下的最优质量，同时体现 了根据网络带宽以及发送、接收方能力的实际状况进行智能化选择和分层分级编 码传输的设计思想，为互联网上传输高质量的多媒体数据提供了很好的技术平台。 3 2m p e g - 4 系统 3 2 1m p e g - 4 系统的特点 m p e g - 4 是一种新型的多媒体标准，与之前的m p e g 1 、m p e g 0 2 标准不同， m p e o - 4 是基于对象的压缩标准，具有可交互性和较宽的码率范围适应性( 5 k b p s 1 0 m b p s ) 。 m p e g - 4 突破了以往用块的形式处理图像的方法，将视频序列看成由不同的视 频对象( v 0 ) 组成，v o 可以是任意形状的视频内容，也可以是传统的矩形视频帧。 1 4m p e g - 4 视频会议中的抗分组丢失研究 每个v o 在某个特定时刻的实例成为视频对象面( v o p ) ，编码器根据实际情况对各 个v o p 或感兴趣的个另z v o p 进行编码。传统的压缩方法是基于帧的，无法对对象 进行操作。在带宽的限制下，需要对比特率进行控制，这样很容易影响图像的质 量。m p e g 一4 中基于对象的编码方法则可一定程度上解决这个问脑，在带宽有限的 情况下，可以对感兴趣的v o p 多分配一些比特率，而不感兴趣的v o p 贝, j 可少占用 一些比特率，从而来改善图像的主观质量。 m p e g - 4 提供了基于内容的多媒体数据访问工具，主要由系统描述语言 m s d l ( m p e g - 4s y s t e md e s c r i p t i o nl a n g u a g e ) 、工具( t o o l 、算法( a l g o r i t h m s ) 及 档次( p r o f i l e s ) 四部分组成。用户可以利用这些工具方便的从多媒体数据库中有选择 性地获取自己所需要的与对象有关的内容，并可进行基于内容的操作和比特流的 编辑、自然与合成数据混合编码、增强的时间域随机存取等操作。 在m p e g 4 中，可根据带宽和误码率的客观条件。在时域和空域进行扩展。 时域扩展是在带宽允许的情况下，在增强层中增加帧率，而在带宽窄的时候在基 本层减少帧率，以达到充分利用带宽来得到尽可能好的图像质量：空间域扩展是 指对基本层中的图像进采样插值，增加或减少空间分辨率。 m p e g - 4 还具有很好的容错性，提供了易出错环境的鲁棒性，这使得它可以广 泛的应用于无线和有线两络中。在各种情况下，尤其是在易发生严重错误环境下 的低比特率应用中，m p e g - 4 将提高抗错误的鲁棒性能力( e r r o rr o b u s t n e s s c a p a b i l i t y ) 。 3 2 2m p e g - 4 系统结构 m p e g 4 际准主要构成部分有： 多媒体传输集成框架d m i f ( t h ed e l i v e r ym u l t i m e d i ai n t e g r a t i o nf o r m w o r k ) ： d m i f 应用接口中不仅定义流数据的传输接口，而且定义信道建立和断开的信 号。它主要解决各种应用环境下多媒体应用的交互性操作问题。 数据平面：m p e g - 4 的数据平面可分为传输关系和媒体关系两部分。为了能使 基本流和音视频对象a v o 在同一场景中出现，m p e 0 - 4 引用了对象描述o d ( o b j e c td e s c r i p t i o n ) 和流图表s m t ( s t r e a m i n gt a b l e ) 两个概念，o d 传输与 某个a v o 相关的基本流的数量和特性，s m t 赋予与流实际传输的信道以信道 联系标签c a t ( c h a n n e l a s s o c i a t i o nt a g ) ，以此来实现流的传输 第三章m p e g - 4 视频编码标准原理简介 缓冲区管理及实时识别：m p e g - 4 定义了一个系统解码模式( s d m ) ，该解码 模式提出了一种理想的处理比特流句法语义的解码装置。在编码端，规定并监 视所需要的最小缓冲区资源，会话建立过程中，o d 将缓冲区资源送至解码端， 决定是否要处理该会话。当实时传输数据时，时延要求恒定，所以既将编码器 的时钟速率传给解码器，还要将编码数据盖上时间戳。 音频编码：不仅支持对自然声音编码，还支持语音合成和m i d i 。主要借鉴技 术上已经成熟的各种音频编码标准，如g 7 2 3 0 7 2 8 以及m p e g 1 m e g 2 。 视频编码：主要是基于v o p 的视频编码。图像中被编码的对象不再是传统的块 结构，而变成了可以任何形式出现的视频对象v o 。v o 可以是自然的视频对象， 也可以是2 d 、3 d 以及人物表情动画等。 场景描述：用于描述各a v o 在具体场景坐标下的组织结构、同步信息、知识产 权保护等内容。 3 2 3m p e g - 4 系统分层结构 为了在网络上进行传输，a v o 的数据要被转化成多个单元数据流。在m p e g - 4 中，数据源的合成、流化处理、终端信息恢复都是以分层的方式进行处理的。系 统分层如下： 基本层e s ( e l e m e n t a r ys t r e a m s ) ：包含a v o 、场景描述信息、a v o 管理信息、 系统控制信息等数据信息，依据对解码器自愿要求、对解码定时精度要求、对 服务质量q o s 等参数的不同将a v o 数据变成基本流。 同步层s l ( s y n el a y e r ) ：各个数据源经过压缩得到的数据主要是基本码流数据， 它们包含内容信息，同步层将这些数据和同步信息封装成同步数据包流，再将 它们传输到传输层( d m i f ) ，这些数据包中不仅含有定时和同步数据，而且还 有随机访问信息。基本流经过基本流接n e s i ( e l e m e n t a r ys t r e a m si n t e r f a c e ) 进入 同步层。 传输层( d m 咂) ；传输层是对已经存在的各种传输协议的一般描述，这些协议能 够用来传输和存储符合m p e g 4 标准的视听内容。其功能不在系统部分规定， 只是和传输层有关的接口需要考虑，这个接口是d m i f 应用接口，由标准中的 d m i f 部分定义。s l 流经过d m 应用接口进入d m r f 层，d m i f 提供灵活、低 时延、低开销的工具将相同q o s 需求的多个基本流组合复用成f l e x m u x 流，并 m p e g - - 4 视频会议中的抗分组丢失研究 按要求把该流送往相应的网络信道。 t r a n s m u x 层：f l e x m u x 流经过d m i f 网络进, ) t r a n s m u x 层，该层用来抽象任何 适合传输m p e g - 4 数据流最底层的复用功能，将f l e x m u x 流映射进不同的网络 协议。t r a n s m u x 层包括复用子层和保护子层，提供复用、差错检测、差错控制 等功能。 m p e g - 4 系统分层结构示意图如图3 ，1 所示。 影印s m 雌一辩袖遁 图3 1m p e g - 4 系统分层结构示意图 3 2 4m p e g 一4 相关i p 网络传输协议 与m p e g - 4 网络传输相关的协议有两个，一个是m p e g - 4 系列标准中的多媒体 综合传输框架( d e l i v e r ym u l t i m e d i ai n t e g r a t i o nf r a m e w o r k , d m i f 】，另一个是由 j e t f 制定的m p e g - 4 视音频传输标准r f c 3 0 1 6 。r f c1 8 9 0 1 1 1 中定义了大部分多媒体 信息的传送方法，r f c 3 0 1 6 t 1 2 】中规定了m p e g 4 视频数据和音频数据的r t p 包格 式。由于在此标准中，不要求使用m p e g - 4 系统层的功能，避免t r t p 协议和 m p e g - 4 系统层中规定的一些重复信息，而且可以与其它标准的媒体流进行统一处 理，便于视频会议系统管理，常为h 3 2 3 等协议采用。 第三章m p e g - 4 祝颓编码标准原理简介1 7 3 3m p e g - 4 视频编码的构成 3 3 1m p e g - 4 视频编码结构 为了支持前面提到的高效压缩性、基于内容的可交互性和基于内容的可分级 扩展性等功能，m p e g - 4 引入了v o ( v i d e oo b j e c t ) 的概念来实现基于内容的表示。 v o 的构成依赖于具体应用和系统实际所处环境：在要求超低比特率的情况下，v o 可以是一个矩形帧，从而与原来的标准兼容；对于基于内容的表示要求较高的应 用来说，v o 可能是场景中的某一物体或某一层面，如新闻节日中的解说员头肩像 等等。在m p e o - 4 的校验模型v 】中，v o 主要被定义为画面中分割出来的不同物体， 每+ v o 由三类信息来描述：运动信息、形状信息、纹理信息。 一盛 _ j j 网7 封 揪 草 - 畔；4 p 图3 2v m 编码器框图 图3 2 为v m 中的编码器框图。第一步是v o 的形成( v of o r m a t i o n ) ，先要从 原始视频流中分割出v o ，之后由编码控i * 0 ( c o d i n gc o n t r 0 1 ) 机制为不同的v o 以及各 个v o 的三类信息分配码率，之后各个v o 分别独立编码，最后将各个v o 的码流复合 ( m o x ) 成一个位流。其中，在编码控制和复合阶段可以加入用户的交互控制或由 智能化的算法进行控制。 3 3 2m p e g - - 4 的视频数据类型 m p e g - 4 中的校验模型v m 给出了多个层次的数据结构，它们都是以类的形式 定义的。从上至下，如图3 3 所示，这五个类型依次为：视频段v s ( v i d e os e s s i o n ) 、 视频对象v o ( v i d e oo b j e c t ) 、视频对象层v o l ( v i d e oo b j e c tl a y e r ) 、视频对象组层 g o v ( g - r o u po f v i d e oo b j e c tp l a n e ) 和视频对象平面v o p ( v i d e oo b j e c tp l a n e ) 。下面 对它们依次做简单介绍。 1 8 m p e g - 4 视颏会议中的抗分组丢失研究 1 视频段v s f v i d e os e s s i o n ) ：是包含其他三个类的一个类，一个完整的视频 序列可以有几+ v s 组成。视频序列对应于一段完整的视频场景，每个视频 序列由一个或多个视频对象构成。视频序列是其他凡层的数据入口，一个 完整的视频包括多个视频序列。 2 视频对象v o ( v i d e oo b j e c 0 ：在场景中的某个物体，它是有生命周期的，由 时间上连续的许多帧构成。视频对象是对可视场景中的景物的抽象描述。 3 视频对象层v o l ( v i d e oo b j e c tl a y e r ) ；v o 的三种属性信息编码于这个类 中。这个类的引入主要用来扩展v o 的时域