（信号与信息处理专业论文）基于internet的mpeg4视频流实时传输系统研究.pdf

华中科技大学硕士学位论文 摘要 随着i n t e r n e t 的流行，个人计算机处理能力的提高，以及视频压缩技术的发展， 人们对实时i n t e m e t 视频服务，如视频电话、视频会议和远程教学等的需求不断增长， 因此，对i n t e m e t 视频实时传输的研究，无论在科研还是在应用领域都具有非常重要 的意义。 本文介绍了一种基于i n t e m e t 的点对点m p e g 4 视频流实时传输系统。我们以实 时传输协议( 彤曙) 和实时传输控制协议( r t c p ) 为基础，以r t p u d p i p 为传输协 议体系，采用最新的视频编码标准m p e g - 4 ，实现了以校园网为基本应用环境，实际 可以面向i n t e m e t 的，编码速率自适应可调的点对点视频传输系统。系统的主要特点 是利用r t p r t c p 协议的相关信息，设计出了优良的m p e g - 4 视频数据封装策略，从 而最小化了视频数据包丢失对视频回放质量的影响，同时，根据r t p r t c p 协议报文 头部提供的信息，提出了根据数据包丢失率自适应调节视频编码器编码速率的算法， 实现了随网络带宽变化在一定范围内调节码率的功能，尽可能的利用了网络闲置带宽 和防止网络的拥塞。 本文在结构安排上，首先介绍与视频传输相关的技术，分析在i n t e m e t 上传输视 频的性能要求，接着给出最新的视频编码标准m p e g - 4 的特点和一组多媒体传输协议， 并比较这些协议优缺点，最终确定r t p 和r t c p 协议作为本系统的选择。然后从系统 的整体结构着手，详细描述了系统的开发环境、协议体系和工作流程，并分别对缓冲 器设计、r t p r t c p 协议、算法设计等各部分进行了程序实现。经过对系统进行测试， 证实了本文的方案效果良好，视频传输质量具有很高的稳定性和自适应性，最后指出 了系统的优缺点以及后续改进方向。 关键词：互联网 m p e g - 4实时传输协议实时传输控制协议自适应编码 华中科技大学硕士学位论文 a b s t r a c t w i t ht h eh e l po f p o p u l a ri n t e m e t ，p o w e r f u lp r o c e s s i n ga b i l i t yo fp e r s o n a lc o m p u t e r s ， a n dt h e d e v e l o p m e n to fv i d e oc o m p r e s s i o nt e c h n o l o g y , t h ed e m a n do fi n t e r a c t b a s e d r e a l - t i m ev i d e os e r v i c ei si n c r e a s i n gr a p i d l y , s u c ha sv i d e o t e l e p h o n e ，v i d e oc o n f e r e n c e ，a n d l o n g d i s t a n c e m u l t i m e d i a e d u c a t i o n t h e r e f o r e ，t h e r e s e a r c ho fr e a l t i m ev i d e o c o m m u n i c a t i o n s p l a y sa ni m p o r t a n tr o l ei no u rd a i l y l i f e r e s e a r c ho ni n t e m e t - b a s e dr e a l - t i m et r a n s m i s s i o ns y s t e mi nm p e g - 4v i d e os t r e a m s i si n t r o d u c e di nt h i sp a p e r , w h i c hi sb a s e do nr e a l - t i m et r a n s p o r tp r o t o c o l ( r t p ) a n d r e a l t i m et r a n s p o r tc o n t r o lp r o t o c o l ( r t c p ) 1 1 l ca p p u e a t i o no fm p e g - 4e n c o d i n gi s p r e s e n t e d i nt h i sp a p e r t h es y s t e mc a l lb eu s e dn o to n l yi nl a n sb u ta l s oi ni n t e r a c t s t h e f i r s tc h a r a c t e r i s t i co ft h i ss y s t e mi sp a c k e t i z a t i o na l g o r i t h mo f 巴e g 一4b i ts t r e a mt h a t r e d u c e st h ee f f e c to nv i d e oq u a l i t yb e c a u s eo ft r a n s m i t t e dd a t al o s s s e c o n d l y , t h ea d a p t i v e e n c o d i n g r a t ec o n t r o la l g o r i t h m ，b a s e do n r t p r t c p , i sd e s i g n e d f o r m a n i p u l a t i n gm p e g 一4 c o d e ce n c o d i n gr a t ew i t ht h ev a r y i n go fn e t w o r k b a n d w i d t h n 圮a l g o r i t h mi sd e r i v e df r o m t h el o s sr a t eo f d a t a g r a mt oa v o i dn e t w o r k c o n g e s t i o n a n du s et h eo p t i m a lb a n d w i d t h a tt h eb e g i n n i n go ft h i sp a p e r , t e c h n o l o g i e sr e l a t e dt ov i d e oc o m m u n i c a t i o n sa r e i n t r o d u c e d ，a n dt h eq o so fi n t e r a c t - b a s e dv i d e oc o m m u n i c a t i o n si sa n a l y z e d ，a n dt h e n , t h e c h a r a c t e r i s t i e so fm p e g - 4a r ed e s c r i b e d a tt h em e a n w h i l e t h em o t i v a t i o nf o rr t p ，r t c p i s e x p l a i n e db yc o m p a r i n gs o m ec o m m u n i c a t i o np r o t o c o l s a f t e rt h es y s t e mf r a m e w o r k ， w o r ke n v i r o n m e n ta n dw o r kp r o c e s sa r e i l l u s t r a t e d ，p r o g r a m m i n g m e t h o do fb u f f e r , r t p r t c pa n dt h ea l g o r i t h m sa r ed i s c u s s e di nd e t a i l f i n a l l y , i ti sp r o v e dt h a tt h es y s t e m h a ss t e a d ya n d a d a p t i v ep r o p e r t i e st h r o u g hs y s t e m t e s t k e y w o r d s ：i n t e r n e t m p e g - 4r t pr t c p a d a p t i v ee n c o d i n g l i 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个 人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体， 均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：夕安碉 日期：御年箩月。日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本论文属于 不保密回。 ( 请在以上方框内打“4 ”) 学位论文作者签名：麴嚼 日期：易竹年岁月d 日 指导教师签名： 日期：2 水 f 罕日 糍唧 华中科技大学硕士学位论文 1 绪论 本章介绍视频通信的发展和现状，视频通信的相关技术，并且讨论i m e m e t 上实 时视频传输的性能要求，最后概略介绍本研究的意义和主要工作。 1 1 视频通信的发展和现状 纵观世界通信技术发展的全历程，可以将其分为三个阶段。第一个阶段是百年前 电话的问世电话网是开放电话业务为广大用户服务的通信网络，主要传输的业务是 语音，同时只要加少量设备也还可以传送传真、中速数据等非语音业务，它采用的是 基于电路交换的技术，现在的电话网为程控数字网，即各级交换中心均装有程控数字 交换机，传输电路均为数字电路。第二阶段是半个世纪前电视和有线电视网的出现， 电视的出现改变了电话网络只能传输语音的缺点，它不仅能使用户闻其声还能见其人， 特别是有线电视网络的出现使视频信号的传输质量和带宽都得到很大的改善，也使得 基于广播电视的通信技术进入了快速发展阶段，成为目前三大媒体通信技术之一。第 三个阶段是i n t e r a c t 的迅速崛起引发的i p 通信技术，它已经开始成为通信舞台上的主 角，并与语音通信、视频通信形成新的产业汇聚，从业务上看，传统电信业务主要是 语音业务，i n t e r n e t 应用的普及使这一格局发生了改变，它具有更丰富的业务内涵，这 其中包括多媒体数据业务，口语音，m 图像，口视频等【l 】【2 】1 3 】。 随着通信技术的发展，人们对通信服务提出了越来越高的要求，单一的电话和低 速数据通信已经不能适应和满足社会进步对通信服务的需求，集声音、文本、图形图 像和视频于一体的具有交互能力的多媒体通信成了当今的发展趋势，而这其中i p 网络 视频传输，因其数据特性和对网络的特殊要求最为受人们重视。进入上世纪9 0 年代以 来，国外视频通信的研究开发首先是基于窄带综合业务数字网( n i s d n ) ，如美国 a t & t 、p a c i f i cb e l l 、奇科和加利福尼亚公立大学于1 9 9 1 年5 月开始，利用i s d n 进 行了远程教学网络试验，取得了较满意的实时视频质量，在实验的基础上于1 9 9 3 年进 入实用化阶段 4 】【卯。目前，基于i s d n 的视频会议系统和多媒体检索业务基本上达到了 使用的水平，国外宽带视频通信还在研发、现场试验阶段，少数系统进入了商用，1 9 9 4 年7 月开始，日本进行了国家级的实验项目b i s d n ，对视频点播( v o d ) 、家庭购物、 远程教育、远程医疗、多媒体会议电视等2 0 多项应用进行逐项试验，并于1 9 9 6 年提 华中科技大学硕士学位论文 供v o d 、远程医疗等业务，n e c 公司已经开通了多媒体点播系统提供家用录像质量 的压缩编码( m p e g - 1 ) 和高质量运动图像编码( m p e g - 2 ) 。至今日，基于p s d n 等 专用网络的视频通信技术已经相当成熟，并且在视频会议、远程教育、远程医疗方面 得到了广泛应用。 区别于p s d n ，i s d n 等专用信道，i n t e m e t 的爆炸时增长以前所未有的力量改变了 人们的生活，通过它获取、共享、传播缤纷的信息正成为入们生活、学习、工作的一 个不可分割的部分。i n t e m e t 作为一种廉价、便捷和有效的通信网络，使人们在其上开 发了大量应用，如常见的e - m a i l ，f t p ，w e b ，b b s 等，我们知道，i n t e r n e t 已经走进千家万 户，人们自然希望也在其上开发出适合于视频传输的系统，这种以i n t e m e t 为传输信 道的系统其最大特点就是无需昂贵的设备，特别是随着计算机技术的提高，现代p c 的处理能力已经取得长足进步，使得普通用户可以在自己的p c 上处理视音频数据， 尽管目前的i n t e m e t 是以d 交换为核心，并且是一个公共信道，无法保证视频通信的 质量，但人们可以接受在一定延时下的视频服务嘲。目前世界各国、各大厂商都在研 究基于i p 的视频通信，一些国际标准化组织，包括i s o ( 国际标准化组织) 、i e t f ( 互联 网工程任务组) 和i t u t ( 国际电信联盟标准部) 都在积极进行基于坤的视频通信研究和 制定相应的标准。 现在，基于i n t e m e t 的视频流传输主要是流式传输方式，所谓流式传输就是首先 将视频预处理成适合网络传输的流式文件，然后利用缓存机制来弥补传输延时和抖动 的影响并用适合的网络协议传输视频数据，比较流行的几个流媒体系统有 r e a n e t w o r k s 公司的r e a l s y s t e m ，微软公司的w i n d o w sm e d i a ，苹果公司韵 q u i c k t i m e ，它们都是采用服务器，客户端模式【4 l 。 1 2 视频通信的相关技术 视频通信是一个伴随着应用需求不断迅速发展的领域，从推动视频通信发展的因 素来看，计算机处理能力、压缩编码算法和网络技术的进步起主要作用。 1 2 1 压缩编码技术 视频的信息量非常大，尤其是数字化后，广播质量的数字视频码率约为2 1 6 m b i l s ， 而高清晰电视( ) t v ) 则在1 2 g b i t s 以上，如果没有高效的压缩技术是无法进行传 输和存储的。目前，由国际标准化组织( i s o ) 和国际电信联盟标准部( f l u t ) 正式 公布的视频压缩编码标准中有m p e g 系列和h 2 6 x 系列。 2 华中科技大学硕士学位论文 h 2 6 1 是c c i t t 制定的国际上第一个视频压缩标准，主要用于电视电话和会议电 视，以满足i s d n 日益发展的需要，该标准于1 9 9 0 年1 2 月得到批准，采用的视频压 缩编码算法是运动估值预测和d c t 编码【7 j ；h 2 6 3 是i t u t 的关于低于6 4 k b i t s 比特 率的窄带通道视频编码建议，其目的是在现有的电话网上传输视频图像，由于h 2 6 3 是面向低速信道的，所以必须在帧频和图像失真之间做出选择，它是从h 2 6 1 的基础 上发展起来的，其信源编码算法仍然是帧间预测d c t 的混合，但h 2 6 3 和h 2 6 1 不同 的是，它采用半像素的分辨率进行运动补偿，处理的图像格式可以覆盖s u b q c i f 到 1 6 c i f ，且提供4 种可协商选择的编码方法：无限制范围的运动矢量、基于语法的算法 编码方法、先进预测和p b 帧，虽然在低比特率、低分辨率的应用中h 2 6 3 有它的优 点，但也有一定的局限，对此，i t u t 对h 2 6 3 进行了修改，提出了h 2 6 3 + 建议以扩 大建议的应用范围和加强编码比特率的控制 8 1 。 m p e g 是活动图像专家组( m o v i n g p i c t u r ee x p e r tg r o u p ) 的简称，成立于1 9 8 8 年， 它是i s o i e c 信息技术联合委员会下的一个专家组，主要任务是制定活动图像及其相应 语音压缩标准，目前已经制定了m p e g - 1 、m p e g - 2 、m p e g - 4 三个标准，关于多媒体内 容描述接口的建议m p e g - 7 标准也在制定之中 9 1 1 0 】。m p e g - 1 采用c i f 视频格式，帧率 为2 5 帧秒或者3 0 帧秒，码率为1 5 m b i t s ，主要用于视频存储和再现，如v c d 等；m p e g - 2 主要是针对数字视频广播( d v b ) 、高清晰度电视( h d t v ) 和数字视盘( d v d ) 等制定的 3 1 0 m b i t s 运动图像及其伴音的编码标准，其基本算法也是运动补偿预测和带有d c t 的帧内变长编码；前两个标准都是在一定比特率下，依据信源编码理论，将视频看作随 机信号，利用其统计特性进行的基于矩形帧的编码，而m p e g - 4 是基于对象( v i d e oo b j e e 0 的运动图像压缩编码标准，提供时间和空间上可扩展的灵活分级编码技术，用户可以在 编码端根据网络状况动态的调整和选择编码算法使编码速率适应网络变化，从而使 m p e g - 4 标准适合在i n t e r n e t 上传输，它支持从5 k b i t s 到1 0 m b i t s 的比特t 9 1 l l i j 【1 2 】。 1 2 2 视频通信的网络技术 目前的网络技术种类繁多，在局域网技术方面有以太网技术、令牌网技术、无线 网技术等，广域网方面有综合业务数字网i s d n 、帧中继f r 、异步传输模式a t m 及 其相关技术，这些网络的不同之处表现在物理层和数据链路层。表1 - 1 列出了各种网 络及特点。目前流行的i n t e r n e t 是采用t c p i p 协议族，屏蔽底层的具体网络结构和底 层协议，统一上层通信协议，使其可以应用于现在的任何网络，本论文的目标便是在 t c p i p 协议的基础上开发出适合在i n t e r a c t 上应用的视频流传输系统。 华中科技大学硕士学位论文 表卜1 各种网络及特点 通信网络交换方式网络特点 传输速率低( 1 9 2 k b i t s ) ，最高可达3 4 k b i f f s ，时延小， 电话网电路 适合语音、低质量图像传输。 传输速率高( 可达1 0 0 m b i f f s ) ，时延小，适合数据和 局域网分组 视频传输。 按n 6 4 k b i t s ( n = l 3 0 ) 提供任意带宽，半固定连接， d d n 电路 适合数据、图像传输。 传输速率高 n i s d n电路、分组交换 【1 4 4 k b i i s ( 2 b + d ) ，1 5 2 0 4 $ m b i f f s ( 2 3 3 0 b + d ) ，时延 小，适合语音、数据、视频传输。 传输速率高( 可达2 4 0 b i l s ) ，时延小，可适合高清晰 b i s d na n 度电视。 t c p i p 协议族有三个最重要的协议：i p 、t c p 、u d p 。i p 协议位于o s i 模型的第 三层，即网络层，设计的目的是屏蔽下层的具体物理网络从而给上层协议提供统一的 i p 数据报和m 地址，它是无连接的，即不能保证传输的可靠性；t c p 和u d p 是两个 位于i p 协议上的两个并列的协议，其中t c p 采用确认与超时重传、流量控制、拥塞 控制等机制提供可靠的面向连接服务，而u d p 协议同疋协议一样提供无连接的不可 靠数据报传输，相对于口唯一增加的能力是提供协议端口，以保证进程通信。当然， t c p i p 协议本来的设计目的是进行数据传输，要在其上传输视频流还有许多问题要解 决 1 3 【1 4 5 1 。 1 3 i n t e r n e t 实时视频传输性能要求 i n t e m e t 最初的目的是为传输非实时的数据通信而设计的，要很好的利用它传输视 频流，并保证一定的服务质量( q o s ) ，我们必须了解影响视频流传输效果的性能参数， 主要有三个：吞吐量、延迟和抖动、差错率【l 6 】。 l _ 3 i 吞吐量 视频通信的吞吐量要求与网络传输速率和接收端缓冲容量有关。对视频通信来说， 网络必须能够提供充足的带宽才能保证视频流的连续性，当传输带宽不足时将会产生 网络拥塞现象，导致端到端延迟的增加和分组丢失。对h 2 6 1 来说吞吐量定在6 4 k b 训s 到2 m b i t s 之间【7 1 ，而m p e g - 2 则要求1 2 m b i t s 到8 0 m b i t s 之间，m p e g - 4 要求5 k b w s 到1 0 m b i t t s 的比特率【9 】，一般而言，基于i n t e m e t 视频通信的吞吐量要求在o 4 k b s 4 华中科技大学硕士学位论文 到2 m b i t s ，而我们的系统则是基于校园的1 0 m b i t s 以太网为i n t e m e t 的接入方式，可 以充分满足视频传输的带宽要求；大的缓冲容量是指在接收端必须有充足的缓冲区来 接收源源不断的视频数据，否则就必须降低发送端的传输速率从而影响吞吐量，不然 就会在接收端发生缓冲区溢出，出现分组丢失的现象，因此需要在程序设计时留出足 够的缓冲内存和设计出高效的缓冲数据结构。 1 3 2 延迟和抖动 延迟和抖动是影响视频传输质量的重要因素。延迟是指数据包从发送端到达接收 端所耗费的时间，而不同数据包延迟的时间的变化，叫做延迟抖动。对于实时视频， 大的延迟和抖动必然使解压后的视频图像出现断续和杂乱随机回放，从而让人在主观 上无法接受，但对口网络来说，延迟和抖动总是不可避免的，这就要求将延迟抖动控 制在一定的范围内。对于压缩后的视频数据，允许的最大网络延迟是2 5 0 m s ，i t u 建 议的交互视频通信为不超过1 5 0 m s ，最大延迟抖动时间1 m s 【i j 。 i n t e m e t 的网络延迟和抖动较大，视频传输系统必须通过相应的应用层协议和缓冲 区的设计来加以避免。 1 3 3 差错率 受到人类感知能力的限制，视觉很难分辨出图像本身微小的差距，因此视频通信 允许网络传输中存在一定的错误，在冗长的视频流中，个别数据出错是很难被人察觉 出来的。通常情况下，降低差错率和减少延迟是相冲突的，因为要保证传输的可靠性 就必须采取端到端的差错控制措施，对于出错的分组通常是采用重新传输的方法来纠 正，而这样势必大大增加延迟，对于实时视频流来说，延迟比差错率的影响显得更大， 一般将所接受视频数据按现状播放，而将错误忽略不计。对于压缩视频流，可接受的 误比特率是小于1 0 - 6 吼 1 4 本研究的意义和主要工作 本节简要介绍研究此课题的意义和论文完成的主要工作。 1 4 1 本课置研究的意义 目前基于i n t e m e t 的视频传输主要是采用流媒体技术，比较流行的几个流媒体系 统有r e a n e t w o r k s 公司的r e a l s y s t e m ，微软公司的w i n d o w sm e d i a ，苹果公司的 华中科技大学硕士学位论文 q u i c k t i m e ，出于商业利益的考虑都它们采用公司自己的文件组织格式和特殊的压缩编 码算法，甚至于提出自己的传输协议，并且是对外保密的，它们要么不支持m p e g - 4 要么不支持r t p r t c p 协议。以w i n d o w sm e d i a 为例，它的7 0 以上版本支持m f e g 一4 编码，但支持的协议是u d p 、t c p 、i t t p + t c p 、m u l t i c a s t 和微软的m m s ，不支持 i e t f 的r t p r t c p ；对于q u i c k t i m e ，尽管支持r t p r t s p 数据流，但却不支持m p e g 4 编码标准1 4 】 6 】【16 1 。这些公司没有采用m p e g 4 和r t p 协议相结合的方式，是因为利用 r t p 协议传输m p e g - 4 视频数据与用它传输m p e g 1 2 不同，m p e g - 4 编码标准有其 特殊性，将二者相结合还有一些理论问题需要解决，我们的研究目标就是为了解决这 些问题进行的。 从应用上说，“i n t e r n e t + r t p r t c p + m p e g 4 ”的方式也必然是未来的视 频通信主流，这是由i n t e r n e t 的普及、m p e g 4 视频标准的特性和r t p r t c p 协议对i p 网络缺陷的有效补偿决定的，该方案应用广泛，可以在视频电话、远程 教育和监控、视频游戏以及基于p c 的视频会议等系统中使用。 总而言之，本课题的研究无论是在理论上还是在实际的应用中都有相当广阔的前 景，可以说对未来人们的生活和生产具有重要意义。 1 4 2 本论文的主要工作 本论文使用m p e g - 4 视频编码标准，以i e t f 发表的实时传输协议( r m ) 和实施传 输控制协议( r t c p ) 为基础，提出了一个以校园网为基本运行环境，而实际上可以面 向i n t e m e t 的点对点视频流实时传输系纠1 7 】【1 8 【1 9 1 。 系统设计中，我们主要完成了以下工作：数据缓冲器的设计，它有效的消除了 延时抖动对视频回放质量的影响；厘) r t p r t c p 协议的程序实现，此协议很大程度上 弥补了i n t e m e t 上实时传输视频数据的缺陷；利用w m s o c k 进行编程，完成底层网 络数据传输；提出基于m p e g 。4 系统结构的视频流封装算法，该算法对于减小视频 数据丢失对视频质量的影响方面作用显著；利用r t p r t c p 协议提供的相关信息， 设计了自适应调节编码器编码速率的算法，该算法根据网络的带宽变化自适应的调整 视频编码速率，避免了网络拥塞。 论文的具体的章节内容安排如下：第一章介绍了视频通信的发展现状、视频通信 的相关技术，研究了i n t e m e t 传输视频流的性能要求：第二章介绍m p e g 4 标准的特 性，并指出i p 网络的局限性，比较了几个多媒体传输协议；第三章介绍系统的开发环 境、整体框架和协议体系及其工作流程，并详细介绍部分关键技术；第四章用面向对 华中科技大学硕士学位论文 象方法实现了r t p r t c p 协议，并介绍了底层的网络程序设计接口w m s o c k ；第五章 提出和阐述了m p e g - 4 视频流的r t p 封装算法和自适应调节编码速率的算法，并对系 统的整体效果进行了测试，给出了测试结果；第六章对论文进行总结，指出系统的优 点和缺点，并对应用前景进行了展望。 华中科技大学硕士学位论文 2 m p e g 4 标准和多媒体传输协议 本章介绍m p e g - 4 视频编码标准和相关的多媒体传输协议，并根据现有i p 网络的 局限性和各个协议的优缺点做出我们的选择：r t p r t c p 。 2 1 m p e g 4 视频标准 m p e g - 4 提出了基于内容( c o n t e n t - - b a s e d ) 的概念，使用户可与场景进行交互。它 对运动图像中的内容进行编码，其编码对象称为a v 对象( a v o ：a u d i o v i d e o o b j e e 0 ， 标准的基本内容就是高效率的编码、存储和传输a v 对象。m p e g - 4 完成于1 9 9 8 年l o 月，1 9 9 9 年1 月成为国际标准，标准号为i s o i e c l 4 4 9 6 儿 。 2 1 1 m p e g 一4 标准的构成 a ：d m i f 。d m i f 即多媒体传送整体框架，它主要解决交互网络中、广播环境下 以及磁盘应用中多媒体应用的操作问题。通过d m w ，m p e g - 4 可以建立具有特殊品 质服务( q o s ：q u a l i t y o f s e r v i c e ) 的信道和面向每个基本流的带宽。 b ：数据平面。数据平面可以分为两部分：传输关系部分和媒体关系部分。为了 使基本流和a v 对象在同一场景中出现，引用了对象描述( o d ) 和流图桌面( s m t ) 的概 念。0 d 传输与特殊a v 对象相关的基本流的信息流图。桌面把每一个流与一个 c a t ( c h a n n e l a s s o c i a t i o n t a g ) 相连，c a t 可实现流的顺利传输。 c ：缓冲区管理和实时识别。m p e g - 4 定义了一个系统解码模式( s d m ) ，该解码模 式描述了一种理想的处理比特流句法语义的解码装置，它要求特殊的缓冲区和实时模 式。通过有效的管理，可以更好地利用有限的缓冲区空间。 d ：音频编码。优越之处在于，不仅支持自然声音，而且支持合成声音。m p e g - - 4 的音频部分将音频的合成编码和自然声音的编码相结合，并支持音频的对象特征。 e ：视频编码。与音频编码类似，m p e g - 4 也支持对自然和合成的视觉对象的编码。 合成的视觉对象包括2 1 3 、3 d 动画和人面部表情动画等。 f ：场景描述。标准提供一系列工具，主要用于描述各a v 对象在具体a v 场景坐 标下，如何组织与同步等问题，一些必要的合成信息就组成了场景描述。 2 1 2m p e g 4 视频躺技术 m p e g 4 标准完成了从基于像素的传统编码向基于对象和内容的现代编码的转 华中科技大学硕士学位论文 变。编码理念是：在编码时将一幅景物分成若干在时间和空间上相联系的音视频对象， 分别编码后，再经过复用传输到接收端，然后再对不同的对象分别解码，从而组合成 所需要的视频和音频1 2 0 1 2 。图2 1 是i v 伊e g 4 的编码流程。 图2 im p e g - 4 的编码流程 ( 1 ) 从矩形帧到v o p 。m p e g 一4 利用人眼的视觉特性，从轮廓一纹理的思路出 发，实现了基于内容交互功能，为此引入视频对象平面v o p ( v i d e oo b j e c tp l a n e ) 的概 念，它根据人眼感兴趣的特性如形状、运动、纹理等，将帧中的场景，看成是由不同 视频对象平面v o p 组成，然后对v o p 编码( 包括运动和纹理的编码) ，矩形帧被认为 是v o p 的一个特例，这时编码系统不处理形状信息。 ( 2 ) 基于v o p 的视频编码。由两个主要部分组成：形状和纹理编码、运动信息 编码。编码器可对图像序列中具有任意形状的v o p 进行编码，v o p 被限定在一个矩 形窗口内，称之为v o p 窗口，窗口的长、宽均为1 6 的整数倍，同时保证v o p 窗口中 非v o p 的宏块数目最少，系统依据不同的应用场合，对v o p 输入序列可采用固定的 或可变的帧频。为了与现有标准兼容和便于对编码器进行更好的扩展，编码器内是基 于1 6 1 6 像素宏块( m a c r ob l o c k ) 来设计的。 ( 3 ) 形状编码。v o 的形状信息有两类：二值形状信息和灰度形状信息。二值形 状信息用0 、1 来表示v o p 的形状，采用基于运动补偿块的技术，可以是无损或有损 编码。灰度形状信息用0 2 5 5 之间的数值来表示v o p 的透明程度。采用基于块的运 动补偿d c t 方法，属于有损编码。 9 华中科技大学硕士学位论文 ( 4 ) 运动信息编码。运动预测和运动补偿技术来去除图像信息中的时间冗余，运 动信息的编码技术可视为现有标准向任意形状的v o p 的延伸，可以是基于1 6 x 1 6 像素 的宏块，也可以是基于8 8 像素块的。v o p 的编码有3 种模式，即帧内编码模式( i v o p ) ， 帧间预澳4 编码模式( p - v o p ) ，帧间双向预测编码模式( b - 、，o p ) 。 ( 5 ) 纹理编码。基本上仍采用基于8 x 8 像素块的d c t 方法。在帧内编码模式中， 对于完全位于v o p 内的像素块，则采用经典的d c t 方法；对于完全位于v o p 之外 的像素块则不进行编码：对于部分在v o p 内，部分在v o p 外的像素块则首先采用图 像填充技术来获取v o p 之外的像素值，之后再进行d c t 编码。 ( 6 ) 分级编码。该编码是为了支持时域、空间及质量的伸缩性，至少应具有基本 层和增强层。空间伸缩性通过增强层强化基本层的空间分辨率来实现，因此在对增强 层中的v o p 编码之前，必须先对基本层中v o p 编码；时域伸缩性通过增强层来增加 视频序列中某个v o p 的帧率，使其与其它区域相比更为平滑。 2 1 3m p e g 4 系统结构 m p e g 4 系统描述交互式的视听场景通信技术，该系统的整个工作过程是：首先 发送端压缩视听场景信息，并增加一些同步信息，然后将这些信息送给一个传输层， 在经过多路复合( m u l t i p l e x ) 技术将其打包成一个或多个用于传输或者存储的二进制码 流；在接收端将这些码流分解和解压缩，其中的视听对象将根据场景描述和同步信息 被复合起来并呈现给用户【2 1 1 1 2 2 1 1 2 3 i 。系统模型如图2 2 。 系统可以分三个层：压缩层( c o m p r e s s i o nl a y e r ) 、同步层( s y n cl a y e 0 、传输 层( t r a n s m u xl a y e r ) 。传输层是对传输协议的一般描述，这些协议能够用来传输和 存储m p e g 4 标准的视听内容，具体功能并不在系统部分规定，只是和传输层有 关的接口需要考虑。同步层将各个数据源压缩的数据和同步信息封装成同步数据 流，再传给传输层，数据包中包含定时、同步和随机访问信息，同步层也从传输 层接受数据流，从流中提取同步信息，为同步解码和基本流解码的合成做准备。 压缩层接受从同步层传来的压缩数据完成解压操作，解码后的信息用于视听对象 的合成。 m p e g 4 的系统结构从一开始就考虑到视频的网络应用，制定了可选f l e x m u x 工 具，允许一个低多路的单元数据流的组合，也用到了多路复用技术，例如根据相应的 q o s 请求对e s ( e l e m e n t a r ys t r e a m ) 进行组合，可以降低网络的端到端延迟。 1 0 华中科技大学硕士学位论文 叁毒神辱 m 哪 套譬名b 2 圈i u p c h a l c o m p r e s s i o n ( b i c c t 一 i n i b m“i o n l a y e r h j “， d e s c r i p t i o n m i t l v c i n o r m a _ i o n a v ( ) b i c c 怯 llilllil “ i 二【咖w n i # 竹s l 1 1i c d l 甲产 l回丐 日甲1l 兰j 占 u 。c 1 、1j 、ij t ：_ l 。 l f h ：x m u x l i fi “m i “ ii f i e x m u xl l 、l，、1 t r、jj r 一。 繁( p e s ) r t p ；旧忙h 2 2 。3 忙d a b ，卜i 丽。 ：n m a m t r a n s m i s s i o j l ，j s t o r a g em e d i u m 图2 - 2 系统的层次模型( 来自文献【2 2 】) 2 2 m p e g 4 网络传输的优点 从视频压缩编码技术来看，m p e g - 4 在存储容量、图像质量、网络传输、对图像 进行交互操作等方面都具有巨大的优势【2 4 1 2 5 1 。 ( 1 ) 存储空间得到节省。在优势最明显的存储容量方面，采用m p e g 4 的视音 频全同步录像所需的硬盘空间约为相同图像质量的m p e g - 1 或m j p e g 所需空间的 1 1 0 ，此外，m p e g - 4 因能根据场景变化自动调整压缩方法，故对静止图像、一般运 动场景、剧烈活动场景均能保证图像质量不会劣化。表2 1 把m p e g - 4 的表现同m j p e g 和m p e g 1 做了比较。 表2 - 1m p e g 一4 同m j p e g 和m p e g 一1 的比较 m j p e g巾e g 一1驴e g - 4 种类 1 帧1 分钟l 小时l 帧1 分钟1 小时1 帧1 分钟1 小时 静止6 0 k9 0 m5 3 5 m2 4 k3 5 m2 1 2 m 0 7 k1 0 2 m6 0 2 m 一般活动 7 2 k1 0 8 m6 2 5 m2 4 k3 5 m2 1 2 m1 1 k1 6 0 m9 3 m 剧烈活动 l l k1 6 5 m9 5 0 m2 4 k3 5 m2 1 2 m1 7 k2 4 2 m1 4 8 m 华中科技大学硕士学位论文 ( 2 ) 录像清晰度方面，尽管m p e g - 4 瞄准的是低带宽上的音视频解决方案，但 是它独特的基于内容的压缩方式同样也适合c i f 或者更高清晰度( 7 6 8 x 5 7 6 ，6 4 0 x 4 8 0 ) 的视频压缩。m p e g - 4 功能集的底层是v l b v ( v e r y l o wb i tr a t ev i d e o ) 核心，它为码 率在5 - 6 4 k b i t s 范围内的视频应用提供算法与工具，支持较低的空间分辨率( 低于3 5 2 x 2 8 8 像素) 和较低的帧频( 低于1 5 h z ) 。m p e g 一4 的h b v ( h i g h b i tr a t ev i d e o ) 码率 范围在6 4 - - - 1 0 m b i t s 之间，它与v l b l 核心采用相似的算法，但它支持更高的空间与 时间分辨率，允许传输和存储高质量视频信号。 ( 3 ) 网络传输方面，m p e g - 4 在相同压缩率下具有高的清晰度，宽的编码速率范 围( 5 k b i t s 1 0 m b i t s ) 。在纠错能力上，当网络进行传输有误码或丢包现象时，m p e g 4 受到的影响很小，并且能够很快恢复。例如在误码达到1 时，m p e g 。l 已无法播放， 而m p e g - 4 只会有轻微的边缘模糊，又如当网络传输出现瞬间丢包现象时，m p e g l 恢复至少需要1 0 多秒，而m p e g - 4 只需l 3 秒。网络传输实时视频的另一个解决方 案就是采用h 2 6 3 标准，尽管h 2 6 3 也有较高的压缩比，但是图像质量要差于m p e g 4 。 表2 - 2 显示了它们在不同网络上测试结果的对比。 表2 - 2 不同网络上测试结果的对比 网络类型m 咿e g 1h 2 6 3m p e g - 4 5 - 9 帧，秒5 1 5 帧秒 p s t n 普通电话线无法传输 图像质量较差图像质量好 2 5 帧秒2 5 帧，秒2 5 帧，秒 l a n 局域网 需要5 0 0 k b i t s 带宽需要2 5 6 k b i t s 带宽需要2 5 6 k b i t s 带宽 根据以上分析，我们看到在网络上传输视频，m p e g 4 具有无可替代的优势，正 是这一点才导致人们热衷于对它的研究，包括算法实现和网络传输等方面。m p e g - 4 标准将广泛运用于数字电视、动态图像、万维网、实时多媒体监控、基于内容存储和 检索的多媒体系统、互联网上可视游戏、基于面部表情模拟的虚拟会议、d v d 上的交互 多媒体应用、基于计算机网络的可视化合作实验室场景应用、演播电视等，它将推动电 信、计算机、广播电视三大网络的最终融合，从而成为今后一段时间压缩标准的主流。 2 3 i p 网络的局限性 以i p 分组为交换核心的i n t e m e t 是为了数据通信而设计的，它是一个公共信道， 华中科技大学硕士学位论文 各个用户共享带宽，无法确保服务的质量【6 】【2 6 【27 1 。i n t e m e t 的网络层基本上已经形成了 技术标准，而且因为用户群的庞大，更改的可能性不大，尽管i p v 6 规范承诺为音频和 视频多媒体实时传输提供支持，但在可预见的相当时间内并不能由i p v 4 迅速升级到 i p v 6 ，也就是说，网络不会有内置的多媒体数据传输机制。 实时视音频数据有很强的时间敏感性和相关性，数据流的间断、抖动和延时在人 主观上是难以忍受的。根据人的视觉心理特性，连续视频的间断时间小于2 5 0 m s ，迟 延抖动小于l m s ，人眼是察觉不出来的。但当前的以t c p i p 为协议族的i n t e m e t 并不 能