（信号与信息处理专业论文）mpeg4在移动多媒体中的实现研究.pdf

重庆邮电学院硕上论文 摘要 9 0 年代以来，随着多媒体信息和移动通信的迅速发展，使得移动多媒体的 传输成为目前人们的迫切需求。而视频传输则是应用最为广泛的一种。 视频压缩是视频传输技术中最关键的一个。目前，国际上的视频压缩标准很 多，应用最为广泛、性能较好、最适合移动通信领域的是m p e g 4 标准。 本论文的主要内容就是m p e g 一4 在移动多媒体通信中的算法研究。在m p e c 一4 的关键技术中，运动估计对于实际的实时应用具有决定性作用，因为它的复杂度 比较高。因此快速运动向量的搜索算法将是采用最多的，为了达到性能和实现的 平衡，在分析了一些优秀算法的基础上，提出了种新的快速运动向量搜索算法， 那就是自适应十字搜索( a r p s ) ，以及加入了零运动预先判别( z t v t p ) 的a r p s z m p 算法。a r p s 与目前较优秀的菱形搜索( d s ) 算法相比，节省了3 0 以上的计算 量。a r p s z , t , , i p 对于小运动的序列，相对于d s 节省了7 0 以上的计算量。而且， 两者恢复后的p s n r 也有一定程度的改善。 高分辨率恢复作为压缩视频的后处理是为了消除视频获取过程和压缩过程 中出现的失真，在解码后恢复原始视频的高分辨率图像( h r ) 序列。凸集映射 ( p o c s ) 是使用比较广泛，性能较好的一种后处理算法，一般采用高斯噪声限制 集合来恢复。本论文将在p o c s 的基础上加入量化限制集合来改进算法。同时也 改善了量化噪声的影响。与仅仅使用噪声限制集合的p o c s 算法相比，恢复的h r 的m s e 要小。 这两个改进算法提高了算法的性能，改善了恢复质量，对于实际应用具有一 定的理论参考价值。 关键词：移动多媒体通信、m p e c , - 一4 、运动估计、后处理 i i 莺庆邮电学院硕士论文 a b s t r a c t f r o m9 0 s , w i t ht h e d e v e l o p m e n to fm u l t i m e d i a i n f o r m a t i o na n dm o b i l e c o m m u n i c a t i o n ，t h et r a n s m i s s i o no fm o b i l em u l t i m e d i ai se a g e r l yn e e d e db yp e o p l e v i d e ot r a n s m i s s i o ni sm o s tw i d e l yu s e di nm o b i l em u l t i m e d i as e r v i c e s v i d e oc o m p r e s s i o ni st h em o s ti m p o r t a n tt e c h n i q u ei nv i d e ot r a n s m i s s i o n n o w t h e r ea r em a n yi n t e r n a t i o n a ls t a n d a r d sa b o u tv i d e oc o m p r e s s i o na n dm p e g 一4i st h e m o s tw i d e l yu s e da n db e t t e rp e r f o r m a n c e ，t h em o s ts u i t a b l et om o b i l ec o m m u n i c a t i o n t h em a i nc o n t e n to ft h i sp a p e ri s a l g o r i t h mr e s e a r c ho fm p e g 一4i nm o b i l e m u l t i m e d i ac o m m u n i c a t i o n i nt h em a i nt e c h n i q u e so fm p e g - 4 ，m o t i o ne s t i m a t i o n p l a y sad e t e r m i n a t er o l et or e a la p p l i c a t i o nb e c a u s eo fi t sh i g hc o m p l e x i t y s of a s t m o t i o nv e c t o rs e a r c h i n ga l g o r i t h m sa r em o r ea d o p t e d i no r d e rt oa c h i e v et h eb a l a n c e o fp e r f o r m a n c ea n dr e a l i z a t i o n ，w ep r o p o s ean e wf a s ts e a r c h i n ga l g o r i t h mb a s e do n t h e a n a l y s i s o fs o m ee x c e l l e n ta l g o r i t h m s t h en e wa l g o r i t h mi sn a m e da r p s ( a d a p t i v ec r o s sp a t t e ms e a r c ha l g o r i t h m ) a n da r p s - z m pa l g o r i t h ma d d e db yz m p ( z e r o m o t i o np r e j u d g m e n t ) c o m p a r e dt od s ( d i a m o n ds e a r c h i n g ) w h i c hi sm o r e e x c e l l e n ta l g o r i t h m ，a r p sr e d u c e sc o m p u t a t i o nb ya b o v e3 0 c o m p a r e dt od s ， a r p s z m pr e d u c e sc o m p u t a t i o nb ya b o v e7 0 r e g a r d i n gs m a l lm o t i o ns e q u e n c e s h i g h r e s o l u t i o nr e c o n s t r u c t i o nr e g a r d e da sp o s t - p r o c e s s i n go fc o m p r e s s e dv i d e o a i m st oe l i m i n a t ed i s t o r t i o ni nv i d e oa c q u i s i t i o np r o c e s sa n dc o m p r e s s i o np r o c e s sa n d r e c o n s t r u c t i o n o r i g i n a lh r ( h i g h - r e s o l u t i o n ) s e q u e n c e s a f t e r d e c o d i n g p o c s ( p r o j e c t i o n so n t oc o n v e xs e t ) i sm o r ew i d e l yu s e da n db e t t e rp e r f o r m a n c ea l g o r i t h m a n da l w a y su s e sg a u s s i a nn o i s ec o n s t r a i n ts e tt or c c o n s t n l c th i 。醢一r e s o l u t i o ni m a g e s e q u e n c e s t h i sp a p e rw i l la d dq u a n t i z a t i o nc o n s t r a i n tt oi m p r o v ep o c s a tt h es a m e t i m e ，i ta l s oi m p r o v e sq u a n t i z a t i o nn o i s e ，c o m p a r e dt op o c sa d d e do n l yn o i s e c o n s t r a i n t ，m s e ( m e a ns q u a r ee r r o r ) o fr e c o n s t r u c t e dh r i ss m a l l e r t h et w oa l g o r i t h m si m p r o v et h ep e r f o r m a n c ea n dq u a l i t y , s ot h e yh a v es o m e v a l u et or e a la p p l i c a t i o n k e yw o r d s ：m o b i l em u l t i m e d i ac o m m u n i c a t i o n ，m p e g 一4 ，m o t i o n e s t i m a t i o n ， p o s t - p r o c e s s i n g v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得重废邮电堂医或其他教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论 文中作了明确的说明并表示谢意。 学位论文作者签名：刁9 笺茕，签字日期：卅口争年j 月旧日 学位论文版权使用授权书 本学位论文作者完全了解重压直e 电堂瞳有关保留、 使用学位论文的规定，有权保留并向国家有关部门或机构送交论文 的复印件和磁盘，允许论文被查阅和借阅。本人授权重迭篚电堂 院可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：z 曰笔鸹导师签名 岂多 签字日期：加d 乒年，月1 3 日签字日期：伽侔厂月馏日 重庆邮电学院硕士论文 1 1 论文背景 第一章绪论 进入2 0 世纪9 0 年代以来，随着社会的进步和人们生活水平的提高，人们对 通信的要求也在不断增长。过去，单一模式的各种通信业务网，诸如电话网、传 真网、电报网、计算机网、有线电视网等，已经不能满足人们对信息内容的要求， 人们越来越希望有丰富的信息内容。于是多媒体通信就逐步发展起来了。 多媒体通信和传统的通信方式不同所传输、交换的是两种以上的媒体信息。 目前的诸如电话会议、电视会议、口电话、可视电话和口传真等等都是多媒体 通信。 移动通信技术的发展是迅速的。从最初模拟系统到目前被广泛使用的2 g 数 字系统( 诸如g s m ) ，以及正在研究并使用的2 5 g 系统( 诸如g p r s ) 和3 g 系 统( 诸如c d m a 2 0 0 0 、w c d m a 、t d s c d m a ) 、甚至于已经被提出的超3 g 系 统和4 g 系统。各式各样的无线终端开始出现。从每年的市场调查可以看出，移 动业务都在以一个迅猛的速度增长，人们对移动业务的要求也越来越高，通过移 动网络来传输多媒体信息是目前移动业务的新的增长点。诸如通过无线终端进行 视频会议、观看实时转播、进行网上游戏、进行远程监控和教学，进行信息查询 和购物、相互传递视频剪辑等等。因此，对无线视频的研究具有很迫切也很重要 的意义。 目前国际上也出现了很多应用到移动多媒体通信中的视频压缩标准，其中应 用最广泛的就是m p e g 4 视频压缩标准。其中的相关技术和算法很多，对它们的 研究也十分的热门和广泛。 为了对后续几章的算法有一个深入理解，我们首先来了解一下移动多媒体通 信的概念以及相关技术。 1 2 移动多媒体通信 1 2 1 多媒体通信 多媒体通信是一种与传统方式不同的通信。这里，我们首先来更确切的了解 一下什么叫做多媒体通信。 在技术发展史上，计算机、通信和广播电视一直是三个相互独立的技术领域t 各自有着互不相同的技术特征和服务范围。但是，近几十年来，随着数字技术的 发展，这三个原本各自独立的领域相互渗透、相互融合，形成了一l 崭新的技术 多媒体f 1 i a 它的出现，立即在全世界范围内，在家庭教育和娱乐方面得到了 广泛应用，由此激发了小型激光视盘( v c d 、d v d ) 的迅速发展，促进了数字 电视和高清晰度电视( h d t v ) 的发展。发过来，多媒体技术的发展也进一步加 强了这三个领域的融合，使多媒体通信成为通信技术今后发展的主要方向之一。 如图1 1 就是一个多媒体通信的网络。 m p e c - 一4 、h 3 2 3 基于i p 的语音 d o c s i s 、桌面光缆 图1 1 多媒体通信网络 多媒体与多种媒体的含义完全不同，多种媒体是各种媒体的总称。电视、电 话、图文电视、会议电视、可视电话等是多种媒体。多媒体不是他们的总称，而 是把他们融合在一起的技术。多媒体数据是由内容上相互关联的文本、图形、图 像、声音、动画、活动图像等媒体的数据所形成的复合数据。 多媒体通信就是可以传输、交换多媒体信息的通信方式。它打破了传统通信 的单一媒体、单一电信业务的通信系统格局，反映了通信向高层次发展的一种趋 势，是人们对未来社会工作和生活方式的向往。 传统的语音和数据通信渐渐面临被多媒体通信全面替代的威胁。多媒体业务 已逐渐成为并有望在不久的将来成为主要的业务类型。多媒体时代已经开始到 来。 1 2 2 移动多媒体通信及业务的发展 理解了多媒体通信，这里我们就可以很容易的了解移动多媒体通信的概念。 简单的说，移动多媒体通信就是在移动网络中进行的多媒体通信。就具体可以提 供的业务来说，移动多媒体业务就是把文本、图形、语音和视频等信息以任意组 合的方式给移动用户提供的服务3 i 。 如图1 2 就是一个移动多媒体通信网络的例子。 重庆邮电学院硕士论文 h 码h 肝警卜 l _ _ 【、一l 一 图1 2 移动多媒体通信网络的例子 在荷兰，1 9 9 6 至2 0 0 0 年之间一个项目一直在进行，那就是关于未来多媒体 通信系统的发展。而移动多媒体通信项目更是未来系统的需要以及第三、四代移 动系统的需要。超过3 0 个人在过去5 年内加入了这个项目并且发表了超过5 0 篇 文章【8 】。 m m c 项目是由电讯与交通控制组和电力工程部的信息与通信理论组、工业设 计工程部的产品与系统工程组、技术与科学部的操作与组织心理组的专家组成 的。 移动多媒体( 删c ) 的业务种类很多，诸如移动视频电话、信息门户、视频 下载、内容下载、屏保铃声j a v a m p 3 、即时消息、视频流、埘s 、移动互联网、 无线视频会议、实时监控、网页浏览、视频点播、电视直播、位置服务、在线 游戏、视频信箱等。 目前广泛使用的2 g 移动网络也只是传输一些话音和低速率数据的业务。随 着具有更强数据通信能力的3 g 移动通信系统i m t 2 0 0 0 投入使用和i n t e r n e t 业 务的爆炸性增长，人们对移动多媒体业务的需求也会更加强烈。通过移动网络提 供访问i n t e r n e t ，收发e m a i l ，多媒体视频等数据业务已经吸引了业界的极大注 意。根据国外有关部门的研究表明，在1 9 9 9 2 0 1 0 年间，话音业务的用户数将 增长1 5 倍，其业务量将翻倍，但从2 0 1 0 年后，话音业务量不会再有大的增长， 将维持在稳定水平。不过，2 0 1 0 年后，基于3 g 系统的多媒体业务会迅速增长。 据估计，到2 0 1 0 年，多媒体业务量约占全部业务的7 0 一8 0 。2 0 1 0 年以后的 多媒体业务量将以年均4 0 的增长率发展，到2 0 1 5 年的多媒体业务量将是目前 的2 3 倍，届时的多媒体和话音业务量之比将达到i 0 ：l 。 由此可见，未来多媒体业务量至少是当前3 g 系统所承诺容量的l o 倍。而且， 由于当前的3 g 系统还存在着一定的局限性，3 g 系统有限的容髓很难支持今后爆 炸式增长的多媒体业务，难以满足人们对多媒体业务的需求，在这种情况下，技 术竞争将发挥很大的作用。 可以晚移动多媒体市场就是一个技术竞争的市场，频谱资源是有限的，随着 重庆邮电学院硕士论文 移动通信的飞速发展，移动用户则急剧增加，有限的资源被“无限”的利用，矛 盾越来越尖锐，解决这一对矛盾的过程就是移动多媒体通信技术的发展史，也就 是说移动多媒体通信技术的发展过程就是不断采用频谱利用率更高、业务能力更 强的技术的过程。 1 2 3 移动多媒体通信中的相关技术 移动多媒体通信相关的技术很多f9 l 1 ”，总体来说，有以下几个关键技术： 1 多媒体数据的压缩编码 多媒体信息经数字化处理后具有易于加密、抗干扰能力强、可再生中继等优 点，但同时也伴随海量数据的产生，这对信息存储设备及通信网络均提出了很高 的要求，从而成为阻碍人们有效获取和使用信息的重大瓶颈。 从表l - l 就可以看出，传输的数据量之大，单纯用扩大存储器容量、增加通 信干线的传输率的办法是不现实的，数据压缩技术是个行之有效的办法，通过数 据压缩手段把信息数据量压下来，以压缩形式存储和传输，既紧缩节约了存储空 间，又提高了通信干线的传输效率，同时也使计算机实时处理音频、视频信息， 以保证播放出高质量的视频、音频节目成为可能。 多媒体数据压缩不仅是必要的而且也是可能的，原因是，多媒体文、声、静 图像、视频图像等信源数据有极强的相关性，也就是说有大量的冗余信息。数据 压缩就是将庞大数据中的冗余信息去掉( 去除数据之间的相关性) ，保留相互独 立的信息分量。 电话( 2 0 0 3 4 0 0 h z ) ： 带宽语音( 5 0 7 0 0 0 h z ) 带宽音频( 2 0 2 0 0 0 0 h z ) 图像： 视频： 高清晰度电视： 8 0 0 0 样本数秒1 2 比特样本= 9 6 k b p s 1 6 0 0 0 样本数秒x 1 4 比特样本= 2 2 4 k b p s 4 4 1 0 0 样本数秒2 信道1 8l t 特样本= 1 4 1 2 m b p s 5 1 2 5 1 2 象素色彩图像2 4 比特象素= 63 兆比特图像 6 4 0 4 8 0 象索色彩图像2 4 比特象素3 0 图像秒= 2 2 1 m b p s 1 2 8 0 7 2 0 象素色彩图像6 0 图像秒2 4 1 ：l 特象素= 13 g b p s 表1 1 不同类型数据包含的数据量 因此研究高效的多媒体数据压缩编码方法，以压缩形式存储和传输数字化的 多媒体信息具有重要意义。作为多媒体技术的核心及关键，数据压缩技术是多媒 体通信技术的核心问题之一，先进的数据压缩技术尤其是视频压缩技术可实现较 低的时延和高的压缩比，达到较好的图像质量，这正是多媒体视听业务能被广泛 接受的主要因素之一。 2 多媒体通信网络 通信网络是多媒体应用的传输环境，多媒体通信对信息的传输和交换都提出 了新的更高的要求，川络的带宽，交换方式及通信协议都将直接影响能否提供多 媒体通信业务与多媒体通信的质量。 3 多媒体数据库 近年来由于数据压缩、海量存储、宽带网络、高速计算机技术的发展，使得 多媒体很快成为计算机和通信行业的热点，而数据库【4 1 作为信息管理的有效手段 也成了多媒体研究的重要方向之一。 多媒体数据的压缩编码在移动多媒体的应用中起了关键的作用，这也是本论 文主要讨论的内容。 1 2 4 视频压缩标准介绍 人类获取的信息中7 0 来自于视觉，视频信息在多媒体信息中占有重要地位； 同时视频数据冗余度最大，经压缩处理后的视频质量高低是决定多媒体服务质量 的关键因素。因此对视频压缩编码的研究已成为信息技术领域的热门话题。 传统压缩编码是建立在香农信息论基础之上的，以经典集合论为工具，用概 率统计模型来描述信源，其压缩思想基于数据统计，因此只能去除数据冗余，属 于低层压缩编码的范畴【5 j 6 】【7 。 伴随着视频编码相关学科及新兴学科的迅速发展，新一代数据压缩技术不断 诞生并日益成熟，其编码思想由基于像素和像素块转变为基于内容 ( c o n t e n t b a s e d ) 。它突破了香农信息论框架的束缚，充分考虑了人眼视觉特性 及信源特性，通过去除内容冗余来实现数据压缩，可分为基于对象 ( o b j e c t b a s e d ) 和基于语义( s e m a n t i c s b a s e d ) 两种，前者属于中层压缩编 码，后者属于高层压缩编码。 目前，国际标准化组织( i s o ) 、国际电工委员会( i e c ) 、国际电信联盟( i t u ) 制定了一系列的视频压缩编码标准，主要有： 1 2 4 1m - j p e 6 m - j p e g ( m o t i o n j o i np h o t o g r a p h i ce x p e r t sg r o u p ) 技术即运动静止图像 ( 或逐帧) 压缩技术 8 j 【。把运动的视频序列作为连续的静止图像来处理，这种 压缩方式单独完整地压缩每一帧，在编辑过程中可随机存储每一帧，可进行精确 到帧的编辑，此外m - j p e g 的压缩和解压缩是对称的，可由相同的硬件和软件实 现。但舻j p e g 只对帧内的空间冗余进行压缩。不对帧间的时间冗余进行压缩， 故压缩效率不高。 m - j p e g 的优点是：可以很容易做到精确到帧的编辑、设备比较成熟。缺点 是压缩效率不高。 皇压坚皇堂堕堡圭丝苎 1 2 4 2 国际电联的h 2 6 1 、h 2 6 3 标准 1 h 2 8 1 i t u t 于1 9 9 0 年7 月通过h 2 6 1 建议。h 2 6 1 又称为p 6 4 ，其中p 为l 到 3 0 的可变参数，它最初是针对在i s d n 上实现电信会议应用，特别是面对面的可 视电话和视频会议而设计的。实际的编码算法类似于m p e g 算法，但不能与后者 兼容。 h 2 6 1 在实时编码时比m p e g 所占用的c p u 运算量少得多，此算法为了优化 带宽占用量，引进了在图像质量与运动幅度之间的平衡折中机制，也就是说，剧 烈运动的图像比相对静止的图像质量要差。因此这种方法是属于恒定码流可变质 量编码而非恒定质量可变码流编码。 2 h 2 6 3 i t u t 于1 9 9 5 年4 月公布了用于低码率的视频编码建议草案，也就是h 2 6 3 建议。但实际上这个标准可用在很宽的码流范围，而非只用于低码流应用，它在 许多应用中可以认为被用于取代h 2 6 1 。h 2 6 3 的编码算法与h 2 6 1 一样，但做 了一些改善和改变，以提高性能和纠错能力。 1 9 9 8 年i u t t 推出的h 2 6 3 + 是h 2 6 3 建议的第2 版，它提供了1 2 个新的 模式和其他特征，进步提高了压缩编码性能。 1 2 4 3m p e f i 系列标准 运动图像专家组( m o v i n gp i c t u r ee x p e r tg r o u p ，m p e g ) 是在1 9 8 8 年由国 际标准化组织( i s o ) 和国际电工委员会( i 叵c ) 联合成立的专家组，负责开发电 视图像数据和声音数据的编码、解码和它们的同步等标准。它有一系列的标准。 m p e g 系列标准已成为国际上影响最大的多媒体技术标准】，其中m p e g l 和 m p e g 一2 是采用以香农信息论为基础的预测编码、变换编码、熵编码及运动补偿 等的第一代数据压缩编码技术。m p e g 一4 则是基于第二代压缩编码技术制定的国 际标准，它以视听媒体对象( a v ) 为基本单元，采用基于内容的压缩编码，以实 现数字视音频、图形合成应用及交互式多媒体的集成。 下面我们分别对m p e g 系列的标准进行介绍。 1 m p e b - | 标准 m p e g 一1 标准于1 9 9 3 年8 月公布，用于传输1 5 m b p s 数据的运动图像及其 音频的编码。国际标准号是i s o i e c1 1 1 7 2 。 该标准从颁布的那一刻起，取得一连串的成功，如v c d 和m p 3 的大量使用， w i n d o w s 9 5 以后的版本都带有个m p e g l 软件解码器，可携式m p e g l 摄像机等 等。 重庆邮电学院硕士论文 2 m p e g 一2 标准 m p e g 组织于1 9 9 4 年推出m p e g 一2 压缩标准，以实现视音频服务与应用互操 作的可能性。国际标准号是i s o i e c1 3 8 1 8 。m p e g 一2 标准1 3 1 是针对标准数字电视 和高清晰度电视在各种应用下的压缩方案和系统层的详细规定，编码码率范围为 3 m b p s l o o m b p s 。m p e g 一2 不是m p e g l 的简单升级，m p e g 一2 在系统和传送方面作 了更加详细的规定和进一步的完善。m p e g 一2 特别适用于广播级的数字电视的编 码和传送，被认定为s d t v 和h d t v 的编码标准。 m p e g 一2 标准在广播电视领域中的主要应用如下： ( 1 ) 视音频资料的保存 ( 2 ) 电视节目的非线性编辑系统及其网络 ( 3 ) 卫星传输 ( 4 ) 电视节目的播出 3 m p e g - 4 标准 m p e g 4 工作组在1 9 9 3 年成立，于1 9 9 9 年2 月正式公布了m p e g 一4 ( i s o i e c 1 4 4 9 6 ) 标准第一版本【”1 。同年年底m p e g - 4 第二版亦公布，且于2 0 0 0 年年初 正式成为国际标准。其速率范围很广，最低到零，最高可以达到5 0 m b p s 。 在m p e g 一4 制定之前，m p e g l 、m p e g 一2 、h 2 6 1 、h 2 6 3 都是采用第一代压缩 编码技术，着眼于图像信号的统计特性来设计编码器，属于波形编码的范畴。第 一代压缩编码方案把视频序列按时间先后分为一系列帧，每一帧图像又分成宏块 以进行运动补偿和编码，这种编码方案存在以下缺陷： 将图像固定地分成相同大小的块，在高压缩比的情况下会出现严重的块 效应，即马赛克效应； 不能对图像内容进行访问、编辑和回放等操作： 未充分利用人类视觉系统( h v s ，h u m a nv i s u a ls y s t e m ) 的特性。 m p e g 一4 则代表了基于模型对象的第二代压缩编码技术，它充分利用了人眼 视觉特性，抓住了图像信息传输的本质，从轮廓、纹理思路出发，支持基于视觉 内容的交互功能，这适应了多媒体信息的应用由播放型转向基于内容的访问、检 索及操作的发展趋势。 m p e g 一4 的第一个版本中包含有七个部分，分别是系统标准( s y s t e m ) 、视频 标准( v i d e e ) 、声音标准( a u d i o ) 、一致性测试标准( c o n f o r m a n c et e s t i n g ) 、 参考软件( r e f e r e n c es o f t w a r e ) 、传输多媒体集成框架( d e l i v e r ym u l t i m e d i a i n t e g r a t i o nf r a m e w o r k ) 、工具优化软件( t o o l so p t i m i z i n gs o f t w a r e ) 。其中 第二部分是关于视频的。 m p e g 一4 与g p e g 一1 和m p e g 一2 有很大的不同。m p e g 一4 不只是具体压缩锋法， 它是针对数字电视、交互式绘图应用( 影音合成内容) 、交互式多媒体( w w w 、资 料撷取与分敞) 等整合及压缩技术的需求而制定的国际标准。m p e g 一4 标准将众 重庆邮电学院硕士论文 多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环境提供标 准的算法及工具，从而建立起一种能被多媒体传输、存储、检索等应用领域普遍 采用的统一数据格式。 m p e g 一4 标准同以前标准的最显著的差别在于它是采用基于对象( v o ) 的编 码理念。m p e g - 4 的编码理念是：在编码时将一幅景物分成若干在时间和空间上 相互联系的视频音频对象，分别编码后，再经过复用传输到接收端，然后再对不 同的对象分别解码，从而组合成所需要的视频和音频。 这样既方便我们对不同的对象采用不同的编码方法和表示方法，又有利于不 同数据类型间的融合，并且这样也可以方便的实现对于各种对象的操作及编辑。 例如，我们可以将一个卡通人物放在真实的场景中，或者将真人置于一个虚拟的 演播室里，还可以在互联网上方便的实现交互，根据自己的需要有选择的组合各 种视频音频以及图形文本对象。 与m p e g l 、m p e g 一2 相比，m p e g 一4 具有如下独特的优点： ( 1 ) 基于内容的交互性 m p e g 一4 提供了基于内容的多媒体数据访问工具，如索引、超级链接、上下 载、删除等。利用这些工具，用户可以方便地从多媒体数据库中有选择地获取自 己所需的与对象有关的内容，并提供了内容的操作和位流编辑功能，可应用于交 互式家庭购物等。 m p e g 一4 提供了高效的自然或合成的多媒体数据编码方法。它可以把自然场 景或对象组合起来成为合成的多媒体数据。 一个具体的场景如图1 3 所示，它 的结构图如图1 4 。 3 0t u r n i t u m 幽1 ：j 一个具体场景的例子 重庆邮屯学院硕士论文 图1 4 场景结构图 ( 2 ) 高效的压缩性 m p e g 一4 具有高的编码效率。同已有的或即将形成的其它标准相比，在相同 的比特率下，它具有更高的视觉听觉质量，这就使得在低带宽的信道上传送视频、 音频成为可能。这一点对于移动多媒体应用具有很大的优势。同时m p e g 一4 还能 对同时发生的数据流进行编码。一个场景的多视角或多声道数据流可以高效、同 步地合成为最终数据流。这可用于虚拟三维游戏、三维电影、飞行仿真练习等 ( 3 ) 强的鲁棒性 m p e g 一4 提供了易出错环境的鲁棒性，来保证其在许多无线和有线网络以及 存储介质中的应用。m p e g 一4 中包含了很多容错技术、诸如重同步、数据分割等。 ( 4 ) 通用的访问性 m p e g 一4 支持基于内容的的可伸缩性，即把内容、质量、复杂性分成许多小 块来满足不同用户的不同需求，支持具有不同带宽，不同存储容量的传输信道和 接收端。 m p e g - 4 有很多的档次和级别。m p e g 一4 中有很多的编码工具，档次规定了这 些工具的集合。对于比特速率、复杂度、屏幕尺寸、采样速率等这些限制都是在 级别中定义的。以档次和级别的方式来定义的目的是为了方便不同应用之间的比 特流的交换。 档次可以分为3 类：自然视频( p r o f i l e1 5 ) ；合成视频( p r o f i l e8 和9 ) ； 合成自然混合视频( p r o f i l e6 和7 、9 ) 。 对于自然视频主要有以下几种档次： 简单档次：对于矩形视频对象的编码提供了有效的容错编码。适合于移动网 络的应用。 简单可伸缩档次：加入了支持时间和空间可伸缩对象的编码。 核心档次：相对简单档次加入了任意形状时间可伸缩性的视频编码。 主要档次：相对核心档次加入了交织，半透明和灵影( s p r i t e ) 对象编码。 n 比特档次：相对于核心档次加入了支持4 到1 2 比特象素的视频对象编码。 这些特点无疑会加速多媒体应用的发展，从中受益的应用领域有：因特网多 媒体应用：广播电视；交互式视频游戏；实时可视通信：交互式存储媒体应用： 演播室技术及电视后期制作；采用面部动画技术的虚拟会议：多媒体邮件；移动 通信条件下的多媒体应用；远程视频监控；通过a t m 网络等进行的远程数据库业 务等。 m p e g 一4 主要应用【1 6 【1 7 】如下： ( 1 ) 广播 广播设备的主要任务就是通过给定的带宽提供更好、更多的服务。而i p e g 4 的使用就是为了能够达到这个目标。整个系统包括一个信源点、一个实时单向信 道、和一个多用户终端。它是一个一到多或者几个到很多的系统。其应用的例子 如综合服务数字广播i s d b ，它是一个完整的数字广播系统，可以提供高频带效 率、自由度和扩展度的很多服务。 i s d b 可以提供的服务有：s d t v 和h d t v 节目；多电视节目：电子节目向导 ( e p g ) ；任何时间的新闻：实时天气预报；t v 报纸；任何时刻的视频( v o d ) ； 任何时刻的音频( a o d ) ；多种语言字幕；与t v 节目链接的信息；电视调查：电 视购物；自动选台和选录。 ( 2 ) 数字a m 广播 数字a m 广播系统的目的是通过引入数字节目改善a m 带宽( l w 、m w 以及s w ) 内当前的广播服务。当前服务的改善包括好的感知音频质量( 语音、音乐、立体 的或者非立体的) 、p a d ( 程序相关的数据) 、外部的数据服务( 文本、图像、静 止图像和缓慢移动的图片) 和更多的用户友好的接收处理。如果可能，这样一个 系统应该和现存的传送机相兼容并且使得接收机更低廉和低计算量。 ( 3 ) 应用于移动多媒体 在典型的移动通信场景中，一个移动用户使用一个笔记本或者个人数字助理 ( p d a ) 通过无线通信连接与远程的计算系统通信。移动多媒体应用面临一个技 术挑战，这是与桌面多媒体应用不同的。这是因为当前的移动通信技术要面对一 些限制，诸如技术容量、窄带和传输媒体的可靠性。除了高压缩操作的需要，自 适应性对于移动应用也是非常重要的，因为有不同的移动设备( p d a ，笔记本、 移动工作站) ，不同的无线网络( h i p e r l a n ，g s m ，u m t s ，卫星) 以及需要在质量、 操作和代价上的达到平衡。 m p e g 一4 的以下性能非常适合于移动多媒体的应用： 高压缩性能 编解码的灵活性，如多种空间和时间分辨率可以在性能价格折衷上极具灵 活性 基于目标的编码可以方便地进行音视频交互性操作 0 重庆邮电学院硕士论文 m p e g 一4 的面部动画功能可降低如移动会议的实时通信带宽开销 未来的手机将变成多媒体移动接收机，不仅可以打移动电视电话、移动上网， 还可以移动接收多媒体广播和收看电视。 这一应用是本论文主要研究的方向。 ( 4 ) 基于i n t e r 兀e t i n t r a n e t 的视频流 基于i n t e r n e t 的视频流可以让视频从主机通过一个i n t e r n e t 服务器到用户 机。不同于文件传递，视频流不需要等待整个文件下载就可以立即观看。用户端 可以安装一个插入软件用于w e b 浏览。 m p e g 一4 的可伸缩性很好，所以对i n t e r n e t 的传输是非常理想的。我们知道， i n t e r n e e 的带宽是不固定的，可以变来变去，而且经常丢失数据包。m p e g 一4 具 有的分级编码和错误恢复功能可以提高i n t e r n e t 的鲁棒性。 现在因特网中播放视音频的有：r e a ln e t w o r k s 公司的r e a lm e d i a ，微软 公司的w i n d o w sm e d i a ，苹果公司的q u i c k t i m e ，它们定义的视音频格式互不兼 容，有可能导致媒体流中难以控制的混乱，而m p e g 一4 为因特网视频应用提供了 一系列的标准工具，使视音频码流具有规范一致性。因此在因特网播放视音频采 用m p e g 一4 ，应该说是一个安全的选择。 ( 5 ) 数字电视机顶盒 数字电视( d t v ) 将改变电视的特性，因为数字化数据可以伴随数字音视频 信号同时传给用户从而在交互性环境里享受视听，包括： 电视节目和广告连接到网页传至用户 通过电视浏览i n t e r n e t 利用无绳键盘在电视机里进行电子邮件和留言 电子银行和购物 交互式游戏和视频点播v o d ( 6 ) d v d d v d 的特征是大容量( 4 7 g b y t e s 1 a y e r ) 和相对低的存取速度( 1 0 0 m s 的量 级) 。有只读d v d 和读写d v d 。主要的应用领域是交互电影，知识旅游向导， 自学，游戏，网络录音。 ( 7 ) 实时通信 实时通信包括双向通信和单向高速传输。双向通信最好例子就是可视电话。 单向低延时传输的一个例子就是警戒系统。实时通信系统应用的一个关键特点就 是它可以在大范围的媒质问进行，包括无线通信，局域网通道，p s t n 和 s d n 传 输通道。 一个应用的例子就是保密信息系统，诸如大厦的进入控制。 ( 8 ) 应用于计算机图形、动画与仿真 重庆邮电学院硕士论文 m p e g 一4 特殊的编码方式和强大的交互能力，使得基于m p e g - 4 的计算机图形 和动画可以从各种来源的多媒体数据库中获取素材，并实时组合出所需要的结 果。因而未来的计算机图形可以在m p e g 一4 语法所允许的范围内向所希望的方向 无限发展，产生出今天无法想象的动画及仿真效果。 ( 9 ) 应用于电子游戏 m p e g - 4 可以进行自然图像与声音同人工合成的图像与声音的混合编码，在 编码方式上具有前所未有的灵活性，并且能及时从各种来源的多媒体数据库中调 用素材。这可以在将来产生像电影一样的电子游戏，实现极高自由度的交互式操 作。 以上介绍的几种i t u 系列与m p e g 系列的标准之间的发展关系如下图1 5 所 不a t ”j th 2 6 3 自由存取 可 m p e g 一4 视频 图1 5i t u 系列与m p e g 系列标准的关系 4 m p e g - 7 标准 m p e g 一7 标准被称为“多媒体内容描述接口”，为各类多媒体信息提供一种 标准化的描述，这种描述将与内容本身有关，允许快速和有效的查询用户感兴趣 的资料。它将扩展现有内容识别解决方案的有限的能力，特别是它还包括了更多 的数据类型。 换而言之，m p e g 一7 规定了一个用于描述各种不同类型多媒体信息的描述符 的标准集合。它是基于语义的表示方式。该标准于1 9 9 8 年1 0 月提出。 m p e g 一7 的目标是支持数据管理的灵活性、数据资源的全球化和互操作性a m p e g 一7 与以上几种m p e g 标准的关系如图1 6 所示。 + 36zllh 重庆邮电学院硕士论文 f 7 ，) 镶仨；二二 f 7 ，v 能表示生二j 7 ，u f 一 i j i t 叫 ) 基于对象的表示 ，一7 厂卜1 jl 基于像素的表示 ，。，。，。_ 图1 6 几种m p e g 标准的关系框图 5 m p e g 一2 1 标准 互联网改变了物质商品交换的商业模式，这就是“电子商务”。新的市场必 然带来新的问题：如何获取数字视频、音频以及合成图形等“数字商品”，如何 保护多媒体内容的知识产权，如何为用户提供透明的媒体信息服务，如何检索内 容，如何保证服务质量等。 此外，有许多数字媒体( 图片、音乐等) 是由用户个人生成、使用的。这些“内 容供应者”同商业内容供应商一样关心相同的事情：内容的管理和重定位、各种 权利的保护、非授权存取和修改的保护、商业机密与个人隐私的保护等。目前虽 然建立了传输和数字媒体消费的基础结构并确定了与此相关的诸多要素，但这些 要素、规范之间还没有个明确的关系描述方法，迫切需要一种结构或框架保证 数字媒体消费的简单性，很好地处理“数字类消费”中诸要素之间的关系。m p e g - 2 1 就是在这种情况下提出的【1 。 制定m p e g - 2 1 标准的目的是：( 1 ) 将不同的协议、标准、技术等有机地融合 在一起；( 2 ) 制定新的标准：( 3 ) 将这些不同的标准集成在一起。m p e g 一2 1 标准其 实就是一些关键技术的集成，通过这种集成环境对全球数字媒体资源进行透明和 增强管理，实现内容描述、创建、发布、使用、识别、收费管理、产权保护、用 户隐私权保护、终端和网络资源抽取、事件报告等功能。 1 2 4 4 其它压缩编码标准 1 r e a iv i d e o r e a lv i d e o 是r e a ln e t w o r k s 公司开发的在窄带( 主要是互联网) 上进行多 媒体传输的压缩技术。 2 w m t w m t 是微软公司丌发的在互联网上进行媒体传输的视频和音频编码压缩技 术，该技术使用m p e g 一4 标准的一些原理。 3 0 u i c k t i m e 0 u c k t i m e 是一种存储、传输和播放多媒体文件的文件格式和传输体系结构， 所存储和传输的多媒体通过多重压缩模式压缩而成，传输是通过r t p 协议实现 1 q 眦 垦霎