（通信与信息系统专业论文）面向mpeg4的视频分割和视频编码算法.pdf

摘要 m p e g 4 是基于对象的多媒体数据压缩编码国际标准，属于基于内容的第二代活动图像 标准。m p e g 4 具备广泛的用途。m p e g 4 是十分开放的标准，对视频分割、比特率控制和 编码技术等开放的部分，允许竞争用1 改进。m p e g 4 涉及的关键技术包括图像分析和分割技 术和编码技术当前成为研究和开发的热点。 本论文针对m p e g 一4 涉及的关键技术进行研究。主要完成的工作分为两大部分： 其一，面向m p e g - 4 的视频分割方法和算法部分。探讨了从自然视频系列中得到v o p 的典型方法利算法，分别从方法的思想、算法内容平步骤、算法的优缺点进行分析。提出了 基丁时空信息的自动分割法，并详细论述该算法的过程。时间分割利用运动特征和多帧特征， 实现了前景快速荆i 慢速运动部分的分割，同时克服了遮挡、噪声和物体边界不精确的运动估 计等导致错误分割。空间分割利用图像单i 帧的灰度信息将图像分割成不同的区域。融合时空 信息分割发挥了时间分割提供运动v o p 的粗略掩码和空间分割提供v o p 精确边界的优势， 同时克服了时间分割提供太粗糙边界，从而导致不精确的分割的缺点和空间分割经常将 v o p 分割为多个区域，从而导致过分割的缺点。v o p 模型初始化简单实用。v o p 模型更新 能跟踪旋转、变形和静止的v o p 。镜头检测实现完整的视频系列中v o p 的分割。 其二，面向m p e g - 4 的视频编码方法和算法部分。针对自然视频系列中的v o p 的形状、 纹理和运动信息的编码，分别进行研究。包括： 1 )面向m p e g - 4 的v o p 的形状编码方法和算法部分。探讨了当前典型的形状编码方 法和算法分别从方法的思想、算法内容和步骤、算法的优缺点进行分析。提出了 改进的四叉树多分辨率的形状编码法，用相关系数来控制四叉树的复杂度，进一步 提高形状编码效率，帧间形状编码的运动估计仅在有效搜索区域进行，极大提高搜 索效率，使得基于四叉树的形状编码成为完善和更具竞争力的算法。 2 )面向m p e g - 4 的v o p 的纹理编码方法和算法部分。探讨了典型的纹理编码方法和 算法，分别从方法的思想、算法内容和步骤、算法的优缺点进行分析。 3 )面向m p e g - 4 的v o p 的运动估计和补偿部分。探讨了典型的运动估计和补偿方法 平算法，分别从其思想、算法内容和步骤、算法的优缺点进行分析。提出了利用块 特性的白适应十字搜索模式运动估计法。充分利用v o p 的块的特性，不同的块采 用不同的运动估计策略。首先，v o p 的边框内块分三类。当前块为v o p 的透明块 时，不进行运动估计，由解码端直接生成。当前块为v o p 的边界块时，参考帧不 填充，边界块间的s a d 计算采用二值口平面值计算。当前块为v o p 的模糊块时， 模糊块的s a d 计算采用灰度值计算。其次，对进行运动估计的块，先排除静止块 对运动块，采用自适应十字搜索模式。利用块特性的自适应十字搜索模式运动估计 法极大地提高了搜索效率，同时计算量显著减少，并且具备较好的峰值信噪比，是 一种较有潜力的运动估计和补偿算法。 m p e g 4 和具体应用紧密相连，针对特定的应用开发的核心技术和产品还需进一步展开 研究和开发。 关键词：m p e g 4 ，视频对象，视频分割。形状编码，纹理编码，运动估计和补偿 a b s t r a c t m p e g - 4i sas t a n d a r do f o b j e c t - b a s e dm u l t i m e d i ad a t a c o m p r e s s i o na n dc o d i n g ，a n db e l o n g s t ot h es e c o n de r ac o n t e n t - b a s e dm o v i n g p i c t u r es t a n d a r d t h ea p p l i c a t i o no f m p e g - 4 i sv e r yw i d e m p e g 4i sav e r yo p e ns t a n d a r d ，w h i c ha l l o w sc o m p e t i t i o na n d i m p r o v e m e n t f o rt h eo p e np a n s ， s u c ha sv i d e os e g m e n t a t i o n ，r a t ec o n t r o la n d c o d i n gt e c h n o l o g ya n d s oo n t h e k e yt e c h n o l o g i e s o fm p e g _ 4i n c l u d et h ei m a g e a n a l y s i sa n ds e g m e n t a t i o nt e c h n o l o g ya n dt h ec o d i n gt e c h n o l o g y ， w h i c ha r eb e c o m i n gt h eh o t s p o to f s t u d ya n dd e v e l o p m e n t t h i sp a p e rs t u d i e so nt h ek e y t e c h n o l o g i e so fm p e g - 4 ，i nw h i c h t h et a s ka c c o m p l i s h e d i n c l u d e st w op a r t s ，a sf o l l o w ： t h ef i l s tp a r ti st h eo n eo fv i d e os e g m e n t a t i o na p p r o a c h e sa n da l g o r i t h m sf o rm p e g - 4 t h e r e p r e s e n t a t i v em e t h o d sa n da l g o r i t h m so f v o p ( v i d e oo b j e c tp l a n e ) g e n e r a t i o na r ed i s c u s s e d ，a n d t h ei d e ao fm e t h o d ，t h ec o n t e n ta n dp r o c e s so fa l g o r i t h ma n dt h ea d v a n t a g ea n dd i s a d v a n t a g eo f a l g o r i t h m a r e a n a l y z e d t h ea p p r o a c h o fa u t o m a t i c s e g m e n t a t i o n o fv o p sb a s e di n s p a t i o - t e m p o r a li n f o r m a t i o n ( s b s t i ) i sp r o p o s e d ，a n di sd i s c u s s e di nd e t a i l s s e g m e n t a t i o nb a s e d i n t e m p o r a li n f o r m a t i o n ( s t ) c a ns e g m e n tt h ef o r e g r o u n dw i t haf a s to rs l o wm o t i o nb yt h e f e a t u r eo fm o t i o na n dm u l t i p l ef l a m e s ，a n da l s oo v e r c o m et h es h o r t c o m i n go fe r r o rs e g m e n t a t i o n b e c a u s eo fo c c l u s i o n ，r a n d o mn o i s e ，c o a r s em o t i o ne s t i m a t i o no f r e g i o n sa tt h eb o u n d a r yo ft h e o b j e c t s e g m e n t a t i o nb a s e di ns p a t i a li n f o r m a t i o n ( s s ) c a ns e g m e n ta ni m a g ei n t od i f f e r e n t 1 e g i o n sb yt h e f e a t u r eo fh u ei nt h e s i n g l ef l a m e s e g m e n t f u s e d s p a t i a l a n dt e m p o r a l i n f o r m a t i o n ( s f s t ) c a nt a k et h ea d v a n t a g eo fs t t op r o v i d ec o a r s em a s ko f m o v i n gv o p a n dt h e a d v a n t a g eo fs st op r o v i d ea c c u r a t eb o u n d a r y ，a n da l s oo v e r c o m et h es h o r t c o m i n go fs tt o p r o v i d et o oc o a r s eb o u n d a r yr e s u l t i n gi nc o a r s es e g m e n t a t i o na n ds h o r t c o m i n go fs st os e g m e n t i m a g ei n t om a n yr e g i o n sr e s u l t i n gi no v e r s e g m e n t a t i o n t h em o d e lo fv o p i si n i t i a t e ds i m p l y a n de f f i c i e n t l y t h eu p d a t e dm o d e lc a nt r a c kr o t a t e d ，d i s t o r t e da n ds t i l lv o p t i md e t e c t i o no f s h o tb r e a kc a na c h i e v es e g m e n t a t i o no f w h o l ev i d e os e q u e n c e t h es e c o n dp a r ti st h eo n eo f v i d e o c o d i n g m e t h o d sa n da l g o r i t h m sf o rm p e g - 4 t h e p a p e r s t u d i e st h e c o d i n go f v o p ss h a p e ，t e x t u r e ，a n dm o t i o ni n f o r m a t i o nr e s p e c t i v e l y ，w h i c hi n c l u d e s a sf o i l o w ： i t h e p a r to f t h ea p p r o a c h e sa n da l g o r i t h m so f v o p ss h a p ec o d i n gf o rm p e g - 4 t h e r e p r e s e n t a t i v em e t h o d s a n da l g o r i t h m so f v o p ss h a p ec o d i n ga r ed i s c u s s e d ，a n dt h ei d e ao f m e t h o d ，t h ec o n t e n ta n dp r o c e s so f a l g o r i t h ma n dt h ea d v a n t a g ea n dd i s a d v a n t a g eo f a l g o r i t h ma r e a n a l y z e d t h em o d i f i e dq u a d - t r e em u t l i - r e s o l u t i o ns h a p ec o d i n ga l g o r i t h mi sp r o p o s e d ，i nw h i c h t h ec o m p l e xo f q u a d - t r e ei sc o n t r o l l e db y t h eh o m o g e n o u s p a r a m e t e r ，s oa st oi m p r o v e t h e e f f i c i e n c yo fs h a p ec o d i n g t h em o t i o ni se s t i m a t e db ys e a r c h i n go n l yi nt h ee f f i c i e n ts e a r c ha r e a s d u r i n gt h ei n t e r - f r a m es h a p ec o d i n go f v o p ，s o a st oi m p r o v e g r e a t l yt h ee f f i c i e n c yo fs e a r c h i n g i i t h e p a r to f t h ea p p r o a c h e sa n da l g o r i t h m so f v o p st e x t u r ec o d i n gf o rm p e g 一4 t h e r e p r e s e n t a t i v em e t h o d s a n da l g o r i t h m so fv o p st e x t u r ec o d i n ga r ed i s c u s s e d ，a n dt h ei d e ao f m e t h o d ，t h ec o n t e n ta n dp r o c e s so f a l g o r i t h ma n dt h ea d v a n t a g ea n dd i s a d v a n t a g eo f a l g o r i t h ma r e a n a l y z e d i mt h e p a r to f t h e m e t h o d sa n da l g o r i t h m so fv o p sm o t i o ne s t i m a t i o na n d c o m p e n s a t i o n f o rm p e g 一4 t h e r e p t e s e n t a t i v ea p p r o a c h e sa n da l g o r i t h m so f v o p sm o t i o n e s t i m a t i o na n dc o m p e n s a t i o nf o r m p e g 一4a r ed i s c u s s e d ，a n dt h ei d e ao f m e t h o d ，t h ec o n t e n ta n d p r o c e s so f a l g o r i t h ma n d t h e a d v a n t a g e a n d d i s a d v a n t a g eo f a l g o r i t h m a l ea n a l y z e d t h e a l g o r i t h mo f a d a p t i v er o o dp a a e r n s e a r c hu s i n gt h ec h a r a c t e r i s t i co fd i f f e r e n tk i n d so f b l o c k s p r o p o s e d i nw h i c ht h ed i f f e r e n t s t a t e g yi su s e df o rd i f f e r e n tk i n d so f b l o c k f i r s t t h eb l o c k so fv o p b o u n d i n gb o x i sc l a s s i f i e d j n t ot h et r a n s p a r e n tb l o c k s ，t h eb o u n d a r y b l o c k s ，a n dt h eo p a q u eb l o c k s f o rt h et r a n s p a r e n tb l o c k s ， t h em o t i o ne s t i m a t i o ni sn o tn e e d e d ，a n di sg e n e r a t e db yt h ed e c o d e r f o rt h e b o u n d a r yb l o c k s ，t h e p a d d i n gp r o c e s si nt h er e f e r e n c e df r a m ei sn o tr e q u i r e d a n di t ss a d ( t h es a mo f a b s o l u t e d i f f e r e n c e ) i sc o m p u t e db yt h eb i n a r ya l p h ap l a n e s v a l u e sf o rt h eo p a q u eb l o c k s ，i t ss a d i s c o m p u t e db y t h ep i x e l s j n t e n s i t i e s s e c o n d ，f o rt h eb l o c k sw i t hm o t i o n e s t i m m i o n ，t h es t a t i c b l o c k sa r ep r e j u d g e d ，f o rt h em o v i n g b l o c k s ，a na d a p t i v er o o dp a r e ms e a r c hi su s e d t h e p r o p o s e da p p r o a c ho f m o t i o ne s t i m a t i o ni m p r o v e sg r e a t l yt h ee f f i c i e n c yo f s e a r c h i n g ，a n da l s ot h e c o m p u t a t i o nl o a di sr e d u c e dr e m a r k a b l yw i t hg o o dp r s n ( p e a kr a t i oo f s i g n a lt on o i s e ) t h e p r o p o s e da p p r o a c ho f m o t i o ne s t i m a t i o ni sv e r yp o t e n t i a l ， m p e g - 4t i e su pt h ea p p l i c a t i o n ，a n ds ot h ek e y t e c h n o l o g ya n dp r o d u c t i o nm u s tb es t u d i e d a n dd e v e l o p e df o rt h ee s p e c i a la p p l i c a t i o n k e y w o r d sm p e g 4 ，v o p ，v i d e os e g m e n t a t i o n ，s h a p ec o d i n g ，t e x t u r ec o d i n g ，m o t i o n e s t i m a t i o na n d c o m p e n s a t i o n i i 独创性说明 本人声明呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我 所知，除了文中特别加以标注和致谢的地方外，论文中不包括其他人己发表或撰写过的研究 成果，也不包含为获得电子科技大学或其他教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均己在论文中作了说明并表示谢意。 签名噩塑彳 f 日期：凇弘年、月、1 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向 国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技 大学可以将学位论文的全部或部分内容编入有关的数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 躲q l - s , 一孑 导师签名翅 日期：过年土月业日 电子科技大学博士论文 第一章序言 本章介绍m p e g - 4 标准的产生、特点羽i 内容，讨论了m p e g 4 涉及的关键技术和当前 m p e g 4 的研究现状，概述了本论文的主要工作。 1 1m p e g 一4 标准的产生 1 11m p e g 4 标准产生前活动图像标准的发展 活动图像即视频是十分重要的信息源，据统计，人类接受的信息大约7 0 来自于视觉。 视频技术的发展一直十分激动人心，随着其基础研究突破和核心技术实现，视频工业发展十 分迅速。标准化是产业化成功的前提，不同标准化组织制定了相应的活动图像的标准。 m p e g 4 标准的产生前，典型的有国际标准化组织( i s o ) 和国际电工委员会( i e c ) 共同 制定的m p e g - 1 和m p e g 2 ，国际电信联盟( i t u ) 制定的h 2 6 1 。 h 2 6 l 标准”7 1 。在1 9 8 3 1 9 9 0 年期间，欧洲工程c o s t ( 科技研究合作) 2 11 b i s 中的一 些研究导致了1 t u 建议h 2 6 1 的出现。i t u 在1 9 9 0 年通过了h 2 6 1 ，主要用于在综台业务 数字网( i s d n ) 上以p x6 4 k b p s ，p = l ，3 0 的速率开展的视频会议和可视电话业务。 m p e g - 】标准”。活动图像专家组( m p e g ：m o v i n g p i c t u r e e x p e r t s g r o u p ) 委员会成立 于1 9 8 8 年，主要致力于活动图像标准的制定。委员会当时考虑了m p e g 标准分三阶段制定， 从而逐步形成m p e g 一1 、m p e g 一2 和m p e g 3 ( 后取消m p e g 3 ，直接制定m p e g 一4 ) 。在 1 9 9 2 年下半年，m p e g 1 正式被批准为国际标准，主要用于视频及其音频速率约1 5 m b p s 的各种数字存储媒体上的编码表示。 m p e g 2 标准l 】。随着m p e g 1 标准制定的成功，人们对音频和视频的需求进一步提 高要求m p e g 标准支持更高的质量、更多的分辨率和更多的应用领域。因此，1 9 9 0 年1 2 月m p e g 1 基本完成后，m p e g 2 标准制定工作接着开展。m p e g 2 是m p e g - 1 的兼容扩展， 广泛应用在速率在2 - 2 0 m b p s 和各种分辨率的视频及其音频的编码表示，是一种高质量视频 的压缩标准。 1 l2m p e g 4 标准的产生的背景 尽管1 9 9 1 年5 月在巴黎开始讨论m p e g 4 ，但是直到1 9 9 3 年9 月m p e g 应用利运作 环境组( a o e ) 才开始开会讨论。a o e 组主要任务是确定甚低比特率音视频编码的应用和 要求。同时，i t u 低比特率编码( l b c ) 组研究的近期复合编码方案开始产生第一个结果( 后 来便是i t u 制定的h 2 6 3 ) 。对甚低比特率音视频编码的研究兴趣来源于当时的背景。 m p e g 1 标准主要针对约1 5 m b p s 码率情形，m p e g 2 标准主要针对约2 - 2 0 m b p s 码率情形， 而针对甚低比特率( 6 4 k p b s 以下) 广泛应用领域的音视频编码标准还是空白。使用最广泛 的通信网络主要是电话网和城市蜂窝移动通信，它们只能传输甚低比特率的数字信号。随着 通信需求的增长，移动通信和个人通信的业务要求从语音扩展到多媒体( 声音、文字、数据、 图片和视频等) 业务，有限的带宽需要甚低比特率音视频编码技术。甚低比特率音视频编码 技术的关键是在保证音视频质量前提下，极大提高压缩比。当时很自然借鉴i t u 低比特率 编码组研究的结论，采用基于块的混合离散余弦变换和运动补偿方案。在1 9 9 4 年7 月m p e g 会议上开始了一个主要变化，即m p e g 4 要取得很高的压缩比不能通过传统的编码技术， 必须另辟途径。在随后的五年，不断地探求新方法，使其性能优于同时在改进的l b c 标准 ( h 2 6 3 和h 2 6 3 + ) 。正是在这期间，m p e g - 4 追求的目标发生了一个根本性的变化，纯为 高压缩的目标不能满足日益增长的多媒体信息的需求，需要一个支持更多更新功能的崭新标 准，这就导致今天的基于对象的多媒体数据压缩编码国际标准：m p e g 4 的诞生。1 9 9 9 年 1 2 月，完成m p e g 4 的第一版本，2 0 0 0 年1 2 月，完成m p e g 4 的第二版本，作为第一版 电子科技大学博一l 论文 本的改进。1 1 1 m p e g 委员会f 设多个组，其中需求分析组( r e q u i r e m e n t sg r o u p ) 深入分析电视、电 影、其它娱乐行业、计算机和电信等领域针对音频和视频技术新的需求，提出m p e g 4 标 准的要求。在 2 中，详细阐明了这方面的内容。现列举如下，从中可知m p e g 一4 标准产= 生 的原冈和实现目标的意义。 遥生理a 在有腰的带宽资源f ，尽可能增加节目数量并且不影响用户端的收看质嫠， 要求更高的压缩比同时保证接受质量。爷目测览、统计数据收集、节目单执行年a 其他管理功 能必须提供条件性访问方式。终端用户快速地转换、获得、同步、解析频道、解码和显示信 号这过程的延时需小丁3 0 0 5 0 0m s 。通信通道特点多种通道方式、传输比特范围较广、 通道对随机噪声和突发错误较敏感。内容主要有：仅声音、音频和视频( 实时编码和非实时 离线编码) 、多媒体、数据广。播等。 功能要求：随机存取、高视频质量( 较高的时空分辨率) 、隔行和逐行扫描方式、改进 的编码效率、基于对象的功能、文字和图形重台、音频和视频对象的时空同步、音频和视频 对象与其他数据的多路复合、分布式音频和视频对象的时空同步、基于对象编码的适应性( 通 过从所有对象有选择性编码) 、基于对象的时空质量的适应性、基于对象的时空分级性、基 丁对象的比特比特流操纵( 无需编码转换) 、m p e g 2 的兼容、拷贝保护、用户交户、视频 对象与其他数据的下载、多点操作、对信息错误和丢失的健壮性、多个并发数据流的编码。 虚拟演播环境应用的功能耍求：脸部和身体动画参数( 若有虚拟参与者) 、有立体感的 视角( 针对可选的3 d 显示) 、文字对应声音( t t s ) 、语音翻译、用户控制。 原型佣子：基于对象的广播电视应用：使用虚拟演撩技术制作的广播电视节目应用：综 合服务数字广播电视( i s d b ) 。 地! 住扬亟鼬丑趣丝。协作场面的可视化实现计算机支持的协同工作( c s c w ) - 此时 同时在不同的地点工作人员利用可视化工具通过分享相同的视觉信息来完成作业。其扩展 的现实创建一种用户能看到真实和虚拟或合成的环境。传输多种自然和合成音频视频流。 基本需要的功能有：对多种音频视频流改进的编码效率、音频视频和其他数据的多路 复用、支持面部动画参数、同步、低桷端鲻端的延对、与其他音频视频系统协同工作、路户 控制、基于内容的编码和交互、编码可分级扩展性、立体视觉、3 d 合成。 典型应用：协作产品设计。 基壬囱查的在馇独趋塞。 基本需要的功能有：基于内容的多媒体访问工具、基于内容的操纵和比特流的编辑、 改进的时间随机访问、支持可决策表达。高级需要的功能有：基于内容的可分级扩展性、刖 户控制， 夔主遇蝠亡疆。( 赂) 邀主虫援拯亟玺。数字数据连同数字音视频流通过机顶盒一起传送戮消费者，枧硬盒作 为交互功能( 如访问互联网娱乐和信息、收发电子邮件、进行电子商务、交互游戏、视频点 播和其他交互应用等) 实现的平台。 基本需要的功能有：多流控制、媒体输出控制、用户交互、图形合成和控制、反馈通道 管理、限制访问管理、电子节目指南管理和显示、类管理、源信息管理。 原型例子：家庭购物、限制性访问( 如收费电视) 、交互游戏等。 d v d 。d v d 具有大存储量和相对低存取速率，主要应用在交互电影、知识，旅游，其他 指南、自学、游戏、互联网或与其它比特流( 如广播电视或互联网) 交互等。 功能要求：戗作交互性、对象同步、改进编码效率、改进时间随机存取、基于魂容扩展 性、辅助数据性能、多种流复制性能、灰度形状、仅仅对象形状、低解码延时模式、用户控 制、与其它音频视频系统的相互作用。 2 电子科技大学博士论文 擅基蝗巫。使用信息和娱乐融合的信息娱乐系统，用户既可以获得特定感兴趣内容的信 息，又可以在多媒体环境中配置这些内容并进行娱乐。 功能要求：音频视频和其他信息的融合、用户控制( 比如：感兴趣区域、快进、停止等) 、 基于内容的编码和交互、同步、改进的时间随机存取、面部表情参数、传输媒体的相互作用、 与其它音频视频系统的相互作用。 原型例子：虚拟城市指南。 整麴垒塑揸。移动多媒体用于移动用户无线通信环境下访问多媒体，除了要求高压缩比 性能外，白适应性非常重要。因为移动设备的多样性、无线网络的多样性、在质量、性能和 代价阃平衡的需要等。 功能要求：改进的编码效率、易错环境下的鲁棒性、音频视频和其他信息的融合、面部 表情参数、音频视频的同步、传输媒体的相互作用、与其它音频视频系统的相互作用、用户 控制( 比如：感兴趣区域、快进、停止等) 、基于内容的编码和交互、低比特率模式、低复 杂解码模式、改进的时间随机存取、反馈和交换能力。 塞盟通篮。实时通信包括取向通信( 如可视电话) 和单向通信( 如远程监控系统) 。 该系统的主要特点是：若同时进行音频和视频通信，音频和视频应同步；般向通信时，端到 端的延时相对小并尽可能恒定( 端到端的延时尽可能小于4 0 0 m s ) 。单向通信时，限定单向 延时( 可容忍值近4 0 0 m s ) ：支持多种传输通道，如低速和高速移动无线环境、l a n 传输 通道、p s t n 和i s d n 传输通道，各种传输通道协同工作及多点通信；高质量音频和视频、 低延时平编解码过程的复杂度之间的平衡。 基本的功能要求：改进的编码效率、易错环境下的鲁棒性、同步、虚拟通道设置的灵 活性、低的端到端的延时模式、传输环境的协同工作、与其他音频和视频系统的相互作用、 低比特模式、低复杂解码模式。 高级的功能要求：改进的时间随机存取、基于内容的分级性、辅助数据性能、多点传 输性能。 国匝堑鲢圜型垒业凼部互毯圆土近视麴。在国际互联网传输视频时，文件传输方式将 整个视频文件下载完后，才播放，而流视频传输方式无需等待，接通数据后立即播放。音频 雨1 文字与视频上e 确地同步。当前传输带宽，在国际互联网时，采用调制解调器为2 8 8k b i t s 、 3 8k b i t s ，i s d n 为5 6k b i t s 、6 4k b i t s ，在企业内部互联网时，可达1 0m b i t s 。当多个用户 同时访问同服务器的视频数据时，传输带宽会降低。因此，视频服务器必须处理不同种类 的通道情况。根据带宽的变化，编码器应产生不大于当前带宽的码流，同时保证最大的编码 效率以取得尽可能好的视频质量。支持对视频和音频进行交互，如快进、快退、暂停( v c r 方式) 等。 基本的功能要求：改进的编码效率( 特别在低码时) 、带宽的可伸缩性、视频和音频 同步、交互( v c r 方式) 、包丢失后迅速恢复、低比特音频、通过个人电脑对视频和音频 解压缩。 高级的功能要求：在视频中可点击方式、全局运动补偿、实时压缩视频和音频。 遗搔室塑盥扭曲履甥制住。视频后期制作的编辑操作有剪切、粘贴、融台、淡入淡出、 加字幕、颜色分离重叠( 色键) 和各种数字视频效果( d v e ) 等。 功能要求：对象高比特率编码( 如：准无损编码) 、对象形状无损编码、在比特流中高 密度的v o p ( 视频对象平面) 1 帧以实现改进时间随机存取( 如：v o p - 1 - b i - b 帧或仅v o p i 帧) 、无需转换代码基于比特流编码和操纵、支持格式( 亮度空间分辨率：s u b q c i f ，q c i f ， c i f ，i t u rb t 6 0 1 和7 0 9 ；颜色空间：单色、y c r c b 和r g b ；多个辅助通道；色差空 间分辨率：4 ：0 ：0 ，4 ：2 ：0 ，4 ：2 ：2 和4 ：4 ：4 ；时间分辨率最大6 0f p s ；像素深度：1 2b i t s ，像素元 素；扫描方式；渐进和隔行) 、动态存储数据。 电子科技大学博士论文 高级功能要求：提供普通录制功能，以浏览速率非正常速率回放录制材料。这需要扩展 性( 如空间扩展性) 、考虑通道特性( 如突发错误经常发生在录制时) 提供错误弹性、考虑 不同录制通道特性支持可变和不变比特编码。高级场景描述语言用于计划、脚本、混合、管 理3 d 和2 d 场景创作。 原型例子：电视模型语言( t v m l ) 。 坚丝。监控系统一般由监控地点设置的监控传感器( 如图像传感器、声音传感器) 实时 采集的信号通过传输通道送到一个或多个控制终端，控制信号可反向送到监控端来完成。监 控的信号质量依赖于监控目的，应限制延时值，能实时远程控制摄像机。 基本需要的功能有：改进的编码效率、易错环境下的鲁棒性、基于内容的分级性、同步、 虚拟通道设置的灵活性、用户控制、传输环境的协同，t 作、与其他音频和视频系统的协同一l 作、通道拥挤处理、低比特模式、低复杂解码模式、支持1 2 比特像素的分辨率、支持多位 置、改进的时间随机存取。 虚拟会议。( 略) 上述典型应用( 远不止这些应用) 反映了音视频领域发展的主要趋势：音视频媒体需求 的增长、支持音视频媒体移动性的增长、支持音视频媒体交互性的增长。这种趋势推动着 m p e g 4 标准的产生和发展。 1 2m p e g 一4 的特点 为了满足多媒体的多种应用( 特别是多媒体信息基于内容的交互) 对m p e g 一4 的要求， m p e g 4 需达到的目标为： 1 ) 有效地表达多种数据类型。这些数据包括：从甚低比特率到极高视觉质量条件的视 频、极宽比特率范围音乐和语音数据( 从高质量音乐到甚低比特率语音) 、通用动 态3 d 对象( 也包括象人脸和身体等特定对象) 、被解码器同步的音乐和语音( 包 括支持3 d 声音空间) 、文字和图形等。 2 ) 编码端提供多种数据类型冗余错误的弹性，特别是在较苛刻的传输通道环境下( 如 移动环境) 错误弹性的支持。 3 ) 单独表达场景中各种对象，允许对它们单独进行操纵和再利用等方式的访问。 4 ) 将音频对象和视频对象、自然对象和合成对象复合到一个视听场景中。 5 ) 描述场景中对象和它们的运动。 6 ) 提供交互和超链接功能。 7 ) 管理和保护音频视频对象内容和算法上的智能属性，以便特许片j 户才能访问。 8 ) 提供传输多媒体的独立表达格式，以便通过不同传输环境的边界。 为实现以上目标，m p e g 4 采用与以前的音频视频标准不同的思路，引入音频视频对象 ( a o 、v o ) 概念，认为一个场景是由不同的音频视频对象按一定的时空关系组成( 这些对 蒙包括自然对象和合成对象) ，分别对各对象编码。如图1 2 - 1 ，这种基于对象音频视频表 达模型完全不同于以前标准基于像素点或基于帧的表达模型。以前的音频视频标准属于基于 数据统计的第一代活动图像标准，而m p e g 4 属于基于内容的第二代活动图像标准。 基于音频视频对象编码方法的好处主要表现在 1 i t 3 1 ： 1 ) 允许和场景内容交互。在客户端用户可以访问、操纵和激活内容的特定部分，与对 象的交互和超链接成为可能。 2 ) 能改进内容的再利用和编码。在内容创建端，用户能较容易安排和操纵内容的单独 部分并再利用内容中的素材。允许集成不同类型数据到一个场景中。此外，内容中 的对象可用高效算法编码。不同对象类型采用不同的与之相符合的编码表达，例如， 合成的人脸使用动画参数表达。 4 屯子科技大学博士论文 3 ) 允许基于内容的可扩展性。在内容的创作、传输和使用等各种情形下，可丢掉内容 或让内容自适应地匹配带宽、复杂性或价格要求。如在互联网上传输音频视频时， 可提供可扩展性内容的高级方案来满足终端的视听质量。 固12 - 1m p e g l 4 羹于列象的结构 由此可见，m p e g 4 的特点可归纳为： ( 1 ) 在压缩编码方法方面，采用基于对象的方法。 ( 2 ) 在满足功能方面，其一。基于内容的交互。其二，通用存取易错环境下的鲁 棒性允许在较宽的媒体应用范丽访问m p e g 4 编码内容，基于对象的时间可扩 展性和空间可扩展性允许决定如何使用较少的资源( 如带宽、计算能力、耗能 等) 。其三，高效压缩，基于内容的压缩编码方法去掉的是内容冗余，这种改 进的编码效率和多个并发数据流的编码能较好满足应用的压缩要求。 ( 3 ) 在制定标准的开放程度方面，力图使标准通过最少的限制提供最多的好处。在 非标准规定的地方，允许技术竞争和改进，如视频分割和比特率控制。m p e g - 4 定义是一种格式、一种框架，而不是具体的算法，它希望建立一种更自由的通 信与开发环境。可根据不同的应用要求，现场配置解码器编码系统也是开放 的，可随时加入新的有效的算法i 。 1 3m p e g 4 的内容6 j f 4 j m p e g 一4 标准的内容包括m p e g 4 系统部分、m p e g 4 视频部分和m p e g 一4 音频部分等 以r 内容除了简单介绍各部分外还进行了分析， 1 3 1m p e g 4 系统部分”1 m p e g 4 系统的目标。首先分析m p e g ，4 对其系统所提的要求。m p e g 一4 系统的要求包 括传统的m p e g 系统要求和特有的m p e g 一4 系统的要求。传统的m p e g 系统要求的流方式、 同步硐i 流管理及实现该要求的工具( 系统目标解码器、流打包) 仍然是m p e g 一4 系统的要 求。同时对其改进，m p e g 4 流不同于传统的m p e g ，需要增加系统解码器模型( s y s t e m d e c o d e rm o d e l ：s d m ) 工具。m p e g ，4 支持比特率较宽( 从几千比特秒到几兆比特秒) ， 按照m p e g 4 提出的“创建一次，任何情形皆可访问”规则，需增加同步层( t h es y n c h r o n i z a t i o n l a y e r ) 工具。由于m p e g 4 的本质是音频视频对象的编码，所以除了传统的m p e g 系统要 求还有对m p e g 4 系统的特有要求。表现在：描述各种对象的时空关系的场景描述( s c e n e 电子科技大学博士论文 d e s c r i p t i o n ) ，描述在场景中与时间相联的对象如何被连接到流中。这些特有要求需在 m p e g 一4 系统考虑到对象描述、内容制作和内容使用。此外，m p e g 4 系统需满足交互的要 求，包括客户端交互、对音频视频对象施加交互行为表述和客户服务器方式交互等。可见， 为满足m p e g 4 对其系统所提的要求，m p e g 一4 系统需达到目标为：编码表达( c o d e d r e p r e s e n t a t i o n ) ，即为提高带宽效率，用二值方式对m p e g 一4 系统包含的所有信息( 场景 描述、对象描述、同步信息) 进行编码；流方式存储和传输：描述音视频对象相互间的时空 关系。 圈13 - lm p e c , 4 的系统结构 m p e g 4 系统的结构。如图1 3 - 1 ，从传输存储媒体来的多路复合码流经过传输层， m p e g 一4 数据传输可在多种传输系统中进行，这些传输系统有：m p e g 2 传输系统、通过i p 的u d p 、a t m 的