（通信与信息系统专业论文）基于mpeg4标准的纹理编码的研究及其dsp硬件实现.pdf

华中科技大学硕士学位论文 摘要 甍“9 8 3 5 f 随着嵌入式系统、计算机网络和无线通信等技术的发展和普及，以及人们的 生活水平的相应提高，人们对多媒体的应用提出了越来越高的要求，如电话视频 会议、无线视频传输以及i n t e r n e t 上的视频点播等。而m p e g 。4 中基于内容的视 频编码技术的提出解决了多媒体通信应用中的这些技术难题，它将视频场景中用 户感兴趣的郎扩提取出来组成任意形状的视频对象序列，且仅对这一序列进行编 码和操作。y 本文讨论并实现了m p e g 一4 基于对象的堡鎏编码簋法。讲述了m p e g 4 基于 对象的视频编码及其相关技术，包括象素填充法、形状自适应d c t 变换以及形 状自适应d w t 变换。这里重点讲述了本课题所采用的主要纹理编码方法 s a d w t 。然后提出了两种改进算法：一个是以零树结构为基础的简易压缩算法， 这一算法不但保证了压缩效率且在应用实现中十分简单；另个是以小波变换为 基础的提高压缩效率的方法，在小波变换之前对图象进行相应的平滑处理，这种 方法实现简单且与未平滑处理的方法复杂度相当。 文章最后讲述了课题研究“m p e g 4 视频编码系统的d s p 实现”。阐述了整 个系统的设计思路，主要讲述了基于d s p 的编码系统的软件实现即其程序实现框 架、接口等。 关键词：m p e g 4 【视募磊二、基于对象、零树、s a 一疗影乏流水线、嵌文妥系 关键词：、视频编码、基于对象、零树、 一d 雨t 、流水线、嵌入式系 统、0 8 i， 。 d 一_ 华中科技大学硕士学位论文 a b s 订a c t w i t ht h ed e v e l o p m e n ta n d p o p u l a r i z a t i o no fi m b e d e ds y s t e m ，c o m p u t e rn e t w o r k a n dw i r e l e s sc o m m u n i c a t i o n ，a n da l s ow i t ht h ei m p r o v e m e n to ft h ep e o p l e s l i v i n g l e v e l ，t h er e q u i r eo ft h ec o n s u m e ro nt h ea p p l i c a t i o no ft h em u l t i m e d i ac o m m u n i c a t i o n b e c o m em o r ea n dm o r ea d v a n c e d s u c ha sv i d e ot e l e c o n f e r e n c e v i d e o t r a n s m i t t i n go n w i r e l e s sa n dv o d t h r o u g hi n t e r n e ta n de t c t h ea p p e a r a n c eo f t h ec o n t e n t b a s e dv i d e o t c o d i n gi nm p e g 一4s o l v e dt h et e c h n i c a lp r o b l e mi nt h ea p p l i c a t i o no ft h i sf i e l d i tc a n c o d et h ea r b i t r a r y s h a p e dv i d e oo b j e c ta n dp r o v i d ec o n v e n t i o n a lc o m p r e s s i o na n d ： c o n t e n t b a s e di n t e r a c t i v i t ya sw e l l t h et h e s i sf o c u s e so nt h ec o n t e n tw h i c hd i s c u s s e dt h ec o n t e n t - b a s e d c o d i n g d e p e n d i n go nt h em p e g 一4 ，t h em e t h o do ft h ec o d i n go ft h ea r b i t r a r y s h a p e do b j e c ti s r e c o m m e n d e dh e r e i n c l u d i n gp i x e l p a d d i n gt e c h n o l o g y , s a d c t a n ds a d w t t e c h n o l o g y a n ds a d w ti st h em a i nt e c h n o l o g yu s e di nt h i sp r o j e c t s e c o n d l y t h e p a p e rp r e s e n tt w on e wi m p r o v e da l g o r i t h m s o n ei st h ez e r o t r e eb a s e dc o m p r e s s i n g a l g o r i t h m b o t hh i g hl e v e lc o m p r e s s i o na n de a s yc o m p l i m e n ta r es u p p l i e db yt h i s a l g o r i t h m t h eo t h e r i st h ew a v e l e tc o m p r e s s i o nb a s e ds m o o t h i n ga l g o r i t h m t h e s m o o t h i n gs t e pw a sd i s p o s e db e f o r et h ew a v e l e tt r a n s f o r m i n g i tc a np o s ea l m o s tt h e s a m e c o m p u t i n gc o m p l e x i t yw i t ht h en o s m o o t h i n gm e t h o d i nt h el a s tp a r to ft h i sp a p e r , t h er e s e a r c hp r o j e c t 。_ 。_ 。t h ed s p i m p l e m e n t a t i o n o fv i d e oc o d i n gs y s t e mb a s e do nm p e g 一4 w a sd i s c u s s e di nd e t a i li n c l u d i n gt h e s y s t e ms o f t w a r ei m p l e m e n t a t i o nb a s e d o nd s p , t h ep r o g r a mf r a m ea n di o k e y w o r d s ：m p e g 一4 、v i d e oc o d i n g 、o b j e c t - b a s e d 、z e r o t r e e 、s a d w t 、p i p e l i n e 、 e m b e d d e d s y s t e m 、d s p i i 华中科技大学硕士学位论文 1 绪论 本章主要对视频编码技术的发展、现状、趋势、标准及d s p 技术的引入进行了简要的介 绍，并对本论文的研究背景、主要内容及实际意义进行了说明。 1 1 视频编码技术概述 随着多媒体技术的不断更新和发展，通信、计算机与电影、电视等娱乐业迅速融合，对 多媒体业务提出了高效率、高交互性等要求，也相应的产生如数字电视、电话会议等多媒体 通信应用领域。而视频编码技术是多媒体通信应用中一个非常关键的技术”，它使得大数 据量和高实时性的视觉信息交换和传播成为可能。 m p e g 视频压缩标准一直是许多研究机构和大学的研究热点，也是工业界产品开发的热 点。m p e g 标准阐明了声音和电视图象的编码和解码过程，严格规定了声音和图象数据编码 后组成比特数据流的句法，提供了解码器的测试方法等，但没有对所有内容都作严格规定， 尤其是对压缩和解压缩的算法，这样既保证了解码器能对符合m p e g 标准的声音数据和电视 图象数据进行正确解码，又给m p e g 标准的具体实现留有很大余地。人们可以不断改进编码 和解码算法，提高声音和电视图象的质量以及编码效率。 m p e g ( m o v i n gp i c t u r ee x p e r tg r o u p ) 是在1 9 8 8 年由国际标准化组织i s o ( i n t e m a t i o n a l o r g a n i z a t i o n f o r s t a n d a r d i z a t i o n ) 和国际电工委员会i e c ( i n t e m a t i o n a l e l e c t m t e c h n i c a l c o m m i s s i o n ) 联合成立的专家组，负责开发电视图象数据和声音数据的编码、解码和它们的同 步等标准 3 1 。这个专家组开发的标准称为m p e g 标准，到目前为止，已经开发和正在开发的 m p e g 标准有原先的两个版本m p e g 1 、m p e g 2 。以及后来增加的m p e g 4 、m p e g 7 等标 准。不同的版本表示了不同用途和质量，对多媒体通信的发展起了革命性的推动作用。 1 _ 1 1m p e g 一1 标准 m p e g 1 ( i s o t l e c1 1 1 7 2 ) 指定于1 9 9 3 年，是针对l5 m b p s 以下数据传输率的数字存 储媒质运动图象及其伴音编码的国际标准。m p e g i 用于在c d r o m 上存储同步和彩色运动 视频信号。可优化为中等分辨率，并在其优化模式下，采用所谓的标准交换格式( s i f ) 。m p e g i 对色差分量采用4 ：1 ：l 的二次采样率。m p e g ，l 旨在达到v r c 质量，其视频压缩率为 2 6 ：l 峨 华中科技大学硕士学位论文 1 1 2 船e g - 2 标准 1 9 9 5 年又出台了m p e g 一2 ( i s o i e c1 3 8 1 8 ) ，它追求的是c c r 6 0 1 建议的图象质量d v b 、 h d t v 和d v d 等制定的3 m b p s 1 0 m b p s 的运动图象及其伴音的编码标准。该标准的目的是 在与m p e g 1 兼容的基础上，实现低码率和多声道扩展 4 】。 1 1 3 船e g - 4 标准 m p e g - 4 是最近出台的一个新标准。为了满足多媒体发展的需要，m p e g 4 提供了许多 新的性能。它提供了基于内容的交互性，定义了音频视频对象( a v ) ，可以对任意形状的视 频对象( v o ) 编码，可以高效的对自然或合成的多媒体数据编码；高效的压缩性，具有更高 的编码效率，与己存在的其他标准相比，在相同比特率下具有更高的视觉听觉质量；提供了 在易出错环境下的健壮性来保证其在许多无线和有线网络以及介质中的应用等。关于 m p e g 4 中基于对象的视频编码等概念在第二章中还将介绍p 】。 1 1 4 肝e g 一7 标准 继m p e g - 4 之后，要解决的矛盾就是对日渐庞大的图象、声音信息的管理和迅速搜索。 针对这个矛盾，m p e g 提出了解决方案m p e g 一7 。m p e g 7 力求能快速且有效地搜索出用户 所需的不同类型的多媒体。该提议由1 9 9 8 年1 0 月提出，于2 0 0 1 年初最终完成并公布。m p e g 7 将对各种不同类型的多媒体信息进行标准化的描述，以实现快速有效搜索。m p e g 7 可独立 于其它m p e g 标准使用，是m p e g - 4 中所定义的音频、视频对象的描述使用于m p e g 一7 ，这 种描述是分类的基础。另外我们可以利用m p e g 7 的描述来增强其他m p e g 标准的功能p j 。 1 2 视频编码技术的现状和趋势 近年来，视频编码技术的发展已经进入了多媒体革命的前沿。在近期的科技产品展示会 上可以显示出各种视频应用的出现，其范围可以从个人使用的可视电话涵括到国家投资的实 时远程教育系统的建立。反之新的应用又给视频编码技术提出了新的要求。现在视频编码的 研究热点及视频编码的发展趋势大体上集中在如下三个方面【6 】o 1 2 1 低比特率视频编码 低比特率视频编码是近年来的研究热点，有大量的文献报道。在低比特率环境下编码 2 华中科技大学硕士学位论文 的图象质量会有较大的下降，出现较为明显的方块和纹波效应。研究低比特率视频编码的目 的是为了尽可能的提高图象的主观视觉质量，而不仅仅是提高图象的客观评价准则( p s n r ) 。 在低比特率环境下，需要充分利用人的主观视觉特性等，采用了如：基于分割面向对象的编 码等技术。 1 2 2 基于对象的视频编码 基于对象的视频编码是为了给多媒体提供更高的交互性而产生的视频编码新技术。近年 来，由于信息和网络等技术的迅猛发展，人们对高交互多媒体业务，如远程教学、远程会议、 视频点播( v o d ) 及电子商务等的需求日益增加，迫切需要出现新的编码技术来提供高的交 互性。基于对象的视频编码技术就是顺应这种要求而产生的，它是m p e g 4 标准的重要特征 之一。基于对象的编码器可以对任意形状的视频对象进行编码、传输和解码，但也因此而带 来一些新的难题。当前基于对象的视频编码的研究集中在视频对象分割、基于对象的纹理编 码、对象形状编码、基于对象的运动估计及基于对象的速率控制等方面。 1 2 3 新理论在视频压缩领域的应用 新的理论正在被逐步应用于视频图象压缩领域。数学分析是图象压缩算法的理论基础。 如小波、分形等理论应用于图象压缩。对新方法的研究也在逐步深化，如小波与分形相结合 的编码方法。这种方法是图象在小波变换之后，其各子带之间具有相似性，有分形编码方法 来对之进行压缩将会获得很高的压缩效率，因为方面利用小波方法所具有的符合人眼视觉 特性的特点尽可能的消除图象中各象素间的相关性，另一方面也利用了分形方法能获得高倍 压缩的特点。 1 3d s p 技术 随着多媒体和网络技术应用的发展，对视频压缩技术的要求也越来越高，这不仅体现在 对压缩性能的要求上，更重要的是对视频编码实时性的要求。现在视频图象压缩所采用算法 比较复杂且运算工作量大，采用纯软件实现难以满足实时性的要求，故而采用硬件来提高运 算速度以满足视频实时压缩的要求。这是目前实时视频系统中常采用的方法。而另一方面随 着d s p 芯片集成度、运算速度、数据吞吐率等性能的不断提高，d s p 不再局限于传统音视 频处理及离线信号处理等方面的应用fj ，它已被广泛地应用于许多实时视频及图象处理与传 华中科技大学硕士学位论文 输领域。 1 3 1d s p 概述 从8 0 年代美国t i 公司推出第一代d s p 芯片t m s 3 2 0 c i x 以来至今的十几年里，d s p 已 经得到突飞猛进的发展，目前t i 公司已经推出了第三代d s p 芯片t m s 3 2 0 c 6 x 和 t m s 3 2 0 c 8 x ，它们的性能价格比和开发手段都得到长足的进步，更加适合于开发者的需求鸭 随着d s p 的开发和应用的深入，d s p 在数字信号、信号处理、通信与信息系统、自动控制、 军事、航天和航空、医疗和家用电器等许多领域的应用将会更加广泛。 1 3 2d s p 芯片的特点 d s p 芯片是一种特别适合于进行数字信号处理运算的微处理器，其主要应用是实时快速 的实现各种数字信号算法处理。按数据格式可将d s p 分为定点和浮点两种。 d s p 芯片具有如下主要技术特性f ”： 硬件上采用多总线哈佛( h a r v a r d ) 总线结构，提高了数据的处理能力和速度。 指令执行采用流水作业( p i p e l i n e ) ，具有较高的指令执行速度。 采用独立的硬件乘法a n 法器( m a c ) ，极大的提高了数据处理速度。 内部具有独立的d m a 总线控制器，通过d s p 芯片中的一组或多组独立的d m a 总 线，可以实现程序执行与数据传输并行工作。 提供了多处理器接口，可以十分方便的实现多个处理器并行或串行工作。 提供了j t a g ( j o i n tt e s ta c t i o ng r o u p ) 标准测试接口，便于d s p 做片上的在线仿 真和多d s p 条件下的调试。 由于d s p 芯片的上述特性，使得以d s p 芯片为核心的d s p 系统具有如下几个主要技术 特点： 数据处理速度快，具有良好的可编程实时特性。 硬件软件接口方便，可以十分方便的与其它数字系统或设备相互兼容。 开发方便，可以灵活的通过软件对系统的特性和应用目标进行修改和升级。 具有良好的系统健壮性，受环境温度以及噪声的影响较小、可靠性高。 易于实现系统集成或使用s o c 技术，可以提供高度的规范性。 4 华中科技大学硕士学位论文 1 4 论文内容及实际工作 本文的研究是教育部重点科技攻关项目“远程教育实时交互工具”和国家创新基金项目 “远程教学协同群件产品研究”中的重要内容之一。 本文从m p e g 一4 的验证模型入手，研究并实现m p e g 一4 中的形状编码、运动估计和补偿 以及纹理编码等关键技术。视频编码系统硬件设计是以t i 公司的d s p t m s 3 2 0 c 6 2 0 1 为核心 芯片实现的实时编码系统。 本文研究重点是视频新标准m p e g - 4 标准中的纹理编码技术，并提出了的几个改进算法， 然后对相应部分进行d s p 程序的设计和实现。 论文共分为五大部分：一、绪论。概述了本文研究所涉及到的视频压缩技术及d s p 技术， 并讲述了视频编码技术的发展现状及其趋势。二、基于内容的m p e g - 4 视频标准。介绍了本 文研究基础m - p e g 4 视频标准的特点，关键技术及其在应用上的前景。三、m p e g - , 4 基于对 象的纹理编码。本章讲述m p e g 4 基于对象的视频编码及其相关技术，包括象素填充法、形 状自适应d c t 变换以及形状自适应d w t 变换等。这里重点讲述了本课题所采用的主要纹理 编码方法s a d w t 。四、纹理编码算法的改进。本章是在课题研究中针对所碰到的一些问题 相应提出两个改进算法：一个是以零树结构为基础的简易压缩算法，这一算法不但保证了压 缩效率且在应用实现中十分简单：另一个是以小波变换为基础的提高压缩效率的方法，在小 波变换之前对图象进行相应的平滑处理，这种方法实现简单且与无平滑处理的方法复杂度相 当。五、m p e g - 4 视频编码系统的d s p 实现。阐述了整个系统的设计思路，主要讲述了基 于d s p 的系统的软件实现即其程序实现框架、接口等，也提到了基于e v m 板的编码系统的 实现。 华中科技大学硕士学位论文 2m p e g 。4 视频标准特点的分析 近年来，人们对多媒体业务的交互性，提出越来越高的要求。为了给交互多媒体业务及 多媒体通信提供技术支持，活动图像专家组( m p e g ) 于1 9 9 3 年开始着手制订新的运动图像 编码的国际标准m p e g 一4 。m p e g 一4 比m p e g 1 以及m p e g 2 的应用更为广泛，最终希望建 立一种能被多媒体传输、多媒体存储、多媒体检索等应用领域普遍采纳的统一的多媒体数据 格式。由于所要覆盖的应用范围如此广阔，同时应用本身的要求又如此不同，因此m p e g - 4 不同于过去的m p e g 一1 、2 或h 2 6 x 系列标准，其压缩方法不再是限定的某种算法，而是可 以根据不同的应用，进行系统裁剪，选取不同的算法。例如对i n t r a 帧的压缩就提供了d c t 和w a v e l e t 两种变换。该标准的核心是支持“基于内容的交互性”。由于其活动的驱使，基于 内容的视频，图像编码成为异常活跃的研究领域l l 。 2 m p e g - 4 简介 m p e g - 4 视频标准在多媒体环境下提供一个基于不同目标( 内容) 的视频描述方法和包 括自然或人工合成视觉目标( v i s u a lo b j e c t ) 的压缩、目标伸缩、时空伸缩、差错回避的算 法和工具的核技术以有效地用不同媒质存储，通过现有和将来的有线和无线通信网、 i n t e r n e t 网和广播频道进行视频数据传输和操作。m p e g 4 视频目标编码为多媒体的很多 应用中的视频目标高效存储，传输和操作提供了标准化工具。其特点是f ： 1 ) 普遍适用性。无论是电视，通信网，计算机都适用： 2 ) 基于内容的交互性。用户可以随机访问和操作目标的内容； 3 ) 高码率与低码率。码率不超过6 4 k b s ； 4 ) 高抗错鲁棒性： 5 ) 自然目标和人工合成目标共存： 6 ) 时间和空间的伸缩性。 m p e g - 4 与m p e g 1 2 基于帧( f r a m e b a s e d ) 压缩标准不同，m p e g - - 4 是基于目标 ( o j e c t b a s e d ) 的压缩标准。所以首先它在系统级要定义基于目标的场景描述方法。m p e g - 4 在编码前首先要对视频序列进行分析和理解以提取目标。其码流信息首先应给出各个目标的 场景描述。如图中2 1 ， 6 华中科技大学硕士学位论文 图2 1 场景化结构描述 m p e g 4 的编码器和解码器的大致结构示于图2 ，2 ： _ 一即l f c o d i n g f c o d 9 m ：g 卜一 ff m u x _ 一v o ml i c o d i n g l 。-j 。- 。 7 华中科技大学硕士学位论文 - 一v o ml 一 - 1d e c o d i n g 广。 网 d e m u x id e c o d i n g i _ 一 l 里! ! ! ! ! ! 璺i 。一 i - 。_ 图2 2m p e g 4 编码器和解码器结构 m p e g - 4 码流也是由层次化的数据结构来描述。如图2 - 3 ： v 1d e o s e s s i o n v s 0v s l 7 v 0 0 7 弋 v 0 1 一 入才 9 0 p 09 0 p l -v o p ov o p l 【一【j 图2 3m p e g 4 码流层次化结构图 其中： 1 1 视频序列( v s ：v i d e os e s s i o n ) ：v s 是其它3 层数据的入口。一个完整的视频包括多 个v s 。 2 1 视频目标( v o ：v i d e oo b j e c t ) ：v o 即是场景中的特定目标。 3 1 视频目标分辨层( c o l ：v i d e oo b j e c t ) ：v o l 是v o 的时间或空间的伸缩性描述。 v o 的描述可以在不同时间分辨率和空间分辨率上进行。它可以只包括一个基本层，也可以 包括多个分辨率增强层。目标的伸缩性即是通过v o l 来实现的。 4 1 视频目标平面( v o p ：v i d e o o b j e c tp l a n e ) ：v o p 是v o 在某个时间的存在。是v o 在 8 华中科技大学硕士学位论文 不同v o l 层的时间序列。 概括的来说，m p e g - 4 视频由多个v s 组成。而v s 是一个或多个v o 的集合，v o 包含 一个或多个v o l 分辨层，v o l 包括一系列v o 在时间上的采样。所以v s 序列( v s 0 ， v s i ) 是整个场景在某段时间上图象系列，v o 序列( v 0 0 ，v 0 1 ，) 是从v s 中 提取的不同空间目标，v o l 序列( v o l 0 ，v o l l ，) 是v o 的不同分辨层( 基本层和多 个增强层) 。v o p 序列( v o p 0 ，v o p l ) 是v o 在不同分辨层的时间采样。而m p e g 4 的视频编码就是基于v o p 进行的。 图2 4 示出了基于v o p 的编码结构。 v o p 任意形状 【 黼7 自一鼠j r 。，n o n 女m 一l 墨三。一w 1 思彤恹 运黼息 i x ，i 一上 、j 酬h 鳓偿槲p 1 一 丁 前叫馗建v o p 卜0 一 图2 - 4 v o p 编码器 图2 _ 4 中的编码器主要包括2 部分：v o p 的形状编码部分和传统的运动和纹理编码部分。v o p 的形状信息( 又称a l p h a 平面) 对各个零散的v o 合成整个场景非常重要。它是对场景分割 各v o 的描述。一般v o 形状是任意的，所以要对它进行专门的编码。 和m p e g 2 相似，v o p 可采用帧内编码( i n t r a - v o p ) ，简称i - v o p 和帧间预测编码 ( i n t e r - v o p ) 。帧间预测编码又可以分为前向因果预测编码( p - c o p ) 和前后向非因果编码 ( b b o p ) 。帧间预测编码消除了视频信息的时间冗余。 对于各个v o p ，m p e g 4 的编码和m p e g 2 也相似。首先把v o p 从左到右、从上到下 华中科技大学硕士学位论文 分成1 6 1 6 大小的宏块( m a c r o b l o c k 简称m b ) 。具体的形状、运动和纹理编码仍然是基于 m b 进行。所以个m b 的信息是形状一运动- 纹理( s h a p e - m o t i o n t e x t u r e ) 的总和。对 于各个m b 的编码，可以分成4 个8 x8 块( b l o c k ) 的亮度( y ) 分量，和2 个8 8 块的色 度( c r 和c b ) 分量分别进行编码。以上6 个b l o c k 进行8 8 d c t 二维变换、量化和h u f f m a n 编码。 2 2m p e g 一4 主要技术的讨论 新的m p e g 一4 标准编码与传统的视频标准编码的最大不同在于它可以对任意形状的视频 对象进行操作，因此必然孕育着新技术的出现。 2 2 1 基于内容的分割技术 基于内容的视频编码器通常是把场景分成几个对象进行编码，因此视频对象的分割是重 要的任务之一。目前视频分割中存在的问题如：分割计算量大，花费时间长，很难实时分割； 分割算法不够健壮，往往对某些类型图象或序列分割效果好，而对另一些类型的分割效果差 等。因此要发展一种通用、健壮、能较好较快的分割出符合人眼视觉特性的视频对象的分割 算法，是人们努力的方向【”“。一种较好的途径是联合时空信息的分割即利用尽可能多样的 信息，包括图象空间信息( 如灰度、边沿等) 和时域信息( 如帧间相关性、帧间变化和运动 信息等) 。 2 2 2 基于内容的纹理编码 基于内容的视频编码器需要对任意形状的图象区域进行编码，而传统的图象编码方法如 d c t 、小波和矢量量化等都是对矩形图象或图象块进行的，因此需要对传统的矩形图象编码 方法进行扩展，使之适用于不规则形状的图象区域，或研究新的形状自适应图象编码方法。 具体内容见本论文第三章部分。 2 2 3 基于内容的可伸缩性 基于内容的可伸缩性包括基于内容的空间可伸缩性和基于内容的时间可伸缩性两个方 面。它们分别是指能以不同的空间分辨率和不同的帧率对视频序列中的对象进行编解码。由 上可以看出，基于内容的可伸缩性编码与在m p e g 2 中的基于帧的可伸缩性编码完全不同， 0 华中科技大学硕士学位论文 前者处理的是视频对象，后者处理的是视频帧。基于内容的可伸缩性可以灵活的支持在具有 不同的带宽、不同的编码效率以及不同的显示要求的用户终端上浏览多媒体信息。例如，若 视频序列对用户终端来说过于复杂，用户终端就会优先对视频序列中较重要的视频对象进行 解码，而对不太重要的视频对象( 如背景) 则以较低的空间分辨率、较低的帧率进行解码或 根本不解码。此外，基于内容的可伸缩性还可以灵活的支持在不同带宽的网络上进行多媒体 通信f 17 m 9 。 2 3 m p e g 一4 应用前景的分析 由于m p e g - 4 具有基于内容的交互性和可分级性、易出错环境中的鲁棒性、高压缩性等， 所以m p e g - 4 的提出必将给未来的多媒体通信事业的发展产生巨大的促进作用。其在很多的 领域中的应用铡如监控、移动多媒体、v o d 以及虚拟会议室等。下面对其在多媒体通信中的 应用前景做一分析。 2 3 1 m p e g 一4 应用将会使多媒体通信朝着交互性的高级阶段发展。 交互性是多媒体通信最重要的特征”u ，圳。随着多媒体技术以及各种软硬件的发展，用户 对交互性的要求越来越高，仅仅基于视频帧和音频帧的交互是不能满足用户需求的，用户希 望以他想要的方式与各种信息元素和对象进行交互。这种高交互性的要求在目前是没法实现 的，而m p e g - 4 标准的“基于内容”的编码、混合编码及可伸缩性编码等方式为这种高交互 性的实现创造了必要的条件。 2 3 2m p e g - 4 的应用将使各种不同的网络进行多媒体通信成为可能。 随着多媒体通信业务的拓展，多媒体信息的传输将发生很大的变化。如i s d n 、局域网、 p s t n 以及移动通信网都有可能被用来传输多媒体信息【2 2 l 。然而，在不同的网络间，尤其在 低带宽网络( 如移动通信网) 上进行多媒体通信一直是个很难实现的目标。因为传统的编码 模式将视音频信息看作纯粹的数据。这样的信息中的所有物理对象和内容都以相同的分辨 率、相同的帧率来编解码，这对于高带宽网络来说不存在太大问题，但对于低带宽、通信环 境较差的网络来说则会使多媒体信息传输质量变得很差。而m p e g - 4 的应用将大大改变这种 状况。由于m p e g 4 具有“基于内容”的可伸缩性特点，所以在低带宽网络中系统可优先对 视音频信息中关键的的内容进行编解码，而对不太重要的内容则以较低的分辨率进行编解码 华中科技大学硕士学位论文 或不进行编码。这样，系统也能根据网络条件向用户提供最好的传输质量。 2 3 3m p e g - 4 能较好的适应未来多媒体通信技术及各种软硬件技术的发展。 目前，多媒体通信技术以及各种软硬件技术仍在快速发展并不断推陈出新。可以想象， 这不仅会对视音频编码提出新的要求，而且使编码系统中某些内容过时速度加快。如果编码 标准不能针对技术的发展进行很好的扩展，必将很快的被淘汰。而m p e g 4 从它开始制定起 就一直在朝着灵活、可扩展的方向发展。m p e g 4 通过灵活组合的工具箱以及解码工具可下 载的机制，使其能迅速适应环境的变化。 1 2 华中科技大学硕士学位论文 3m p e g 一4 基于对象的纹理编码 专统的图象编码方法部是面向矩形图象的，而基于对象的视频编码器则是需要对任意形 ：恢的图象区域纹理信息进行编码。论文本章研究m p e g 4 基于对象的视频纹理编码及其相关 技术t 包括象素填充法、形状自适应d c t 变换以及形状自适应d w t 变换等。这里实验讲究 的重电放在s a d w t 上。 3 1 象素填充法 对于不规则形状图象区域编码的一种最直接的方法就是象素填充( p a d d i n g ) 法。 如图3 - 1 中，令d 为任意形状的图象区域，r 为包围d 的一个矩形框( 在m p e g 4 标准 中这个矩形框称为最小矩形框( v o p 窗口b o u n d i n gr e c t a n g l e ) ) ，t 为把d 补充成矩形 眶的部分，即d n7 1 = r 。把位于t 内的象素称为透明象索。具体如图3 - 2 中所示图中所 示的d 、t 和r 分别对应图3 一l 中所示的三个区域。在v o p 窗口中有三种宏块，分别是对象 块、非对象块( 透明块) 和边缘块。前两者的处理和传统的方法一样直接进行d c t 变换， 而对于边缘块则需要先进行填充再进行d c t 变换。 图3 i 任意形状图象区域图3 2 任意形状图象实例 最简重的方法即用固定的灰度值( 如0 值) 来进行填充如图3 3 所示。但是通常这种方j 圭效 果不佳，因为填充后在区域边界处的灰度不连续，在对其进行变换编码时会产生大量的非零 高颁系数即增知了编码比特数。减少区域不连续| 生的一种方法是采用区域d 内的平均硬度 ，矗来二目充相应的t 区域。这也就是k a u p ! ：3 】所提出的一种低通外延法( l p e ) ，它可以j 自涂d 华中科技大学硕士学位论文 和t 边界处的不连续性而且信号的伸展很平滑具有低通特性。如图3 - 4 所示。 图3 4 低通外延填充法 3 2 形状自适应d c t 变换( s a d c t ) 另一种饪意形状图象区域编码法是形：吠自适应变换法与外推法不同的是形：状目适童变 换只对区域d 内的象素进行处理。在形? 次目适立变换法中，目前应用得最广泛豹是形状昌适 _ 立d c tl s a - d c t ) 。s a d c t 已经被m p e g 4 砚频检验模型i v m ) 圻采纳t 1 “、 3 2 1s a d c t 的发展 s a d c t 最早是在1 9 9 5 年由s i k o r a 2 4 2 5 i 等l 所提出的，它是在矩形望象二趄d c t 搞玛方 ；至趵基础上发展起来的，目的就是在实现复杂陆、编码效率和对已有d c t 技术的后同兼容 堡三者之间找到一个合理的折衷。s a d c t 能够对任意形状的图象区域进行编码，套易实现 且变换效奎高，而且同已有的d c t 技术完全兼窑，但是在应用中s a d c t 也暴露出一些 欤毒即逆s a d c t 岳图象量t 艺噪声的统计参数在帽当大的程度上取决亍实鬲图象噩域趵形 状也就是说，s a - d c t 图象编码的胜能并非难的由量化器决定，还要受到编码目j ：篓象基 域宣勺大小和轮廓的影啊而舌苔无法控制。声主这种现象的原因主要是园为最奶提出的 s a d c t 算法是非正交归一化耋勺即n o s a d c t 因此不能保证s a d c t 岳蓦象数毒j j 4 华中科技大学硕士学位论文 均值唯一的映射到直流系数( d c ) 上，同时由于非归化，也使变换效率降低。针对这种情 i 兄k a u f f 等人与1 9 9 8 年提出了对s a d c t 的改进方法，休之为。带基于块的d c 隔离和a d c 纠正的s a d c t ( a d c 一5 爿一d c t ) ” 3 2 2 传统s a - d c t 本小节说明由s i k o r a 提出的s a d c t 的变换过程。如图3 - 5 所示为个含不规则彤：庆图 像区域的边沿块进行s a d c t 的例子，图中“”表示支直流d c 。首先，每一特定列l 的n 个像素移到块的最顶部t 每一列的像素会聚成列矢量x ，接着在垂直方向上对每一列矢量。， 进仃标；佳的维d c t 。变换后每一列的n ，个系数构成相应的系数矢量口，。接着，再把这些 系数移到块的最左端，则每一行的m 。个元素构成一个行矢量b ，在水平方向上同样进行标 准日维d c t ，得到行系数矢量c 。这些系数也是最后s a d c t 的系数。从匿中可以看到， 变换晤的d c 仍然垃于块的最左上角的位置，系数的数目与像素的数目是相同的。 e 述过程可以用式3 - 2 - l 3 2 2 的数学方程表示。式3 - 2 1 为正变换过程中两个垂直和水 平育同的子变换的表达式。其中，s ( l = n ，或m 。) 是一维d c t 子变换的尺度因子，d c t l 表示变换的核，是个l 大小的矩阵。其元素值d c t t ( p 女) 如式3 - 2 3 定义。值得注意的 是- o c t , 和s 二是随着图象实际形状参数和m ，的变化而变化的。在s i k o r a 等最初提出 的s a d c t 算法由令s = 4 2 “，这是一种非归一化的变换。式( 3 - 2 2 ) 为逆变换的表达式， 其中“一表示系数可能经过量化。 = sv d c _ 亟t ，x ，c 。= s w 丝，b ( 3 2 1 、 矿= 上m s m , d c t ：，。叫2 志。d c _ _ _ _ t _ t r v 。c t c ( p , k ) = c o c o s l p ( t + 圭 三j ；c t ，p = 。，- ，z ，- ，一t ，t 。- 二一， 这冲变换把二维d c t 变换转换为垂直和水平两个一维d c t 变换，虽然这洋减少丁计尊 复击胜，但也) 扫此带来一些缺陷。 5 含最初图像 数据的边沿 图3 - 5 任意影状盈象区域s a d c t 过程示意 酋屯式3 - 2 1 323 昕定义的s a - d c t 通常不能保证最切图象数据昀平均埴m 只堆一 为硬射到一个娟应的d c 系数，这个面题可以通过令尺度因子s 、，与形状参数v ，成反比求得 到弥f h 这也是为什么s i k o r a 在最明豹s a d c t 算法中令s = 4 ，l 的原因。但必须注意的是 式3 - 2 。i 3 - 2 3 定义的变换在这种情i 乏。没有j j 一比，所以这个皈本的s a d c t 称为非正交 归一化、n o n o r t h o n o r m a l1s a d c t 郊n o 。s a d c t 。 其i 又 变换编码理沦可知，壁习j 印j t 的子变换对编玛效童不利因为星比噪砉j m s e 取决于变换的图象区域的尺度，咒卦量叱噪声的统计参数如误差的方差的空间舒布或 溟差信号的颁率特性，以无法控制的寺式羽形? 次参数v ，和v 来加权，这个影啊成为噪击姐 仅走真：这种s a d c t 钣本称为准正交茸一化、p s e u d o o r t h o n o r m a l 、s a d c t ，即p o s a d c t ， 6 华中科技大学硕士学位论文 3 2 3z k d c s a d c t d c s a d c t 就是为了克服传统s a d c t 的缺点而提出的。它的正变换框图如图 3 - 6 所示，逆变换框图如图3 - 7 所示。编码器( 如图3 - 6 ) 首先计算当前图象区域的象素平均 值，；l ，然后将它从所有原始图象数据土。中减去，即x 。= 主。一r h ，然后对零均值的图象数 据x 。进行p o - s a d c t 。现在新的问题是p o - s a d c t 的输出与标准d c t 输出不兼容，因为 系数。l i 不代表标准原始图象数据曼“的d c 值。为了和标准的d c t 相兼容，将分开计算的 平均值麻作为d c 值赋给p o s a d c t 的系数c ，从而产生一个新的系数集乞即 6 = d c m ，且j u = c i , ji ， 1 。这样处理后，数据6 。包含合适的d c 和a c 系数， 同标准d c t 的系数完全兼容，因此也可以用标准的量化、扫描和v l c 等进行编码。 由于没有传输p 0 一s a d c t 后的直流系数c 1 i ( y n 称c 1 1 为a d c ) ，而d c 在大多数 情况下是不为。的，所以在解码的时候需要对由a d c 的损失而引起的误差进行纠正。纠正 办法如式3 2 和3 2 5 所示。 b j = b ：i e ( 3 2 - 4 ) 艺何6 i ， 。= ，= 型丽一 ( 3 - 2 - 5 ) 艺万 j 。i 其中b “+ 为由式3 - 2 - 4 重建的行矢量6 l 的元素。 解码过程如下( 如图3 - 7 ) 首先，从接受到的系数o 。，中抽取出d c 值，然后把相应的系数钆+ 设置为0 ，得到新的系数集。q ，即。l ，t = 0 ，c 。，= c i , j + , ( i ， 1 ) 。然后对。，j 进行逆 p o _ s a d c t 变换和d c 纠正，纠正项e 。，从6 i 中得到( 式3 - 2 - 5 ) ，并从每个矢量分量 中减去e c 。( 式3 - 2 4 ) 来纠正8 d c 偏差。同时，先前隔离出的d c 值重新恢复，并把相应 的平均值而晟后加到逆p o s a - d c t 的0 均值输出x 。，来完全重建图象数据j 。 2 6 1 。 1 7 华中科技大学硕士学位论文 图3 - 6a d c s a d c t 正变换框图 图3 7z t - , d c s a d c t 逆变换框图 3 3 形状自适应d w t 变换算法的研究及实现 本节介绍