已阅读5页,还剩57页未读, 继续免费阅读
(微电子学与固体电子学专业论文)基于fpga的mpeg4纹理解码器研究.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
重庆邮电大学硕士论文摘要 摘要 信息技术和计算机互联网飞速发展,多媒体信息成为人们获取信息 的最主要载体。作为现在最重要、最有影响的多媒体数据压缩编码国际 标准之一,m p e g 4 实现了从基于像素的传统编码向基于对象和内容的现 代编码的转变。而基于对象的编码思想使m p e g 一4 具有高压缩比、可扩展 性和交互性等许多优点。f p g a 作为当今数字系统设计的主要硬件平台, 它完全由用户通过软件进行配置和编程来完成某种特定的功能,可以反 复擦写。在修改和升级时,只需在计算机上更新程序,缩短了系统设计的 周期,提高了设计的灵活性并降低了成本。本论文中各个模块均以f p g a 为平台进行设计。 本论文在对m p e g 4 纹理解码中的几种关键技术的充分理解和算法分 析的基础上,结合f p g a 的灵活性,采用v c r i l o g 语言对几种关键技术在 应用层面上进行结构设计并仿真验证。 在针对m p e g 4 解码器的实践中,本论文将重点放在纹理解码部分的 可变长解码( v l d ) 和逆离散余弦变换( i d c t ) 的设计与实现上针对 v l d 的设计,本文讨论了可处理可配置信息与基本元素的解码器。该解 码器采用并行解码算法,能够实现每个时钟周期解码一个码字,相比与 普通串行解码方式,具有效率更高,解码时间可预测的特点。同时,我 们在设计中引入码表分割技术,更有利于并行解码操作的实现。然后给 出f p g a 的仿真结果并进行了比对,显示采用该结构的解码器完全能够满 足m p e g 4 的可变长数据的解码需求 关于i d c t 的设计结构很多,如基于分布式算法的结构、基于多乘法 器的并行结构等。本文的设计充分利用i d c t 算法对称性,用高度并行结 构来加速处理,采用一维i d c t 单元复用的方式来实现二维i d c t 运算, 实现了高效的二维i d c t 处理单元。最后,利用s o p cb u i l d e r 的定制i p 核功能,我们将该处理单元添加到系统中,实现了在软件环境下的调用, 为m p e g 4 解码技术在片上可编程系统下的工程应用提供了支持 关键词:f p g a ,m p e g 4 纹理解码,可变长解码,逆离散余弦变换 a bs t r a c t i nt h ec o n t e x to fr a p i dd e v e l o p m e n to f i n f o r m a t i o nt e c h n o l o g y a n d i n t e m e t ,t h em u l t i m e d i ai n f o r m a t i o nh a sb e c o m et h em o s ti m p o r t a n t s o u r c eo t h u m a na c c e s st oi n f o r m a t i o n a si st h em o s ti m p o r t a n ta n dm o s ti n f l u e n t i a l i n t e m a t i o n a ls t a n d a r d so fm u l t i m e d i ad a t ac o m p r e s s i o ns t a n d a r d ,m p e g - 4i s o b j e c t b a s e d ,d i f f e rf r o mt h et r a d i t i o n a lp i x e l b a s e d c o d i n gm e t h o d t h e o b j e c t b a s e dc o d i n gi d e ae n a b l e sm p e g - 4 h i g hc o m p r e s s i o nr a t i o ,s c a l a b i l i t y a n di m e r a c t i v i t y ,a n dm a n yo t h e ra d v a n t a g e s t o d a y ,f p g a i st h em a i n p l a t f o r mo fd i g i t a ls y s t e md e s i g n i n g i ti sc o n f i g u r a b l e ,y o u c a l la c c o m p l i s ha s p e c i f i cf u n c t i o nb yp r o g r a m m i n g ,a n di t c a nb ee r a s e dr e p e a t e d l y u s i n g f p g aa c c e l e r a t e sd e s i g n ,i m p r o v e s i t sf l e x i b i l i t ya n dr e d u c e sc o s t s ;a l l m o d u l e si nt h i sp a p e ra r ed e s i g n e d0 1 1f p g a b vf u l l yu n d e r s t a n d i n gt h ek e yt e c h n o l o g i e so fm p e g - 4 t e x t u r ed e c o d i n g , w eu s ev e r i l o gl a n g u a g et oi m p l e m e n t a t i o nt h e s et e c h n o l o g i e sa n dc e r t i f yi t s f u n c t i o nb ys i m u l a t i o n i nt h ed e s i g no fm p e g 4d e c o d e r ,w ef o c u s0 nt h e v a r i a b l el e n g t h d e c o d i n g ( v l d ) a n di n v e r s ed i s c r e t e c o s i n et r a n s f o r m ( i d c t ) i nm p e g 4 t e x t u r ed e c o d i n g t h i sa r t i c l e d i s c u s s e sad e c o d e rt h a th a n d l e sm p e g - 4 c o n f i g u r es t r e a ma n de l e m e n ts t r e a m i ti s ap a r a l l e ld e c o d e rt h a tc a nd e c o d e o n ev a l u ei ne a c hc l o c kc y c l e ,c o m p a r e dw i t ho r d i n a r ys e r i a ld e c o d i n g ,i t 。s m o r ee f e c i e n ta n di th a sap r e d i c t a b l ed e c o d i n gt i m e w ea l s oi n t r o d u c e da c o d ep a r t i t i o n i n gt e c h n o l o g y ,w h i c hm a k e st h ep a r a l l e ld e c o d i n gf a s t e r t h e s i m u l a t i o nr e s u l t ss h o wt h a tt h es t r u c t u r eo ft h i sd e c o d e rf u l l ym e e t st h en e e d s o fm p e g 4v a r i a b l el e n g t hd e c o d i n g t h e r ea r ev a r i o u si m p l e m e n t a t i o ns t y l e sp r o p o s e df o rd c t i d c t ,s u c h a sd i s t r i b u t e da r i t h m e t i cd e s i g n sa n dm u l t i p l i e r b a s e d d e s i g n e t c t h e s y m m e t r yo fi d c ta r i t h m e t i ch a sb e e nu t i l i z e di nt h ep r o c e s s o ra r c h i t e c t u r e d e s i g n a d o p t i n gt h er o w c o l u m nd e c o m p o s i t i o nt e c h n i q u ef o rc o m p u t i n g 2 d i d c t w ef b 彻u l a t et h e1di d c ti n t oc y c l i c c o n v o l u t i o nb yp r o p e r l y a l t a n g i n g t h ei n p u t s e q u e n c e ;o p t i m i z e t h em u l t i p l i c a t i o nb a s e do nt h e c o n c e p to fc o m m o ns u be x p r e s s i o ns h a r i n g a tl a s t ,t h i sm o d u l ei s a d d e dt o 重庆邮电大学硕士论文 s o p ca n dc e r t i f i e di nt h en i o si d e i te n a b l e st h eu t i l i z a t i o no fm p e g 一4 d e c o d i n gt e c h n o l o g yo ns o p c k e y w o r d s :f p g a ,m p e g - 4t e x t u r ed e c o d e ,v a r i a b l el e n g t hd e c o d e , i n v e r s ed i s c r e t ec o s i n et r a n s f o n n 重庆邮电大学硕士论文第一章绪论 1 1 研究背景 第一章绪论 多媒体技术正逐步渗透人们生活的方方面面,在现代科技的环境下, 无论何时何地,只要借助网络终端,均可以随手获得最新的咨询,这一 切都是信息科技与互联网技术的飞速发展的结果。网络技术无疑是这一 切得以实现的基础,为了充分获取充斥于网络上的讯息,人们需要利用 各种带网络接口的终端,其中,催生了网络技术的计算机自然是首选。 然而个人计算机终端的缺点也是显而易见:成本过高,功耗过大,这些 都不适合其作为简单的咨询设备大规模普及,其高速运算能力在此种情 况下也难有发挥,所有这一切,都决定了个人计算机更加适合作为一座 数据中心存在,应对来自各个终端的请求。而这些终端,更应专司其职 自然会有人想到专用集成电路( a s i c ) ,不过,以现场可编程门阵列 ( f p g a ) 为代表的数字系统集成技术在过去的二十多年时间里,同样取 得了惊人的发展:它不仅可以解决电子系统小型化、低功耗、高可靠性 等问题,而且具有开发周期短、开发软件投入少的特点随着其芯片价 格不断降低,f p g a 开始逐步取代a s i c 的市场。 f p g a 是实现s o p c 的基础,用户可对f p g a 内部的逻辑模块和i o 模块重新配置,以实现用户的逻辑,因而也被用于对c p u 的模拟。早在 上个世纪末,p l d 等器件的复杂程度已经足以在单个可编程器件中实现 整个系统。此后,两大f p g a 厂商a l t c r a 和x i l i n x 各自推出了基于f p g a 的可编程逻辑优化的处理器,然后用户可在此之上定制系统所需的逻辑 功能,结合处理器提供的软件支持,构造设计的系统 通常的方法,人们采用f p g a 与d s p ( 数字信号处理) 共同构建片上 系统。这两者拥有各自的特点: d s p 有自己的完整指令系统,是以数字信号来处理大量信息的器件 其内部结构包括有控制单元、运算单元、各种寄存器以及一定数量的存 储单元等等,在外围还可以连接若干存储器,并可以与一定数量的外部 设备互相通信,有软、硬件的全面功能。d s p 使用分开的数据总线和地 址总线,使程序和数据分别存储在两个分开的空间,允许取指令和执行 指令完全重叠。也就是采用了指令获取与执行的流水线结构,大大的提 重庆邮电大学硕士论文 第一章绪论 高了微处理器的速度。其实时运行速度可达每秒数以千万条复杂指令程 序,远远超过通用微处理器,是数字化电子世界中日益重要的电脑芯片。 它的强大数据处理能力和高运行速度,是最值得称道的两大特色。由于 它运算能力很强,速度很快,体积很小,而且采用软件编程具有高度的 灵活性,因此为从事各种复杂的应用提供了一条有效途径。在d s p 里, 硬件已经完全固化,如乘法器,加法器,数据传输接口,根据需要而重 新配置以便于使用。由于这个原因,其功能是有局限性的用户的任务 就是在这个已有的固定硬件平台实现其功能的最优化,主要侧重于算法 处理,d s p 的主要优势包括对于新型及复杂算法时的更短的开发时间, 以及能够运行多种算法的灵活性。 而在f p g a 上,主要使用h d l ( 硬件描述语言) ,包括v h d l ,v e r i l o g , 还有数模混合的描述语言v e r i l o g a m s 等,实现的是硬件功能。用于设计 并完成几乎所有的数字电路,包括传统的数字功能模块,以及客户产品 特定需求的数字处理模块等f p g a 的i o 桥接种类繁多,不同种类和级 别的f p g a 可通过对i o 驱动能力和电压的可编程配置,达到支持种类丰 富的i o 标准和协议。另外用f p g a 可以实现a s i c 的前期的设计验证,实 现d s p 的功能,c p u 的功能,用作微控制器,内存控制器,数据的编解 码,解复用,每秒高达上g 比特的数据信号的处理,协议的转换实现等 等,都是d s p 难以胜任的。 一般情况下,人们结合这两者的有点,以f p g a 制作控制器,d s p 作 为信号处理单元共同构建系统,产品兼具前者优秀的灵活可扩展性和后 者的高效率以及低廉的成本然而随着近年来集成电路工艺的飞速发展, f p g a 芯片内可编程逻辑单元节节攀升,一些高规格的产品已经可以实现 d s p 处理器或是单片机核了,通过植入d s p 处理器的软核,我们在f p g a 上能够实现更灵活的设计,最终节约开发设计周期和成本。事实上,对 于数据编解码等需要复杂计算的场合,经过多年来人们的探索,已经开 发出一系列优秀的算法,例如i e e e l 4 4 9 6 第9 部分就提出了视频解码的硬 件描述语言实现。通过硬件实现的逻辑运算单元,拥有高于d s p 等芯片 的执行速度。因此,我们完全可以以f p g a 芯片完成整个系统,在关键部 位采用经优化算法描述制作的逻辑运算部件,取代先前的数字信号处理 器,设计的过程就可以省去m c u 与d s p 之间的通信传输考虑,从而拥有 了更高的可靠性。同时,由于只制作了纯粹的运算部件,略去了软核不 必要的功能,节省了大量的硬件资源。更随着f p g a 芯片成本的日益低廉, 应用前景一片光明。 2 重庆邮电大学硕士论文 第一章绪论 网络环境也是信息终端的一个重要方面。因为只是涉及咨询的获取, 所以终端并不需要太过强大的计算能力,根据这样的设想,我们不难得 出应用网络结构。 上层网络 图1 1 网络模型示意图 如图所示,位于中心的是以个人计算机、服务器为代表的具有极高 运算速度和存储能力的数据中心,手持便携设备通过网络与这些服务中 心连接起来,而服务中心本身则与更高一层服务设备相连,从而实现咨 询的同步。类似于现有计算机局域网的迷你版,所不同的只是采用了简 化的终端,完成简单的咨询下载以及操作回馈而已,相对于使用个人计 算机进行浏览,这无疑是从配置和功耗上大大的节省了成本,具有相当 的可行性。同时,这样的设计可以以现有的i p 网络作为信号传输的媒介, 共享i n t e r n e t 资源。而随着i p 网络基础设施的日趋完善,带宽资源的不断 增加,意味着传输高码率信息成为可能,为人们追求高品质,个性化的 信息服务提供了基础。 在人类获取信息的途径中,7 0 来自视觉信号,因此可说数字视频技 术是多媒体技术的核心部分。视频信号具有很大的时间和空间冗余度, 对视频编码的压缩率以及编码后的质量是决定多媒体服务的关键。网上 流行的视频编码方式有a v i 、m p e g 4 、r m ( r m v b ) 、f l v 等,其中, m p e g 4 以其优秀的压缩率和投入应用多年来的用户积累成为目前较为流 行的视频格式。 m p e g 4 最初的目标是满足低比特率下的多媒体通信,主要应用于视 像电话,视像电子邮件以及电子新闻等,利用很窄的带宽,通过帧重建 技术,压缩和传输数据,以求以最少的数据获得最佳的图像质量,其传 3 重庆邮电大学硕士论文 第一章绪论 输速率要求较低,压缩比极高。在网络中传输,能够针对不同的网络条 件,结合用户对视频时间、传输路数和清晰度的不同要求进行不同的码 率设置,提高了系统使用时的适应性和灵活性。 相对于其历史版本( m p e g 1 和m p e g 一2 ) ,m p e g 4 提供了基于内容 的多媒体数据访问工具,如索引、超级链接、上传、下载、删除等。利 用这些工具,用户可以方便地从多媒体数据库中有选择地获取自己所需 的与对象有关的内容,同时还提供了内容的操作和位流编辑,与我们所 设想的网络终端功能很是符合,究其原因,m p e g 4 拥有其它媒体格式所 没有的良好交互性,这种特性可以用于课堂教学演示等等。 m p e g 4 还加入了对虚拟现实模型语言的支援能力,它仅仅定义了全 部功能要求,开发者可根据自身需要在具体设计中选择实现部分功能,即 整个标准的全部功能不一定要完全包括在某个设计中。m p e g 4 格式用档 次( p r o f i l e s ) 及层次( 1 e v e l s ) ,定义某些特定应用的某些功能的集合,档次定 义了一个码流可以使用那些技术,而层次则规定了复杂度,比如解码图像 尺寸、每秒处理多少个宏块等。 最后,m p e g 4 提供了易出错环境的鲁棒性,使其在不同网络种类和 不同存储介质中的应用得到保证。即使在传输有误码或丢包现象时,受 到的影响也很小,并且能迅速恢复。这对于适应现有网络条件很有利, 能够快速投入使用。 1 2 研究方案 除了构建平台的选取媒体格式的选择,还需考虑数据的控制调配。 视频码流在解码的各个阶段都是由不同的单元掌控,为保证解码过程有 条不紊的进行,必须设计一个更上层的调度单元。 以流行的f p g a + d s p 方案为例:d s p 拥有快速实现算法的特点,能 有效缩短设计周期,故而专职进行运算操作,放在从属地位;f p g a 能够 实现相对简单的控制逻辑,那么作为上层的控制单元对数据、控制信号 统一调配。然而,尽管有着上述便利,在数据处理日趋复杂的今天,对于 效率的要求愈加苛刻,仅靠d s p 通过软件计算,在某些场合已经无法满足 实际应用的要求;同时随着系统的日益复杂以及各种算法的引入,通过硬 件也难以实现灵活快速的流程控制设计,而软件设计方式的灵活性,一直 是m c u 的一种可靠的执行方案。 4 重庆邮电大学硕士论文 第一章绪论 图1 2 硬件运算单元替代d s p 软件 时至今日,f p g a 的复杂程度早以支持软核处理器的运行,著名 f p g a 生产厂商都推出了自己的软核产品以及配套的软件编译环境;利用 f p g a 实现各种编解码的算法更是层出不穷。显然,利用f p g a 完成的数 据处理单元比d s p 具有更加优越的性能,而在软件环境下的设计也比利 用h d l 设计控制单元具有更高的效率和灵活性。因为只是参与控制调配, 软件执行速度慢的缺点几乎可以忽略,在考虑新的逻辑运算单元拥有比 以往更高的速度之后,相信基于s o p c 的新方案在速度上将毫不逊色于旧 组合。 1 3 论文结构 本论文的重点在于基于片上系统m p e g 4 纹理解码单元的实现,论文 结构如下: 第一章绪论,本章提出本论文的研究背景、研究方案,最终作品模 型的设想以及研究重点。 第二章介绍视频编码技术与相关标准,简要的论述了视频编码的理论 基础与分类,包括统计编码、变换编码和预测编码的基础知识,然后论述 m p e g 系列和h 2 6 x 系列视频标准的发展与特点。 第三章m p e g 4 标准概述,包括m p e g 4 标准、终端体系结构、解码 流程等的介绍。 第四章变长解码的设计,介绍了变长码的特征,将解m p e g 4 变长码 的过程分割成多个模块逐一实现并最终合并,通过波形验证。 第五章逆离散余弦变换,介绍了常用的逆离散余弦变换算法,根据 5 重庆邮电大学硕士论文第一章绪论 a v a l o n 总线数据传输的特点,充分利用传输宽度对硬件模块加以设计并验 证。然后利用s o p cb u i l d e r 的i p 核定制功能1 1 将其作为组件添加到n i o s 系统中。 第六章总结,回顾了文中已经完成的任务,阐述了在设计过程中的感 想与收获,最后给出未来研究的方向。 6 重庆邮电大学硕士论文 第二章视频编码相关标准 第二章视频编码相关标准 多媒体信息在网络环境中传播,信息的加密、抗干扰能力以及是否可 中继再生等特性就显得尤为重要,信息的数字化可以较好的解决这一问题。 然而,数字化对存储设备、通信网络的传输能力和数据处理能力也提出了 更高的要求。因此研究高效的多媒体数据压缩编码方法,以压缩的形式存 储和传输这些数据具有特别重要的意义本章首先讨论视频编码基础,着 重讨论了统计编码、变换编码和预测编码等,然后简要论述m p e g 系列和 h 2 6 x 系列视频编码标准的发展与特点。 2 1 视频编码基础 视频数据压缩的基础在于其本身存在许多冗余信息,如客观冗余性( 统 计冗余) 、主观冗余性( 视觉冗余) 和其它冗余等。其中客观冗余性包括空间 冗余、时间冗余和信息熵冗余等。空间冗余是指图像序列在帧内相邻像素 间的高度相关性;时间冗余性指图像序列相邻帧间的高度相关性。主观冗 余性指人眼在感知能力上的局限性,如人眼对不同色度、不同频率和不同 方向的敏感度不相同等。其它冗余包括结构冗余和知识冗余等。为取得好 的压缩效果,人们针对不同冗余的特性,分别采取了不同的技术和方法来 去除冗余。例如,可以通过空间变换技术去除空间冗余;通过运动补偿技 术去除时间冗余:通过感知加权技术去除主观冗余等。 纵览视频编码的发展历程,可将视频编码技术分为经典方法和现代方 法。其中经典方法是以香农信息论为理论基础,通过假设视频信息是平稳 的随机场,采用预测、变换和运动补偿等方法进行。这类方法未考虑信息 接受者的主观特性、时间本身的具体含义、重要程度以及引起的后果等, 因此经典方法只能去除数据冗余 2 0 世纪8 0 年代后期,伴随着视频编码相关学科及新兴学科的迅速发 展成熟,新的数据压缩技术不断诞生并日益成熟,其编码思想由基于像素 和像素块转变为基于内容。现代方法突破了经典视频编码方法所依据的信 源编码理论的框架,它充分考虑了人类视觉系统的生理和心理特性,并结 合了对图像内容的理解。在相同压缩条件下,现代方法较之采用经典方法 处理后的重建图像,在主观质量方面有了显著改进。下图为主要的视频编 码算法分类。 7 重庆邮电大学硕士论文 第二章视频编码相关标准 图2 1 视频编码算法分类 根据信息论原理,数据压缩的理论极限是信息熵。如果要求在编码过 程中不丢失信息量,则要求保存信息熵,这种信息保持编码称为熵编码。 熵编码是无失真的数据压缩,用这种编码结果经解码后可无失真的恢复出 原图像。当考虑到人眼对失真不易察觉的生理特征时,有限图像编码不严 格要求熵保存,信息可允许部分损失以换取高的数据压缩比,这种编码是 有失真的数据压缩。在m p e g 4 中,使用了两种重要的熵编码,即h u f f m a n 编码和游程编码。h u f f m a n 编码的理论依据是变字长编码在变字长编码 中,编码器的编码输出码字的长度不等按编码输入信息符号出现的统计 概率,对出现概率大的信息符号,赋以短字长的输出码字;对于出现概率 小的信息符号,赋以长字长的输出码字可以证明,h u f f m a n 编码输出的 码字的平均码长最短,与信源熵最接近。游程编码是利用空间冗余度压缩 图像的方法,它以图像的统计特性为基础,是一种无失真压缩编码方式。 它采用更紧密的序列来代替拥有相同字节的序列,从而实现压缩。最常见 的一种情形是,当采用量化后出现大量零系数的情形,利用游程编码来表 示连续零码,可降低表示零码所用的数据量。 变换编码是通过信号变换来消除图像数据空间相关性的一种有效方 法,它将空间域相关的像素通过变换映射到另一个正交矢量空间,使变换 后的系数之间的相关性降低。在选取均方差准则下,k l 变换是信号处理 中的最佳正交变换。k l 变换可以获得最好的能量压缩效果,但由于k _ l 变换计算困难,且没有快速算法可循,所以在实际应用中很少被采用。 相比之下,离散余弦变换( d c t ) 是一种十分有效的变换编码,其变 换效果非常接近k l 变换,而且其实现方案有很多因此,d c t 变换及其 重庆邮电大学硕士论文 第二章视频编码相关标准 逆变换i d c t 被广泛的应用于j p e g 、h 2 6 1 2 6 3 、m p e g 1 2 4 等众多标准 中。由于d c t i d c t 的运算量较大,因此d c t i d c t 的性能成为影响视频 压缩效果的重要因素。尤其是在实时处理领域,d c t i d c t 的处理速度更 为重要。由于d c t i d c t 应用的普遍性,这使得其在不同应用中产生了多 种不同的结构。例如,在速度要求相对较低的应用中,有采用基于多乘法 器的并行结构,也有采用平行流水线结构的通用d s p 设计方案;而在实时 性要求较高的应用中,最常采用的是基于分布结构的查找表结构。 预测编码可以在一幅图像内进行,也可以在多幅图像之间进行预测 编码实际上是基于图像数据的空间和时间冗余特性,用相邻的已知像素或 图像块来预测当前像素或图像块的值,然后再对预测误差进行量化和编码, 这些相邻像素或图像块可以是位于同一行的,也可以是前几行或前几帧的, 相应的预测编码分别称为帧内预测和帧间预测。 帧内预测编码一般采用像素预测形式的d p c m ,其优点是算法简单, 易于硬件实现。缺点是对信道噪声及误码很敏感,会产生误码扩散,使图 像质量大大下降。帧内d p c m 的编码压缩比很低,很少独立使用,一般要 结合其它编码方法。帧间预测编码主要利用视频序列相邻帧间的相关性, 即消除图像数据的时间冗余来达到压缩的目的,可获得比帧内预测编码高 得多的压缩比。帧间预测编码通常是针对图像块进行的,主要方法有帧重 复法、帧内插法、运动补偿法、自适应交替帧内帧间编码法等。其中运动 补偿预测编码效果最好,已经被各种图像视频编码标准采用【2 】。 运动补偿预测编码可以利用视频序列中两帧之间的瞬时冗余,这种技 术适用于所有的帧间编码方法。活动图像的帧与帧之间不仅存在基于像素 的线性相关性,例如图像背景不变,仅是前景改变等,而且还在宏观上存 在着很大的运动相关性,即后一帧图像总是可通过前一帧图像的平移、缩 放、旋转等各种运动得到,这种相关性称为时域相关性。运动补偿的耳的 就是尽可能去除这种时域相关性,它是一种运用信息以及像素位移向量进 行图像高效编码的方法。 2 2 常见视频标准 伴随着视频技术的发展,视频编码相关标准的制定也日臻完善。目前, 国际视频编码标准主要由国际电信联盟的电信标准部( i t u t ) 、国际标准化 组织o s o ) 和国际电工委员会( i e c ) 来开发。 9 重庆邮电大学硕士论文第二章视频编码相关标准 2 2 1m p e g 系列标准 m p e g 是运动图像专家组的简称,全称是i s o i e cj t c l s c 2 9w g ll , 即国际标准化组织和国际电工委员会第一联合技术组第2 9 分委会第l l 工 作组,该工作组主要负责数字视频、音频和其它媒体的压缩、解压缩、处 理和表示等国际标准的制定工作。目前该组织已发布的m p e g 系列标准有 m p e g 1 、m p e g 2 、m p e g 4 、m p e g 7 和m p e g 2l 等。 m p e g 1 标准即i s o i e c1 1 1 7 2 ,该标准于1 9 9 3 年8 月公布,它由系 统、视频、音频、一致性测试、软件模拟等五个部分组成。m p e g 1 是为 工业级标准而设计的,编码速率最高可达4 5 m b p s ,被广泛应用于多媒体 和v h s 质量的广播电视、视频点播、网络教育等领域。 m p e g 2 标准即i s o i e c1 3 8 18 ,它是运动图像及其伴音的通用编码标 准。m p e g 2 制定于1 9 9 4 年,其设计目标是高级工业标准的图像质量以及 更高的传输率。m p e g 2 标准由9 部分组成,即系统、视频、音频、一致 性测试、软件、数字存储媒体命令与控制、多通道音频编码、1 0 比特视频 抽样编码、系统解码实时扩展接口等。m p e g 2 所能提供的传输率在 3 1 0 m b p s 之间,并提供广播级视像和c d 级音质,目前它被广泛应用在数 字电视机顶盒和d v d 等产品中 m p e g 4 标准即i s o i e c1 4 4 9 6 ,其第一版于1 9 9 9 年2 月公布,第二 版于同年1 2 月公布,并于2 0 0 0 年正式成为国际标准m p e g 4 的制定初 衷是针对视频会议、可视电话等超低比特率编码,但最后制定的m p e g 4 则将目标确定为支持多种多媒体应用,主要侧重于对多媒体信息内容的访 问,并可根据不同应用的要求现场配置解码器。这意味着需要将基于内容 的检索和编码结合起来考虑,在压缩数据中应有描述视频内容的信息,从 而使对多媒体信息内容的访问直接针对压缩数据进行,即基于内容的压缩。 目前,m p e g 4 已经广泛应用于因特网、无限传输与广播、卫星传输与直 播、数字电视、移动多媒体通信、交互式多媒体和低码率高效率的高质量 a v 服务等领域。 m p e g 7 标准是m p e g 组织为支持对多媒体信息基于内容的高效快速 检索而提出的。其正式名称为多媒体内容描述接口。m p e g 7 制定的目的 是为各种类型的多媒体信息规定一种标准化的描述方式,并且这种描述方 式与多媒体信息内容本身相结合,共同支持对用户感兴趣信息的快速而有 效的检索。m p e g 7 的典型应用场合包括数字化图书馆、多媒体索引服务、 1 0 重庆邮电大学硕士论文第二章视频编码相关标准 广播节目选择和多媒体编辑等。 m p e g 2 1 即多媒体框架标准,它不是一个单纯的视音频编码标准,它 的制定目的是建立一个交互式多媒体应用框架,将不同的协议、标准、技 术有机的融合,形成一个关键技术的集成环境,以实现对全球数字媒体资 源的透明及增强管理。m p e g 2 1 的最终目标是要为多媒体信息的用户提供 透明有效的电子交易和使用环境,它将在未来的电子商务活动中发挥重要 作用。 总体来说,m p e g 有三方面的优势,首先它是作为一个国际标准来制 定的,因此具有良好的兼容性,其次它能够提供高效的压缩,在保证高压 缩比的同时,m p e g 4 编码对数据损失很小。 2 2 2h 2 6 x 系列标准 h 2 6 x 系列标准是由i t u t 发布的视频编解码标准,主要包括h 2 6 1 、 h 2 6 2 、h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + 、h 2 6 4 等【3 1 。 h 2 6 1 是第一个广泛投入应用的数字视频编码标准,又称为p 6 4 , 其中p 是从l 至3 0 的可变参数。当p 取值较小时,只能传送清晰度较低 的图像,适用于电视电话;当p 取值较大时,可以传输清晰度较好的会议 电视图像h 2 6 l 最初是针对在i s d n 上实现可视电话和视频会议而设计 的,它是混合编码框架的雏形,其视频压缩算法的核心是运动估值预测和 d c t 编码。h 2 6 1 的许多技术,诸如视频数据格式、运动估值与补偿、d c t 变换、量化和熵编码技术等,后来都被m p e g 1 和m p e g 2 所借鉴和采用。 h 2 6 3 是为低码流通信而设计的,但实际上这个标准可用于很宽的码 流范围。h 2 6 3 的编码算法与h 2 6 1 一样,但做了一些改善,以提高性能 和纠错能力。在h 2 6 3 标准中,运动补偿采用半像素精度,同时采用了无 限制的运动向量及基于语法的算数编码,这些新技术的应用使h 2 6 3 标准 在低码率下能够提供比h 2 6 1 更好的图像效果。 h 2 6 3 + 是h 2 6 3 的改进版,它在保证h 2 6 3 标准的核心句法和语义不 变的基础上,增加了1 2 个新的可协商模式和其它特征,进一步提高了压 缩效率或某方面的功能。另一个重要的改进是可扩展性,它允许多显示率、 多速率及多分辨率,增强了视频信息在易误码、易丢包的异构网络环境下 的传输 h 2 6 3 + + 是在h 2 6 3 + 的基础上又增加了3 个选项,主要是为了增强码 流在恶劣信道上的抗误码性能,同时也增强了编码的效率。 重庆邮电大学硕士论文第二章视频编码相关标准 h 2 6 4 同时也是m p e g 4 的第十部分,它采用d p c m 加变换编码的混 合编码模式,其采用了简洁的设计,不用众多的选项,可以获得比h 2 6 3 好得多的压缩性能。h 2 6 4 应用目标范围较宽,满足不同速率、不同分辨 率及不同传输或存储场合的需求。在技术上,h 2 6 4 在帧间编码上采用了 可变块大小的运动补偿预测技术:在帧内编码上采用了多方向的空间预测 技术;同时采用环内滤波器去除块效应;此外,h 2 6 4 还应用了改进的运 动向量预测编码、更高效的熵编码器、基于率失真的编码优化技术等,这 些措施使h 2 6 4 具有极高的编码效率,在相同的重建图像质量下,能够 比h 2 6 3 节约5 0 左右的码率。正因为如此,经过h 2 6 4 压缩的视频数据, 在网络传输过程中所需要的带宽更少,也更加经济。 1 2 重庆邮电大学硕士论文 第三章m p e g - 4 标准 第三章m p e g 4 标准 m p e g 4 是第一个支持交互操作的视频标准,它在集成m p e g 1 和 m p e g 2 许多技术的同时改进了第一代编码方案的不足,充分考虑了现实 世界的复杂性和多样性。本章讲述m p e g 4 标准的特性,包括m p e g 4 码 流的特点以及如何从码流中恢复出视频对象川。 3 1m p e g 4 系统 m p e g 4 系统流中指定了根据编码的视听信息和场景描述信息来产生 交互方式的方法,这样的实体终端能够复合发送并接收和显示经过编码的 视听场景,为了使之适应不同的应用场合以及传输条件,m p e g 4 将终端 根据功能划分为传输层、同步层和压缩层。 对象场景视听对象i 上载流 描述符描述信息 数据 i 信息 压缩层 丰+牛+ + 牛 lll 基棚 基奉燃口 歪目匿日舀日 毽日巨自匿目 1h 同步层( s l ) jljljljlj ljt 压 口 口j 歹。孟。l 同步眺 d m i f 接口 t 多蹈分解 多路分解 ii 多蹭复苗l t,0 , f i p e s )( r 伊) i m p e g 2u d p a a l 2h 2 2 3d a b 传输层 a 1 1 p s t nm u x t sl p 37:多路复合码流 “ 传输存储媒质 图3 1mpeg 4 终端体系结构 图3 1 是对满足m p e g 4 标准的终端行为的抽象描述,是一种解码器 1 3 互 交 户 栅d 一不 显 重庆邮电大学硕士论文 第三章m p e g - 4 标准 模型。其中,传输层是对已经存在的各种传输协议的一般描述,这些协议 用来传输和接收符合m p e g 4 标准的视听内容。同步层将包含内容信息的 基本码流数据与同步信息封装在一起,组成同步数据包流,交由传输层处 理;或是从传输层接收同步数据包,从中提取同步数据,为后续解码做准 备。压缩层将来自同步层的数据解码,经复合成为最后的视听对象,该层包 括对象描述框架、场景描述码流、视听码流以及上载码流等对象。 3 2m p e g 4 视频流 m p e g 4 视频流中包含视频数据、静态纹理数据、2 d 网格数据和人脸 活动参数数据等众多数据【5 1 这些结构化数据称为对象,对象和它们的属 性按分层形式组织,以支持码流可扩展性和对象可扩展性。这些层中的一 层称为基本层,它可以单独解码:其它层称为增强层,它们只能同基本层 和较低的增强层一起解码。 视觉对象序列 v o s lv o s 2 v o sn ,1 l 视觉对象 v 0 1 v 0 2 、- - 夕、- 视频对象层 lv 。l ,l v o li 2 n l i l , 厂、 | i g o p 视频对象平面组 g o p ll 2 n l | 夕 r飞 视频对象平面i 弩,i i v o pk llv o p ,| l v o pk l 图3 2m p e g 4 视频沉层次结构 在图3 2 中,v o s 指视频对象序列,它是视频流的最高语法结构,代 表了一个场景,一个完整的m p e g 4 场景包括2 d 、3 d 自然景物或合成景 物和它们的增强层【5 1 。 v o 指视觉对象,它是场景中景物的抽象描述,代表画面中任何有意 义的实体,如人、物体、背景等。m p e g 4 的场景可由一个或多个视觉对 1 4 重庆邮电大学硕士论文第三章m p e g - 4 标准 象组成,每个视觉对象的形状、运动和纹理用其相关的时间和空间信息给 出。因此,视觉对象是有生命周期的,它由时间上连续的许多帧构成。 v o l 指视频对象层,属于同一个视频对象的形状、运动和纹理被编码 成单独的结构,成为视频对象层。视频对象层的概念可以实现伸缩性编码。 对同一个视频对象,可以用不同的空间或时间分辨率编码。我们可以从基 本层开始,用增加一些增强层的方法。以分层的方式重建视频。 g o v 指视频对象平面组,它是视频对象平面的组合。g o v 在比特流 中提供相互独立的视频对象平面点编码,在比特流中可以随机访问这些点, 它是可选的 v o p 指视频对象平面。如果把输入视频序列的每一帧分割成若干任意 形状的图形区域,每个区域对应于一个特定的物理对象,这个区域就是视 频对象平面。视频对象平面既有空间的概念也有时间的概念。从另一个角 度看,视频对象平面是视频对象在某一时刻的采样因此,属于场景中同 一个物理对象的连续的视频对象平面就代表了一个视频对象。从编码的角 度看,视频对象实际上是由一组普通实体的任意形状和位置的视频对象平 面序列组成的。视频对象平面可以相互独立编码,也可以利用运动补偿相 关编码。传统的帧可以用视频对象平面中矩形形状表示在一般情况下, 视频对象平面包括视频对象经过抽样、编码后的数据,它包括运动参数、 形状信息和纹理数据,这些数据采用宏块编码。视频对象平面也可用于对 s p r i t e 的编码。s p r i t e 是一个比显示视频大的视频对象,在一段时间内保持 不变,它用于表示大的,静止的区域v o p 有不同的类型,包括i - v o p 、 b v o p 和p v o p 。其中i 帧为独立编码帧,它的重建不参考其它帧;p 帧 为前向预测帧,参考之前解码的i 帧或者p 帧;而b 帧在参考之前的i 帧 的同时,也会参考之后的p 帧,为双向预测,且本身不作为参考帧。 图3 3 帧类型及相互关系 1 5 重庆邮电大学硕士论文 第三章m p e g - 4 标准 m b 指宏块,是视频帧的基本组成部分一个宏块包含一个1 6x1 6 的亮 度块( y ) 和两个8 8 的色度块( c r , c b ) ,亮度块又分为4 个8 8 4 , 亮度块, 这些块是执行压缩编码时的基本单位。m p e g 对于亮度与色差取样区块定 义了4 :4 :4 ,4 :2 :2 和4 :2 :0 三种模式,m p e g 4 取样模式规定为y u v4 :2 :0 格式宏块头包含宏块类型的信息、编码块模式、编码水平和垂直的运动 矢量。宏块内亮度色度块结构如下图所示: y 图3 4 亮度色度块结构 b l o c k 即块层,它既可以描述未编码的源数据和解码后的重建数据, 又可以描述d c t 系数,还可以指编码的数据元素。在针对图像进行操作 的时候,这些块通常都取8x8 大小的矩阵。 3 3m p e g 4 解码 图3 5 系统解码器模型 1 6 团臼雠团锄 撒田 畸 燃田 重庆邮电大学硕士论文 第三章m p e g - 4 标准 如图3 5 所示,系统解码器模型包括解复用器、解码缓冲区、解码器、 复合存储区以及最终的合成器。基本码流数据被划分为多个访
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026-2027学年上学期单元测试九年级地理易错题卷(高清版)
- 2025高处作业高处作业安全仿真测试及答案
- 2025管理会计师预算管理全科综合及答案
- 2025播音主持资格播音主持基础真题解析训练及答案
- 化工装置防雷检测实施方案
- 2026年《食品标准与法规》期末题库(新版题)
- 食品研发与质量监管员产品质量提升绩效考核表
- 内容创新与执行能力考核表
- 通信行业网络工程师网络维护绩效评估指标表
- 供应商评标结果公告4篇
- (一模)嘉兴市2026-2027学年第一学期高三教学质量检测语文试卷(含答案)
- 2026中国洗衣干衣行业市场现状需求分析投资布局发展策略研究文献
- 2027年湖北交通投资集团有限公司秋季校园招聘131人笔试备考题库及答案解析
- 2026山东青岛水务集团有限公司招聘笔试历年参考题库附带答案详解
- 环境应急预案备案依据(3篇)
- 2026年江西省高考物理试卷真题(含答案及解析)
- 2026年党支部基层总结报告
- 特香型白酒的讲解
- 五年级上册《白鹭》课件
- 中国电信理工综合类笔试题库
- 2018 机械通风冷却塔 第1部分:中小型开式冷却塔
评论
0/150
提交评论