（信息与通信工程专业论文）h264编码器预测算法优化研究.pdf

摘要 随着通信和因特网的发展，视频压缩技术已经成为通信和消费视频信息的一个重要部 分。如何以尽量低的码率高保真的传输原始数据，成为人们研究的热点。经过1 一几年的努力， 国际标准化组织( i s o ) 和国际电信联盟( i t u ) 相继制定了一系列视频压缩编码国际标准， 极大地推动了视频压缩技术的发展。在继一系列视频标准，如h 2 6 1 ，m p e g 1 ，m p e g 2 ， h 2 6 3 m p e g 4 之后，1 t u t 和i s o i e c 共同建立的联合视频小组( j v t ) 推出了新。代视 频压缩编码国际标准h 2 6 4 。由丁h2 6 4 采用r 许多新技术，h2 6 4 a v c 编解码器的计算复 杂度是其它视频压缩标准的几倍。从而使基于嵌入式处理器的实时编码器实现面临巨大的挑 战，迫切需要提出速度更快的优化算法减少巨大的计算复杂度。本文主要从实时视频应用的 角度，对h 2 6 4 a v c 编码过程中的模式预测、差值、滤波以及s a d i s a t d 等方面的优化开 展了较深入的研究。 首先介绍了视频压缩编码的基础理论及国际标准的发展历史，重点对h2 6 4 所采用的新 编码技术进行了介绍，从空间和时间两方面给出了h 2 6 4 编码器的复杂度分析。在此基础上 针对耗时模块帧问预测的快速算法进行了研究，提出了种基于宏块间相关性的模式预测算 法。该算法考虑了自然视频序列的内容在时间持续性和空问同质性，大大减少了搜索的模式。 然后从硬件角度分析了h2 6 4 编码器在实时应用中存在的矛盾，针对普遍的硬件特点， 研究了适合嵌入式处理器存储结构的插值和滤波算法，并在此基础上结合d m a 提i 1 5j - 一种 高敬的数据策略，降低了9 3 1 的存储开销，减少3 1 8 的时钟刷期数。最后，分别以a d s p b f 5 3 3 ( 简称b f 5 3 3 ) 和m d 3 2 芯片为平台，针对不同的指令特点，对耗时模块s a d 和s a t d 进行了汇编级的优化。 关键词：1 1 2 6 4 a v c ，编码器，预测算法，优化 w i t lt h ed e v e l o p m e n to f t h ec o j m n u n i c a t i o na n dc o m p u t e r , v i d e oc o m p r e s s i o nt e c h n o l o g i e s h a v eb e c o m ea l ls i g n i f i c a n tp a r to f c o m m u n i c a t ea n dc o n s u m ev i s u a li n f o r m a t i o n i th a sb e e na l l a c t i v er e s e a r c ha r e at h a th o wt oc o n v e ys o u r c ed a t aw i t ht h eh i g h e s tf i d e l i t yp o s s i b l eu s i n gt h e 1 0 w e s tb i tr a t e o v e tt h el a s to n ea n dah a l f d e c a d e s as e r i e so f i n t e m a t i o n a ls t a n d a r d so f v i d e o c o m p r e s s i o nc o d i n gh a v eb e e nd e v e l o p e db yi n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ( i s o ) a n d i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o no t u ) ，w h i c hh a v eg r e a t l yp r o m o t e dt h ea p p l i c a t i o no f t h e v i d e oc o d i n gt e c h n o l o g y t h en e w e s ti n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r dr e c o m m e n d a t i o nh 2 6 4 o f l t u - ta l s ok n o w na si n t e r n a t i o n a ls t a n d a r d1 4 4 9 6 1 0o rm p e g - 4p a r t1 0 a d v a n c e dv i d e o c o d i n g ( a v c ) o f i s o i e c i s t h e l a t e s ts t a n d a r d i n f ls e q u e n c e o f t h e v i d e oc o d i n gs t a n d a r d s h 2 6 1 ， m p e g - l ，m p e g - 2 ，h 2 6 3 ，m p e g - 4 w i t ht h e s en e wt o o l s ，v i d e oc o m p r e s s i o ni nh 2 6 4 a v cc o d e ci ss e v e r a lt i m e st h em o s t c o m p u t a t i o n a l l yi n t e n s i v et h a no t h e re x i s t i n gs t a n d a r d s ，t h er e a l - t i m ev i d e oc o d e cb a s e do n e m b e d d e dp r o c e s s o rh a v et or e d u c et h ec o m p l e x i t ya n dd e m a n dm o r ee f f i c i e n ta l g o r i t h m s s ot h e m a i ne n d e a v o ro f t h i sw o r ki st oa c h i e v em a x i m a lv i d e oq u a l i t ya n dr e a lt i m ev i d e op r o c e s s i n g s p e e dt h r o u g hs t u d y i n go nt h em o t i o ne s t i m a t i o n ，i n t e r p o l a t i o n ，d e b l o c k i n gf i l t e ra n ds a d s a t d i nt h i st h e s i s ，f i r s t ，a ni n 仃o d u c e do ft h ev i d e oc o d i n gt h e o r ya n di n t e r n a t i o n a ls t a n d a r d si s g i v e n ，t h i sw o r k i sf o c u s e do na n a l y z i n gt h en e wt e c h n i c a l d e v e l o p m e n t sa d o p t e di n h 2 6 4 a v cc o d i n gf e a t u r e sa d o p t e db yh 2 6 4a n ds p a t i a la n dt e m p o r a lc o m p l e x i t y s e c o n d ，a st h em o s te x p e n s i v em o d u l ei nh 2 6 4 a v cc o d i n g , m o t i o ne s t i m a t i o ni sa n a l y z e d a ni m p r o v e da l g o r i t h mo fm o d ed e c i s i o ni nm o t i o ne s t i m a t i o ni sp r o p o s e dw i t ht h ec o r r e l a t i o no f m a c r o b l o c k s i tm a k e su s eo ft h es p a t i a lh o m o g e n e i t ya n dt h et e m p o r a ls t a t i o n a r i t yc h a r a c t e r i s t i c s o f v i d e oo b j e c t s t h u so n l yas m a l ln u m b e ro f i n t e r m o d e sa r es e l e c t e di nt h ei n t e rp r e d i c t i o n t h i r d ，f r o mt h ep o i n to fv i e wo fh a r d w a r ea p p l i c a t i o n ，a na n a l y s i so fh 2 6 4e n c o d e ri s p r e s e n t e da ni m p r o v e da l g o r i t h mo fm b - l e v e l ( m a c r o b l o c k l e v e l ) i n t e r p o l a t i o na n dd e b l o c k i n g f i l t e ri sp r o p o s e df o rh 2 6 4 a v ce n c o d e ra d a p t e dt ot h em e m o r ys t r u c t u r eo fh a r d w a r e i no r d e r t oi m p l e m e n tt h ee n c o d e ro na ne m b e d d e dp r o c e s s o r , a ne f f i c i e n tm e m o r ym a n a g e m e n ts c h e m ei s a l s op r e s e n t e d e x p e r i m e n t a lr e s u l t ss h o wo u ra p p r o a c hc a ng r e a t l yr e d u c et h es i z eo fm e m o r y ( 9 3 1 ) a n dc y c l e s ( 31 8 ) l a s t ，a no p t i m i z a t i o no fs d a s a t di sp r o c e e d i n gw i t ht h ei n s t r u c t i o nc h a r a c t e r i s t i c so f a d s pb f 5 3 3 ( b f 5 3 3 ) a n dm d 3 2r e s p e c t i v e l y k e yw o r d s ：h 2 6 4 a v c ，e n e o d e r ，p r e d i c t i o na l g o r i t h m ，o p t i m i z a t i o n 浙江大学硕士学位论文 1 1 引言 第一章绪论 数字视频技术在通信和广播领域获得了日益广泛的应用，特别是随着 n t e m e t 和运动通 信技术的迅猛发展，视频信息和多媒体信息在i n t e m e t 和移动网络中的处理和传输技术成为 了当前信息研究中的重点。视频信息具有直观性、确切性、高效性、广泛性等特点，但同时 视频信息的信息量太大，要使视频得到有效的应用，必须首先解决视频压缩编码问题，其次 解决压缩后视频质量保证的问题。为了在保证一定的视频质量基础上得到更大的压缩比， i s o 和i t u t 等国际标准化组织陆续颁布了m p e g 1 t ”、m p e g 2 t ”、m p e g 4 t m 、h 2 6 1 1 4 1 、 h 2 6 3 1 5 1 和h 2 6 4 6 】等接近十个视频编码国际标准，大大推动了视频通信和数字电视广播这 两大领域的发展。 2 0 0 3 年3 月，i t u t i s o 正式公布了h 2 6 4 视频压缩标准，由于其更加出色的压缩性能， 被人们称为新一代视频编码标准。本章首先介绍了视频编码技术的基本原理，然后介绍了视 频编码国际标准的发展，最后提出了本文的主要工作。 1 2 视频编码技术基本原理 1 2 1 视频编码技术的分类 传统的压缩编码是建立在香农( s h a n n o n ) 信息论基础上的【”，它以经典的集合论为基 础，用统计概率模型来描述信源，但它未考虑信息接受者的主观特性及事件本身的具体含义、 熏要程度和引起的后果。因此，压缩编码的发展历程实际上是以香农信息论为出发点，+ 个 不断完善的过程。从信息论观点来看，视频作为一个信源，描述信源的数据是信息量( 信源 熵) 和信息冗余鼍之和。数据压缩实质上是减少冗余量，冗余鼍的减少可以减少数据量而不 减少信源的信息量。 图像信号压缩可以根据两个方而： ( 1 )图像信号中存在大量的冗余度可供压缩，并且这种冗余度在解码以后还可无失 真地恢复。 浙江大学硕士学位论文 ( 2 )利用人的视觉特性，在不被主观视觉察觉的容限内，通过减少信号的精度，以 一定的客观失真换取数据压缩。 图像信号的冗余度存在于结构和统计两方面1 “。图像信号结构上的冗余度表现为很强 的空间( 帧内) 和时间( 帧间) 相关性。大量统计实验证实了电视信号在相邻像素间，相邻 行和相邻帧之间都存在很强的相关性。因此，无需传送每帧图像，而只要传输预测误差信号， 即当前像素值( 样值) 和它的一个预测值间的差分信号。预测值是通过在该像素之前已经传 出的几个相邻像素值预测出来的。由于存在的强相关性，这种预测在大部分时间内是很准的。 即预测误差很小，预测误差高度集中地分布在零值附近。对于这种极不均匀的概率分布而言， 采用变字长编码压缩码率极为有利。对出现概率高的预测误差信号( o 及小误差) 用短码， 对出现概率低的大的预测误差用长码，则总的平均码长要比固定码长编码短很多。通常将这 种编码方法称为统计编码或熵编码。 充分利用人眼的视觉特点是实现码率压缩的又一途径i ”。人对图像的细节分辨率，运动 分辨率和对比度分辨率的要求都有一定的限度。对于图像信号在空间、时间、以及在幅度方 面进行数字化的精细程度只要满足了这个限度即可。同时人眼对图像的细节，运动和对比度 三方面的分辨能力是相互制约的。即在人观察景物时，并非对这三方面同时具备最高的分辨 能力。当人眼对图像的某种分辨率要求很高时，对其他的分辨率则降低了要求。利用这一特 点，进行图像数字化时可以采用白适应技术，根据图像的某一局部的特点来决定对他的取样 频率和晕化精度，尽量做到与人眼在观看这种图像局部时所反映的视觉特点相适配。因此， 可以在不损伤图像主观质量的条件f 压缩码率。 除此之外，数据压缩编码还有许多不同的分类方式。 按信源的统计特性可分为预测编码、变换编码、矢量量化编码【1 2 j 、子带一小波编 码1 1 3 】、神经网络编码方法【1 4 l 等；按照人眼的视觉特性可分为基于方向滤波的图像编码1 1 ”、 基于图像轮廓一纹理的编码方法州等：按图像传递的景物特性可分为分形编码”1 、基于内 容的编码方法等。这里对其中常用的编码方法进行介绍。 1 2 2 预测编码 预测法【”1 是种简单和实用的视频压缩编码方法，乐缩编码后传输的并不是像素本身 的取样值，而是该取样的预测值和实际值之差。这是因为邻近像素之间有很强的相关性，或 者说这些像素值很相似。邻近像素之间发生突变或“很不相似”的概率很小，而且同帧图像 浙江大学硕士学位论文 邻近行之间对应位置的像素之间也有很大的相关性。 1 2 3 变换编码 绝人多数图像都有一个共同的特点：平坦区域和内容缓慢变换区域占据一幅图像的大部 分，而细节区域和内容突变区域则占较小部分。也就是说，图像中直流和低频区占大部分， 而高频区占小部分。如果将空间域的图像变换到频域或所谓的变换域，就会产生相关性很小 的一些变换系数，并对其进行压缩编码，这就是所谓的变换编码i “i 。 1 3 视频压缩系列标准介绍 经过十几年的努力i t u t 和i s o e c 组织已经陆续制定了许多信源编码技术的国际标 准，如m p e g 一1 、m p e g 一2 、m p e g 4 、h 2 6 1 、h 2 6 3 和h 2 6 4 等。这些标准阐明了音频和视 频图像的编码和解码过程，严格规定了声音和图像数据编码后组成比特数据流的句法，并提 供了解码器的测试方法等。这些标准并没有对所有内容都进行严格的规定，尤其是对压缩和 解压缩的算法，这样既保证了解码器能对符合标准的声音数据和图像数据进行正确解码，又 给标准的具体实现留有很人余地。 2 0 0 3 年5 月，i t u t 和1 s o i e c 再次合作，成立j o i n tv i d e ot e a m ( j v t ) ，正式公布了新 一代的视频编码标准h 2 6 4 。国际电信联盟将该系统命名为h 2 6 4 1 a v c ，国际标准化组织和 国际电工委员会将其称为1 4 9 6 1 0 m p e g 4 a v c 。图1 1 显示了视频标准的发展历史【1 9 】。下 节将对两个系列的视频标准进行分别介绍。 i t u t h 2 6 l h2 6 3h 2 6 3 +h 2 6 3 + + s t a n d a r d s j o i n t h 2 6 4 ，m p e g - 4 1 1 1 t ，m p e g h 2 6 纠m p e g 一2 s t a n d a r d s a v c m p e g m p e g s t a n d a r d ss t a n d a r d s m p e g 4 i l-i 1 9 8 41 9 8 61 9 8 81 9 9 01 9 9 21 9 9 4 1 9 9 6 1 9 9 82 0 0 0 2 0 0 22 0 0 4 图11 视频标准发展历史 浙江大学硕士学位论文 邻近行之间对应位置的像素之间也有很大的相关性。 1 2 3 变换编码 绝，人多数图像都有一个共同的特点：甲坦区域和内容缓慢变换区域占据幅图像的大部 分，而细节区域和内容突变区域则占较小部分。也就是说，图像中卣流和低频区占大部分， 向高频区占小部分。如果将空间域的图像变换剑频域或所谓的变换域，就会产生相关性很小 的一些变换系数，并对其进行压缩编码，这就是所谓的变换编码【“i 。 1 3 视频压缩系列标准介绍 经过十几年的努力，1 1 1 j _ t 和i s o ，i e c 组织已经陆续制定，许多信源编码技术的国际标 准，如m p e g 一1 、m p e g 一2 、m p e g 4 、h2 6 1 、h 2 6 3 和h2 6 4 等。这些标准阐明了音频和视 频图像的编码年u 解码过程，严格规定了声音和图像数据编码后组成比特数据流的句法，并提 供r 解码器的测试方法等。这些标准并没有对所有内容都进行严格的规定，尤其是对压缩和 解压缩的算法，这样既保证了解码器能对符台标准的声音数据和图像数据进行正确解硝又 给标准的县体实现留有很人余地。 2 0 0 3 年5 月，i t u t 和1 s o d e c 再次合作，成立j o i n t v i d e o t e a m ( j v 盯，正式公布了新 一代的视频编码标准h 2 6 4 。国际电信联盟将该系统命名为h 2 6 4 t a v c ，国际标准化组织和 国际电工委员会将其称为1 4 9 6 1 0 m p e g 4 a v c 。幽11 显示了视频标准的发展历史【1 9 。下 节将对两个系列的视频标准进行分别介绍。 节将对两个系列的视频标准进行分别介绍。 9 8 41 9 8 6 】9 8 81 9 9 0 j9 9 2 1 9 9 41 9 9 6 】9 9 82 0 0 0 2 0 0 22 0 0 4 圈l l 视频标准发展历史 浙江大学硕士学位论文 1 3 1 肝e g 系列 m p e g ，即运动图像专家组，是国际化标准化组织于1 9 9 8 年成立的工作组。负责开发 电视图像数据和声音数据的编码、解码和它们的同步等标准，称为m p e g 标准，主要用于 视频存储( d v d ) 、视频广。播和流媒体( 如基于i n t e m e t 、d s l 的视频，无线视频) 1 2 0 1 等方 面。目前主要有：m p e g 1 、m p e g - 2 、m p e g 4 等。 1 。3 。1 1m p e g i m p e g i 在1 9 8 9 年7 月开始制定，规定了在数字存储介质中实现对活动图像和声音的 压缩编码，编码码率最高为每秒1 5 兆比特，传输速率为1 5 m b i t s s ，每秒播放3 0 帧。音频 为m p 3 格式，规定了与视频压缩相分离的音频压缩方法，具有c d 音质，质量级别基本与 v h s ( 广播级录像带) 相当。应用m p e g 1 技术主要有v c d 、数字电话网络的视频传输、 非对称数字用户线路( a d s l ) 、视频点播( v o d ) 以及教育网络等。 i ? 31 i2m p e g 一2 m p e g 一2 在1 9 9 1 年7 月开始制定，主要针对标准数字电视和高清晰电视在各种应用下 的压缩方案和系统层的详细规定。m p e g 2 不是m p e g 1 的简单升级，m p e g 一2 在系统层和 传输方面都作了更加详细的规定和进一步的完善。m p e g 2 能够提供广播级的视像和c d 级 的音质。m p e g 一2 的音频编码可提供左右中及两个环绕声道。m p e g 2 的另一个特点是可以 提供一个较广范围的可变压缩比，以适应不同的画面质量、存储容量以及带宽要求。特别适 用于广播级数字电视的编码与传输。同时还规定了多路节目的复用分接方式，兼顾，与a t m 信元的适配问题，被认为是s d t v 和h d t v 的编码标准。表1 1 对m p e g - 1 和m p e g 一2 主 要编码参数进行r 比较。 表i1m p e gl 和m p r g2 典型的编码参数 比较项目一。5 麟雌a 蕊参 标准化日0 州1 9 9 2 年 寰要应用 c d ；r o m ) ；婀数学嘏视，v c d c i f 格u 1 4t v ) ，2 8 8 + 3 6 0 像素 a l 朋g 吐 1 9 9 4 年 数字t v ，d v d lv ，5 7 6 * 7 2 0 像煮 浙江大学硕士学位论文 蘧爨戆黪繁l l 矮麓蔓蠹i 攀攀掰群= ；l 饕：燮| | 4 鬻4 遴醺烈蠹g 纂：i j 位速乖 i5 m b i t s 15 m b i t s l 3 i 3m p e g 一4 m p e g 4 在1 9 9 4 年开始制定，是为视听( a u d i o - v i s u a l ) 数据的编码和交互播放开发的算法 和工具，是一个比特率恒定的多媒体通信标准。m p e g 4 的目标是在异构网络环境下能够高 度可靠地工作，并且具有很强的交互能力。它不仅针对一定比特率下的视频、音频编码，更 加注意多媒体系统的交互性和灵活性。m p e g - 4 引入了对象基表达( o b j e c t - b a s e dr e p r e s e n t a t i o n ) 的概念1 2 1 1 1 2 ”，扩充了编码的数据类型，由自然数据对象扩展到计算机生成的合成数据对象 采用合成对象、自然对象混合编码( s y n t h e t i c n a t u m lh y b r i dc o d i n g ，s n h c ) 算法。在实现交 互功能和重用对象中引入了组合、合成和编排等重要概念。 m p e g 一4 标准由6 个主要部分构成【”1 ： ( 1 )多媒体传送整体框架( d m i et h ed e l i v e r i e sm u l t i m e d i ai n t e g r a t i o nf r a m e w o r k ) d m i f 主要用于解决交互网络中，广播环境下及磁盘存储应用汇总多媒体应用的操作 问题，通过传输多路合成信息来建立客户端和服务端的连接和传输。 ( 2 )数据平面 ( 3 )缓冲管理和实时识别 m p e g 4 定义了一个系统解码模式，描述了一种理想的处理比特流句法语义的解码装 置，它要求特殊的缓冲区和实时模式，通过有效地管理，更好地利用有限的缓冲区空问。 ( 4 )音频编码 m p e g 4 音频部分将音频的合成编码和自然声音的编码相结合，并支持音频对象特征。 ( 5 ) 视频编码 与音频编码类似，m p e g - 4 也支持对自然和合成的视觉对象的编码。台成的视觉对象包 括二维、三维动画和人面部表情动画等。 ( 6 )场景描述 m p e g 4 提供了一系列工具，用于组成场景中的一组对象，并提供一些必要的合成信息 组成场景描述。 与m p e g 1 、m p e g 。2 相比，m p e g 一4 具有下面的优点： 鬻 黼一 辫一 攀禳鬃臻| | ! 繁 惑一一 凳篆| 蒸 攀 黧霉麟 浙江大学硕士学位论文 ( 1 ) 基于内容的交互性 m p e g - 4 提供了基于内容的多媒体数据访问工具，如索引、上传、下载、删除等。用户 可以方便地从多媒体数据库中有选择地提取自己所需的与对象有关的内容，并提供了内容的 操作和位流编辑功能，可应用于交互式家庭购物，淡入淡出的数字化效果等。m p e g 4 提供 了高效的自然或合成的多媒体编码方法。 ( 2 ) 高效的压缩性 m p e g 4 基于更高的编码效率，能够在低带宽的信道上传送视频、音频。同时还能对 同时发生的数据流进行编码，一个场景的多视角或多声道数据流可以高效、同步地合成为最 终数据流。 ( 3 )通用的访问性 m p e g - 4 提供了易出错环境的鲁棒性，来保证其在许多无线和有限网络以及介质中的应 用，此外，还支持基于内容的可分级性即把内容、质量、复杂性分成许多小块来满足不同 用户的不用需求，支持具有不同带宽，不同存储容量的传输信道和接收端。 1 3 2h 2 6 x 系列 i t u t 的标准称之为建议，并命名为h 2 6 x 系列，比如h 2 6 1 、h 2 6 3 和h 2 6 4 等。h 2 6 x 系列主要用于实时视频通信，比如视频会议、可视电话等。 j 3 2 7 jh 2 6 l h 2 6 l 又称为p 6 4 ，其中p 为6 4 k b s 的取值范围，是1 到3 0 的可变参数，它最初是针 对在i s d n 上实现电信会议应用特别是面对面的可视电话和视频会议而设计的。实际的编码 算法类似于m p e g 算法但不能与后者兼容。为了优化带宽占用量，h 2 6 1 引进了图像质量 与运动幅度之间的平衡折中机制，也就是说，剧烈运动的图像比相对静止的图像质量要差。 因此这种方法是属r 恒定码流可变质量编码。另外h 2 6 1 还定义了视频编码算法，如帧内图 像、帧问误差预测、运动补偿、d c t 、变长编码等技术，它为后来的诸如m p e g - i 、m p e g - 2 及h 2 6 3 等视频压缩标准提供了基础。在此之外，h 2 6 1 还提供了两个重要的特性【2 4 】： ( 1 ) 指定了最大编码延迟为1 5 0 m s ，崮为主要针对双向视频通信应用，超过1 5 0 m s 的 延迟会给用户带来视频失真的印象。 ( 2 ) 能够用廉价的v l s i ( 超人规模集成电路) 实现，以便实现视频会议和可视电话设 浙江大学硕士学位论文 备的商业化。 l 。3 。2 2h 2 6 3 h 2 6 3 是1 t u t 的一个标准草案，是为低码流通信而设计的。但实际上这个标准可以用 在很宽的码流范围，它在许多应用中被认为可以取代h 2 6 1 。h 2 6 3 是基于运动补偿的d p c m 的混合编码，在运动搜索的基础上进行运动补偿，然后运用d c t 变换和“之”字形扫描游 程编码，得到输出码流。h 2 6 3 在h 2 6 1 建议的基础上，将运动矢量的搜索增加为半像素点 搜索；同时又增加了无限制运动矢量、基于语法的算术编码、高级预测技术和p b 帧编码等 四个高级选项，从而达到了进一步降低速率和提高编码质量的目的。 h 2 6 3 视频编码标准是专为中高质量运动图像压缩所设计的低码率图像压缩标准。与 h 2 6 1 的p 6 4 k 的传输码率相比，h 2 6 3 的码率更低，单位码率可以小于6 4 k ，且支持的原 始图像格式更多，包括了在视频和电视信号中常见的q c i f 、c 1 f 、e d t v 、i t u - r 6 0 1 、i t u - r 7 0 9 等等。h 2 6 3 采用运动视频编码中常见的编码方法，将编码过程分为帧内编码和帧间编码两 个部分。在帧内采用改进的d c t 变换和量化，在帧问采用1 2 像素运动矢量预测技术，使 运动补偿更加精确，量化后使用改进的变长编码表( v l c ) 对量化数据进行熵编码。h 2 6 3 的 编码速度快，其设计编码延时不超过1 5 0 m s ；码率低，在5 1 2 k 乃至3 8 4 k 带宽下仍可得到 相当满意的图像效果，十分适用于需要双向编解码并传输的场合( 如可视电话) 和网络条件不 是很好的场合( 如远程监控) 。图1 2 为h 2 6 3 的视频编解码图。 视 信 图12h 2 6 3 视频编解码器的方框图 流 浙江大学硕士学位论文 h 2 6 3 的编码算法与h 2 6 1 一样，但做了一些改善和改变，以提高性能和纠错能力。h ，2 6 3 标准在低码率下能够提供比h 2 6 1 更好的图像效果，两者的主要区别有2 5 1 ： ( 1 ) h 2 6 3 的运动补偿使用半像素精度，而h 2 6 1 则用全像素精度和循环滤波； ( 2 )数据流层次结构的某些部分在h 2 6 3 中是可选的，使得编解码可以配置成更低 的数据率或更好的纠错能力： ( 3 ) h 2 6 3 包含四个可协商的选项以改善性能； ( 4 ) h 2 6 3 采用无限制的运动向量以及基于语法的算术编码； ( 5 )采用事先预测和与m p e g 中的p b 帧一样的帧预测方法； ( 6 ) h 2 6 3 支持5 种分辨率，即除了支持h 2 6 1 中所支持的q c i f 和c i f 外，还支 持s q c i f 、4 c i f 和1 6 c i f 。( s q c i f 相当于q c i f 一半的分辨率，而4 c i f 和1 6 c i f 分别为 c i f 的4 倍和1 6 倍) 1 9 9 8 年i u t t 推出的h 2 6 3 + 是h 2 6 3 建议的第2 版，它提供了1 2 个新的可协商模式 和其他特征，进一步提高了压缩编码性能。如h 2 6 3 只有5 种视频源格式，h 2 6 3 + 允许使 用更多的源格式，图像时钟频率也有多种选择，拓宽了应用范围；另一重要的改进是可扩展 性，它允许多显示率、多速率及多分辨率增强了视频信息在易误码、易丢包异构网络环境 卜的传输。另外，h 2 6 3 + 对h 2 6 3 中的不受限运动矢量模式进行了改进，加上1 2 个新增的 可选模式，不仅提高了编码性能，而且增强了应用的灵活性。 1 3 3 结论和展望 总的来说，m p e g 系列标准从针对存储媒体的应用发展到适应传输媒体的应用，其视频 编码的摹本框架是和h 2 6 x 一致的，只不过h 2 6 x 致力于高效率的视频编码技术，而m p e g 更侧重系统和框架。具体来说，从h 2 6 1 到h 2 6 2 3 ，m p e g 1 2 4 等都有一个共同的不断追 求的目标，即在尽可能低的码率( 或存储容量) 下获得尽可能好的图像质量，但如何适应不同 信道传输特性的问题也日益显现出来。可以说，h 2 6 1 是视频编码的典范之作，h 2 6 3 是其 发展，但h2 6 3 选项众多，往往令使用者无所适从。m p e g - 4 的“基于对象的编码”部分由于 尚有技术障碍，目前还难以普遍应用。在此基础上发展起来的h 2 6 4 克服了上述弱点，在混 合编码的框架下引人了新的编码方式，提高了编码效率，并大大加强了“网络友好性”。关于 h 2 6 4 的详细内容将在下一章进行介绍。 浙江大学硕士学位论文 1 4 本文主要内容和结构安排 本文主要对h 2 6 4 a v c 编码器的预测算法进行研究，分为两大部分：基于p c 平台提出 了一种改进的模式预测算法，以及针对嵌入式处理器的存储结构特点，对编码器的预测、插 值、滤波等算法进行了优化。对于后者进一步通过分析两款多媒体芯片a d ib f 5 3 3 和m d 3 2 ( 浙江大学信息与通信系统研究所设计的3 2 位r i s c d s p 混合结构的多媒体数字信号处理 器m e d i a d s p 3 2 0 0 ) 的存储结构和指令集特点，对s a d s a i d 耗时模块进行了优化。 全文的结构安排如下： 本文首先介绍了视频编码的基础理论、编码技术以及一系列的视频标准。 第 _ = 章详细介绍了h 2 6 4 所采j = j 的新编码技术，从空间和时间两个方面给出了h 2 6 4 编码器的复杂度分析。 第三章在复杂度分析的基础上，介绍了以往帧间预测的快速算法，针对耗时模块帧间预 测的快速算法进行了研究，基于p c 平台提出了一种改进的模式预钡4 算法。该算法并未对硬 件提出额外的要求，因此稍作修改就可以从p c 平台移植到其他不同的硬件环境。 第四章从硬件角度分析了h 2 6 4 编码器应用中的主要问题，并针对编码器性能和硬件结 构之间矛盾提出了基于宏块的插值算法，以及优化的滤波过程，结合d m a 给出了一种高效 的内存数据调度策略，降低了9 3 1 的存储开销，减少了6 8 2 的时钟周期数。另外分别以 b f 5 3 3 和m d 3 2 芯片为平台，针对不同的指令特点，对耗时模块s a d 和s a t d 进行了算法 和汇编级的优化。在优化过程中给出了一种利用多条m d 3 2 指令实现差值和绝对值计算的 方法，对今后的指令设计具有一定的参考意义。最后从实验结果详细分柝两款芯片在指令结 构上的优缺点，推动了今后面向视频应用的算法与体系结构铷同设计。 9 浙江大学硕士学位论文 第二章h 2 6 4 视频编解码标准所采用技术及复杂度分析 h 2 6 4 也被称为“m p e g - 4v i s u a lp a r t1 0 ”，也就是“m p e g 4 a v c ”，是由i s o i e c 下属的 运动图像专家组m p e g 和i t u 下属的视频编码专家组v c e g 共同成立的联合视频小组j v t 共同制定的一个最新的视频编码标准，实现更高的视频压缩比、高图像质量、良好的网络适 应性等特性，并于2 0 0 3 年3 月被正式确定为国际标准i s ( i n t e r n a t i o n a ls t a n d a r d ) 。 h 2 6 4 标准可分为三档：基本档次( 其简单版本，应用面广) 、主要档次( 采用了多项 提高图像质量和增加压缩比的技术措施，可用于s d t v 、h d t v 和d v d 等) 和扩展档次( 可 用于各种网络的视频流传输) 。h 2 6 4 引入了面向i p 包的编码机制，有利于网络中的分组传 输，支持网络中视频的流媒体铸输。h 2 6 4 具有较强的抗误码特性，可适应丢包率高、干扰 严重的无线信道中的视频传输。h 2 6 4 支持不同网络资源下的分级编码传输，从而获得平稳 的图像质量。h 2 6 4 能适应于不同网络中的视频传输，网络亲和性好。 本章将详细介绍h 2 6 4 a v c 编码器框架、主要技术，并在此基础上从空间和时间两个 方面给出了h 2 6 4 编码器的复杂度分析。 2 1h 2 6 4 编码器框架 在相同的重建图像质最下，h 2 6 4 比h 2 6 3 节约5 0 l g 棚率1 2 ”。囡其更高的压缩 比、更好的i p 和无线网络信道的适应性，在数字视频通信和存储领域得到越来越广泛的应 用。但h 2 6 4 在获得优越性能的同时计算复杂度人人增加，据估计，编码的计算复杂度大约 相当t - h 2 6 3 的3 倍，解码复杂度大约相当于h 2 6 3 的2 倍2 7 - 2 9 。h 2 6 4 编码器基本结构与 h 2 6 1 、h 2 6 3 是类似的，图2 1 是h 2 6 4 的编码器框图。 浙江大学硕士学位论文 7 l jl _ 】 厂叫估计i 【重建帧卜l 孙! 糯剥耻内 上 1 参考帧k _ _ 滤波k 1 f、 一反变换h 反量化卜 2 2h 2 6 4 核心技术 图2 1h 2 6 4 编码器 h 2 6 4 标准的主导思想是与现有的视频编解码标准一致的基于块的混合编码方法 但是它同时采用了大量新技术，使得其视频编码性能远远优于任何其他标准。 2 2 1 分层编码 h 2 6 4 作为新一代视频压缩算法吸收了以往编码方案的优点，在视频压缩性能上得到了 很人的提高。h ，2 6 4 的算法在概念上可以分为两层【”1 ：( v c l ，v i d e oc o d i n gl a y e r ) 包含了代表视频图像内容的核心压缩编码部分的表述；网络抽象层( n a l ，n e t w o r k a b s t r a c t i o nl a y e r ) 负责以网络所要求的特定方式对数据信息进行打包和传输。为了更好地 适应网络传输，h 2 6 4 在视频编码层( v c l ) 和网络适配层( n a l ) 之间进行了概念性分割。 这样的结构能够更好地适应网络数据信息的封装和对信息进行更好的视频流优先级分类控 制。h 2 6 4 的分层编码传输结构如图2 2 所示 浙江大学硕士学位论文 f因 x a l - v c l 接口 i 瞒建鱼l n 型魁 传输层 主 r t 蛋叮p 图2 2h 2 6 4 分层编码结构 在v c l 和n a l 之间定义了基于分组方式的接口，打包和相应的信令属于n a l 的一部 分。这样，高效率编码和网络友好性的任务分别由v c l 和n a l 来完成。v c l 负责高效的 视频内容表述，包括基于块的运动补偿混合编码和一些新特性，它通过时域、空域预测和变 换编码来完成对视频信息的压缩。n a l 负责使用网络传输的分段特性来封装数据。包括组 帧、发送逻辑信道的信令、利用同步定时信息或序列结束信号等，将与网络相关的信息从视 频压缩系统中抽象出来，使网络对于v c l 是透明的。n a l 层的引入大大提高了h 2 6 4 适应 复杂信道的能力，信息传输具有更好的网络友好性。 2 2 2 整数d c t 变换 h 2 6 4 与先前的标准相似，对残差数据采用基于块的变换编码”“。变换编码可以去除原 始图像的空间冗余，使图像能量集中在一小部分系数上，这样可以提高压缩比、增强抗干扰 能力。h 2 6 4 中的d c t 变换和h 2 6 3 中的不同，它采用的变换是基于4 4 块的整数操作而 不是实数运算。h 2 6 4 根据宏块编码的特性采用亮度块直流变换、色度块育流变换与普通著 值变换相结合的方式( 如图2 3 ) 。亮度d c 系数采用4 4 的块矩阵( 标号为一1 ) ，色度d c 系数采用2 2 的矩阵( 标号为1 6 ，1 7 ) ，对其他的残差a c 系数都采用4 4 的块来变换。 浙江大学硕士学位论文 一11 6 1 6 帧内模式1 61 7 图2 3 整数变换 同时，由于变换块大小从8 x 8 变为4 “，h 2 6 4 采用了3 种整数变换( 如图2 4 所示) 1 1 l 1 i21 1 2 l 1 1 11 l l 一22 1 j 一， 图24h2 6 4 的3 种整数变换矩阵 h2 6 4 采用了5 2 个梯状量化系数，量化值的设计使得量化参数q p ( q u a n t i z a t i o n p a r a m e t e r ) 值每增加1 ，量化步长大约增加1 25 。同时，h 2 6 4 将变换中的尺度变换计算 并入量化中进行，通过巧妙的设计用移位代替了除法运算，极大地降低r 运算复杂度。 2 2 3 熵编码 h2 6 4 指定了基于信息量的熵编码来提高编码效率，一种是对所有待编码的符号采用统 一的可变长编码( u v l c ，u n i v e r s a l v l c ) 1 3 2 1 ，另一种是采用基于内容的自适应二进制算术 编码1 3