（信号与信息处理专业论文）h264avc帧间编码算法研究.pdf

摘要 摘要 h 2 6 4 a v c 是i t u t 和i s o 联合推出的视频编码新标准，采用了近几年视 频编码领域的一系列先进技术，以较高的编码效率和网络友好性受到人们的广泛 关注。h 2 6 4 a v c 设计的最初目标是在相同解码质量下，能够提供比m p e g 一4 和 h 2 6 3 高一倍的压缩性能。 为了实现高效压缩，h 2 6 4 a v c 中采用了大量的新技术。包括：帧内预测； 可变块大小的运动补偿；1 4 像素精度的运动估计；多参考帧预测；4 4 整数变 换；上下文自适应二进制算术编码；去方块环路滤波。采用了这些先进的编码技 术后，编码性能和解码质量都获得了很大的提高。 h 2 6 4 a v c 中采用的这些先进编码技术既增加了基本模块的复杂度，也成倍 增加算法的复杂度，这就限制了h 2 6 4 a v c 的应用，尤其是在实时视频通信和一 些嵌入式应用中，所以本文进行了一些改进算法方面的研究。 首先，由于运动估计乃视频编码中计算量最多的地方之一，而传统的快速算 法又不能兼顾搜索速度和搜索精度。本文提出一种基于矢量预测和模式自适应的 快速运动估计算法。针对运动矢量场的中心偏置性和时空相关性，对一些可能性 很大的候选点进行提前终止计算，预测起始点；根据运动类型自适应的选择搜索 策略；对于不同的运动类型，采用3 种不同的搜索策略。对于小运动类型，采用 类似小菱形搜索；对于中等运动类型，采用六边形搜素；对于大运动类型，采用 正方形六边形搜索。实验结果表明，本文算法的搜索精度和搜索速度优于现有的 大多数快速运动估计算法。 其次，基于率失真优化的可变块大小的运动补偿是h 2 6 4 a v c 中另外一个 计算复杂度很高的地方，本文通过实验分析了实际编码中块的划分模式特点，结 合一种基于残差纹理分析的快速块划分算法，通过对s k i p 模式的提前判断和通 过对宏块时域相关性和空域相关性的比较来确定是否选择帧内模式。提出了一种 改进的基于残差纹理分析的快速块划分算法，实验表明，该改进算法在原算法的 基础上减少了一定的计算量，而且对编码效率和图像质量的影响较小。 关键字：h 2 6 4 a v c ，运动估计，视频编码，帧间预测 l a b s t r a c t a b s t r a c t h 2 6 4 ci sn l en e w e s ts t a l l d a r da p p r 0 v e db yn l ei t u - ta 1 1 di s o o r g a n i z a t i o n s ， w l l i c hr e p r e s e i l t san u n 曲e ro fa d v 锄c e si nv i d e oc o d i n gt e c h n o l o g y 锄db e c o m e st l l e n e w e s ti n t e n l a t i o n a lv i d e oc o d i n gs t a n d a r db e c a u s eo f b o mh i g l lc o d i n ge 伍c i e n c ya n d n e 咐o r k 缸e i l d l i n e s s t h em a i ng o a l so ft 1 1 i ss t a n d a r d i z a t i o na r et od e v e l 叩as i m p l e 觚ds 仃a i 曲t f o n a r dv i d e oc o d i n gd e s i 印w i t he n h a i l c e dc o m p r e s s i o np e r f o n n a n c e c 伽1 p a r e dt om p e g - 4a d v a l l c e ds i m p l ep r o f i l e ，u pt 05 0 o f b i t - r a t er e d u c t i o nc a nb e a c h i e v e d s o m en e wt e c l l l l i q u e s ，s u c h 鹊s p a t i a lp r e d i c t i o ni i li l l 觚c o d i n 岛a d a p t i v eb l o c k s i z em o t i o nc o m p e n s a t i o nw i ms m a l lb l o c ks i z e s ，( a n 小p e la c 饥r a t em o t i o n c 0 ：m p e n s a t i o n ，4 4i n t e g e rn - 觚s f o n n a t i o n ，m u l t i p l e sr e f 相1 c ep i c t u l e sp r e d i c t i o na i l d c o n t e x ta d a p t i v eb i n a r y 撕1 i n e t i cc 0 d i n g ( c a b a c ) ，a r eu s e di i lm i ss t a n d a r d w i t h l h el l s eo fm e s et e c l l i l i q u e s ，b o mc o m p r e s s i o ne 街c i 朗c y 锄d 朗c o d i n gq u a l 埘a r e 删yi i l l p r o v e d t h i sn e wf e a t u r e so fh 2 6 4 a y ci 1 1 c r e 嬲en o to n l y 廿l ec o m p l c x i t yo fc o d i n g b 商cm o d u l e s ，b u ta l s o 廿l e0 n eo fa l g o r i 廿l i n sb yt i i i l 髓t h a tm a k c si tv e 哆d i m c u l tf o r p 删：t i c a l 印p l i c a t i o n ss u c h 雒i nr e a lt i m e 啊d e 0c o m m u i l i c a t i o na p p l i c a t i o n o fi i ls o m e 锄b c d d e ds y s t 锄s om 旬o rw o d 【sa r e 勰l 瑚l o w s ： f i r s t l y ，b e c a l l s em o t i o ne s t i m a t i o nn e e d st h em o s tc o m p l e x i t yo fc 0 m p m a t i o n s ，a v e lf a s tm o t i o ne s t i m a t i o na l g o r i 1 l l lc a l l e dm o t i o nv e c t o rp r e d i c t i o na n dm o d e a d a p t i v es e a r c hi sp r o p o s e di nm ep a p 既a c c o r d i i l gt oc 锄t 褂- b i a sp r o p e r t y 觚d s p a t i a l t e i 】1 p o r a lc o n - e l a t i o no f t 1 1 em o t i o nv e c t o rf i e l d ，t l l et y p eo fl o c a lm o t i o na c t i v i t y i s 矗r s td e t e 锄i n e d b a s e do nm ed e c i s i o n d i 仃h e n ts e 砌s 臼斌e 舀嚣a r ea d a p t i v e l y l n i l i z e d ；t h ei n i t i a ls e a r c hc e l l t e ri sp p 础c t e db yt 1 1 em o t i o nv e c t o ro fi t sn e i 曲b o m g m a c r o b l o c k s s t o pc r i t e r i a i si n 仃o d u c e dt 0d e t e c tm em o s tp o s s i b l yc a n d i d a t e m a 伽i b l o c l 【 t h u st 锄i n a t i n gc i u t e n ts e a r c hi m m e d i a t e l y t h r e e1 1 0 v e ls e a r c hs t r a t e 百e s a r ea d o p t e d ，i n c l u d i n gt h es i m i l 小s m a l ld i 锄o n ds e 砌f o r 也em a c r o b l o c kw i ml o w m o t i o na c t i v i 以m eh e x a g o ns e a r c ：hf i o r 1 em a c r o b l o c kw i mm i d d l em o t i o n ，锄dn l e s q u a r e h e x a g o ns e a r c h 矗wm em a c r o b l o c kw i t hl a r g em o t i o n e x p 积m e n t a l r e s u l t s s h o wt h a tt h ep r o p o s e da l g o 订m mp r o v i d e sf 如t e rs p e e da 1 1 dl l i 曲e rp r e c i s i o nm a i lm o s t e x i s t i n gf a s tb l o c k m a t c h i n ga l g o r i t h m s e c o n d l ma d a p t i v eb l o c k s i z em o t i o nc o m p e n s a t i o nw i t hs m a l lb l o c ks i z eb a s e d o n 剐d oi st h eo 戗l e rs i d ew h i c hn e e d sal o to fc o m p u t a t i o n ，a i li m p r 0 v e dr e s l d u a i t e x m r eb a s e df a s tb l o c ks i z es e l e c t i o na 1 9 0 r i t h mi sp r o p o s e d f i r s t ，s k i pm o d ei s d e t e 肌i n e d a i l dd e t e 眦i n e dm ei n 慨m o d e s 岫0 u 曲s p a t i a l _ t e n l p o r a l r e l a t l o n s e x p e r i m e n t a lr e s u l t ss h o wt 1 1 a tm ep r o p o s e da l g o r i 也mh a sd e c r e a s em ec o m p u t a t l o n s a i l dm a k es u r et h ec o d i n ge 伍c i e n c ya n dq u a l i t y k e yw o r d s ：h 2 6 4 a v c ，m o t i o n e s t i m a t i o n ，d e 0c o d i n g ，1 1 1 t * f r 锄ep r e d i t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名： 日期：聊耵眵日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：导师签名： 日期：年月日 第一章绪论 1 1 引言 第一章绪论 随着多媒体技术以及网络技术的高速发展，传统的通信方式如电话、传真等 由于无法达到面对面交流的效果，不能满足人们日益增长的交流需求。数字 视频通信因为能够达到满足直观交流的方式越来越受到大家的欢迎。在过去的一 段时间里，视频编码技术得到了迅猛的发展。i s o i e cm p e g 和i t u t 两大国际 标准组织制定了一系列的视频编解码标准并广泛应用到于许多领域，如可视电话、 视频会议、v c d d v d 、视频监控、数字电视、数字影院、视频点播及其他一些 领域，还将在移动视频通信领域中进一步发挥作用。随着网络通信和无线通信技 术的快速发展，无线，网络和多媒体的融合正在很大程度上影响着人们的工作、 生活、娱乐和通信等交流方式，多媒体技术己被视为计算机、通信、消费这三者 融合的关键点，而视频技术作为多媒体的核心技术，其发展与应用的程度则会对 这些方面的发展起到直接的推动作用。 1 1 1 视频编码原理 由于原始数字视频数据量非常大( i t u rb t 6 0 l 中提到的未压缩的电视视频 信号每秒的数据量高达2 1 6 m i t s ) ，导致在应用中对视频的存储和传输带来了很 大的困难，因此对视频图像进行有效的压缩编码是非常必要的。 视频图像压缩的目的就是在保证重建图像质量的前提下，尽可能用比较少的 比特数表征原始视频图像，使其符合多种实际应用领域的要求。视频图像的压缩 可以实现的原因，是因为视频图像数据中存在各种冗余： 1 时空间冗余：一般情况下视频图像的大部分区域信号变化缓慢，尤其是背景 部分几乎不变。因此，视频图像的相邻像素间、相邻行间、相邻帧间存在着 很强相关性，这种相关性称为空间冗余和时间冗余。 2 统计冗余：对于一些由许多字符构成的数据来说，如果其中某些字符经常出 现，而另外一些很少出现，则这种统计不均匀性就构成了统计冗余。 电子科技大学硕士学位论文 3 视觉冗余：人眼对图像的细节分辨率、运动分辨翠和对比度分辨率的感觉都 有一定的局限。视频图像处理时引入的失真不易觉察，因此可以在满足图像 质量一定的前提下，减少表示信号的量化精度，实现视频图像压缩。 视频图像压缩就是利用图像本身固有的各种冗余和人的视觉系统特性来减少 视频图像信息的冗余度并获得满意的重建图像质量。 视频编解码技术发展至今，已经出现了基于波形的视频编码、基于内容的视 频编码以及立体视频编码的视频编码框架。但应用得最广泛的视频编码技术依然 是由基于波形的视频编码发展得到的基于块的混合视频编码框架，其编码基本流 程如图1 1 所示。以此技术为代表的视频编解码标准有i t u th 2 6 x 系列【1 】【2 】【3 】f 4 】 以及i s o i e cm p e g l 2 4 系列【5 】【6 】【7 】【8 】【9 】【1 0 1 。在基于块的混合视频编码模型中，最 关键的环节是时间模型、空间模型和熵编码模型，其作用分别是去除视频数据在 时间、空间和符号统计方面的冗余，从而能有效地提高编码的效率。每一帧视频 首先被分割成许多独立的基本单元块，这些视频块再经过时间模型变换( 基于块的 运动估计和运动补偿) ，相邻帧之间的时间冗余被有效地去除并得到运动向量和残 差数据。残差数据再经过空间模型变换( d c t 变换) 从空域变换到频域，并且分离 低频与高频分量。接着进行有损量化。量化后的系数再经过熵编码以消除二进制 符号间的统计冗余。同时，编码器在编码的同时还要仿效解码器的操作进行参考 帧的重建，使得编解码器两端的预测参考帧能够同步。 图1 1 基于块的混合视频编码基本流程 2 第一章绪论 1 1 2 视频编码标准的发展历程 为了在全世界范围内促进视频压缩技术的应用，由国际标准化组织 i s o ( i n t 锄a t i o n a l s t a i l d a r d i z a t i o no r g a i l i z a t i o n ) 和国际电信联盟i t u ( i n t e n l a t i o n a l t e l e c o m m u n i c a t i o nu 1 1 i o n ) 制定了一系列的视频压缩国际标准。由i t u 组织制定的 标准主要是针对实时视频通讯的应用，如视频会议和可视电话等，它们以h 2 6 x 命名；而由i s o 和i e c ( m t e m a t i o n a le 1 e c 仃o t e c h i l i c a lc o m m i s s i o n ，国际电工委员会) 的共同委员会中的m p e g 组织( m o v i n gp i c t u r ce x p e f tg r o u p ) 制定的标准主要针 对视频数据的存储( 如v c d 和d v d ) 、广播电视和视频流的网络传输等应用，它 们以m p e g x 命名。本节将简单回顾一下从第一个被广泛应用的标准h 2 6 1 到使 数字视频产品风靡全球的m p e g 2 h 2 6 2 ，再到最新的h 2 6 4 a v c 这些著名标准 和它们所采用的新的视频编码压缩技术。这些技术的不断革新代表了视频编码研 究领域的进展，同时也在一定程度上预示着这一领域将来的发展方向。 h 2 6 1 标准 h 2 6 1 标准是由国际电报电话咨询委员会( c c i t t ) 的第1 5 研究组建立的一个 专家组于1 9 9 0 年1 2 月完成和批准的。由于后来c c i t t 被国际电信联盟i t u 吸 纳，因此，c c 删h 2 6 1 也相应地变为r r u h 2 6 1 。 h 2 6 1 的全称是v i d e 0c 0 d e c 矗) ra u d i o v i s u a ls e r v i c 鼹a tp 宰6 4k b i 吲s ”是基于 块匹配运动补偿的视频压缩标准。它的帧内压缩模式与j p e g 静态图像压缩类似， 同样是基于8 8 像素的d c t 变换；而帧间模式压缩则是简单的前向单帧( 基于前 一帧的) 块匹配运动补偿，支持的图像格式为c i f ( 3 5 2 2 8 8 像素点) 和q c i f ( 1 7 6 1 4 4 像素点) 格式，应用目标是可视电话和电视会议。作为第一个广泛应用 的视频压缩标准，h 2 6 1 在设计上较为简单，便于低成本大规模集成电路( v l s d 实现，有利于产品的大规模推广。另外需要说明的是，h 2 6 1 对编码中如何进行 运动估计并未作详细规定。这样做虽然使得不同厂家的h 2 6 l 编码器在编码质量 上可能会有很大差别，但也给各厂商留下了相当的空间，在很大程度上促进了视 频编码技术的研究和发展。因此这种做法在此后的标准制定过程中一直被沿用。 咿e g _ 1 标准 m p e g 1 是面向数字存储的运动图像及其伴音的编码标准，是由i s o i e c 的 运动图像专家组( m o v i l l gp i c t u r ee x p 毹g r o u p ) 于1 9 9 3 年推出的。m p e g - l 的全称 是“c o d i n go fm o v i n gp i c t u i 伪雏da s s o c i a t e da u d i o - 矗) rd i 百t a ls t o r a g em e d i aa tu p 3 电子科技大学硕士学位论文 t oa b o u t1 5m b i t s ”，它的视频压缩部分也是基于块匹配运动补偿的，与h 2 6 l 十 分类似。相比之下，它主要增加了两个新特性：双向运动补偿以及运动补偿中的 亚像素( 1 2 像素) 精确度。 双向运动补偿是指在运动补偿中，将前帧和后帧都可以作为参考帧，因而 m p e g 1 中共有三种帧：i 帧( 帧内压缩) 、p 帧( 前向运动补偿) 和b 帧( 双向运动补 偿) 。为防止误差累积所导致的图像质量劣化，m p e g 1 规定只有i 帧和p 帧可以 作为参考帧。b 帧的引入虽然带来了比较大的编码延时，但采用b 帧却带来了进 一步的码率降低。亚像素精确度的运动搜索相对h 2 6 l 中的整像素精确度可以使 预测残差较小，从而降低码率。其具体方法是得到整像素的最佳匹配后，利用内 插计算出相应亚像素位置各点的亮度色差值，然后再进行与整像素处类似的块匹 配。当然，由于内插以及增加的亚像素位置处的块匹配，运动估计模块的运算复 杂度也被进一步提高了。 作为m p e g 制定的第一个标准，m p e g 1 综合考虑了系统、视频、音频三方 面的内容，在多媒体存储领域获得巨大的成功，极大的推动了以v c d 等为代表 的多媒体业务的迅速发展【l l 】。 m p e g 一2 h 2 6 2 标准 m p e g 2 【1 2 】是广播级电视质量的音视频编码标准，由i s o i e c 的运动图像专 家组和r r u t 的第1 5 研究组于1 9 9 5 年共同制定的，1 1 r u t 采纳为h 2 6 2 。m p e g - 2 的全称是“g e l l 耐cc o d i n go f m o v i n gp i c n l r 鼹a i l da s s o c i a t e da u d i o ”，其视频部分采 用了同样由r r u t 建议的h 2 6 2 【j 。 与m p e g - 1 相比，在视频压缩方面m e p g 2 做了两个重要的改进：支持可分 级编码( s c a l a b l ec o d i n g ) 及引入了框架( p r o f i l e ) 和级别( l e v e l ) 的概念。可分级编码 是一个比较重要的新特性，它允许解码器从同一个码流中解码恢复出不同质量的 视频信号。其主要思想是在编码端将视频码流编成两层，一个基本层( b a s el a y 神 和一个增强层( e i l l l a l l c e dl a y e r ) 。在解码端，若只对基本层解码，则得到一般质量 的图像；若对两层都解码并叠加，则可得到较高质量的图像。根据具体实现的技 术不同，可分级编码还可进一步分为时域可分级( t e m p o r a ls c a l a b i l i 劬编码、空域 可分级( s p a t i a ls c a l a b i l i 劬编码和信噪比可分级( s n rs c a l a b i l i 劬编码。框架是 m p e g 2 中定义的语法子集，而级别是特定框架中参数的取值集合。一个框架可 以包含一个或多个级别。这种以框架和级别的形式定义规范，为不同应用领域之 间的数据交换提供了方便和可行性。以上两点因为其重要性而在其后的标准中得 4 第一章绪论 到了不断的加强。 h 2 6 3 标准 h 2 6 3 是国际电信联盟通信标准化组( i t u t ) 于1 9 9 5 年推出并于1 9 9 6 年完善 的在公用电话网上传输甚低码率视频的编解码标准。h 2 6 3 的全称是“v i d e o c o d i n gf o rl o wb i tr a t ec o m m l m j c a t i o n ”，除基本版本外，还有增强版本h 2 6 3 + 和h 2 6 3 + + 。h 2 6 3 与h 2 6 1 相比，除了新引入带运动矢量预测的亚像素( 1 2 像素 精确度) 运动估计外，主要还引入了4 个与帧间编码相关的可选特性： 附件d ，不受限运动矢量模式( e xd ，u 1 1 r e s t r i c t e dm o t i o nv e c t o rm o d e ) 。该 模式中运动矢量可指出参考帧边界外。 附件e ，基于语法的算术编码( 加m e xe ，s y n t a x b a s e da 疵h m e t i cc o d i n g m o d e ) 。该模式可降低5 左右的码率。 附件f ，高级预测模式( a n n e xf ，a d v a n c e dp r e d i c t i o nm o d e ) 。该模式增加了 8 8 块的运动估计，并允许块重叠的运动补偿和指出参考帧边界外的运动矢量。 附件g ，p b 帧模式( a n n e xg ，p b 仔锄e sm o d e ) 。该模式与m p e g l 中的双向 运动补偿类似。 此后，在h 2 6 3 + 又增加了4 个与帧间编码相关的新的可选特性： 附件m ，改进p b 帧模式( a n n c xm ，h i l l ) r o v c dp b 一丘锄馏m 0 d e ) 。 附件n ，参考帧选择模式( a 衄e xn ，r e 衙e n c ep i 孤i r es e l e c t i o nm o d e ) 。 附件p ，参考帧重抽样( a n n e xp ，r e 断c ep i c t i r e s 锄p l i i l g ) 。 附件s ，可替换帧间变长编码模式( a 加e xs ，a l t 锄撕v ei n t 钉v l cm o d e ) 。 h 2 6 3 + + 中，除了为适应不同网络类型的应用而增加的特性和抗误码外，又 进一步引入了： 附件u ，增强参考帧选择模式( a n n c xu ，e i l l l a n c e dr c l f e r 锄c ep i c t u i e s e l e 以o n m o d e ) 。 h 2 6 3 所提出的技术与最终达到的效果远远超出了制定它时候的目标，因此， h 2 6 3 的应用领域被极大的扩展了，对此后视频压缩标准的影响也是巨大的【1 4 】【15 1 。 m p e g 一4 标准 m p e g 4 【16 】是基于对象的低码率视频压缩编码标准。1 9 9 9 年1 月m p e g - 4 第 1 版正式公布，1 9 9 9 年1 2 月第2 版公布。m p e g - 4 的全称是“c o d i i l go fm o v i n g p i c n l r e sa 1 1 da u d i o ”，它是目前最最为复杂的有关多媒体编码的国际标准。m p e g _ 4 5 电子科技大学硕士学位论文 共包含十个部分，依次为系统、视频、音频、一致性、参考软件模型、传输多媒 体集成框架、m p e g 4 工具软件、基于口架构的m p e g - 4 、参考硬件描述和高级 视频编码。m p e g 4 的主要贡献是将基于内容的检索与编码结合起来考虑，提出 了基于内容的压缩编码。基于对象编码的好处是很多的，如可以降低码率，可以 针对对象分配带宽，可以将不同对象自由拼接、可以方便的进行虚拟现实等等。 然而，作为这种编码方法的基础，对视频对象进行分割却一直没有效果稳定且普 遍适用的方法。因此其发展受到很大制约，目前在一些计算机动画等人工生成视 频对象的领域有比较大的发膨r 丌。 在m p e g 4 中同样存在i 帧，b 帧和p 帧三种帧格式，运动估计与补偿采用 了h 2 6 3 中的半像素搜索技术和重叠运动补偿技术。为了使h 2 6 3 的运动估计和 补偿算法能使用于任意形状的v o p ( v i d e o0 l b i e c tp 1 2 u l e ，视频对象平面) 区域，在 任意形状的v o p 用矩形框套住的基础上引入了所谓重复填充和修改的块( 多边形) 匹配技术。重复填充技术首先将v o p 之外而在矩形框之内的部分用左点、右点或 者均值进行填充，然后将矩形框之外而运动搜索范围之内的区域用最邻近点填充。 多边形匹配技术则采用了简单的绝对误差和准则来进行，仅对v o p 内的像素值进 行计算。 h 2 6 4 a v c 标准 关于h 1 2 6 4 a v c 编码标准的一些具体内容将在本论文第二章中分别进行介 绍。 1 1 3 视频质量的评价标准 1 1 3 1 客观质量评价标准 在视频质量的客观评价准则发展过程中，人们提出了一些简单且能用某些算 法实现的视频质量客观评价准则【1 8 】【1 9 1 【2 0 】，如均方误差m s e 和峰值信噪比 p s n r ( p e a ks i 凹a 1t on o i s er a t i o ) 。在这些评价准则中，视频质量的度量完全取决 于输入和输出视频的亮度分量和色度分量，不涉及任何在质量评定过程中人为的 主观因素。m s e 的定义为： 脚= = 南，) 一c ( f ，朋2 ) 形日智智一 。 6 第一章绪论 其中，w 和h 分别为图像的宽度和高度：s 和c 分别代表原始图像及解码重建 后的图像在点( i ，j ) 处的亮度或色度值。峰值信噪比p s n r 的定义为： 气气2 舢= 1 0 1 0 9 蠢 ( 1 。2 ) 由上式可以看出：对于固定的峰值，p s n r 完全由m s e 的值决定。但由于在实际 的应用中人们更倾向于将图像质量与某种p s n r 范围相联系，因此相对于m s e 而言以分贝( d b ) 为单位的p s n r 更经常用于视频质量的客观评价中。 1 1 3 2 主观质量评价标准 主观评价指的是评价者直接对视频进行观察，对所有评价者给出的分数进行 加权平均，所得结果即为主观评价。这种评价虽然符合人的主观感受，但是受到 个人单位的如年龄、知识水平、性格、心情等方面的影响，而且没有统一的数学 模型可以建立，所以存在一定的不确定性。 考虑到本文中实验的可比较性，本文采用计算p s n r 值的方法对视频质量进 行评价。 1 2 课题背景 在i t u t 和i s o i e c 两大国际标准组织的积极努力和合作下，h 2 6 4 a v c 标 准吸纳了近几年来视频编码方面的先进技术，并将它们很好地结合起来，以较高 的编码效率和较好的网络友好性成为了新一代国际视频编码标准。与同类的其他 视频编码标准相比，由于其技术方面的先进性、研究方面的开放性以及应用方面 的国际性引起了业界与学术界的强烈关注和积极参与。但h 2 6 4 a v c 标准能够取 得这么高的编码效率，是以较高的计算复杂度为代价的，新引进的多种编码技术 如多模式的空间域帧内预测、可变块划分模式的帧间预测、采用多参考帧的运动 估计和运动补偿、基于上下文内容自适应的熵编码( c a v l c 和c a b a c ) 以及去方 块环路滤波等，虽然极大的提高了编码效率，但同时也极大的增加了计算复杂度， 一些研究【2 1 】【捌对h 2 6 4 a v c 的编码效率和计算复杂度进行了评估。评估实验结 果表明与以往的视频编码标准相比，在提高5 0 的编码效率的同时，编码器的计 算复杂度增加了4 5 倍，解码器的计算复杂度增加了2 倍。 7 电子科技大学硕士学位论文 在目前现有的软硬件技术上实现h 2 6 4 a v c 视频的实时编码有一定的难度。 虽然随着硬件技术的不断发展，采用更先进的硬件系统按h 2 6 4 a v c 标准的原有 算法实现该标准下视频实时编码最终是可能的，但这需要时间。另外出于成本考 虑，并非所有的应用都可能使用最先进的硬件设备。对于那些对处理能力和功耗 敏感的低端设备如手机等，快速算法仍然是解决这一问题的有效途径。因此保持 原有算法的性能并降低算法的计算复杂度是推进和扩展h 2 6 4 a v c 应用的关键 所在。因此，在h 2 6 4 a v c 标准中研究快速而有效的算法具有十分重要的理论和 实际意义。 1 3 国内外研究现状 目前对于h 2 6 4 a v c 中帧间编码算法优化的研究，主要集中在3 个方面：运 动估计方面、可变块模式选择方面和多参考帧预测方面。对于运动估计方面，目 前广泛采用的还是基于块匹配的运动估计方法，因为其算法简单，计算量不大， 易于硬件实现，而且效果不错。目前存在的快速算法中，早期的三步法( t s s ) f 2 3 1 和二维对数法( t d l ) 【2 4 】通过限制搜索位置的数目来减小计算复杂度，不利于估计 小运动且搜索容易陷入局部最优；新三步法洲t s s ) 【2 5 l 、四步法( f s s ) 【2 6 】、基于菱 形的搜索算法( d s ) 【2 7 】和基于六边形的搜索算法( h e x b s ) 【2 8 1 等利用运动矢量具有 中心偏移的分布特性，虽然提高了匹配速度，减小了陷入局部最优的可能性，但 是这些算法的图像质量也有了一定的下降。基于预测技术的m ：a s t 【2 9 】和 p m ：a s t l 达到了一定的效果，但是还有一定的挖掘空间。对于可变块模式选 择方面，p l i m 等人在文献【3 1 l 中根据视频序列中物体运动的一致性，提出了基于 平滑区域检测的快速块划分模式选择算法；c y u 等人在文献【3 2 】提出了利用宏块 的d c t 系数统计宏块能量从而根据宏块的纹理复杂度进行划分模式选择的快速 算法。对于多参考帧预测方面，y u w 朗h u a n g 等人在文献【3 3 q 中提出了用于减少 不必要参考帧计算的快速算法。这一系列算法都对h 2 6 4 a v c 的计算复杂度有了 一定的改善，不过各种方面的算法都还存在一定的改进空间。 8 第一章绪论 1 4 本文的主要研究内容和章节安排 本文在分析h 2 6 4 a v c 主要编码特性和相关复杂度的基础上，有针对性的对 h 2 6 4 a v c 的帧间编码部分：包括运动估计、帧间可变块划分模式展开了相关快 速算法的研究。具体内容及创新性如下： 1 基于矢量预测和模式自适应的运动估计算法： 提出一种基于矢量预测和模式自适应的快速运动估计算法。针对运动矢量场 的中心偏置性和时空相关性，对一些可能性很大的候选点进行提前终止计算，预 测起始点；根据运动类型自适应的选择搜索策略；对于不同的运动类型，采用3 种不同的搜索策略。对于小运动类型，采用类似小菱形搜索；对于中等运动类型， 采用六边形搜素；对于大运动类型，采用正方形一六边形搜索。实验结果表明，该 文算法的搜索精度和搜索速度优于现有的大多数快速运动估计算法。 2 改进的基于残差分析的帧间可变块快速预测算法： 基于率失真优化算法的h 2 6 “州c 帧间编码采用遍历所有可变块模式的方 法寻求最佳模式，虽然有效的提高了编码效率，但是大大增加了计算量。本文通 过研究对各种视频序列实际编码中块的划分模式选择规律，结合基于残差分析的 帧问可变块快速预测算法，提出了一种改进算法，通过增加对于s k i p 模式和帧 内模式的提前预测来达到进一步减少计算量的目的，通过实验表明，本算法相对 h 2 6 4 a v c 实现模型蹦中的算法大大减少了计算量，而图像质量和编码效率却 没有较大的下降，比原算法也有了一定的改进。 论文的其他主要章节安排： 第二章主要介绍了h 2 6 4 从v c 视频编码标准。 第三章首先重点介绍了h 2 c 帧间编码的几个关键的部分，以及一些已 经出现的快速算法。 第四章着重介绍了一种基于矢量预测和模式自适应的运动估计算法，并给出 了一些实验结果和数据分析。 第五章着重介绍了一种改进的基于残差分析的帧间可变块快速选择算法，并 给出了一些实验结果数据分析。 第六章对本文工作的总结和未来研究的一些展望。 9 电子科技大学硕七学位论文 第二章h 2 6 4 a v c 视频编码标准 2 1h 2 6 4 a v c 视频编码标准概述 为了进一步扩展和增加h 2 6 3 ( 以及后来的h 2 6 l ) 标准的特点，提高编码效 率。在2 0 0 1 年1 2 月，由m p e g 和v c e g 的专家共同成立了联合视频小组( j o i n t v i d e 0t e a m ，j ) ，采用很多先进技术，进一步完善了h 2 6 l 模型【矧，共同发展 成为新的视频编码国际标准。新标准的官方名称分别为1 1 r u tr e c h 2 6 4 和 i s 伽e cm p e g 4p a r t1 0a v c ( 或1 4 4 9 6 1 0 a v c ) 【3 5 】。简称为h 2 6 4 a v c 。 h 2 6 4 a v c 视频编码标准在编码质量和压缩比上都比原有的视频编码标准有 了明显的提高。在相同的主观视觉质量上，编码效率比h 2 6 3 和m p e g 4 提高了 5 0 左右，并且有更好的网络友好性【3 6 】【3 7 】【3 8 1 。虽然i t u t 在当初发展和制定 h 2 6 4 a v c 的前身h 2 6 l 时，主要的目标是为甚低比特率编码提供一种高性能的 编码国际标准，但随着m p e g 的加入以及更多新的先进编码技术的采用， h 2 6 4 a v c 以其卓越的压缩性能在电视、高清晰度电视、网络应用、存储媒体、 无线多媒体应用等方面展示出很大的应用潜力。在实际应用方面，n e c 、大金工 业、c 等多个公司利用h 2 6 4 a v c 编解码器进行录像播放演示。编解码器的形 态各种各样，从硬件方面的f p g a 等芯片应用到软件方面的电脑软件应有尽有。 除此之外，为了加快h 2 6 4 儿w c 的普及和商业化进程，j v t 计划将放弃h 2 6 4 a v c 基础框架( b 硒e l i n ep r o f i l e ) 的版权，以吸引更多的关注。显然h 2 6 4 a v c 这个新世 纪制定的，面向高质量和低比特率，从有线到无线的各种应用的视频编码国际标 准，有望成为新世纪最成功的国际标准之一。 2 1 1h 2 6 4 a v c 标准的特点 h 2 6 4 a v c 的标准草案已经于2 0 0 2 年5 月制定完成。它的编码框架基本延 续了原有标准中基于块的混合编码的基本框架，同时采用了很多新的技术，其主 要性能有：高质量的视频画面、更高的编码效率、错误恢复功能、自适应的延时特 性等等。总之，h 2 6 4 a v c 标准使视频图象压缩技术上升到了一个新的更高的阶 1 0 第二章h 2 6 4 a v c 视频编码标准 段，在较低带宽提供高质量的图象传输是h 2 6 4 a v c 的应用亮点。h 2 6 4 a v c 的推广应用对视频终端网关、m c u 等系统的要求较高，将有力地推动视频会议 软、硬件设备的不断完善。 2 1 2h 2 6 4 a v c 标准的编解码过程 h 2 6 4 a v c 标准并没有明确地定义一个编码器，而是定义了编码后的比特流 格式和解码的方式。它的基本编码过程可以分为4 个阶段。 1 首先将图像划分为宏块。这样，对每帧图像的处理就转化为对宏块的处理。 2 通过对帧内编码的宏块进行预测、变换、量化、熵编码去除图像中的空间冗 余。帧内预测是利用本帧图像内的己经编码过的块对待编码的块进行预测， 然后再对预测后的像素和待编码块的像素的残差进行编码，以去除空间冗余。 3 通过对帧间编码的宏块利用相邻的帧进行运动估计。去除图像中的时问冗余。 4 对于残差块再进行变换、量化、熵编码来去除其中的统计冗余。 具体的编码流程说明如下：在图2 - 1 编码器框图中，f n 代表待编码的帧，这 一帧图像被分割成多个1 6 1 6 象素的宏块进行处理，每个宏块按一定的判定准则 选择帧内或者帧间的模式进行编码，不论在哪种模式下，都有一个基于重建帧中 的参考预测宏块p 。如果选择的模式为帧内模式，p 由当前待编码帧中已经通过 编解码重构模块但是没有进行环路去方块滤波的宏块饭预测得到：如果选择的 模式为帧间编码模式，p 由一个或多个相邻参考帧通过传输的运动估计相关信息 进行运动补偿预测得到。在图2 1 中，参考帧用c 一表示，实际上参考帧可以是 前向或者后向相邻的第一帧或第二帧等已经编码重建的图像。 图2 1h 2 6 4 a v c 编码流程图 1 1 电子科技大学硕士学位论文 从当前待编码的宏块中减去宏块p 得到一个残差块见，然后将这个残差块进 行d c t 变换、量化得到x ( 量化后的变换系数) 这些系数将被重新排序并进行熵编 码，熵编码的系数和其他的解码需要的信息一起形成比特流，比特流经过 n a l ( n e 觚o r ka b s t r a c 廿o nl a y e r ) 层进行传输或存储。在编码器中量化后的系数x 将被解码重构，以便为对后面的宏块进行编码时使用。系数x 将通过逆量化和逆 变换产生一个差分宏块见。差分宏块见和原始的宏块之间并不是完全一样的， 因为经过量化，反量化运算后，会产生量化误差。预测宏块p 和只进行加法运算 得到一个重构宏块圮，通过去方块环路滤波以减少块失真得到一个重构图像 c 。 从以上的编码流程中可以看出，编码器必须也拥有一个解码器来重构图像， 以保证与解码器端采用的参考图像是一致的。预测产生的残差块的系数越小f 越接 近o ) ，那么压缩效率将越高，传输的码