（计算机应用技术专业论文）h264avc视频编码快速算法研究.pdf

西南交通大学博士研究生学位论文第1 页 摘要 h 2 6 4 a v c 是i t u t v c e g 和i s o i e c m p e g 联合制定的最新国际视频 编解码标准。标准以较高的编码效率和网络友好性受到人们的广泛关注。虽 然h 2 6 4 a v c 采用的依然是基于块的混合视频编码框架，但由于集中了近些 年来视频编解码领域内的一系列最新技术成果，在同等图像质量条件下其压 缩率较以往标准提高一倍以上。所采用的新技术主要包括：空间域内的多种 模式帧内预测，1 4 像素精度运动估计，整数d c t 变换量化，多参考帧运动 补偿，自适应去块效应滤波以及基于内容的熵编码等。 采用新的编码技术虽然在编码效率上得到了很大的提高，但与以往视频 编解码标准相比，h 2 6 4 a 、，c 的计算复杂度却高出几倍甚至十几倍。非常高 的计算复杂度严重影响了h 2 6 4 a v c 在实时编码方面的应用和推广，因此如 何在保证编码效率的前提下尽可能降低编码计算复杂度成了入们研究的热 点。本文针对h 2 6 4 a v c 编码部分计算量较大的三个部分：帧内预测，帧间 块划分模式选择和多参考帧运动估计，进行了相关快速算法的研究。 首先，本文在深入分析了h 2 6 4 a v c 帧内预测机制及编码模式选择算法 的基础上，提出了一种基于频域特征的快速帧内编码模式预测算法来有效降 低帧内预测的计算复杂度。算法首先对编码块进行一次d c t 变换得到所需的 一些d c t 系数，然后根据这些系数计算出编码块的纹理方向和纹理方差。接 着通过计算得到的纹理方向和方差对当前编码块的帧内编码模式进行有效地 预测。实验结果表明本文算法在保证编码效率与标准算法几乎一致的前提下 将帧内预测的计算复杂度平均降低了6 7 5 ，而且性能方面优于同类算法。 在基于频域特征的帧内编码模式快速预测算法的有效性得到验证之后， 接着又从提高预测准确性和增强硬件实现方面模块的复用性两方面出发，以 前面本文所提算法为基础提出了考虑相邻像素点的5 5d c t 和复用 h 2 6 4 a v c 整数d c t 变换的两种扩展算法，相应的实验结果也分别验证了两 种扩展算法的有效性。 其次，本文仔细研究了h - 2 6 4 a v c 标准中帧间编码时块划分模式的选择 算法并通过大量实验分析了实际编码中块的划分模式选择特点，提出了一种 基于残差纹理分析的快速块划分模式选择算法。算法首先通过一次宏块级的 运动搜索预处理得到各个4 x 4 块运动补偿后的残差；然后根据得到的残差纹 理大小及分布情况对块的帧间划分模式做出快速选择。大量的实验验证了本 第1 i 页西南交通大学博士研究生学位论文 算法在几乎不牺牲图像质量和压缩效率的基础上将这一过程的计算复杂度平 均减少了5 9 8 5 。与相同时期的同类算法相比，在计算复杂度的降低程度、 图像质量以及码率变化方面均优于这些算法。 最后，本文在分析了h 2 6 4 a v c 多参考帧条件下帧间预测编码算法特点 的基础上，从如何有效减少运动估计过程中参考帧的使用数量以及如何加快 各参考帧中运动估计的计算速度两个角度出发，先对影响h 2 6 4 a v c 多参考 帧预测编码的一些因素进行分析，然后以视频序列中物体运动的连续性为基 础给出一种多参考帧条件下的运动向量预测方法，并以全零块预判技术制定 出相应的运动搜索停止策略，最后综合相关的因素和策略提出了一种多参考 帧条件下的快速运动估计算法。算法在不同实验参数配置下对多个标准测试 序列进行编码，实验结果表明本文算法以编码效率方面较小的牺牲将这一过 程的计算复杂度平均降低了6 3 1 。 关键词：视频编码，h 2 6 4 a v c ，帧内预测，块划分，运动估计，多参考帧 西南交通大学博士研究生学位论文第l li 页 a b s t r a c t h 2 6 4 a v ci st h en e w e s ti n t e r n a t i o n a lv i d e o c o d i n gs t a n d a r dj o i n t l y d e v e l o p e db yt h ei t u - tv c e ga n dt h ei s o i e cm p e gs t a n d a r d sc o m m i r e e s i t r e p r e s e n t st h es t a t e o f - t h e a r tv i d e oc o m p r e s s i n gt e c h n o l o g y ，a n da d d r e s s e st h e f u l lr a n g eo f v i d e oa p p l i c a t i o n si n c l u d i n gl o wb i t - r a t ew i r e l e s sv i d e oa p p l i c a t i o n s ， s t a n d a r d - d e f i n i t i o na n dh i g h d e f i n i t i o nb r o a d c a s tt e l e v i s i o n ，a n ds t r e a m i n go v e r t h ei n t e m e t c o m p a r e d 谢t hm p e g 4 ，h 2 6 3 ，a n dm p e g - 2 ，h 2 6 4 悄v cc a n a c h i e v e3 9 ，4 9 ，a n d6 4 o fb i t r a t er e d u c t i o nw i t he q u i v a l e n tv i d e oq u a l i t y r e s p e c t i v e l y t oa c h i e v es u c hah i g hc o d i n ge f f i c i e n c y ，h 2 6 4 a v ca d o p t sm a n y n e wa n da d v a n c e df e a t u r e ss u c ha ss p a t i a li n t r ap r e d i c t i o n ，q u a r t e r - p i x e la c c u r a c y m o t i o nc o m p e n s a t i o n , i n t e g e r4 x 4d i s c r e t ec o s i n et r a n s f o r ma n dq u a n t i z a t i o n , v a r i a b l eb l o c ks i z e s ，m u l t i p l er e f e r e n c ef l a m e s ，a d a p t i v ed e b l o c k i n gf i l t e ra n d c o n t e x t b a s e de n t r o p yc o d i n g a sm i g h tb ee x p e c t e d ，t h ei n c r e a s ei nc o d i n ge f f i c i e n c ya n dc o d i n gf l e x i b i l i t y c o m e sa tt h ee x p e n s eo fs e v e r a lt i m e si nc o m p l e x i t y 、肮t l lr e s p e c tt oe a r l i e r s t a n d a r d s t h eh i g hc o d i n gc o m p l e x i t yh a ss i g n i f i c a n ti m p a c to nt h ea p p l i c a t i o n s o fr e a lt i m ev i d e oc o d i n gs u c ha sv i d e oc o n f e r e n c ea n dt e l e p h o n y i no r d e rt o r e d u c et h ec o m p u t a t i o n a lc o m p l e x i t yi nh 2 6 4 a v ce f f e c t i v e l y , m a n yf a s t a l g o r i t h m sh a v eb e e nd e v e l o p e d i nt h i sp a p e r ，i n t r ap r e d i c t i o n ，i n t e rp a r t i t i o n m o d es e l e c t i o na n dm o t i o ne s t i m a t i o nw i t hm u r i p l er e f e r e n c ef r a m e sa r e a d d r e s s e d f i r s t ，af a s th 2 6 4 a v ci n t r ap r e d i c t i o nm o d es e l e c t i o na l g o r i t h mi sp r o p o s e d i n t h i sw o r k t h eo b j e c t i v ei st or e d u c et h ee n c o d e rc o m p l e x i t yw i t h o u t s i g n i f i c a n tr a t e - d i s t o r t i o np e r f o r m a n c ed e g r a d a t i o n t h ep r o p o s e dm e t h o dn s e s t h ef r e q u e n c yd o m a i nf e a t u r e so ft h et a r g e tb l o c kt of i l t e ro u tt h em a j o r i t yo f c a n d i d a t em o d e s b ya d o p t i n gd c to p e r a t i o no ne a c hb l o c k ，t h ea l g o r i t h mu s e s t h ee n e r g yr a t i oa n dv a r i a n c et op r e d i c tt h ep r o b a b l em o d e sf o rc u r r e n tb l o c k e x t e n s i v es i m u l a t i o n sv e r i f yt h a tt h ep r o p o s e dm e t h o ds p e e du pt h ei n t r a p r e d i c t i o np r o c e s sb y6 7 5 o na v e r a g ew i t h o u ts a c r i f i c i n gt h ep i c t u r eq u a l i t y a n dc o m p r e s s i o nr a t i o w h e nt h ef a s tf r e q u e n c yd o m a i nf e a t u r e sb a s e da l g o r i t h mh a sb e e np r o v e dt o b ee f f e c t i v e ，i t st w oe x t e n d e da l g o r i t h m sa r ep r o p o s e d o n ec o n s i d e r st h e 第1 v 页西南交通大学博士研究生学位论文 n e i g h b o r i n gp i x e l st og e tam o r ea c c u r a t ep r e d i c t i o n , a n dt h eo t h e ro n eu s e st h e i n t e g e rd c td e f i n e di nh 2 6 知战et oe n h a n c et h er e u s a b i l i t y i nh a r d w a r e i m p l e m e n t a t i o n i ti sd e m o n s t r a t e db yt h es i m u l a t i o nr e s u l t st h a tt h et w oe x t e n d e d m e t h o d sa r er o b u s ta n de f f e c t i v e s e c o n d , ar e s i d u a lt e x t u r eb a s e df a s tb l o c ks i z es e l e c t i o na l g o r i f i l mf o r i n t e r - f r a m ec o d i n gi sp r o p o s e di nt h i sp a p e lf i r s t l y , m o t i o ne s t i m a t i o n ( m e ) i s e x e c u t e df o rc u r r e n tm a c r o b l o e ka n dt h er e s i d u a li sc o m p u t e d ；t h e nt h eb l o c ks i z e i sp r e d i c t e db ya n a l y z i n gt h er e s i d u a lt e x t u r e e x p e r i m e n tr e s u l t sv e r i f yt h a tt h e p r o p o s e dm e t h o ds p e e d su pt h eb l o c k - s i z es e l e c t i o np r o c e d u r eb y5 9 8 5 w i t h o u t s a c r i f i c i n gp i c t u r eq u a l i t ya n dc o m p r e s s i o nr a t i o ac o m p a r i s o no ft h ep r o p o s e d a l g o r i t h mw i t ho t h e ra l g o r i t h m si sa l s op r o v i d e d 1 1 1 i r d an o v e ls c h e m et or e d u c et h ec o m p l e x i t yo fm u l t i p l er e f e r e n c ef r a m e m o t i o ne s t i m a t i o ni nh 2 6 4 a v ci sp r o p o s e d a sw ek n o w , t h ec o m p u t a t i o n a l c o m p l e x i t y o fm u l t i r e f e r e n c ef r a m e sm o t i o ne s t i m a t i o ni si n c r e a s e d i n p r o p o r t i o nt ot h en u m b e ro fs e a r c h e dr e f e r e n c ef r a m e s i no r d e rt or e d u c et h e c o m p l e x i t yo fm u l t i p l er e f e r e n c ef r a m e sm o t i o ne s t i m a t i o ni nh 2 6 4 a v c e f f e c t i v e l y , t h ef o l l o w i n gf a c t o r ss u c ha sf r a m er a t e ，m o t i o na c t i v i t ya n ds e a r c h r a n g ea r ec o n s i d e r e db yt h ep r o p o s e da l g o r i t h m u s i n gt h em o t i o nc o n t i n u i t y , a m u l t i p l er e f e r e n c ef l a m em o t i o nv e c t o rp r e d i c t i o ns c h e m ei sd e s c r i b e di nt h e p r o p o s e dm e t h o d f u r t h e r m o r e a na l lz e r ob l o c kd e t e c t i o nm e t h o di su s e dt o s p e e du pt h em o t i o ne s t i m a t i o np r o c e s s e x p e r i m e n tr e s u l t ss h o wt h a tt h e p r o p o s e da l g o r i t h mc a nr e d u c et h en u m b e ro fr e f e r e n c ef r a m ef r o m5t o1 7a n d s a v et h em u l t i p l er e f e r e n c ef r a m em o t i o ne s t i m a t i o nt i m eb y6 3 1 o na v e r a g e r e s p e c t i v e l yw i t hl i t t l ed e g r a d a t i o no fc o d i n ge f f i c i e n c y k e yw o r d s ：v i d e oc o d i n g ，h 2 6 4 a v c ，i n t r ap r e d i c t i o n ，b l o c ks i z ep a r t i t i o n , m o t i o ne s t i m a t i o n ，m u l t i p l er e f e r e n c ef r a m e 西南交通大学曲南父逋大罕 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规 定，同意学校保留并向国家有关部门或机构送交论文复印件和电 子版，允许论文被查阅和借阅。本人授权西南交通大学可以将本 学位论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书 2 不保密西，适用本授权书 ( 请在以上方框内打“4 ”) 学文论文作者签名：互正步 日期咖7 年妙月。尹日 指导教师签名：谚纷钐 日期：z 哕年少月。恫 西南交通大学曲南父逋大字 学位论文创新性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下独立进行研究 工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的研究成果。对本文研究做出贡献的个人和集 体，均已在文中做了明确的说明。本人完全意识到本声明的法律结果由本人 承担。本文的创新点有以下4 个方面： ( 1 ) 在充分研究了h 2 6 4 a v c 帧内预测编码算法并分析了其计算复杂度 之后，提出了一种基于频域特征的快速帧内编码模式预测算法。算法通过对 编码块进行相应的d c t 变换得到所需的一些d c t 系数，并根据这些系数计 算出编码块的纹理方向和纹理方差。然后根据得到的纹理方向和方差对当前 编码块的帧内编码模式进行有效地预测。( 详细描述见3 3 节) ( 2 ) 在基于频域特征的帧内编码模式快速预测算法的有效性得到验证之 后，又从提高预测准确性和增强硬件实现时模块的复用性两方面出发，以前 面的算法为基础提出了考虑相邻像素点的5 x 5d c t 和复用h 2 6 4 a v c 整数 d c t 变换的两种扩展算法。( 详细描述见3 4 节) ( 3 ) 在仔细研究了h 2 6 4 a v c 标准中块划分模式的选择算法和大量实验 分析的基础上，本文提出了一种基于残差纹理分析的快速块尺寸划分算法。 算法首先通过一次宏块级的运动搜索预处理得到各个4 x 4 块运动补偿后的残 差；然后根据残差纹理大小及分布情况对帧间块的划分尺寸做出快速选择。 ( 详细描述见4 3 节) ( 4 ) 本文在分析了h 2 6 4 a v c 多参考帧条件下帧间预测编码算法的特点 之后，从如何有效减少参考帧的数量和如何加快各参考帧中的运动估计速度 两个方面出发，先对影响h 2 6 4 a v c 多参考帧预测编码的一些因素进行分析， 然后给出多参考帧条件下运动估计中运动向量预测和搜索停止策略，最后提 出了一种多参考帧条件下的快速运动搜索算法。( 详细描述见5 4 节) 学位论文作者签名：上正j 日期：如7 年口7 月一尹日 西南交通大学博士研究生学位论文第1 页 1 1 引言 第1 章绪论 随着多媒体技术以及网络技术的高速发展，传统的通信方式如电话、传 真等由于无法达到面对面”的沟通效果，不能满足人们日益增长的交流需求。 数字视频通信因满足人们直观真实的交流而越来越受到人们的欢迎。在过去 的十几年里，视频压缩技术的发展取得了惊人的进展。i s o i e cm p e g 和 i t u - t 两大国际组织制定了一系列的视频编解码标准并应用到了各个领域， 如可视电话、商务视频会议、v c d d v d 、数字电视、数字影院、视频监控 及其他相关领域。新的应用仍在继续出现，如移动视频通信等。伴随着无线 和网络通信技术的飞速发展，无线、多媒体和网络的融合正在很大程度上改 变着人们的工作、生活、娱乐和通信交流方式，多媒体技术已被视为3 c 融 合( 计算机、通信、消费电子) 的关键整合点，而作为多媒体技术核心的视频 技术发展与应用则会对这些方面的发展起到直接的推动作用。 1 1 1 视频编码的基本原理 由于原始数字视频数据量非常大( i t u - rb t 6 0 1 中提到的未压缩的电视 视频信号每秒的数据量高达2 1 6 m b i t s ) ，在实际应用中对视频的存储和传输带 来了很大的困难，因此将数字视频信号进行有效的压缩编码是非常必要的。 从信息论的角度来看，数据压缩在本质上就是去除数据之间的冗余信息( 即 不影响数据重建或还原的内容) 。实际中许多类型的数据都带有统计冗余而且 能够非常有效地用无损压缩进行编码，在解码端得到的解压数据与原始输入 数据完全一致。但是对于图像和视频来说，无损压缩并不能够带来理想的压 缩率。当前最好的图像无损压缩标准( 如y p e g l s 1 j ) t e 只能提供3 4 倍的压 缩率。相反，有损压缩却能带来比较理想的压缩率。在有损压缩系统中，解 压后的数据与原始输入数据不同但比较相近。在图像和视频的编码中，通过 有损压缩牺牲一定程度的视觉质量可以获得较高的压缩率。 第2 页西南交通大学博士研究生学位论文 视频序列中包含以下几类冗余：心理视觉冗余、时间冗余、空间冗余和 编码符号冗余，其中后三种属于统计冗余。在视频的有损压缩过程中，首先 要去除的就是心理视觉冗余。这是因为人眼对于视频序列中的亮度信息比较 敏感，而对色度信息的感知不敏感。因此在不影响人眼视觉观察效果的前提 下，视频信号在采样过程中可以通过降低色度信号的采样频率( 下采样) 的 方法来减少色度分量的数据量。在视频的编码阶段，大部分视频编码方法都 是通过去除时间和空间上的冗余进一步提高编码的压缩率。由于在时间方向 上，一个短的采样时间间隔内视频序列中连续各帧的相关性非常强，因此当 采样频率较高时，时间方向上相邻的各帧之间存在着非常高的时间冗余。另 外在每一帧图像内，由于很多相邻像素点之间的过渡都比较平缓，各像素点 的空间相关性很强。因此也存在空间冗余。图1 1 举例说明了视频序列中存 在的时间和空间相关性。编码冗余表现为符号编码平均码长与信源熵之间的 偏差。 图l 一1 视频序列中存在的时间和空阔相关性 视频编解码技术发展至今，已经出现了基于波形的视频编码、基于内容 的视频编码以及立体视频编码。但应用得最广泛的视频编码技术依然是由基 于波形的视频编码发展得到的基于块的混合视频编码，其编码基本流程如图 1 2 所示。以此技术为代表的视频编解码标准有i t u th 2 6 x 系列【2 纠以及 i s o i e cm p e g l 2 4 系列”。在基于块的混合视频编码模型中，最主要的 环节是时间模型、空间模型和嫡编码模型，其作用分别是去除视频数据在时 间、空间和符号统计方面的冗余，从而能有效地降低编码的码率。每一帧视 频首先被分割成许多独立的基本单元块，这些视频块再经过时间模型变换( 基 西南交通大学博士研究生学位论文第3 页 特编码卜f = = 虿一竺h 竺卜特编码块 _ c 卜三骂夕1 竺! 广_ 1 二兰r - 一：矿 1 1 2 视频编码标准的发展 随着数字视频编解码技术的发展，为了保证不同厂家视频编解码产品之 间的互操作性，视频编解码技术的标准化问题日益引起了人们的重视。各大 国际组织在数字视频编解码标准化方面展开了许多相关的工作并制定了一系 列的视频编解码标准。目前在从事视频压缩标准制定方面贡献最突出、影响 力最大的国际组织主要有国际标准化组织i s o i e c 的运动图像专家组m p e g ( m o t i o np i c t u r ee x p e r tg r o u p ) 和国际电信联盟i t u - t 的视频编码专家组 v c e g ( v i d e oc o d i n ge x p e r tg r o u p ) 。两个国际标准化组织根据不同的应用 需要，采用相似的压缩编码技术分别制定了m p e g - x 和h 2 6 x 系列视频压缩 标准。其中，i t u t 针对视频通信领域的一些应用( 如可视会议，视频电话 等) ，分别制定了h 2 6 1 、h 2 6 2 、h 2 6 3 h 2 6 3 + h 2 6 3 + + 、h 2 6 l h 2 6 4 ；i s o i e c 主要针对视频存储领域( 如v c d d v d 等) ，相继制定了m p e g 1 、m p e g - 2 、 m p e g 4 ( p a r t2 ) 。上述几个国际视频压缩标准尽管应用领域不同，但基本上 都采用的是基于块的混合视频编码技术。两大国际组织在发展各自的视频压 缩标准的同时也注重合作，曾于1 9 9 2 年联合推出的m p e g 2 h 2 6 2 是现在应 第4 页西南交通大学博士研究生学位论文 用得最广泛的国际视频压缩标准。在h 2 6 4 的制定过程中，i s o i e cm p e g 也积极加入并与i t u tv c e g 再次联手推出了h 2 6 4 a v c l 协2 4 1 ，并将其作为 m p e o 一4 的第1 0 部分。图1 3 描述了这些视频压缩标准的发展历程。 图l - 3l t u t 和i s o i e c 现有视频编码标准的发展过程 1 1 2 1m p e g x 系列标准 m p e g - x 系列标准主要包括m p e g - 1 、m p e g 2 和m p e g 4 f p a r t 2 ) 。m p e g 1 标准制定的目标码率是1 2 m b p s ，编解码的图像大小为c i f ( 3 5 2 x 2 8 8 ) ，主要 是针对v c d 视频制作、存储和播放所制定的。在预测和变换方面，m p e g 1 采用的是帧间预测和二维d c t 变换。量化后的d c t 系数进行变长编码，同 时变换系数的d c 分量采用预测差分编码。在图像预测类型方面，m p e g 1 支持帧内预测、前向帧间预测、双向帧间预测和直接预测。 m p e g 2 是目前在应用上最为广泛和成功的标准，它主要针对数字视频 广播d v b ( d i g i t a lv i d e ob r o a d c a s 0 、高清晰度电视h d t v ( h i g h d e f i n i t i o nt v l 和数字视频光盘d v d ( d i g i t a lv i d e od i s k ) 等应用而制定的，其视频编码部分 在本质上就是h 2 6 2 。m p e g 2 标准制定了不同的档次( p r o f i l e ) 和级另l j ( l e v e l ) ， 档次和级别的组合可以定义一个编解码器所支持的具体特性。这样不仅有利 于同一标准下不同产品之间的相互操作而且有助于m p e g ，2 的推广和应用。 m p e g - 2 引入了半像素精度的运动搜索和帧场编码，同时还支持时间、空间 和p s n r 三方面的可分级编码。 m p e g - 4 标准能够同时支持低码率的流媒体和高码率的广播级应用。与 其他标准相比，m p e g 4 最大的不同是在编码时引入了视频对象( v i d e o o b j e e o 西南交通大学博士研究生学位论文第5 页 的概念，这种基于对象的编码方法可以进一步提高视频通信的交互能力和编 码效率。同时，m p e g - 4 还采用了诸如形状编码和自适应d c t 技术来支持任 意形状视频对象的编码。在常规的基于块的视频编码方面，m p e g 4 采用的 技术与h 2 6 3 比较接近。由于基于对象的视频编码在技术方面还存在一些困 难，m p e g 4 的专利收费方式也比较复杂，实际上该标准并没有得到广泛的 应用。 1 1 2 2h 2 6 x 系列标准 在h 2 6 x 系列中，h 2 6 1 是最早出现的视频编码标准。它是i t u t 的前 身c c i t t 针对可视电话、视频会议和窄带i s d n 等要求实时编解码和低延时 应用推出的一个视频编码标准。它的输出码率为p x 6 4 k b p s ，其中p 为0 到3 1 的整数。当p 6 时，可传输清晰度较高的图像，主要应用于视频会议。h 2 6 1 主 要采用的是帧间预测和二维d c t 变换的混合编码方法，该标准同时支持帧间 编码和帧内编码。当帧间预测效率较低时，则直接采用d c t 变换对块进行编 码。 i t u tv c e g 在与i s o i e cm p e g 联合推出m p e g 2 之后，又推出了 h 2 6 3 视频编码标准。h 2 6 3 是针对低码率视频通信推出的视频编码标准，目 的是支持码率低于6 4 k b p s 的应用。在h 2 6 1 的基础上，h 2 6 3 进行了一些重 要的改进，如采用了半像素精度的运动估计，增加了非限制运动向量，提出 了基于语法的算术编码、先进预测模式及p b 帧编码等多个高级选项，从而 进一步降低了编码码率并提高了编码图像质量。h 2 6 3 + h 2 6 3 + + 进一步扩充 了h 2 6 3 的编码选项，提高了编码效率，扩大了应用范围。除了能支持更多 的图像格式外，还增强了抗误码的差错掩盖功能。 h 2 6 4 a v c 是i t u t 和i s o i e c 合作成立的联合视频组t ( j o i n tv i d e o t e a m ) 共同制定的最新国际视频编码标准。h 2 6 4 a v c 融入了近些年来在基 于块的混合视频编码技术方面的最新成果，在相同的编码图像质量下，该标 准相对于以往的标准至少节省5 0 以上的码率。关于h 2 6 4 a v c 编码标准的 一些具体内容将在本论文第二章中分别进行介绍。 第6 页西南交通大学博士研究生学位论文 1 1 3 视频质量的评价 编码压缩后的视频图像质量是人们在视频压缩方面比较关注的一项重要 性能指标。然而由于受到多方面因素的影响，图像质量的评价一直以来都是 一件复杂而且很难准确做到的事倩晡r “。在视频质量评价方面主要有主观质 量评价和客观质量评价两类方法。 1 1 3 1 主观质量评价 主观质量评价主要依靠人眼的观察来进行，根据人的主观感受对视频质 量进行打分。由于影响观察者的因素很多，如实验环境、观察者的情绪、视 频内容等，在评价过程中容易产生许多主观随意性。为了减少主观随意性， 在对视频图像进行主观评定前，挑选若干名专家和“非专家”作为评委，共 同参照表l - l 所示的分级评分方法对重建后的视频图像进行评定。 在i t u rb t 5 0 0 11 m e t h o d o l o g yf o r t h es u b j e c t i v ea s s e s s m e n to ft h e q u a l i t y o f t e l e v i s i o n p i c t u r e s ( 电视图像质量主观评价方法) 中推荐了几种测 试方法来进行视频质量的主观评价【2 7 1 。其中被广泛使用的是双刺激连续质量 表1 1 视频质量主观评价分数标准 c c 峨五级评分等级评分等级清晰度等级总体评价 标度( d s c q s ，d o u b l es t i m u l u sc o n t i n u o u sq u a l i t ys c a l e ) 测试系统，如图 1 - 4 所示。其中，a 为原始图像，b 为编码后又被解码重建图像。在整个测试 过程中图像a 、b 的出现次序对于观察者来说是随机的，这样有助于提高评判 图1 4 d s c q s 测试系统 西南交通大学博士研究生学位论文第7 页 的公正性。最后将所有的评分进行加权平均作为视频质量的最终评价结果。 1 1 3 2 客观质量评价 主观质量评价以人的视觉观察为出发点，整个评判符合人的视觉心理特 性。但在实际的操作中为了得到可信的评价结果需要耗费大量的人力、物力、 财力以及时间，因此用主观质量评价方法来衡量常规的视频编解码系统常常 是很困难的。于是在实际的视频编解码应用中定义一个能测量原始视频与编 解码重建后的视频之间差别的客观准则是非常重要的。理想情况下，这种测 量的结果应该能准确反映两个视频序列之间视觉感觉上的差异。然而，实际 中找到这样一种方法是一项非常困难的工作。在视频质量的客观评价准则发 展过程中，人们提出了一些简单且能用某些算法实现的视频质量客观评价准 贝t j t 2 8 - 3 0 ，如均方误差m s e 和峰值信噪比p s n r ( p e a ks i g n a lt on o i s er a t i o ) 。 在这些评价准则中，视频质量的度量完全取决于输入和输出视频的亮度分量 和色度分量，不涉及任何在质量评定过程中人为的主观因素。m s e 的定义为： 1纠型 m s e 2 i f 百，歹) - c ( i ，力r ( 1 - 1 ) 其中，矿和日分别为图像的宽度和高度；s 和c 分别代表原始图像及解码重 建后的图像在点( j 2 ，) 处的亮度或色度值。峰值信噪比p s n r 的定义为： 删= 1 0 1 0 9 l o 篙 ( 1 - 2 ) 由上式可以看出：对于周定的峰值，p s n r 完全由m s e 的值决定。但由于在 实际的应用中人们更倾向于将图像质量与某种p s n r 范围相联系，因此相对 于m s e 而言以分贝( d b ) 为单位的p s n r 更经常用于视频质量的客观评价中。 主观视频质量评价更接近于人的真实视觉感受，但不便于在实际中广泛 应用。客观视频质量评价方法虽然不是特别适合人的视觉感受，但能反映出 大体上的质量情况且便于实际应用。另外由于目前还没有一个公认的可以接 受的客观评价准则可以很好地反映主观质量，考虑到本文中实验的可比较性， 本文采用计算p s n r 值的方法对视频质量进行评价。 1 2 本文的选题背景 第8 页西南交通大学博士研究生学位论文 在i t u t 和i s o i e c 两大国际组织的积极努力和合作下，h 2 6 4 a v c 吸 纳了近几年来视频编码方面的先进技术，并将它们很好地结合起来，以较高 的编码效率和网络友好性成为了新一代国际视频编码标准。与同类的其他视 频编码标准相比，由于其技术方面的先进性、研究方面的开放性以及应用方 面的国际性引起了业界与学术界的强烈关注和积极参与。但h 2 6 4 a v c 高编 码效率的取得是以较高的计算复杂度为代价的，新引迸的多种编码技术如多 模式的空间域帧内预测、多种块划分模式的帧间预测、多参考帧运动搜索和 运动补偿、内容自适应的熵编码以及去块效应环路滤波等，虽然对编码效率 的提高做出了很大的贡献，但计算复杂度却相当高。在标准正式推出后，一 些研列”强】对h 2 6 4 a v c 的编码效率和计算复杂度进行了评估。评估实验结 果表明与以往的视频编码标准相比，在提高5 0 的编码效率的同时，编码器 的计算复杂度增加了4 5 倍，解码器的计算复杂度增加了2 倍。图1 5 为h 2 6 l 与其他标准在各种编码条件下的性能对比 3 3 1 。 t e m p e t e c i f3 0 h z 式 c：y j7 彳夕 f ，彭 一- i m 玲 ， 卜h 2 6 3 h i p 厂 础f j = h 2 6 li 叫。 t e m p e t ec i f3 0 h z ? z h 2 6 l 、 h p e g 4 、一 h 2 b h l p 2 4薜a3 03 23 4韩冀 y - p s n r 始) 图1 - 5h 2 6 l 与其他标准的编码性能对比 在目前现有的软硬件技术上实现h 2 6 4 a v c 视频的实时编码有很大的难 度。虽然随着硬件技术的不断发展，采用更先进的硬件系统按h 2 6 4 a v c 标 准的原有算法实现该标准下视频实时编码最终是可能的，但这需要一个过程。 另外出于经济成本的考虑，并非所有的应用都可能使用最先进的硬件设备。 对于那些对处理能力和功耗敏感的低端设备如手机等，快速算法仍然是解决 这一问题的有效途径。因此保持原有算法的性能并降低算法的计算复杂度是 推进和扩展h 2 6 4 a v c 应用的关键所在。 正因为如此，在制定h 2 6 4 a v c 标准的历次会议中，如何在保留标准中 这些先进编码技术的同时又能最大程度地降低相应计算复杂度逐渐成为了人 们关注的焦点。很多组织和机构向大会递交了关于编码快速算法方面的提案， ，91掣毒t2薯3毒害辞e星 疆 * 弘 苍 葛 m 蛐jt2i 西南交通大学博士研究生学位论文第9 页 如提案 3 4 1 提交了编码模式的快速算法。提案 3 5 1 提交了快速运动搜索算法。 这些算法为h 2 6 4 a v c 能够在现有的硬件平台上实时应用提供了基础。此后， 快速算法的研究已引起越来越多的关注。另外，由于h 2 6 4 a v c 的出色编码 性能，它将会取代以往的视频编码标准并成为未来一段时期内各种视频应用 的主要标准，其发展前景被人们看好。因此，在这些方面开展相关的研究工 作具有十分重要的理论和实际意义。 1 3 国内外研究现状 在h 2 6 4 a v c 视频编码标准正式推出之后，针对其非常高的计算复杂度 问题，人们展开了大量的研究。在实现方面基于各种平台进行了大量的优化， 在算法方面也提出了许多改进的快速算法。近几年，对h 2 6 4 a v c 各项编码 技术的研究和改进一直是自它推出之后的热点问题。 在h 2 6 4 a v c 标准推出的初期，人们在这方面的研究主要是以介绍性、 综述性和验证性的工作为主【3 。之后，在国内外的各种期刊、会议以及因 特网上出现了许多相关算法改进方面的文献资料。不同于以往的视频编码标 准，在h 2 6 4 a v c 中帧内预测编码不仅出现在i 帧中，在p 帧中编码器也会 对宏块进行帧内编码并与帧间编码的结果进行比较，将编码开销最小的模式 作为宏块的最佳编码模式。在帧内预测方面，b m e n g 等人在文献 4 1 1 中提出 了以部分像素来代替全部像素计算帧内预测模式的快速算法；j o e n 等人在文 献中f 3 4 提出了通过判断宏块边界相关性来缩小有效模式范围的快速算法。 在h 2 6 4 a v c 的帧间编码过程中除了新增空间域帧内预测编码外，与以往标 准相比，还增加了支持多达七种块划分模式和多参考帧运动搜索。在帧间宏 块划分模式方面，p l i m 等人在文献 4 2 】中根据视频序列中物体运动的一致 性，提出了基于平滑区域检测的快速块划分模式选择算法；c y u 等人提出了 利用宏块的d c t 系数统计宏块能量从而根据宏块的纹理复杂度进行划分模 式选择的快速算法【4 3 1 。在快速运动搜索算法方面，h y e y e o n 等人结合 h 2 6 4 a v c 的率失真优化算法提出了增强的带状预测搜索算法( e p z s ) 4 4 j 。 c 1 1 0 i 等人结合h 2 6 4 的多种宏块划分类型将钻石快速搜索算法融入