（计算机应用技术专业论文）基于h264avc标准的预测帧编码算法研究.pdf

摘要 h 2 6 4 a v c 标准是一种高性能的视频编解码技术，它是由国际电 信联盟i t u t 和国际标准化组织i s o i e c 联合组建的联合视频组t 共同制定的新数字视频编码标准。该标准在i t u t 标准中被称为 h 2 6 4 ，在i s o i e c 标准中被称为m p e g 4 的第1 0 部分先进视频 编石q ( a v c ) 。与其它现有的视频编码标准相比，h 2 6 4 的优势在于： 低码流、高质量的图像、容错能力强、网络适应力强。 然而，由于采用了相当复杂的率失真优化技术和预测模式，h 2 6 4 的编码复杂度也远远高于先前标准，这限制了h 2 6 4 在实时和无线环 境中的应用。因此，研究和开发面向h 2 6 4 的快速算法，减少运算复 杂度提高编码效率，对于h 2 6 4 视频压缩标准的普及和应用有十分重 要的理论意义和应用价值。 本文首先介绍了视频编码技术基本原理与研究现状，接着全面介 绍h 2 6 4 视频编码标准并详细描述该标准的关键技术，重点分析和说 明了h 2 6 4 标准的帧内和帧间预测编码技术并提出模式选择的快速 算法。实验结果表明，本文算法可以在图像质量基本保持不变的基础 上，有效地降低编码复杂度。 关键词：h 2 6 4 a v c ：帧内预测：帧间预测：结构相似度：率失真优化 a b s t r a c t h 2 6 4 a v cisan e wg e n e r a ti o no fh ig h p e r f o r m a n c evid e o c o d i n gs t a n d a r dj o i n t l yd e v e l o p e db yt h ei t u ta n dt h ei s o i e c i t sc a ll e dh 2 6 4i nt h ei t u - ts t a n d a r dw h il ec a l l e dt h el o t h p a r to fm p e g 一4o ra v c ( a d v a n c e dv i d e oc o d i n g ) i nt h ei s o i e c s t a n d a r d c o m p a r e dw i t h o t h e rv i d e oc o d i n gs t a n d a r d ，t h e a d v a n t a g eo fh 2 6 4i s ：l o wb i tr a t e ，h i g hq u a l i t yi m a g e ， s t r e n g t h e nf a u l tt o l e r a n c e ，s t r o n gn e t w o r ka d a p t a b i i i t y h o w e v e r ，t h ec o d i n ga n dd e c o d i n gc o m p l e x i t yo fh 2 6 4 ，w h i c h a d o p t sc o m p l e xr d om e c h a n i s ma n dp r e d i c t i o n ，f a rh i g h e rt h a n t h ef o r m e rs t a n d a r d s ，l i m i t sh 2 6 4a p p l i c a t i o ni nr e a l t i m ea n d w i r e l e s se n v i r o n m e n t t h e r e b y ，d e v e l o p i n ga n dr e s e a r c h i n gf a s t a l g o r i t h m sf o rh 2 6 4t or e d u c ec o d e cc o m p l e x i t ya n di m p r o v e c o d e cs p e e d ，i sp r o v i d e dw i t hi m p o r t a n tt h e o r ya n da p p l i c a t i o n v a l u e f o rp r o m o t i o no fh 2 6 4v i d e oc o d i n gs t a n d a r d a tf i r s t ，t h ep r i n c i p l eo fv i d e oc o d i n gt e c h n i q u ea n dt h e r e s e a r c hs i t u a t i o no fv i d e oc o d i n gs t a n d a r di si n t r o d u c e di n t h i sp a p e r t h e na f t e rd e t a i l e dt h ec r i t i c a lt e c h n i q u eo fh 2 6 4 ， t h ei n t r aa n di n t e rp r e d ic t e d f r a m et e c h n o l o g ya r ee m p h a siz e d a n df a s ta l g o r i t h m sa r ep u tf o r w a r d t h er e s u l t ss h o wt h a tt h e p r o p o s e da l g o r i t h m s c a nr e d u c ee n c o d e r c o m p l e x i t y s i g n i f i c a n t l yw h i l e t h ed e c r e a s eo f i m a g eq u a l i t y i s n e g li g i b l e k e yw o r d s ：h 2 6 4 a v c ：i n t r ap r e d i c ti o n ：i n t e rp r e d i c ti o n ： s t r u c t u r a ls i m i l a r i t y ：r d o 1 1 1 湖南师范大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本 论文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：柳确力归罗年戊月笋日 湖南师范大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 研究生在校攻读学位期间论文工作的知识产权单位属湖南师范大学。 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权湖南师范大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密艮 ( 请在以上相应方框内打“ ) 作者签名：柳嫡日期：毋缈降- 月尹日 导师签名：f 蠢右巾 日期：文中月厂p 日“ f 。 基于h 2 6 4 w c 标准的预测帧编码算法研究 1 1 引言 第一章绪论 自2 0 世纪8 0 年代以来，随着多媒体通信技术的飞速发展，人们 获取和处理信息更为容易快捷，方式更为多样，。信息也已经从简单的 文字图片向更为复杂的音视频多媒体信息转变，但信息量的爆炸性增 长也使得现有的信道资源出现瓶颈，而各种多媒体音视频信息的压缩 编码技术则成为解决信息有效传输的关键 1 】。例如，一路可视电话 或会议电视信号，由于其活动内容较少，所需带宽较窄，但要达到良 好质量，不压缩约需若干m b i t s ，压缩后需要3 8 4 k b i t s ；又如，一路 高清晰度电视信号( h d t v ) ，由于其信息量相当巨大，不压缩需 1 g b i t s ，利用m p e g 2 压缩后，尚需2 0 m b i t s 2 。因此，为了有效地 节省传送的带宽和存储空间，数字视频数据在传输前必须经过压缩， 视频编码器的实现方式应力求简单、易实现、成本低、可靠性高。 本章首先简单介绍视频编码的基础知识，即视频压缩的基本原理 和思想，以及视频编码标准的发展以及现状，接着就此提出本文的选 题背景，最后是本文的主要内容介绍，包括所要研究的问题及论文组 织结构。 湖南师范人学硕士学位论文 1 1 1 视频编码的基本原理和思想 视频图像数据有极强的相关性，也就是说有大量的冗余信息。其 中冗余信息可分为空域冗余信息和时域冗余信息。压缩技术就是将数 据中的冗余信息去掉( 去除数据之间的相关性) ，压缩技术包含帧内 图像数据压缩技术、帧问图像数据压缩技术和熵编码压缩技术 1 】。 大量的统计表明，同一幅图像中像素之间具有较强的相关性，两 个像素之间的距离越短，则其相关性越强，即两个像素的值越接近。 换言之，两个相邻像素的值发生突变的概率极小，“相等、相似或缓 变的概率则极大。这种像素问的相关性可用来进行压缩编码，削弱 视频数据在空间上的冗余，这种压缩方式称为帧内预测编码。不仅如 此，还可通过去时域冗余，即利用帧间相关性进行压缩编码。由于邻 近帧之间的相关性一般比帧内像素间的相关性更强，可得到的压缩比 也更大。这种利用帧内像素间的相关性和帧间相关性，找到相应的参 考像素或参考帧作为预测值的压缩方法即为视频压缩中的预测编码 技术。 也有大量统计表明，视频信号中包含着在能量上占主要部分的直 流和低频成分，还有少量的高频成分，即图像的细节。因此，可以通 过另一种方法进行视频编码，将图像经过某种数学变换后，得到变换 域中的图像。于是可用较少的码表示直流低频以及高频，而零值则不 必用码传递，这就是视频压缩中的变换编码技术。 对于统计冗余，主要是通过熵编码技术的研究，通过提高熵编码 效率来降低统计冗余，如哈夫曼变长编码、算术编码。 基丁h 2 6 4 a v c 标准的预测帧编码算法研究 以上这些技术在发展过程中逐渐融合，形成了典型的基于变换 预测的混合编码框架，主要包括熵编码、变换编码和预测编码等关键 技术。这种由预测和变换两种基本编码方法联合并与统计编码结合构 成的混合型编码已成为活动图像编码方案中的主流类型，被很多视频 编码国际标准所采纳。 1 1 2 视频编码的发展及研究现状 随着数字视频编解码技术的发展，为了保证不同厂家视频编解码 产品之间的兼容性，视频编解码技术的标准化问题目益引起了人们的 重视。目前国际上制定视频编解码技术的组织有两个，一个是国际电 信联盟i t u t ，它制定的标准有h 2 6 1 、h 2 6 3 、h 2 6 3 + 等，另一个是 国际标准化组织i s o 它制定的标准有m p e g 1 、m p e g 2 、m p e g 4 等。 1 9 8 4 年，i t u t 的前身c c i t t ( 国际电报电话咨询委员会) 针对当 时电信业务对会议电视和可视电话等视频技术的需要，成立了一个可 视电话编码专家组，其任务是提出一个数码率不高于数字一次群传输 速率( 2 m b s ) 的活动图像编码标准。经过十余个国家众多专家5 年的 倾力合作，1 9 9 0 年颁布了用于视听业务的码率为p 6 4 k b s ( p = l 3 0 ) 的视频编码国际标准，即h 2 6 1 建议( i t u t 及其前身c c i t t 所建立 的国际标准通常称为建议) 。h 2 6 1 是视频压缩编码的第一个国际标 准，它的制定集中体现了人们在图像编码方面近4 0 年的研究成果， 它以图像编码领域中三大经典技术预测编码、变换编码和统计编 湖南师范人学硕十学位论文 码为核心，构造出的混合视频编码系统基本奠定了近代数字视频编码 标准的系统框架模型，对其后的各种视频编码标准具有深远影响，因 此它被视为图像通信发展史上一个重要的里程碑 1 】。随后，i t u t 针 对不同的电信通信网络中对实时视频通信系统的需要，先后完成了 h 2 6 x 系列中多个视频编码标准，其中包括h 2 6 1 、h 2 6 2 、h 2 6 3 、 h 2 6 3 + 、h 2 6 3 + + 、h 2 6 4 。 在h 2 6 1 制定的同时，i s o i e c 联合技术委员会下属分委员会于 19 8 8 年成立了运动图像专家组m p e g ，旨在制定针对多媒体信息存 储、视频广播、视频流媒体等多种应用系统的音视频多媒体压缩编码 标准。该委员会通过的m p e g 系列的多个音视频压缩编码标准包括 m p e g 一1 、m p e g 2 、m p e g 4 ，以及后来关于多媒体信息系统框架的 标准m p e g 7 和m p e g 2 1 。 早在19 9 5 年，i t u t 下属的视频编码专家组v c e g ( v i d e oc o d i n g e x p e r t sg r o u p ) ，就开始针对极低码率视频编码标准的长期目标进行 研究，希望能够形成一个在性能方面与现有标准有较大区别的高压缩 比视频编码标准，主要针对“会话”服务( 视频会议、可视电话) 和 “非会话 服务( 视频的存储、广播及流媒体) 提供更加适于网络传 输的解决方案。在标准制定的初期，v c e g 形成的相关标准草案被定 名为h 2 6 l 。1 9 9 8 年1 月，v c e g 开始向全世界征集视频编解码方案， 并于1 9 9 9 年8 月完成第一个草案文档和第一个测试模型t m l 1 ，测 试结果显示其软件编码的视频流质量远优于当时基于m p e g 4 标准 的软件编码的视频流质量。这时，m p e g 也启动了在a v c ( a d v a n c e d 基丁h 2 6 4 a v c 标准的预测帧编码算法研究 v i d e oc o d i n g ) 方面的研究。在充分意识到h 2 6 l 的良好发展前景之 后，i s o i e c 的m p e g 和i t u t 的v c e g 再次合作，组建了联合视 频专家组( j o i n tv i d e ot e r m ，j v t ) ，其目的就是在h 2 6 l 技术体系上 进一步完善，共同研究并推动其形成新的视频编码国际标准。2 0 0 2 年5 月，j v t 形成委员会草案( c o m m i t t e ed r a f t ，c d ) ，同年1 2 月， 完成最终国际标准草案( f i n a ld r a f ti n t e r n a t i o n a ls t a n d a r d 。f d i s ) 。 2 0 0 3 年3 月，在i t u t 和i s o i e c 的协作和努力下制定的新视频编 码国际标准被正式批准，该标准在i t u t 标准中被称为h 2 6 4 ，在 i s o i e c 标准中被称为m p e g 4 的第1 0 部分一一先进视频编码 ( a v c ) ，通常被称之为h 2 6 4 a v c 而明确地说明它两方面的开发者。 图1 1 显示了一个i t u t 和i s o i e c 现有视频编码标准演进的时 间轴。 9 8 41 9 8 61 9 8 81 9 9 01 9 9 21 9 9 41 9 9 69 9 82 0 2 0 0 22 0 0 4 图1 1 视频压缩标准演进时间轴 1 2 本文的选题背景 h 2 6 4 最大的优势是具有很高的数据压缩比率，在同等图像质量 的条件下，h 2 6 4 的压缩比是m p e g 2 的2 倍以上，是m p e g 4 的 湖南师范人学硕士学位论文 1 5 2 倍。举个例子，原始文件的大小如果为8 8 g b ，采用m p e g 2 压缩标准压缩后变成3 5 g b ，压缩比为2 5 ：1 ，而采用h 2 6 4 压缩标 准压缩后变为8 7 9 m b ，从8 8 g b 到8 7 9 m b ，h 2 6 4 的压缩比达到惊 人的1 0 2 ：1 ，如此极高的压缩比和其低码率( l o wb i tr a t e ) 起的重 要作用是分不开的。和m p e g 2 和m p e g 4a s p 等压缩技术相比， h 2 6 4 压缩技术将大大节省用户的下载时间和数据流量收费。尤其值 得一提的是，h 2 6 4 在具有高压缩比的同时还拥有高质量流畅的图像。 惊人的1 0 2 ：1 压缩比和出色的画质成为h 2 6 4 获得青睐的杀手锏， 而对于主打便携的数码播放器来说，在有限的屏幕分辨率下，存储空 间也不像电脑硬盘一样巨大，小巧而画质优秀，还有巨大潜力和拓展 空间的h 2 6 4 自然是最好的选择之一。 诚然，h 2 6 4 并不是完美无缺的，高压缩比和出色的画质给视频 解码能力带来前所未有的挑战，一般的数码播放器解决方案根本无法 做到，只有在硬件实现h 2 6 4 解码的前提下，结合优秀的软件配合才 能达到效果。随着硬件技术的不断发展，在更先进的硬件系统上实现 h 2 6 4 实时视频编码是有可能的，但这需要一个过程。而且由于经济 成本方面的因素，像手机一类的产品，因为对处理能力和功耗敏感， 所以并不是所有的应用都能使用最先进的硬件设备。 因此，研究针对h 2 6 4 编码的快速算法从而降低编码复杂度，节 约时间成本，提高编码效率，对于该标准的广泛普及和视频压缩的进 一步研究和发展具有十分重要的理论意义和应用价值。 基于h 2 6 4 a v c 标准的预测帧编码算法研究 1 3 本文的主要内容和组织结构 本文在分析h 2 6 4 a v c 主要编码特性和相关算法复杂度的基础 上，有针对性地对h 2 6 4 a v c 的帧内和帧间编码算法进行了研究和 优化。帧内预测编码用来缩减图像的空域冗余，利用给定帧中相邻宏 块的空间相关性，对预测值与实际值的差值进行编码。帧间预测编码 利用连续帧中的时间冗余来进行运动估计和补偿。帧内和帧间部分的 预测编码是h 2 6 4 的重要组成部分，但由于算法的复杂度高，运算量 大，难以应用于对实时性要求较严的领域。针对这些问题，本文分别 进行了改进，能够有效降低计算复杂度，在确保图像质量不降的基础 上，提高编码效率。 第一章绪论。介绍了视频编码的基本原理和发展历程，概述本 文研究的主要内容和全文组织结构。 第二章h 2 6 4 a v c 视频编码标准。详细描述了h 2 6 4 标准的整 体框架结构以及该标准的技术特点，各个模块的原理和实现。 第三章帧内预测算法的优化。改进了基于方向特性的掩模算法， 通过预先排除可能性较小的预测方向，减少最终参与率失真计算的预 测模式，提高运算速度。 第四章帧间预测算法的优化。分析了帧间预测算法的复杂性， 介绍了目前针对帧间预测模式选择的快速算法研究现状，提出了一种 基于频域结构相似度的帧间预测快速算法。 第五章总结及展望。讨论进一步的研究方向和关键技术难点。 湖南师范人学硕十学位论文 第二章h 2 6 4 a v 0 视频编码标准 2 1 h 2 6 4 a v c 的编码器结构 h 2 6 4 a v c 是一种新型的基于像素块的高压缩比视频压缩算法， 与m p e g 4 第2 部分的基于对象的视频编码相比，它更加简单易行； 与m p e g 4 第2 部分的基于矩形视频对象的视频编码和 h 2 6 3 h 2 6 3 + h 2 6 3 + + 等视频编码相比，它的选项更少易于实现；与 m p e g 1 2 的视频编码相比，它的压缩比更高，而且适合网络环境。 总之，h 2 6 4 a v c 返璞归真，抛弃了太超前的基于对象的编码，也不 似h 2 6 3 + + 有众多的选项，而是回归传统的d p c m 加变换编码的混 合编码方法，通过采用大量新型算法和技术，大大提高了压缩比( 比 m p e g 4 和h 2 6 3 的高1 2 倍，比m p e g 1 2 和h 2 6 l 2 6 2 的高2 4 倍) 。其编码器原理如图2 1 所示。 编码器中采用的是预测和变换的混合编码方法。输入的f n 是以宏 块为单位的一帧或一场数据，对每个宏块采用帧内或帧间预测编码的 方法进行处理，产生预测图像p 。如果采用帧内预测编码，预测值p 是从当前已经过编解码重构但未经滤波的片中产生：如果采用的是帧 间预测编码，预测值p 是从当前片中选择已编码图像通过运动补偿得 到。e 一。为重构后的参考图像，可从当前图像的前、后向( 显示次序) 已经过编码解码滤波的帧中选择。 基于h 2 6 4 a v c 标准的预测帧编码算法研究 图2 1h 2 6 4 编码器框图 预测值p 和当前块相减产生残差块d n ，然后经变换、量化产生 一组量化后变换系数x ，x 再经重排序和熵编码，与解码所需的一些 信息如预测模式量化参数和运动矢量等，一起组成压缩后的码流，通 过n a l ( 网络自适应层) 来传输和存储。可以看到，h 2 6 4 编码器结构 中这些功能块的组成和早期的视频编码标准基本类似，主要的不同在 于各功能块的细节部分。 解码器则完成和编码器相对应但相对简单的功能。 2 2h 2 6 4 a v 0 编码档次与格式 2 2 1 档次和级别 在h 2 6 4 a v c 中，定义了编码的3 种档次、4 种宏块和5 种片。 湖南师范人学硕十学位论文 图2 - 2h 2 6 4 a v c 的档次 1 档次和级别 h 2 6 4 a v c 标准规定了3 种档次( p r o f i l e ) ，每种档次支持一组特 定的编码功能和应用：( 参见图2 2 ) ( 1 ) 基本档次( b a s e l i n ep r o f i l e 卜利用i 片和p 片支持帧内和帧 问编码，支持利用基于上下文的自适应变长编码进行的熵编码 ( c a v l c ) 。主要用于可视电话、会议电视、无线通信等实时视 频通信。 ( 2 ) 主档次( m a i np r o f i l e 卜支持隔行视频，利用i 、p 和b 片进 行的帧内和帧间编码，支持利用基于上下文的自适应的算术编 码( c a b a c ) 。主要用于数字广播电视与数字视频存储。 ( 3 ) 扩展档次( e x t e n d e dp r o f i l e ) 支持码流之间有效的切换( s p 和s i 片) ，改进误码性能( 数据分割) ，但不支持隔行视频和 、-_i_j，_lj 、 一 _ _ _ 、 一 _ - _ 、 - _ _ c ， _：_一 ， _门_一l一 一_一j一 一睇-一一- - 一c 1 一 _ _ 、一、 ，曰一 一一， 基丁h 2 6 4 a v c 标准的预测帧编码算法研究 c a b a c ，主要应用于流媒体中。 对每种档次设置不同的参数( 如取样速率、图像尺寸、编码比特 率等) ，得到对应编码器性能的不同级另s l j ( 1 e v e l ) 。 在h 2 6 4 a v c 标准中，共定义了1 5 个级别，它们的各种限制见 表2 1 。 每两个连续 最大宏块最大解码最大视频最大c p b垂直运动矢量 最小宏块的运动 级数处理速率 最大帧大小 缓冲区 比特率大小分量范围 ( 宏块l 宽高j ) 压缩比矢量最大数 ( 宏块，秒)( - ( b )( k b p s )( k b i t )( 亮度帧样点) 目 il4 8 5 9 9 1 1 7 6 1 4 4 】 1 4 8 56 41 7 5 【- 6 4 ，+ 6 3 7 5 1 2 1 130 0 0 3 9 6 3 5 2 奉2 8 8 1 3 3 7 5 1 9 2 5 0 0 【- 1 2 8 ，+ 1 2 7 7 5 】 2 1 260 0 0 3 9 6 3 5 2 4 2 8 8 】 8 9 1 o3 8 410 0 0 一1 2 8 ，+ 1 2 7 7 5 】 2 1 3l l8 8 0 3 9 6 3 5 2 4 2 8 8 】 8 9 1 07 6 820 0 0 【- 1 2 8 + 1 2 7 7 5 】 2 21 18 8 0 3 9 6 3 5 2 2 8 8 1 8 9 1 o20 0 020 0 0 【一1 2 8 ，+ 1 2 7 7 5 1 2 2 11 98 0 0 7 9 2 3 5 2 5 7 6 】 l7 8 2 0 4o o o4o o o 【- 2 5 6 ，+ 2 5 5 7 5 】 2 2 2 2 02 5 0i6 2 0 7 2 0 。5 7 6 】30 3 7 54o o o40 0 0 【- 2 5 6 ，+ 2 5 5 7 5 】 2 34 0 5 0 016 2 0 【7 2 0 * 5 7 6 】30 3 7 51 0 0 0 01 0o o o - 2 5 6 ，+ 2 5 5 7 5 1 23 2 3 11 0 80 0 036 0 0 【12 8 0 4 7 2 0 】67 5 0 01 4 0 0 01 40 0 0 【一5 1 2 ，+ 5 1 1 7 5 】 41 6 3 22 1 6 0 0 051 2 0 i2 8 0 10 2 4 】76 8 0 02 0o o o2 00 0 0 【- 5 1 2 ，+ 5 i1 7 5 】 4 1 6 42 4 57 6 081 9 2 20 4 8 l0 2 4 】1 22 8 8 02 0o o o 2 5o o o - 5 1 2 , + 5 11 7 5 】 4 1 6 4 1 2 4 5 7 6 081 9 2 20 4 8 。10 2 4 】1 22 8 8 05 00 0 06 25 0 0【一5 1 2 ，+ 5 l i 7 5 121 6 4 24 9 15 2 081 9 2 1 20 4 8 + l0 2 4 】1 22 8 8 05 0o o o6 25 0 0 - 5 1 2 ，+ 5 1 i 7 5 】21 6 55 8 9 8 2 42 20 8 0 36 8 0 i5 3 6 】4 l3 l o o1 3 50 0 01 3 5 0 0 0 - 5 1 2 + 5 li 7 5 21 6 5 19 8 3 0 4 03 68 6 4 40 9 6 + 23 0 4 】6 91 2 0 02 4 0 o o o2 4 0 0 0 01 - 5 1 2 + 5 1 1 7 5 121 6 2 2 2 宏块、片与片组 表2 1 级别限制 h 2 6 4 a v c 中的一个编码图像通常被划分为若干个宏块，一个宏 块由一个1 6 1 6 像素的亮度块和附加的两个8 8 像素的色差块所组 成。在每个图像中，若干宏块被排列成片的形式。与m p e g 1 2 中的 i 、p 、b 帧相对应，在h 2 6 4 a v c 中也有3 种采用不同类型编码的宏 块，另外还增加了一种新的s i 宏块类型： 湖南师范人学硕十学位论文 i 宏块利用当前片中已经解码的图像作为参考图像进行 帧内预测编码( 不能取其他片中的已解码像素作为参考进行帧 内预测) 。 p 宏块利用前面已经解码的图像作为参考图像进行帧内 预测编码( 可取其他片中的已解码像素作为参考进行帧内预 测) ，还可以对宏块进行分割与亚分割。 b 宏块似p 宏块，但是可利用双向( 前面和后面的已经 解码的) 参考图像进行帧内预测编码。 s i 宏块一种特殊类型的帧内编码宏块，似i 宏块，也只 使用同一片内的已编码样本来进行预测，用于编码流之间的快 速切换。 一个视频图像可以编码成若干个片( s l i c e ) ，每个片可包含若干 个宏块( m b ) ，参见图2 3 。一个片中至少包含一个宏块，最多可包 含整幅图像中的所有宏块。设置片的目的是为了限制误码的扩散和传 播，编码时须保持片间的相互独立性。 图2 3 片的句法结构 基于h 2 6 4 a v c 标准的预测帧编码算法研究 h 2 6 4 a v c 中共有5 种如下编码片类型： i 片只包含i 宏块( 在相同的片内由以前编码的数据来预 测每个块和宏块) ，可用于所有档次。 p 片可包含p 宏块( 由列表l i s t 0 的参考图像来预测每个 宏块或宏块分割) 和或i 宏块，也可用于所有档次。 b 片可包含b 宏块( 由列表l i s t 0 和或l i s t l 的参考图像 来预测每个宏块或宏块分割) 和或i 宏块，可用于主档次和扩 展档次。 s p 片使编码流之间容易切换，包含p 和或i 宏块，只能 用于扩展档次。 s i 片使编码流之间容易切换，包含i 宏块和或s i 宏块， 也只能用于扩展档次。 2 2 3 支持的图像帧结构及类型 h 2 6 4 支持包括s u b q c i f 、q c i f 、c i f 、4 c i f 、1 6 c i f 在内的各 种分辨率的视频图像格式。h 2 6 4 支持4 ：2 ：0 的连续或隔行视频的编 码和解码。视频输入的图像都被分成1 6 1 6 大小的宏块，若干个宏 块可以组成宏块组，称为片( s l i c e ) 。一幅q c i f 图像最少由一个片组 成，最多由9 9 个片组成。设片的目的是为了限制误码的传输与扩散， 所以应该使编码片间保持独立。 h 2 6 4 支持传统的i 、p 、b 帧编码。i 帧即帧内编码帧，i 帧特点： 是一个全帧压缩编码帧，将全帧图像信息进行压缩编码及传输，解码 湖南师范人学硕士学位论文 时仅用i 帧的数据就可重构完整图像；描述了图像背景和运动主体的 详情；不需要参考其他画面而生成；是p 帧和b 帧的参考帧( 其质 量直接影响到同组中以后各帧的质量) ；是帧组g o p 的基础帧( 第一 帧) ，在一组中只有一个i 帧；不需要考虑运动矢量：所占数据的信 息量比较大。 p 帧即前向预测编码帧，是以i 帧为参考帧，在i 帧中找出p 帧 “某点 的预测值和运动矢量，取预测差值和运动矢量一起传送。在 接收端根据运动矢量从i 帧中找出p 帧“某点 的预测值并与差值相 加以得到p 帧“某点 样值，从而可得到完整的p 帧。p 帧特点：是 i 帧后面相隔l 2 帧的编码帧；采用运动补偿的方法传送它与前面的 i 或p 帧的差值及运动矢量( 预测误差) ；解码时必须将i 帧中的预测 值与预测误差求和后才能重构完整的p 帧图像；属于前向预测的帧间 编码，它只参考前面最靠近它的i 帧或p 帧；可以是其后面p 帧的参 考帧，也可以是其前后的b 帧的参考帧；由于p 帧是参考帧，它可 能造成解码错误的扩散；由于是差值传送，p 帧的压缩比较高。 b 帧即双向预测内插编码帧，是以前面的i 或p 帧和后面的p 帧 为参考帧，“找出”b 帧“某点”的预测值和两个运动矢量，并取预 测差值和运动矢量传送。接收端根据运动矢量在两个参考帧中“找出” ( 算出) 预测值并与差值求和，得到b 帧“某点 样值，从而可得 到完整的b 帧。b 帧特点：是由前面的i 或p 帧和后面的p 帧来进行 预测的；传送的是它与前面的i 或p 帧和后面的p 帧之间的预测误差 及运动矢量；是双向预测编码帧；压缩比最高，因为它只反映参考帧 基丁h 2 6 4 a v c 标准的预测帧编码算法研究 间运动主体的变化情况，预测比较准确；不是参考帧，不会造成解码 错误的扩散。 除了i 帧、p 帧和b 帧这3 种主要的帧类型，为了顺应视频流的 带宽白适应性和抗误码性能的要求，h 2 6 4 标准中还定义了两种新的 帧类型：s p 帧和s i 帧。s p 帧编码的基本原理同p 帧类似，仍是基 于帧间预测的运动补偿预测编码，两者之间的差异在于s p 帧能够参 照不同参考帧重构出相同的图像帧。与s p 帧相对应，s i 帧则是基于 帧内预测的编码技术，其重构图像的方法与s p 完全相同。s p 帧的编 码效率尽管略低于p 帧，但却远远高于i 帧，大大改善了h 2 6 4 的网 络亲和性，支持灵活的流媒体服务应用，具有很强的抗误码性能，适 于在噪声干扰大、丢包率高的无线信道中传输。 2 3h 2 6 4 a v c 的技术特点 h 2 6 4 a v c 标准的编码思想与传统的m p e g 一1 2 等视频编码一致 基于像素块的混合编码方法，但是它同时运用了众多的新技术， 使得其编码性能远远优于其他标准 31 3 2 3 3 】。 1 h 2 6 4 a v c 保留的传统编码技术 1 ) 将图像分成1 6 1 6 像素的宏块来处理； 2 ) 利用帧间预测与运动补偿来消除时域相关性； 3 ) 对运动估值后的残差块进行变换、量化、扫描和熵编码，以消除 空间和频域冗余； 4 ) 4 ：2 ：0 亮度色差子采样、运动矢量、划分变换块的大小、分级量化 湖南师范人学硕十学位论文 和i p b 帧等其他技术。 2 h 2 6 4 a v c 采用的新型编码技术 1 ) 宏块分割与亚分割1 6 1 6 像素的宏块可分割成1 6 8 、8 1 6 、8 8 的块，8 8 像素块还可进一步亚分割成8x4 、4 8 和 4 4 的块。 2 ) 帧内预测不仅采用传统的帧间预测，而且还新增加了帧内预 测，以消除i 帧编码中的空间冗余。利用当前像素块左边和上边 的像素来对块内像素值进行预测，只对残差进行编码。 3 ) 多参考帧和小运动分块在帧间预测中，可将宏块分割与亚分 割成1 ) 中所列的各种小运动分块，利用已经解码的多个( 最多2 1 6 = 3 2 ) 参考帧来进行预测编码，运动补偿的残差值会更小。 4 ) 4 4 整数d c 卜对运动补偿和帧内预测的残差块进行4 4 的 分块，再对4 4 的残差块进行整数d c t 。与传统的8 8 块的浮 点数d c t 相比，4 4 的整数d c t 减小了分块效应和振铃效应 ( r i n g i n ge f f e c t ) 、计算快( 只需整数加法与移位运算) 、效果好( 反 变换不会出现失配等问题) 、结合量化过程、保证运算精度和范围 ( 16 位) 。 5 ) h a d a m a r d 变换一一在量化之前，还对d c 系数矩阵先进行 h a d a m a r d ( 哈达玛) 变换，可消除相邻变换块的d c 系数之间的 相关性，以提高压缩比。 。 6 ) 无扩展分级量化对变换系数采用无扩展的分级量化量来进行 标量量化，量化的步长由量化参数决定。而且还将量化与变换中 基丁h 2 6 4 儿w c 标准的预测帧编码算法研究 的比例伸缩部分( 尺度矩阵乘法) 融合在一起，有效地减少了编 码的计算量。 7 ) 场扫描顺序除了传统的z 字型帧扫描顺序外，还增加了场扫 描方式，用于场编码模式。 ( a ) z 字形扫描( b ) 场扫描 图2 4 扫描顺序 8 ) 去块效应滤波器为了消除分块编码中，由于块边界像素值的 量化误差而形成的图像主观质量的“块效应 ，引入了基于内容的 去块效应滤波器。根据误差分析区分图像中的真实边界和由d c t 变换系数量化而造成的假边界，滤除假边界同时保持图像真实边 界不被滤波。 9 ) 新型熵编码采用了c a v l c ( c o n t e x t b a s e da d a p t i v ev a r i a b l e l e n g t hc o d i n g ，基于上下文的自适应变长编码) 和c a b a c ( c o n t e x t - b a s e d a d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ，基于上下文的 自适应二进制算术编码) 等新的熵编码方法，可以克服h u f f m a n 和算术编码等传统v l c ( v a r i a b l el e n g t hc o d e ，变长编码) 的概 率分布不符合实际情况、概率分布是静止的、忽略了符号的相关 1 7 湖南师范人学硕十学位论文 性、没有利用条件概率、码字必须为整数比特等缺点，提高压缩 比。 1 0 ) 新图片类型新增加了支持码流切换的可转换片( s l i c e ，条带) 类型s p ( s w i t c h i n gp r e d i c t e d ，转换预测) 和s i ( s w i t c h i n gi n t r a ， 转换帧内) ，解决流间切换、拼接与随机接入等问题。s p 片采用 了帧间预测方法，并通过量化值大小的改变，从而实现在不同码 率的编码流之间的转换；s i 片则是s p 片的一种近似，用于出现 传输错误而无法采用帧间预测方法的情形。 1 1 ) 场模式编码可将一帧图像拆成两场图像，对其中一场采用帧 内编码，对另一场则利用前一场的信息进行运动补偿编码，可提 高压缩比。 1 2 ) 分层算法结构编码算法总体上分为两层：视频编码层( v c l ) 负责对视频内容的有效描述；网络抽象层( n a l ) 负责在不同网 络上对视频数据进行打包传输；在v c l 和n a l 之间定义了一个 基于分组方式的接口；参见图2 - 6 。v c l 的设计目标是提高编码 效率，而n a l 的则是解决视频q o s ( 服务质量) 与网络q o s 的 匹配。 基于h 2 6 4 a 、，c 标准的预测帧编码算法研究 霉 口 善 u v i d e oc o d i n gl a y e r c o d e d m a c r o b l o c k d a t ap a r t i t i o n i n g c o d e d s l i c e p a r t i t i o n h 3 2 0lm p 4 f flh 3 2 2 l pi 【p e g - 2le t c 图2 5h 2 6 4 分层结构 1 3 ) 面向i p 和无线环境为了提高压缩视频流在i p 网络和移动通 信等误码和丢包的多发环境中传输的稳健性，而且适应不同传输 速率的需要，h 2 6 4 a v c 标准中包含了消除传输差错、改变视频 流码率的方法和工具：如帧内图像刷新、支持片结构编码来抵御 传输差错；在一幅图像的视频数据中提供一定数量的重同步点以 便于误码后的再同步；在帧内宏块刷新和多参考宏块中，允许编 码器在选择宏块模式时，不仅考虑编码效率，还可以适应不同传 输信道的特性；除利用量化步长的改变来适应信道码率，还常利 用数据分割方法来应对信道码率的变化；通过改变量化精度来支 持无线信道较大的码率变化，与m p e g 4 中采用的( 效率较低的) 精细可伸缩性( f g s ) 编码方法不同，h 2 6 4 a v c 采用流切换的 s p 帧来代替分级编码。 湖南师范人学硕士学位论文 h 2 6 4 a v c 是最新的视频编解码标准，它具有低码流、高质量的 图像、容错能力强、网络适应性强等特点，技术上，它集中了以往标 准的优点，并吸收了以往标准制定中积累的经验。与h 2 6 3v 2 ( h 2 6 3 + ) 或m p e g 4 简单类( s i m p l ep r o f i l e ) 相比，h 2 6 4 在使用 与上述编码方法类似的最佳编码器时，在大多数码率下最多可节省约 5 0 的码率。然而由于采用了一些新技术使得运算量大幅增加，这也 成为阻碍其应用的最重要因素之一。 基丁h 2 6 4 a v c 标准的预测帧编码算法研究 3 1 引言 第三章帧内预测算法的优化 帧内预测是h 2 6 4 a v c 的一个重要组成部分，它充分利用图像 的空间相关性，提高了压缩效率。然而帧内预测算法具有极高的算法 复杂度，难以适应实时性要求高的情况，为了克服这一局限，许多快 速算法应运而出。目前对帧内预测编码复杂度的优化主要集中在两个 方面：一是对代价函数的简化，选择比r d o 计算量更小的代价函数； 二是减少待选预测模式数，基于一定的分析，预先排除可能性小的预 测模式。 文献 1 1 最早提出对帧内预测模式的选择进行优化。由于物体边 界通常是连续的，沿物体边缘方向的像素往往具有相似值。文中提出 可以用相同边缘方向的相邻像素进行预测，因此，采用s o b e l 算子计 算当前块的边缘信息，累加当前块中属于同一方向像素点的边缘矢量 生成边缘方向直方图，找到相关性最强的块。对4 4 块，在该方向 预测模式和与此方向相邻的两个方向预测模式，加上d c 预测共4 个 模式中遍历最优模式，而标准默认的模式则有9 种。对1 6 x1 6 和8 8 块预测的方法相似，只需遍历最可能方向模式和d c 模式共2 种 而不是标准默认的4 种模式。该方法可减少需要计算的帧内预测模式 的个数，较快地得到最终的帧内预测模式。实验结果显示算法在码率 湖南师范人学硕+ 学位论文 增加约2 时编码节省时间2 0 0 0 - - - 3 0 ，在码率增加约5 时编码时间 节省5 5 6 5 ，而信噪比最多下降0 0 8 d b 。但该算法需要对当前块 每个像素点用s o b e l 算子计算梯度值，并统计整个块的边缘方向，计 算量较大，计算复杂度仍然很高，耗内存开销。 m p e g 7 标准 1 5 】中采用了基于主边缘增强( d e s ) 技术，对于 i n t r a 4 4 或者i n t r a l 6 1 6 确定具体的