（计算机应用技术专业论文）linux下h264解码器的优化实现.pdf

华北电力人学硕士学位论文 摘要 h 2 6 4 是i t u tv c g e 和i s om p e g 联合丌发的最新视频标准。它虽然具有很 多优良性能，但是它的运算量也是十分巨大的，在通常的条件下，无法满足实际应 用的要求。本文的工作主要着重于对h 2 6 4 解码器进行优化。 本文首先分析了h 2 6 4 标准所采用的一些先进技术，如基于多种运动矢量模块 的运动估计、帧内预测、整数变换、熵编码等。然后在研究h 2 6 4 解码器的基本结 构和实现流程的基础上，结合模型自身特点，分别从程序结构、环路滤波过程及非 整数像素插值三个不同的方面对h 2 6 4 解码器进行了优化设计。实验证明，优化后 解码器速度提高了3 4 倍。最后在s d l 多媒体库和网络编程的基础上利用多线程 技术实现了图像的传输解码显示功能。 关键词：h 2 6 4 ，优化，解码器，线程 a b s t r a c t h 2 6 4i san e wv i d e oc o d i n gs t a r d a r dj o i n t l yd e v e l o p e db yi t u ta n di s om p e g i nd e s p i t eo fi t se x c e l l e n tp e r f o r m a n c e ，t h eq u a n t i t yo fc a l c u l a t i o ni se x c e s s i v e i n g e n e r a l ，i ti s h a r dt om e e tt h er e q u i r e m e n to fa c t u a la p p l i c a t i o n s i nt h i sp a p e r , w e 1 1 f o c u so no p t i m i z a t i o no fh 2 6 4d e c o d e r f i r s t l y , i td e s c r i b e dt h ea d v a n c e dt e c h n o l o g i e so fh 2 6 4 ，s u c ha st h em o t i o n e s t i m a t i o nb a s e do nm u l t i p l e m o d e sm o t i o nv e c t o r s 、i n t r a - p r e d i c t i o n 、i n t e g r a lt r a n s f o r m 、 e n t r o p ye n c o d e t h e n ，b a s e do nt h ea n a l y s e dt h em a i ns t r u c t u r ea n dt h ef l o wo fh 2 6 4 d e c o d e ra n dc o m b i n i n gt h ei n d i v i d u a lt r a i t so fm o d e l ，w eo p t i m i z e dt h ed e c o d e ri nt h r e e a s p e c t s ：p r o g r a ms t r u c t u r e ，l o o pf i l t e ra n ds u b p i x e li n t e r p o l a t i o n t h ee x p e r i m e n t p r o v e dt h a ta f t e rt h eo p t i m i z a t i o nd e c o d e rs p e e di m p r o v e m e n to f3 - 4t i m e s l a s ti nt h e b a s eo fs d ll i b r a r ya n dn e t w o r kp r o g r a m i n g ，u s i n gt h et e c h n o l o go fm u l i t - t h r e a d a c h i e v et h er e c e i v i n gv i d e oa n dd i s p l a y m a x i n q u a n ( c o m p u t e ra p p l i c a t i o nt e c h n o l o g y ) d i r e c t e db yv i c e p r o f l id o n g i i a n g k e yw o r d s ：h 2 6 4 ，o p t i m i z a t i o n ，d e c o d e r , t h r e a d 华北电力人学硕士学位论文 摘要 h 2 6 4 是i t u tv c g e 和i s om p e g 联合丌发的最新视频标准。它虽然具有很 多优良性能，但是它的运算量也是十分巨大的，在通常的条件下，无法满足实际应 用的要求。本文的工作主要着重于对h 2 6 4 解码器进行优化。 本文首先分析了h 2 6 4 标准所采用的一些先进技术，如基于多种运动矢量模块 的运动估计、帧内预测、整数变换、熵编码等。然后在研究h 2 6 4 解码器的基本结 构和实现流程的基础上，结合模型自身特点，分别从程序结构、环路滤波过程及非 整数像素插值三个不同的方面对h 2 6 4 解码器进行了优化设计。实验证明，优化后 解码器速度提高了3 4 倍。最后在s d l 多媒体库和网络编程的基础上利用多线程 技术实现了图像的传输解码显示功能。 关键词：h 2 6 4 ，优化，解码器，线程 a b s t r a c t h 2 6 4i san e wv i d e oc o d i n gs t a r d a r dj o i n t l yd e v e l o p e db yi t u ta n di s om p e g i nd e s p i t eo fi t se x c e l l e n tp e r f o r m a n c e ，t h eq u a n t i t yo fc a l c u l a t i o ni se x c e s s i v e i n g e n e r a l ，i ti s h a r dt om e e tt h er e q u i r e m e n to fa c t u a la p p l i c a t i o n s i nt h i sp a p e r , w e 1 1 f o c u so no p t i m i z a t i o no fh 2 6 4d e c o d e r f i r s t l y , i td e s c r i b e dt h ea d v a n c e dt e c h n o l o g i e so fh 2 6 4 ，s u c ha st h em o t i o n e s t i m a t i o nb a s e do nm u l t i p l e m o d e sm o t i o nv e c t o r s 、i n t r a - p r e d i c t i o n 、i n t e g r a lt r a n s f o r m 、 e n t r o p ye n c o d e t h e n ，b a s e do nt h ea n a l y s e dt h em a i ns t r u c t u r ea n dt h ef l o wo fh 2 6 4 d e c o d e ra n dc o m b i n i n gt h ei n d i v i d u a lt r a i t so fm o d e l ，w eo p t i m i z e dt h ed e c o d e ri nt h r e e a s p e c t s ：p r o g r a ms t r u c t u r e ，l o o pf i l t e ra n ds u b p i x e li n t e r p o l a t i o n t h ee x p e r i m e n t p r o v e dt h a ta f t e rt h eo p t i m i z a t i o nd e c o d e rs p e e di m p r o v e m e n to f3 - 4t i m e s l a s ti nt h e b a s eo fs d ll i b r a r ya n dn e t w o r kp r o g r a m i n g ，u s i n gt h et e c h n o l o go fm u l i t - t h r e a d a c h i e v et h er e c e i v i n gv i d e oa n dd i s p l a y m a x i n q u a n ( c o m p u t e ra p p l i c a t i o nt e c h n o l o g y ) d i r e c t e db yv i c e p r o f l id o n g i i a n g k e yw o r d s ：h 2 6 4 ，o p t i m i z a t i o n ，d e c o d e r , t h r e a d 声明尸明 本人郑重声明：此处所提交的硕士学位论文( ( l i n u x fh 2 6 4 解码器的优化实现， 是本人在华北电力大学攻读硕士学位期间，在导师指导下进行的研究工作和取得的研究 成果。据本人所知，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得华北电力大学或其他教育机构的学位或证书而 使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示了谢意。 学位论文作者签名： 垒纽。梅 日 期：巡：；! ! ， 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权保管、 并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩印或其它复制手 段复制并保存学位论文；学校可允许学位论文被查阅或借阅；学校可以学术交流为 目的，复制赠送和交换学位论文；同意学校可以用不同方式在不同媒体上发表、传播学 位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 作者签名：皇豇缸一 日 期： k 凸：3 。班： 导师签名：垄叁! 三 日期：坐翌：! ? ( ， 华北电力人学硕十学位论文 第一章引言 1 1 视频压缩的必要性和可行性 信息是现代社会的主要特征，而人们传递信息的一个重要媒介就是图像。许多 信息，诸如天气情报、地球资源分布情况、医疗诊断信息等都可以转化为数字图像 的形式。数据量大是数字图像的一个显著特点，尤其是动态图像和视频图像，这就 给图像的存储与传输造成了困难。如传送2 4 b i t p i x e l 、3 5 2 x 2 8 8 ( i pc i f 格式) 的视频， 每秒传送2 5 帧，数据量将达到7 2 m b ，如直接存储，每分钟的数据量将是4 5 2 m b ， 一个2 0 g b 的硬盘，只能记录4 5 分钟的这种视频数据。因此，图像处理通常情况下 需要先对源数据进行压缩。而如何压缩4 能以现实的信道和可以接受的延时来得到 质量可观的重建图像是关键问题。 从信息论【l 】观点来看，描述信源的数据是信息量( 信息熵) 和信息冗余量之和。信 息冗余量有许多种，如空间冗余、时间冗余、结构冗余、视觉冗余等。数据压缩编 码的本质是减少这些冗余量，从而可以减少数据量而不是减少信源的信息量。而信 源中的冗余、听觉和视觉特性以及对多媒体信息的某些特殊要求又为数据压缩编码 提供了可能性。 首先，语音、数据和视频等信息中包含大量的冗余，实际的信息量有时反而很 小，所以完全可以通过压缩编码，用即可能低的速率获得令人满意的语音、数据和 视频质量。如多媒体视频虽然包含有大量的数据，但数据之间是高度相关的。一幅 图像内部以及视频序列中相邻图像之间存在大量的冗余信息，数据压缩编码技术就 是利用冗余性来减少数据量的。 其次，可以利用视觉和听觉特性，如：对于边缘急剧变化不敏感( 视觉掩盖效应) 以及对图像的亮度信息敏感、对色度信息不敏感的特点，对图像进行高压缩比的压 缩编码，并且保证解压缩后的图像信号仍有着满意的主观之量。 1 2 视频编码的国际标准简介 随着多媒体技术2 1 应用的不断增加，图像和视频编码成为一个广泛研究的课题， 现在它的应用涉及到各行各业。不断增长的商业需求也推动着标准的形成，各种国 际视频标准相继推出。目前从事视频压缩标准制定的国际组织主要有国际电信联盟 i t u - t 的视频编码专家组v c e g ( v i d e oc o d i n ge x p e r tg r o u p ) 并l 国际标准化组织 i s o i e c 的运动图像专家组m p e g ( m o t i o np i c t u r ee x p e r tg r o u p ) 。两个标准化组织采 华北电力大学硕十学位论文 用近似的压缩编码技术，分别制定了h 2 6 x 和m p e g x 系列视频压缩标准【3 】。其中 i t u t 针对可视会议等应用分别制定了h 2 6 l 、h 2 6 3 、h 2 6 3 + 、h 2 6 4 a v c ；i s o i e c 相继制定了m p e g 一1 、m p e g 2 、m p e g 4 等。以上国际压缩标准尽管应用领域不同， 但是均采用了预测编码结合变换量化的混合编码模式。其中两大视频标准化组织于 1 9 9 2 年联合提出的m p e g 2 h 2 6 2 是现有最成功的国际视频压缩标准，目前又再次 联手提出了h 2 6 4 a v c ，即m p e g 4 第l o 部分。这些图像标准是图像编码技术走 向实用的重要一步，也是图像编码技术的结晶。 1 2 1 h 2 6 x 标准系列 h 2 6 1 是最早出现的视频编码标准，是i t u t 的前身c c i t t 针对可视电话、会 议电视和窄带i s d n 等要求实时编解码和低延时应用提出的一个编码标准。它输出 的码率是p x 6 4 k b i t s ，其中p 为o 到3 1 的整数。h 2 6 1 采用的算法主要是帧间预测 和二维d c t 变换的混合编码，该标准同时支持帧问编码和帧内编码，当帧间预测效 率较低时，则直接采用d c t 变换。 h 2 6 3 是为低码率视频压缩提供的新标准，目的是支持码率小于6 4 k b i t s 的应 用。在h 2 6 1 建议的基础上，h 2 6 3 进行了重要改进，采用了半像素精度的运动矢 量搜索，增加了非限制运动矢量，提出了基于语法的算术编码、先进预测模式和p b 帧编码等多个高级选项，从而达到了进一步降低码率和提高编码质量的目的。 1 2 2m p e 6 标准系列 m p e g 1 标准制定目标码率是1 2 m b i t s ，对于c i f ( 3 5 2 x 2 8 8 ) 格式图像可以达到 实时播放，是为只读c d r o m 光盘的视频存储和播放所制定的。类似于h 2 6 1 标准， m p e g 1 也采用运动补偿和二维d c t 变换，量化后的d c t 系数进行变长编码，同 时每个数据块的直流分量d c 进行差分编码。 m p e g 2 标准主要是针对数字视频广播d v b ( d i g i t a lv i d e ob r o a d c a s t ) 、高清晰 度电视h d t v ( h i g hd i g i t a lt e l e v i s i o n ) 和数字光盘d v d ( d i g i t a lv i d e od i s c a r d ) 等4 9 m b i t s 运动图像的编码【4 】。m p e g 2 作为一个得到广泛应用的国际标准，成功之处 在于提出了通用的压缩编码方法，定义了不同的“档次”( p r o f i l e ) 和“等级( 1 e v e l ) ， 可满足不同图像分辨率及相应的存储成本和处理速度的需要。与h 2 6 1 视频标准相 比，m p e g 2 开始使用半像素精度的运动矢量搜索，引入了“帧 和“场的编码 方法，支持可分级性技术，包括空间分级性、时间可分级性和信噪比可分级性等。 m p e g 4 标准既能够支持低码率的视频应用，也能够支持广播级的视频应用。 与其他标准相比，m p e g 4 标准中引入了视听对象a v o ( a u d i o v i s u a lo b j e c t ) 的概 念，这种编码模式能有效提高视频通信的交互能力和编码效率。m p e g 一4 还采用了 2 华北电力大学硕士学位论文 诸如形状编码和自适应d c t 技术以支持任意形状视频对象的编码，以及基于内容的 可分级操作。其自然视频编码的基本框架和h 2 6 3 标准是接近的，但是由于“基于 对象的编码”尚有技术障碍，在技术专利保护问题上迟迟难以找到有效的收费形式， 因此该标准目d 订仍然没有得到普遍应用。 1 2 3h 2 6 4 a v c h 2 6 4 a v c 是国际电信联盟i t u t 的视频编码专家组v c e g 和国际标准化组织 i s o i e c 的运动图像专家组m p e g 成立的联合视频小组( j v t - i o i n tv i d e ot e a m ) 共同 开发的新视频编码标准，它既是i t u t 的h 2 6 4 ，又是i s o i e c 的m p e g 一4 的第l o 部分。1 9 9 8 年1 月份开始草案征集，2 0 0 3 年3 月正式发布。h 2 6 4 有望比目前根据 m p e g 一4 实现的视频格式在性能方面提高3 3 。h 2 6 4 编码规范的基本编码技术是 基于帧的，而小是基于对象的编码。此标准采用的编码手段本质上没有脱离常规的 编码框架，但是它充分发挥了现有编码技术的优点，在很多方面做了改进，从而使 其编码质量非常高。在技术上，h 2 6 4 标准中有多个闪光之处，如统一的v l c 符号 编码，帧内预测，高精度、多模式的运动估计，基于4 x 4 的整块变换与量化、分层 的编码语法等。这些措施使得h 2 6 4 算法具有很高的编码效率，在相同的重建图像 质量下，能够比h 2 6 3 节约5 0 左右的码率。h 2 6 4 的码流结构网络适应性强，增 加了差错恢复能力，能够很好地适应i p 和无线网络的应用陋j 。 1 3 本论文研究工作和内容安排 本课题研究h 2 6 4 视频编解码标准中基本档次的相关内容。主要研究h 2 6 4 标 准，理解视频编解码原理，熟悉关键模块的算法，在此基础上对官方参考软件模型 j m 8 6 进行详细分析，对其中效率较低的部分进行结构、算法等方面的优化，最后 结合s o c k e t 网络编程和s d l 多媒体库实现l i n u x 下视频网络视频接收解码播放的实 现。论文结构安排如下： 第一章简述当前国际视频编码标准。 第二章详细剖析h 2 6 4 的关键技术。 第三章h 2 6 4 解码器的实现及优化。 第四章网络视频接收解码播放的实现。 第五章对本论文所作的工作进行总结。 3 华北电力大学硕士学位论文 第二章h 2 6 4 视频编码标准分析 h 。2 6 4 标准的主导思想是与现有其它视频编解码标准一致的，使用基于块的混 合编码方法。但是它同时运用了大量不同的技术，使得其视频编码性能远远优于其 它任何标准。h 2 6 4 的核心算法包括帧内预测模式、4 x 4 的整数变换编码、先进的 量化、两种熵编码( v l c 和基于上下文的自适应二进制算术编码) 和高级运动估计与 补偿、图像滤波等方面。本章将对这些核心算法进行详细的技术分析。 2 1 视频编码原理 2 1 1 预测编码 预测法是最简单和实用的视频压缩编码方法【6 1 ，这时压缩编码后传输的并不是 像素本身的取样幅值，而是该取样的预测值和实际值之差。 大量统计表明，同一幅图像的邻近像素之间有着相关性，或者说这些像素值相 似。邻近像素之间发生突变或“很不相似 概率很小。而且同帧图像中邻近行之间 对应位置的像素之间也有较强的相关性。人们可以利用这些性质进行视频压缩编 码。 图2 - 1 邻近像素间的相关性 如图2 1 表示同一帧内邻近像素，当前像素为x ，其左邻近像素为a ，上邻近 像素为b ，上左邻近像素为c 等。显然与x 之间的距离近的像素，如a 和b 与x 的相关性强，愈远相关性愈弱，如c 、d 、e 、f 等像素。以p 作为预测值，按与x 的距离不同给以不同的权值，把这些像素的加权和作为x 的预测值，与实际值相减， 得到差值q 。由于临近像素之间相关性强，q 值非常小，达到压缩编码的目的。 接收端把差值q 与预测值( 事先已定义好，比当前x 早到达接收端像素，如a ) 相加，恢复原始值x 。归纳如下： 编码端：x a = q 解码端：q + a = x 4 华北电力人学硕十学位论文 按以上原理可得预测编码框图，如图2 2 所示。 ( a ) 7 i 兰垡l 7 l p 似) 翮 图2 2 预测编码 其中，x ( n ) 为当前像素的实际值，p ( n ) 为其预测值，d ( n ) 为差值或残差值。该差 值经量化后得到残差量化值q ( n ) 。预测值p ( n ) 经预测器得到，预测器输入为已存储 在预测器内前面的各像素和当前值，它们的加权和即为下一个预测器输出。 2 1 2 变换编码 绝大多数图像都有一个共同的特征：平坦区域和内容缓慢变化区域占据一幅图 像的大部分，而细节区域和内容突变区域则占小部分【7 1 ，即图像中直流和低频区占 大部分，高频区占小部分。这样，空间域的图像变换到频域或所谓的变换域，会产 生相关性很小的一些变换系数，并可对其进行压缩编码，即所谓的变换编码。 变换中有一类叫做正交变换【8 】，可用于图像编码。自1 9 6 8 年利用快速傅立叶变 换( f f t ) 进行图像编码以来，出现了多种正交变换编码方法，如k l 变换、离散余 弦变换( d c t ) 等等。其中，编码编码性能以k l 变换最理想，但缺乏快速算法，且 变换矩阵随图像而异，不同图像需计算不同的变换矩阵，因而只用来参考比较。d c t 编码性能最接近于k l 变换，略次而已，具有快速算法，广泛应用于图像编码。 一维d c t 变换 d c t 正变换时，设厂( x ) = i ( o ) ，厂( 1 ) ，f ( n 1 ) ，对f 变换后得： 脚) = 居萎n - i m ) c o s 素m + 1 ) 其中，c ( 材) ：1 压，“= o 1 1 ，“= 1 ，2 ，。n - i 对应地，一维离散余弦反变换i d c t 为： m ) = 、万 掣n - i 脚。s 景陬+ 1 ) 刁 “= 0 ，1 ，一i公式( 2 1 ) x = 0 ，i ，2 ，n公式( 2 - 2 ) 华北电力大学硕十学位论文 由于a 1 = a t ，f 可写成如下矩阵形式： f = a f = a 7 f 二维d c t 变换 令f ( x ，y ) 为n x n 离散图像序列，二维d c t 变换表示为： ) 胃2 小) 篓篓m 卅c o s 紊7 + 1 ) “ i c o s i 景+ 1 ) v ，( ) = i c ( “) c ( v ) 厂( w ) c 叫而( 2 x + 1 ) “寺( 2 y + 1 ) vl 工 工= 0y = ol 厶jl 厶j 其中，“，y = o ，l ，n l 二维i d c t 为： y = - z 2 z 7 s 匕- - 考( 2 y + 1 ) u = 0v = 0av ，) c ( “) c ( y ) ，( ) c o s i 而( 2 x + 1 ) “s i v i j ， l 厶l - - -j 其中，x ，y = 0 ，l ，一1 公式( 2 3 ) 公式( 2 - 4 ) 公式( 2 - 5 ) 对于图像变换编码，最理想的变换操作应对整个图像进行，以便去除所有像素 间的相关性，但这样的操作计算量太大。实际上，往往把图像分为若干块，以块为 单位进行d c t 变换。通常取1 6 x 1 6 或8 x 8 组成小块。变换系数量化后，在低频和 直流区域有少量较大的值，高频区域有少量不大的值，系数大部分为零，为了更有 效的编码，通常根据该统计特性采用熵编码来进一步压缩码率。 2 2 帧内预测和帧间预测 2 2 1 相关名词解释 1 ) r g b 众所周知，任何彩色图像可由不同比例的红色、绿色和蓝色组合而成，即三基 色原理。这种表示彩色图像的方法即r g b 彩色空间。 2 ) y c b c r ( y u v ) 人类视觉系统( h d v ) 对亮度比彩色更敏感，因此可以把亮度信息从彩色信息分 离处来，并使之具有更高的清晰度，彩色信息的清晰度较低些，可显著压缩带宽， 实现视频压缩的一部分，人的感觉却没有不同。 如果亮度分量用y 表示，色度用c b ，c r 表示，则由大量实验得出： y = o 2 9 9 r + 0 5 8 7 g + 0 1 14 b c b = 0 5 6 4 ( b y )公式( 2 6 ) c r = 0 713 ( r y ) 3 ) 取样格式 有三种不同的彩色电视取样格式，如图2 3 所示。 6 华北电力大学硕士学位论文 囝o o 譬o o孕 o o 嗡oq o qq 嗡嗡 暑。 嗡嗡o o q 嗡嗡嗡 国嗡q 岬岬呵 o o qoqo 4 ：4 ：4 取样 嗡嗡 扎 啾1 t 国 4 ：2 ：2 取样 o o o y 囝c rc b 图2 3 彩色电视取样格式f 逐行) ( 1 ) 4 ：4 ：4 ，y ，c b 和c r 具有同样的水平和垂直清晰度，在每一像素位置，都有 y ，c b 和c r 分量，即不论水平方向还是垂直方向，每4 个亮度像素相应的有4 个 c b 和4 个c r 色度像素。 ( 2 ) 4 ：2 ：2 ，这时彩色分量和亮度分量具有同样的垂直清晰度，但水平清晰度彩色 分量是亮度分量的一半。水平方向上，每4 个亮度像素具有2 个c b 和2 个c r 。在 c c i r 6 0 1 标准中，这是分量彩色电视的标准格式。 ( 3 ) 4 ：2 ：0 ，在水平和垂直清晰度方面，c b 和c r 都是y 的一半。彩色分量最少， 最适合于进行数字压缩，广泛应用于数字电视、视频会议、d v d 等。 4 ) 场和帧 视频的一场或一帧可用来产生一个编码图像。通常，视频帧可分成两种类型： 连续或隔行视频帧，活动量较小或静止的图像宜采用帧编码方式，对活动量较大的 运动图像则宜采用场编码方式【9 】。 5 ) 宏块、片 一个编码图像通常划分成若干宏块组成，一个宏块由一个1 6 x 1 6 亮度像素和附 加的一个8 x 8c b 和一个8 x 8c r 彩色像素块组成。一个图像可编码成一个或更多个 片，每片包含整数个宏块( m b ) ，即每片至少一个宏块，最多时每片包含整个图像的 宏块。 2 2 2 帧内预测 在以往的标准中，都是采用帧间预测的方式，而只采用帧内( i n t r a ) 编码的图像 成为i 图像。在i 图像中直接把像素块的数值进行变换。这样处理的结果就导致了 大量的信息，压缩效率不是很高。h 2 6 4 根据相邻像素可能有相同的性质，利用了 相邻像素的相关性，采用了新的帧内预测模式【l 叭。通过当前像素块的左边和上边的 像素( 已经编码重建的像素) 进行预测，只对实际值和预测值的差值进行编码，这样 就能用比较少的比特数来表达帧内编码的像素块信息。在h 。2 6 4 标准中，亮度块可 7 o o o o o o 羊又 o o o 国o o o 埔 o o o o o o 和 o o o o o o 华北电力火学硕士学何论文 以有9 种4 x 4 和4 种l6 1 6 的帧内预测模式，而色度8 x 8 块的4 种预测模式与亮度 的1 6 x 1 6 块的模式相同【】。 qabcdefgh 心 f 钐。 砀 r ii6 r 、4 8 l ( a ) ( b ) 图2 4a ) 利用像素a q 对方块中a - p 像素进行帧内4 x 4 预测 b ) 帧内4 x 4 预测的8 个预测方向 0 ( 垂直) abcdefgh l l j k l1 r 1 r1 r1 r 3 ( 下左对角线) 6 ( 下水平) 4 ( 下右对角线) 7 ( 左垂直) 图2 - 54 x 4 亮度块预测模式 2 ( d c ) 5 ( 右垂直) 8 ( 上水平) 如图2 4 a 所示，4 x 4 亮度块的上方和左方像素a - q 为已编码和重构像素，用 作编解码器中的预测参考像素。a p 为待预测像素，利用a q 值和9 种模式实现。 其中模式2 ( d c 预测) 根据a - - - q 中已编码像素预测，而其余模式只有在所需预测像 素全部提供才能使用。图2 5 箭头表明了每种模式预测方向。对模式3 - 8 ，预测像 素由a - - - q 加权平均而得。表2 1 给出了这9 种模式的描述。 8 华北电力大学硕士学位论文 表2 一l 帧内4 x 4 预测模式描述 模式描述 模式o ( 垂直) 由a 、b 、c 、d 垂直推出相心像素值 模式1 ( 水甲)由i 、j 、k 、l 水平推出相j 移像素值 模式2 ( d c )由a d 及i l 平均值推出所自像素值 模式3 ( t 左对角线) 由4 5 0 方向像素内插得出相应像素值 模式4 ( 下右对角线) 由4 5 0 方向像素内插得出相应像素值 模式5 ( 右垂直) 由2 6 6 0 方向像素值内插得出相应像素值 模式6 ( 下水i i ，)由2 6 6 0 方向像素值内插得出相应像素值 模式7 ( 左垂直)由2 6 6 0 方向像素值内插得出相应像素值 模式8 ( a - 水、f ) 由2 6 6 0 方向像素值内插得出相j 移像素值 宏块的全部1 6 1 6 亮度成分可以整体预测，有4 种预测模式，如表2 2 所示。 表2 - 2 帧内1 6 x 1 6 预测模式描述 模式描述 模式0 ( 垂直)由上边像素推出相应像素值 模式l ( 水平) 由左边像素推出相应像素值 模式2 ( d c ) 由上边和左边像素平均值推出相应像素值 模式3 ( 甲面)利用线形“p l a n e ”函数及左、上像素推出相 应像素值，适用于亮度变化甲缓区域 每个帧内编码宏块的8 x 8 色度成分由已编码左上方色度像素预测而得，两种色 度成分常用同一种预测模式。4 种预测模式类似于帧内1 6 x 1 6 预测的4 种预测模式， 只是模式编号不同。 2 2 3 帧间预测 帧间预测是利用先前已编码帧的图像作为参考图像对当前图像进行预测的一 种方式。它把参考图象的抽样点通过运动矢量的补偿作为当前图像抽样值的参考 值。h 2 6 4 的帧间预测与以往标准帧间预测的区别在于块尺寸范围更广( 从1 6 1 6 到 4 x 4 ) 、亚像素运动矢量的使用( 亮度采用1 4 像素精度m v ) 及多参考帧的运用等等。 2 2 3 1 树状结构运动补偿 每个宏块( 1 6 1 6 像素) 可以4 种方式分割：一个1 6 x 1 6 ，两个1 6 x 8 ，两个8 1 6 ， 四个8 x 8 。其运动补偿也相应有四种。而8 x 8 模式的每个子宏块还可以四种方式分 割：一个8 x 8 ，两个4 x 8 或两个8 x 4 及4 个4 x 4 。这些分割和子宏块大大提高了各 o 华北电力大学硕+ 学位论文 宏块之间的关联性。这种分割下的运动补偿则称为树状结构运动补偿1 2 j ，如图2 - 6 所示。 m t y p e 8 x 8 t y p e 1 6 x 1 61 6 x 88 x 1 68 x 8 8 x 88 x 44 x 84 x 4 目田田 图2 - 6 宏块及子宏块分割 每个分割或子宏块都有一个独立的运动补偿。每个m v 必须被编码、传输，分 割的选择也需编码到压缩比特流中。对大的分割尺寸而言，m v 选择和分割类型只 需少量的比特，但运动补偿残差在多细节区域能量将非常高。小尺寸分割运动补偿 残差能量低，但需要较多的比特表征m v 和分割选择。分割尺寸的选择影响了压缩 性能。整体而言，大的分割尺寸适合平坦区域，而小尺寸适合多细节区域。 宏块的色度成分( c r 和c b ) 则为相应亮度的一半( 水平和垂直各一半) 。色度块采 用和亮度块同样的分割模式，只是尺寸减半( 水平和垂直方向都减半) 。例如，8 1 6 的亮度块相应色度块尺寸为4 x 8 ，8 x 4 亮度块相应色度块尺寸为4 x 2 等等。色度块 的m v 也是通过相应亮度m v 水平和垂直分量减半而得。 2 2 3 2 运动矢量 帧间编码宏块的每个分割或者子宏块都是从参考图像某一相同尺寸区域预测 而得。两者之间的差异( m v ) 对亮度成分采用1 4 像素精度，色度1 8 像素精度。亚 像素位置的亮度和色度像素并不存在于参考图像中，需利用邻近已编码点进行内插 而得。如果m v 的垂直和水平分量为整数，参考块相应像素实际存在。如果其中一 个或两个为分数，预测像素通过参考帧中相应像素内插获得。 2 3 整数变换与量化 2 3 1 整数变换 为了使小尺寸块的变换方式对图像中较大面积的平滑区域不产生块之间的灰 度差异，可对帧内宏块亮度数据的1 6 个4 x 4 块的d c 系数进行第二次4 x 4 的变换， 对每个色度的4 个4 x 4 块的d c 系数进行2 x 2 块的变换。因此，h 2 6 4 标准中的变 1 0 华北电力人学硕十学位论文 换主要有三种：4 x 4 残差数据变换，4 x 4 亮度直流系数变换( 1 6 x1 6 帧内模式下) ，2 x 2 色度直流系数变换。这些变换类似于以前国际标准中的d c t 变换，但是与d c t 变 换有几个方面的区别【1 3 】： ( 1 ) 它是整数变换，所有的运算都是整数运算，乘法和除法运算可以用左移或 右移来实现，因而没有精度损失： ( 2 ) 同时在h 2 6 4 编码标准中给出了完整的反变换，在编码端和解码端不会出 现不匹配的情况； ( 3 ) 变换的核心部分没有乘法运算，变换只需要加法和移位； ( 4 ) 比例缩放运算可以集成到量化过程中，因而进一步减少乘法次数。 h 2 6 4 中整数变换及量化具体过程如图2 7 所示。 输入图像宏块残差 变换量化矩阵z ， 震一否 是 对z ，中的直流分量z ，d 进 行逆h a d a m a r d 变换 0 i 进行反量化，得n w ，d 块，把其中各 l 直流系数放到各自相应的图像块中 l r 对z r 块a c 分量进行 反量化，得到w r 0 对个图象块的w r 进行4 x 4 整数离散余弦变换 恢复图像样点值，按图 像样点实际位置重建 0 输出 图2 7 编码器中变换编码及量化过程图2 - 8 解码器中变换系数解码过程 其中，如果输入块是色度块或帧内1 6 x 1 6 预测模式的亮度块，则将宏块中各4 x 4 华北电力大学硕十学位论文 块的整数余弦变换的直流分量组合起来再进行h a d a m a r d 变换【1 4 】，进一步压缩码率。 变换系数解码，如果输入的是帧内1 6 1 6 预测模式宏块的亮度直流变换系数要 先进行逆h a d a m a r d 变换，而不是反量化。反变换过程如图2 8 所示。整数变换公 式具体的推导过程详见参考文献【1 3 】，在此不再赘述。 2 3 2 量化 h 2 6 4 采用标量量化器，它将每个图像样点编码映射成较小的数值。一般标量 量化器的原理为： z u = r o u n d ( 剖 公式( 2 7 ) 其中，y i j 为输入样本点编码，q s t e p 为量化步长，z i j 为输出的量化系数，r o u n d ( ) 为取整函数( 其输出为与输入实数最近的整数) 。 h 2 6 4 量化过程还要同时完成d c t 变换中“ e l 乘法运算，它可以表述为： ，p f 、 z v2 f o 删【w , j q - 川面e p j 公式( 2 8 ) 其中，w i j 是矩阵w 中的转换系数，p f 是矩阵e f 中的元素。 在量化和反量化过程中，量化步长q s t e p 决定量化器的编码压缩率及图像精度。 如果q s t e p 比较大，则量化系数z i i 动态范围较小，其相应的编码长度较小，但反量 化时损失较多的图像细节信息；如果q s t e p 比较小，则z i i 动态范围较大，相应的编 码长度也较大，但图像细节信息损失较少。编码器根据图像值实际动态范围自动改 变q s t e p 值，在编码长度和图像精度之间折衷，以达到整体最佳效果。 h 2 6 4 中，量化步长q s t e p 共有5 2 个值，被一个量化参数q p ( 0 - 5 1 ) 索引，当 q p 取最小值0 时，代表最精细的量化，当q p 取最大值5 1 时，代表最粗糙的量化。 q p 每增加6 ，q s t e p 增加一倍。 2 4 熵编码 h 2 6 4 a v c 中提供了两种熵编码方法【l 副，一种是基于上下文的变长编码 ( c a v l c ) ，另一种是基于上下文的自适应算术二进制编码( c a b a c ) 。本论文只研究 h 2 6 4 基本档次相关的内容，c a b a c 不在其范围之内。 在h 2 6 4 的语法元素中，s l i c e 层以上的语法流均采用定长或变长编码，s l i c e 层 以下可以根据编码模式的选择采用变长编码或者c a b a c 。在变长编码中，除了量 化过的变换系数外，其它的语法元素均采用u v l c 进行编码。量化过的变换系数则 采用更为复杂的c a v l c 进行编码。无论是u v l c 还是c a v l c ，编码都是采用查表 1 2 华北电力大学硕士学位论文 方式。只是u v l c 的表是固定的，而c a v l c 在编码过程中会根据周围宏块以及在 之前编码的数据信息，选择不同的表，从而具有上下文自适应功能。c a b a c 是一 种基于概率模型的统计估算。与c a v l c 相比，对同样质量的视频信号编码，可以 节省大约1 0 1 5 的码率【1 6 】，随之而来的也会增加计算的复杂度。 c a v l c 的基本思想是对经常出现的符号赋予较短的码字，很少出现的符号赋予 较长的码字。与一般的v l c 码不同的是c a v l c 能够根据以往编码的数据在若干码 表中自适应地选择，找出与当前编码数据统计特性最相符的一个码表来进行编码。 并且它将以前标准中采用的( r u n ，l e v e l ) 二元组拆开来，分别进行编码，从而能达 到更好的自适应性，提高编码性能。 c a v l c 的设计考虑了如下几个事实： 1 经过变换与量化后的预测残差中含有较多的0 ，这样在z i g z a g 扫描( 图2 - l o a ) 之后，用游程( r u n ) 和振幅( l e v e l ) 表示预测残差可以取得较好的压缩效果。这里振 幅表示非零系数值，游程表示非零系数前零的数目。 s t a r t a ) 帧模式 e n d s t a r t 图2 1 0z i g z a g 扫描 b ) 场模式 e n d 2 残差末尾的几个非零系数一般为1 ( t r a i l i n g l s ，t l s ) ，c a v l c 对它们单独进 行了编码。 3 作为空间相关性的一种表现，当前块中的非零系数个数和周围块中的非零系 数个数应该差不多，c a v l c 利用这一点自适应地选择编码当前块中非零系数个数 的码表。 4 位于低频处的系数值一般较大，而位于高频处的则较小，c a v l c 用这一点 自动地选择编码振幅( l e v e l ) 的码表。 5 位于低频处的非零系数一般是连着的，中间没有零，此时用( r u n ，l e v e l ) 形式 来表示它们就显得效率不高，因此，c a v l c 将游程( r u n ) 和振幅( l e v e l ) 分开单独进 1 3 华北电力大学硕士学位论文 行编码。 c a v l c 对一个经过变换的块系数的编码过程如图2 1 1 所示，具体步骤如下： a ) 对非零系数的数目( 0 t o t a l c o e f f s 1 6 ) 以及拖尾系数的数目( o t r a i l i n g o n e s 3 ) 进行编码。一共有5 个码表供编码器进行选择：除了专用亮度直流系数的码表 之外，其余四个码表分别对不同的t o t a lc o e f f 取值范围做了优化，表0 使用于t o t a l c o e f f 较小的情况，对比较小的t o t a lc o e f f 赋予短的码字。由于空问相关性，当前块 中的t o t a lc o e f f 与周围块十分相近，因此可以依据周围块的t o t a lc o e f f 从4 个码表中 选择一个最好的表进行编码，这就体现了c a v l c 的上下文自适用的能力。 b ) 对每个拖尾系数的符号进行编码。用0 表示+ 1 ，1 表示一l 。c a v l c 对残差 数据的编码顺序与图2 1 0 的顺序相反，即从高频向低频走。 c ) 对除了拖尾系数之外的非零系数的