（信号与信息处理专业论文）基于h264avc视频编码标准的码率控制算法研究.pdf

南京邮电大学硕1 ：研究生学位论文摘要 摘要 h 2 6 4 a v c 是目前图像通信领域比较领先的标准，也是编码效率较高的标准。它不仅 吸收了以往视频编码标准的优点，还采用了一系列高效的视频编解码技术，具有更高的压 缩比、更好的图像质量和良好的网络适应性，但h 2 6 4 a v c 没有很好的研究码率控制。在 视频编码系统中，编码器的输出码流会随着输入图像内容的不同而改变，为了在信道上传 输压缩视频，需要通过码率控制算法调整编码参数来控制输出码率。同时，码率控制算法 对编码器稳定性的提高和图像质量的提升，都起到重要作用。 本文研究了视频编解码的国际标准及其采用的经典码率控制算法，并在此基础上进行 了简要的分析和比较。另外，本文还重点阐述了h 2 6 4 a v c 标准和t g 0 1 2 码率控制算 法的原理和过程，分析了算法的实现流程，指出了算法的不足之处。由于h 2 6 4 a v c 标准 将量化参数同时应用于码率控制算法和率失真优化，导致了蛋鸡悖论。本文针对h 2 6 4 标 准中的码率控制提案j v t g 0 1 2 的缺陷，提出了一种新的宏块级码率控制方案。在r - d 预 测模型中，用基于离散余弦变换( d c t ) 系数的平均像象素信息比特( a p i b ) 来代替m a d ， 改进了码率控制的模型；然后在基本单元层根据基本单元的编码复杂度进行准确的码字分 配。由于每个宏块实际的a p i b 在量化前就己知，无需进行预测，因此目标码字分配地更 加准确。最后利用感兴趣区域( r o d 的特点，提出了a p i b 与r o i 相结合的自适应量化 码率控制算法，实际编码后的比特更接近目标比特，提高了码率控制的性能。 实验结果表明，改进后的算法使得输出的码率更加接近目标比特率，同时提高了图像 的编码质量和码率控制的性能。 关键词：h 2 6 4 a v c ，码率控制，率失真优化，平均像素信息比特，感兴趣区域 南京邮屯：大学硕士研究生学位论文 a b s t r a c t h 2 6 4 a v ci st h em o s ta d v a n c e dv i d e oc o d i n gs t a n d a r di np r e s e n t l yi m a g ec o m m u n i - c a t i o n f i e l dw h i c hp r o v i d e sh i g h e rc o m p r e s se f f i c i e n c y i ta b s o r b sa d v a n t a g eo fp r e v i o u sv i d e oc o d i n g s t a n d a r da n da d o p t e sas e r i e so fe f f i c i e n tv i d e oc o d i n gt e c h n i q u e s i th a sb e t t e rp r o f o r m a n c eo n c o d i n ge f f i c i e n c y ，i m a g eq u a l i t ya n dn e t w o r ka d a p t a b i l i t y o t h e r w i s e ，h 2 6 4 a v cd o e sn o td o m u c hr e s e a r c hw o r ko nr a t ec o n t r 0 1 i nt h ev i d e oc o d i n gs y s t e m ，t h eo u t p u td a t as t r e a m sv a r y 、析t ht h ev a r i a n c eo fi n p u ti m a g e s i no r d e rt ot r a n s m i tc o m p r e s s e dv i d e oo v e rc o m m u n i c a t i o n c h a n n e l ，r a t ec o n t r o la l g o r i t h mi su s e dt om a i n t a i no u t p u tb i tr a t et h r o u g hm o d i f y i n gt h e e n c o d i n gp a r a m e t e r s i nad d i t i o n , r a t ec o n t r o lp l a y sa ni m p o r t a n tr o l en o to n l yi ns t a b i l i z i n gt h e c o d e r ，b u ta l s oi ni m p r o v i n gt h ei m a g eq u a l i t y t h i sp a p e rb r i e f l yo v e r v i e wt h ei n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r d sa n dt h e i rc l a s s i c a lr a t e c o n t r o la l g o r i t h m s ，a n da n a l y z et h ea d v a n t a g e sa n dd i s a d v a n t a g e s t h e n ，i tf o c u so na n a l y m gt h e c h a r a c t e ro fh 2 6 4 a v cs t a n d a r da n dt h e t g 012r a t ec o n t r o la l g o r i t h m b e a c u s eh 2 6 4 a v c u s e sq u a n t i z a t i o np a r a m e t e rb o t hi nr a t ec o n t r o la n dr - do p t i m i z a t i o n ，r e s u l t i n gi nt h e c h i c k e n e g gd i l e m m a c o n s i d e r i n gt h ed i s a d v a n t a g e so fj v t - g 0 12 ，t h i sp a p e rp r o p o s e san e w a d a p t i v er a t ec o n t r o la l g o r i t h mb a s e do nm a c r o b l o c kl a y e r i nr - dm o d e l ，t h ea v e r a g ep i x e l i n f o r m a t i o nb i t ( a p i b ) b a s e do nd c ti su s e dt os u b s t i t u t et h em a da n dr a t ec o n t r o lm o d e l b a s e do ni ti sp r o p o s e d b e c a u s ea p i bc a nb eg o t t e nb e f o r eq u a n t i f i c a t i o n ，s oi td o e sn o tn e e dt o b ep r e d i c t e d a sar e s u l t ，t h eb i ta l l o c a t i o ni sm o r ep r e c i s e c o m b i n e dw i t hr e g i o no fi n t e r e s t ( r o i ) i oh a v ep r o p e rs e g m e n t a t i o n ，an e wm a c r o b l o c kl a y e ra d a p t i v e - q u a n t i z a t i o ns t r a t e g yi s p r o p o s e d e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ea l g o r i t h mi m p r o v e st h ev i d e oq u a l i t ya n dr a t ec o n t r o l p e r f o r m a n c e ，e n s u r e st h eo u t p u tb i ts t r e a mm o r ec l o s et ot a r g e tb i tr a t e k e yw o r d s ：h 2 6 4 a v c ，r a t ec o n t r o l ，r a t ed i s t o r t i o no p t i m i z a t i o n , a p i b ，r o i i i 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名： 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：互靼导师签名 南京邮电大学硕士研究生学位论文第一章绪论 1 1 引言 第一章绪论 2 1 世纪是数字化、信息化的时代。随着数字通信、计算机网络的普及和应用，多媒体 通信逐渐发展起来，为人类的发展带来了新的空间。数字视频信息作为多媒体信息中最重 要的成分，与语音和文字信息相比，具有信息量大，直观性好、确切和有效性高等优点， 因而具有更加广泛的实用性和更高的使用效率。与此同时，视频信息的庞大数据量对通信 系统中有限的带宽和存储空间都极为不利，己成为阻碍人们有效获取和使用视频信息的瓶 颈之一。基于这种情况，必须对数字化后的各种视频数据进行高效压缩，降低传输和存储 成本，缓解网络带宽，有效利用存储空间。 经过人们的不懈努力，视频压缩编码技术已取得了令人瞩目的进展。f 12 0 世纪8 0 年代 以来，国际标准组织( i s o ) 和国际电信联盟( i t u ) 相继推出了一系列视频编码标准。这些国 际标准大大加快了视频压缩编码技术的产业化和视频通信的发展，其应用已渗透到视频存 储媒体、视频点播、视频会议、可视电话、高清晰数字电视和视频监控等领域，市场前景 十分广阔。 另一方面，视频和多媒体技术的广泛应用，对视频压缩标准提出了更高的要求，而且 随着互联网络和通信技术的发展，视频传输不再局限于传统的固定带宽信道，这些应用环 境的不同又带来了一个重要的研究课题码率控制。 1 2 视频编码技术的概述 未经压缩的视频图像数据具有很强的相关性，存在大量的冗余信息。图像压缩的目的 就是降低这些冗余，在保证一定重构图像质量的前提下，尽量以较少的比特数来表示视频 信息，从而实现对视频的压缩。视频图像之所以可以压缩，主要是因为以下几个原因： 1 ) 未经压缩的图像和视频图像数据中含有大量的冗余【l 】。例如：一帧画面内，相邻像素 之间存在的相关性( 空间冗余) ；在视频序列中，相邻帧的图像之间存的相关性( 时间冗 余) ；图像编码的符号中存在的冗余( 符号冗余) ；图像的某些区域存在非常强的纹理结 构，图像像素值有明显的分布模式( 结构冗余) ；图像中的信息与某些先验知识有关( 知 识冗余) 。 南京邮电大学硕士研究生学位论文第一章绪论 2 ) 人类视觉系统( h v s - h u m a nv i s u a ls y s t e m ) 对图像的注意是非线性和非均匀性，使得人 眼视觉对某些空间频率感觉迟钝。因此视频中不同频率成分的内容对于人眼系统而言 其重要性是不同的，从而存在频域冗余。如果编码方案能利用人类视觉系统的一些特 点，可以得到比较高的压缩比。 3 ) 许多应用领域通常允许有一定的失真，这就为提高压缩比提供了有利的条件。 视频图像压缩编码就是充分利用图像本身固有的统计特性和人的视觉系统特性，来减 少图像信息的冗余度并获得满意的主客观图像质量。 图1 1视频编解码系统的基本结构 图1 1 是视频编解码系统的基本结构，它集预测编码、变换编码和熵编码等技术于一 体。由图可见，在编码器中，首先用信源模型的参数描述数字化的视频序列，通过分析过 程完成视频信号的预测、变换编码；然后，信源模型参数被量化成有限的符号集，其中量 化参数取决于比特率与失真所期望的折中；最后用无损熵编码技术把参数映射成二进制码 字，最大限度地去除符号冗余度。编码后产生的比特流经过信道，传输给解码器输入端。 解码器反向进行二进制解码和反量化过程，重新得到信源模型的参数，最后，解码器的图 像合成算法利用信源模型参数得到复原图像。 1 3 视频编码标准的发展历程 目前国际上的视频编码标准主要是由国际电信联盟i t u t 的视频编码专家组v c e g ( v i d e oc o d i n ge x p e r tg r o u p ) 和国际标准化组织i s o i e c 的运动图像专家组m p e g ( m o t i o n p i c t u r ee x p e r tg r o u p ) 铝 定的。i t u t 组织面向实时视频通信应用领域，如视频会议和可视 电话等，发布了h 2 6 x 系列标准( 如h 2 6 i ，h 2 6 2 ，h 2 6 3 ，h 2 6 3 + 和h 2 6 4 + + 等) ：i s o i e c 则主要面向视频数据的存储媒体、电视广播和多媒体通信应用，制定了m p e g x 系列标准 ( 如m p e g 1 ，m p e g - 2 和m p e g 4 等) 。其中两大视频标准化组织于2 0 0 3 年3 月联手提出 2 南京邮电大学硕上研究生学位论文第一章绪论 了h 2 6 4 a v c ，i t u t 组织将该标准定为h 2 6 4 ，而m p e g 组织将该标准加入了m p e g - 4 标准中，作为第1 0 部分，称为m p e g - 4p a r t1 0 。各种视频压缩标准都是根据人们在不同领 域中对声像数据的要求制定的，并随着人们的需求不断发展。图1 2 给出了视频压缩标准 的发展过程。 19 8 8 1 9 9 【l 一1 9 9 2 1 9 9 4 1 9 9 6 一19 9 8 - 2 0 0 0 - 2 0 0 2 2 0 0 4 i t u t s t a n d a r d h 2 6 1v 1 i h 2 6 1v 2h 2 6 3h 2 6 3 +h 2 6 3 + + j j o i n t 1 v 口e g 2 ，h 2 6 2 01 4 _ 2 6 4 脚e g 4a v c o 1 1 u t 庙旧e g 毋e g m p e g 一1 l。 m p e g - 4 j 1 s t a n d a r d c h i n a ia v s ol p s 。 li 图1 2 视频编码标准的发展历程 h 2 6 1 标准【2 卅：h 2 6 1 标准是i t u t 针对可视电话、会议电视和窄带i s d n 等实时编 码和低时延应用而提出的一种编码标准，适用于p x 6 4 k b p s 的视听任务，其中p 是一个取值 范围在1 3 1 的整数，当p 小于6 时只能传输清晰度不高的图像，适应于可视电话；当p 大 于6 时，可以传输较好的图像，适用于电视会议等。h 2 6 1 支持格式为q c i f 或c i f 的逐 行扫描图像，采用的算法主要是帧间预测和二维d c t 变换的混合编码方法，该标准同时 支持帧间编码和帧内编码。但h 2 6 1 仍存在着一些瑕疵：支持图像格式单一而且不含话音 编码算法；标准中只有p 帧，没有双向预测的b 帧，运动估计精度只到像素级；使用b c h 码进行前向纠错，但是当信道误码率很高时，b c h 纠错能力不够。 h 2 6 3 标准1 5 j ：h 2 6 3 是i t u t 为低于6 4 k b i t s 的窄带通信信道制定的低码率视频编码 标准。为了适应极低码流传输的要求，h 2 6 3 在h 2 6 1 标准的基础上做了一些改善和改变， 以提高性能和纠错能力：h 2 6 3 以半像素运动补偿代替h 2 6 1 中的全像素和环路滤波器；1 个宏块和4 个8 x 8 的块可以各使用1 个运动矢量表示，提高了运动估计的精确度和压缩比； 采用了二维预测模式和高级预测模式；增加了无约束的运动矢量模式，运动矢量范围允许 指向图像帧之外；增加了p b 帧模式；基于语法的算术编码代替霍夫曼码；支持的图像格 式增加为q c i f 、s u b q c i f 、c i f 、4 c i f 和1 6 c i f ，同时没有限定帧率。 h 2 6 3 + t 6 1 和h 2 6 3 + + 【7 1 是h 2 6 3 的修订版本jh 2 6 3 + 在保证原h 2 6 3 标准的核心句法和 语义不变的基础上，增加了1 2 个新的可选择编码模式和其他特性，进一步提高了压缩编 码的性能；它允许多显示率、多速率及多分辨率，增强了视频信息在易误码、易丢包异构 网络环境下的传输；h 2 6 3 + 的图像分段依赖性可以是受限的，以减少差错传播。h 2 6 3 + + 南京邮电人学硕士研究生学位论文 第一章绪论 对h 2 6 3 又做了一些新的扩展和改进，增强码流在恶劣信道上的抗误码性能，同时也提高 了编码效率。 h 2 6 l 标准瞵j ：同以前的标准相比，h 2 6 l 进行了许多改进：运动估计预测的精度已 经精确n 8 像素，可以进行1 4 像素的运动补偿，能够自适应选择块尺寸的大小，量化级别 精确到了宏块级，熵编码采用t u v l o 引，对数据分割方面也定义了相关语法语义。与 h 2 6 3 + 或m p e g 一4 的s i m p l ep r o f i l e 相比，h 2 6 l 在大多数码率下最多可节省5 0 的码率。 h 2 6 l 既能够工作在低延时模式下，以适应实时通信应用，也能很好地工作在没有延时限 制的场合。 h 2 6 4 a v c 标准o 】：h 2 6 4 采用了h 2 6 l 标准的基本框架，增加了更多的新技术，如 多尺寸块帧内和帧间编码，多参考帧预测技术，4 x 4 整数正交变换，去除块效应滤波器等， 从而获得更高的压缩比。该标准针对不同的应用，给出了三种档次，分别为：基本档次 ( b a s e l i n ep r o f i l e ) 、主要档次( m a i np r o f i l e ) 、扩展层档次( e x t e n d e dp r o f i l e ) ，每种档次侧重于 不同的应用场合，各自的编码工具也不相同。在保证相同图像质量的情况下，h 2 6 4 a v c 比h 2 6 3 ，m p e g 4 ，m p e g 2 的压缩效率至少高一倍。 m p e g 1 标准【1 1 】：m p e g - 1 主要是针对存储媒介中音频和视频信息压缩而提出的，应 用于c d r o m 、数字录音带、计算机硬盘和可擦写光盘等。与h 2 6 1 标准类似，m p e g 1 也 采用运动补偿的帧间预测、二维d c t 、v l c 游程编码等措施。但m p e g 1 增加了音频编码 算法，设置了系统层，提供了把编码的音频和视频数据组合起来的包结构；由于m p e g - 1 使用了半像素精度的运动估计，因此不再需要环路滤波器；除了i 帧和p 帧，还增加了b 帧 模式( 双向预测) ，引入了双向运动补偿；增加了图像组( g o p ) 和片( s l i c e ) 层概念等，这些改 进提高了编码效率。 m p e g 2 标准 1 2 1 ：m p e g 2 标准主要针对数字视频广播( d v b ) 、高清晰度电视( h d m 和数字视盘( d v d ) 等应用。m p e g 2 充分考虑了对m p e g - 1 的兼容，对图像质量和数据率 的多层次需求。它引用了m p e g 1 基于d c t 的、有运动补偿的帧间双向预测的基本结构， 并在系统层和传送层方面做了许多重要的扩展和改进。m p e g 2 针对电视信号隔行扫描的 特性，设置了“按帧编码”和“按场编码”模式，允许以场为基础的d c t 和运动补偿，提高了 编码效率；增大了重要的参数值，允许有更大的画面格式、码率和运动矢量长度；创立了 二元码流结构：节目流( p r o g r a ms t r e a m ) 和传送流( t r a n s p o r ts t r e a m ) ；增加了“可分级性”，允 许编码器从一个编码数据流中得到不同质量等级或不同时空分辨率的视频信号；定义了“档 次”( p r o f i l e ) 和“等级”( l e v e l ) ，可满足不同图像分辨率及相应的存储成本和处理速度的需要。 m p e g - 4 标准【1 3 】：与其他标准相比，m p e g 4 采用了基于对象的编码，更加注重多媒 4 南京邮电人学硕士研究生学位论文 第一章绪论 体系统的交互性和灵活性，而且它更多定义的是格式和架构，而不是标准化的固定算法， 从而为多媒体数据压缩提供了一个更广泛的平台。m p e g - 4 增加的新功能可划分为三大类： 基于内容的交互功能、数据压缩编码、通用存取功能等。与其它标准相比，m p e g - 4 具有 更高效的压缩性，在相同比特率下，m p e g - 4 将提供更好的视觉听觉质量，这将使得在低 带宽的信道上传送视频、音频成为可能；同时m p e g - 4 还能对多个并发数据就进行编码。 m p e g - 4 提供了错误易发环境中的鲁棒性( r o b u s t n e s s ) ，来保证其在各种无线、有线网络和 存储媒体中的应用。此外，m p e g - 4 还支持基于内容的可分级性，以适应无线网络和互联 网等窄带网的传输。 1 4 码率控制的意义和现状 由于编码后的码流码率不恒定，而且视频通信带宽有限，必须进行码率控制，在给定 目标码率的条件下，尽可能地产生平坦的高质量解码图像。码率控制算法作为视频编码器 中的核心部分，其有效性直接影响到码流的码率稳定性和整个视频序列的图象质量。码率 控制算法的优劣成为衡量编码器好坏的重要指标之一。 目前，各国专家和学者们针对不同的标准和实际应用提出了各自的码率控制算法。如 m p e g 2 的t m 5 1 4 】码率控制算法、h 2 6 3 的t m n 8 1 5 】码率控制算法都是比较优秀的算法，此 外，基于二次率失真模型的m p e g - 4 的v m 8 1 6 】码率控制算法，具有较为广泛的适应性，既 可以满足无时延的v b r 应用，也可以满足缓冲区受限的低时延c b i 泣用。也有学者提出了 一种比较简单的线性模型【i ，但是这种模型要求对系数进行变换处理。又有人提出了二次 量化模型【l 引，这种模型形式相对简单，最接近实际r - q 关系且不用对系数进行变换，许多 现存的视频码率控制算法都是使用二次量化模型。 由于h 2 6 4 标准将量化参数同时用于码率控制和率失真优化，导致了“蛋鸡”悖论，以 往的各种码率控制算法在h 2 6 4 中并不适用。m a 较早的提出了一种h 2 6 4 码率控制算法【1 9 j ， 采用了t m 5 模型，分为比特分配、第一次率失真优化、计算量化参数和再次进行率失真优 化四步；s l a i n a 采用线性p 域码率模型提出了一种h 2 6 4 码率控制算法1 2 0 j ，由于采用了线性 关系，该方法较为简单，而且对于场景切换情形能产生近似恒定的比特率。x u 也提出了一 种高效率的h 2 6 4 码率控制算法【2 1 1 ，分为帧层和宏块层的控制，实际产生的比特率较为稳 定，而且接近目标比特率，只进行了一次率失真优化，复杂度较低( m a 的算法阎及其它一 些算法均进行了两次率失真优化) ，峰值信噪比( p s n r ) 较为平滑；m a 于2 0 0 3 年又提出了一 种自适应的码率控制算法 2 3 1 ，用流量往返模型来分配每个基本单元目标比特数，并在宏块 5 南京邮电人学硕士研究生学位论文 第一章绪论 层编码采用二次率失真函数计算量化参数的，效果较好。 通过以上的分析可以看出，视频编码具有非常广阔的应用前景，而码率控制在编码中 具有举足轻重的地位。而且针对不同的应用，码率控制策略具有很强的灵活性和发展空间。 视频编码的码率控制策略的研究具有十分的意义。 1 5 论文组织结构 本文以视频压缩编码中的码率控制策略为研究对象，在对各种经典的码率控算法深入 研究的基础上，分析了现有h 2 6 4 a v c 的码率控制算法的优缺点，提出了一种改进的 h 2 6 4 a v c 码率控制算法。本文的组织结构如下： 第一章：首先简要分析了视频编码原理和基本结构，回顾了视频编码标准的发展历史： 接着讨论了码率控制研究的意义，并最后介绍了本文的组织结构。 第二章：首先介绍了h 2 6 4 a v c 的标准的技术特点和编解码框架，接着详细分析了 h 2 6 4 a v c 标准的一些关键技术，为码率控制的研究奠定了基础。 第三章：在分析码率控制算法原理和率失真理论的基础上，归纳和总结了经典率失真 模型和经典码率控制策略，并比较和分析了它们在码率控制性能中的优劣。 第四章：简要介绍了几种h 2 6 4 a v c 码率控制算法，重点阐述了tg 0 1 2 码率控制算 法的原理和过程，分析了算法的流程；并在最后指出了现有h 2 6 4 a v c 码率控制算法的不 足。 第五章：在r - d 预测模型中，用基于离散余弦变换( d c t ) 系数特性的平均象素信息 比特( a p i b ) 来代替m a d ，改进了码率控制模型；然后在基本单元层根据基本单元的编 码复杂度进行准确的码字分配。利用人眼对不同视频信息敏感度不同的视觉特性，结合感 兴趣区域( r o i ) 的特点，提出了a p i b 与r o i 结合的自适应量化码率控制算法。最后对改 进的算法与j v t g 0 1 2 算法进行了测试，给出了试验仿真结果和结论。 最后总结全文，并展望了进一步研究工作。 6 南京邮电大学硕士研究生学位论文第二章h 2 6 4 a v c 视频压缩编码技术 2 1 概述 第二章h 2 6 4 a v c 视频压缩编码技术 h 2 6 4 和以前的标准一样，也是采用了d p c m 加变换编码的混合编码模式，但它利用了 “回归基本”的简洁设计，不用众多的选项，压缩性能比h 2 6 3 + + 好得多。在技术上，h 2 6 4 标准中有多个闪光之处，比如通过采用改进的帧间编码技术，更加精细的预测精度和多参 考帧技术来节省码率；用b 帧的前向预测和后向的双向预测，提高压缩性能和预测精度； 在场景切换和抗误码性能方面，通过引入s p 和s i 帧来获得更好的亲和性；采用整数d c t 变 换和5 2 个级别的量化步长，提高运算精度和量化精度；帧内预测和熵编码改善了编码效率 和质量，也获得了较好的压缩比性能；抗块效应滤波器消除了经反量化和反变换后重建图 像中由于预测误差产生的块效应，改善了图像的主观质量和预测误差；“网络友好”的结构 和语法，加强了对各种信道的适应能力，有利于对误码和丢包的处理：支持不同网络资源 下的分级编码传输，获得平稳的图像质量；应用目标范围较宽，满足不同速率、不同解析 度以及不同传输( 存储) 场合的需求。 2 2h 2 6 4 a v c 编解码框架 2 2 1h 2 6 4 a v c 编码器结构 与以前的标准一样，h 2 6 4 a v c 没有明确地定义编解码器，只是着重定义了编码和解 码视频流的标准语法与必须包括的一些功能模块，因此，编解码器的实现具有较大的灵活 性。h 2 6 4 a v c 编码器框图【2 4 】如图2 1 所示。它包括两条数据流路径：一个是“前向”( 从左 到右) 路径，一个是“重建路径”( 从右到左) 。 前向路径：f n 是当前编码帧，每一帧都是以宏块为处理单元的，并以帧内或帧间方式 来编码每个宏块。对宏块中的每个块，基于重构的图像样点来产生预测帧。在帧i 内( i n t e r ) 模式下，预测帧是由当前帧f n 中已编码参考图像经过运动补偿( m c ) 后产生的；在帧间模式 ( i n t r a ) 下，预测帧是从前面一个或者多个参考帧砟。通过运动补偿预测得到的，并且每个子 宏块的预测参考图像，可以从以前或者将来已经编码、重构和过滤的图像中选择。 7 南京邮电人学硕士研究生学位论文第二章h 2 6 4 a v c 视频压缩编码技术 当前预测宏块和当前宏块相减产生残差块见，并对见进行整数块变换，量化后生产 一组量化变换系数x ，这些系数被重新排序和熵编码，熵编码系数与辅助信息( 预测模式、 量化器参数、运动矢量信息等) 一起用于解码宏块内的每个块。最后产生h 2 6 4 压缩比特流， 进入到网络提取层( n a l ) 用于传输和存储。 厂 ：广 ：r ) p 田士r 、里：田冈 图2 1h 2 6 4 a v c 编码器结构图 重建路径：如上所述，为了提供进一步预测的参考图像，编码器必须有重建图像的功 能。利用解码量化后的宏块系数x 来重建图像，x 经过逆量化( q 。1 ) 和反变换( 丁。1 ) 产生一个 差值宏块磁，由于量化过程产生了失真，所以磁和见不同。磁和预测宏块p 相加产生 蛾( 原始宏块的失真块) 。滤波器用来减少块失真的影响，然后由一些列块巧来创建重构 的参考图像。 2 2 2h 2 6 4 a v c 解码器结构 图2 2h 2 6 4 a v c 解码器结构图 h 2 6 4 a v c 的解码器结构如图2 2 所示，h 。2 6 4 解码器从网络提取层n a l 接收压缩 的比特流，经过熵编码和重新排序后得到一组量化系数x ，x 经逆量化和反变换档次形成 或( 等价于编码器中的或) 。利用从该比特流中解码出的头信息，解码器产生一个预测宏 8 南京邮电火学硕l 研究生学位论文第二章h 2 6 4 a v c 视频压缩编码技术 块p ( 与编码器中原始的p 相同) 。p 与残差磁相加得到z 蟛，在经滤波后就得到重建的群， 这个c 就是最后的解码输出图像。编码器和解码器使用的参考帧必须一致，否则，将在编 解码器之间引入误差和漂移。 2 3h 2 6 4 a v c 的关键技术 由上一节知，h 2 6 4 编码框架沿用了运动补偿加变换编码的混合结构，大部分基本模 块，如：预测、变换、量化、熵编码等与以前的标准采用相同的原理，关键的区别在于每 个模块的技术细节上，这也是h 2 6 4 a v c 之所以能够提高解码图像质量、降低码率的要点 所在。下面简要介绍h 2 6 4 a v c 中的先进的编码技术。 2 3 1 分层结构 i l 2 6 4 a v cc o n c e p t u a ll a y e r s v i d e oc o d i n gl a y e rv i d e oc o d i n gl a y e r e n c o d e rd e c o d e r 一j 斑黼赫甜干池v c l n e t w o r ka b s t r a c t i o un e t w o r ka b s t r a e t i o n l a y e re n c o d e rl a y e rd e c o d e r n a le n c o d e ri n t e r 妇c e i n a lm 。砌e ri n t e m 。e t t r a n s p o r tl a y e r lh 2 6 4 协h 2 6 4 t oh 2 6 4 t oh 2 6 4 t o h 2 6 4t oh 3 2 3 i 。 m p e g - 2h 3 2 4 ，m盯p ，i pt c p 仃p 上t n e t w o r kl a y e r v n h dn e t w o r k sw i r e l e s sn e t w o r b - 图2 3h 2 6 4 a v c 标准的分层体系结构 为了增强编码视频的网络适应性和亲和力，h 2 6 4 编码算法总体上分为两层【2 5 】：视频 编码层( v c l ：v i d e oc o d i n gl a y e r ) 和网络提取层( n a l ：n e t w o r ka b s t r a c t i o nl a y e r ) ，v c l 的设计目标是为了提高编码效率，而n a l 是为了解决视频q o s ( j l 曼务质量) 与网络q o s 的 适配，并在v c l 和n a l 之间定义了一个基于分组方式的接口。打包和相应的信令属于 n a l 的一部分，这样高编码效率和网络友好性分别由v c l 和n a l 来完成。图2 3 为 h 2 6 4 a v c 标准的分层体系结构。 v c l 层负责对数字视频进行高效编解码，并适当地考虑误码因素，根据误码情况采取 相应的措施：插入帧内编码帧，可随时接入和改善图像质量；引入图像片概念，可以防止 9 南京邮电大学硕士研究生学位论文第二章h 2 6 4 a v c 视频压缩编码技术 误码扩散；使用独立的v l c ，可以根据信道的变换而改变码率。因此提供了高质量、高压 缩比、健壮性、可分级的视频编码码流。 n a l 主要负责将视频编码层v c l 产生的视频编码数据正确地、恰当地映射到不同的 传输网络中去。当v c l 产生的编码视频比特流将在某种特定网络中传输时，n a l 针对这 种网络及其传输协议的特性，对v c l 的编码码流进行适合该网络及其传输协议的封装。 这样h 2 6 4 a v c 就可以在面向不同的传输网络时，灵活的提供不同的封装方式，从而增强 了网络的适应性。n a l 的产生不但使h 2 6 4 a v c 对目前现存的各种不同网络有很强的网 络友好性，而且使它对未来的网络同样具有适应性。 2 3 2 帧内预测 为了消除宏块之的相关性，h 2 6 4 a v c 引入基于空间像素预测的帧内编码技术以提高 压缩效率。h 2 6 4 a v c 帧内预测编码【2 6 】就是利用已解码重构的邻近像素值来预测当前像素 块，然后对预测残差进行变换、量化、熵编码。由于残差一般比真实值小，在变换、量化 后会出现更多的零系数，因此可以减少编码数据量，降低码率。 h 2 6 4 a v c 帧内预测分为三种预测方式：对像素亮度( l u m a ) ，有4 x 4 亮度块预测和 1 6 x 1 6 亮度宏块预测；对像素色度( c h r o m a ) ，有基于8 x 8 分块邻区域线性预测。并且每一 种预测方式有多种预测模式。一般地，图象相对变化较大的区域，需要更细小的块分割和 更多可选的预测模式，以提供足够的预测精度。因此，4 x 4 亮度子块有9 种可选模式，独 立预测每一个4 x 4 亮度子块，适用于有大量细节的图像编码 1 6 x 1 6 亮度块有4 种预测模 式，预测整个1 6 x 1 6 亮度块，适用于变化平缓且面积较大图像的编码；由于人类视觉系统 对色度的敏感度低于亮度，8 x 8 色度块也有4 种预测模式。 1 ) 4 x 4 亮度块帧内预测 图2 4 和图2 5 分别为4 x 4 亮度块的预测像素及预测方向图，其中模式2 是直流预测 模式，不包括在方向预测图中。 q i j k l m n o p abcde fgh 圈 易 砀 r ? i 、 ，、 4 图2 44 x 4 亮度块的预测像素图2 54 x 4 亮度块8 个预测方向图 l o 南京邮电大学硕：j ：研究生学位论文第二章h 2 6 4 a v c 视频压缩编码技术 对于4 x 4 亮度块( 除边缘块特殊位置除外) ，每个像素都可以用左上角的1 7 个已编码像 素的不同加权和来预测。图2 4 说明了待预测块与空间相邻块的关系，其中心q 表示相邻 已解码重构的像素，用作编解码器中的预测参考像素：a 叩表示待预测的4 x 4 亮度像素， 可通过6 间重建值和9 种模式实现，预测值的计算公式可参考文献【2 6 】。 饕鼬辏建1 m b c de f lo h l l j k l 1 f r 援j 爰3 mal lct ) eifigl l l l 汐 j k0 lf000 。 羧筑7 ma b cdlflg lhl i ? j k l 。 lf ；f 按式5 mahcdelflgl i ll l j 1 、 kl 。l l 、 臻或s mbcdelfig lui l ，_ ，2 t j ，一 k j ， l _ 一 图2 64 x 4 亮度块预测模式 每种模式的预测方向如图2 - 6 所示，可见，模式o ( 垂直预测) ，其预测值由邻近块的上 方像素的值决定；模式l ( 水平预测) ，其预测值由邻近的左方像素值决定；模式2 ( d c 预测) 。 其预测值由a _ d 和i l 均值决定；模式3 8 ，其预测值为邻近块像素a q 的加权平均。 2 ) 1 6 x 1 6 亮度宏块帧内预测模式 宏块的1 6 x 1 6 亮度成分可以整体预测，有4 种预测模式，如图2 7 所示。模式o ( 垂直 预测) 、模式l ( 水平预测) 和模式2 ( d c 预测) 的预测值与4 x 4 亮度块类似；而对于模式3 ( 平 面预测) ，预测值则是利用线性“p l a n e ”函数及左、上方像素值推出的，适用于亮度变化平缓 的区域。 v 模式o ( 垂直)模式l ( 水平)模式2 ( d c ) 模式3 ( 平面) 图2 76 x 1 6 亮度宏块帧内预测模式图 南京邮电大学硕：e 研究生学位论文第二章h 2 6 4 a v c 视频压缩编码技术 3 ) 8 x 8 色度宏块帧预测模式 帧内编码宏块的每个8 x 8 色度分量u 和v 由已编码左上方色度像素的预测而得到， 两种色度分量常用一种预测模式，其预测值公式参考文献【2 引。由于色度在图像中是相对平 坦，它的4 种预测模式与1 6 x 1 6 亮度宏块帧内预测模式类似，只是顺序不同：模式0 ( o c 预测) 、模式1 ( 水平预测) ，模式2 ( 垂直预测) ，模式3 ( 平面预测) 。 2 3 3 帧间预测 帧间预测为了降低图像的时域相关性，通过采用多帧参考和更小运动预测区域等方法 对下一帧进行精确的预测，减少传输的数据量。h 2 6 4 采用了基于块的运动补偿帧间预测 模式，并在运动估计中采用了一些新技术：多种块结构的预测、多帧参考、亚像素精度的 运动估计和预测环路中去块滤波器等，其预测效率和精度得到显著提高。除了支持p 帧和 b 帧外，h 2 6 4 还支持一种用于码流间的转换帧s p 帧。s p 帧不仅能在相似内容但码率不 同的码流之间快速切换，而且能实现流的随机访问和快速回放。 l _ ) 多种块模式的帧间预测 由于视频图像的复杂性，在较大的块中可能包含多个具有不同运动状态的和形状的对 象。特别是在运动剧烈的局部区域中，用1 个1 6 x 1 6 或4 个8 x 8 运动矢量并不能准确地描 述一个宏块全部的运动细节。为此，h 2 6 4 采用了7 种不同大小和形状的宏块分割和亚分 割方法，每个宏块的亮度宏块可以划分为：1 6 x 1 6 ，1 6 x 8 ，8 x 1 6 和8 x 8 四种。当选用8 x 8 方式时，可以进一步按照8 x 8 ，8 x 4 。4 x 8 和4 x 4 进行亚分割，如图2 8 所示。这种利用各 种大小的块进行运动补偿方法称为树结构的运动补偿。 图2 8 宏块及子块分割 每个分块和子宏块都有一个独立的运动矢量( m v ) ，每个运动矢量均需要编码和传输， 同时，分块模式信息也需要编码压缩到比特流中。对大的分块尺寸，运动矢量和分块尺寸 只需较少的比特，但运动残差在多细节区域中的能量将非常高。小尺寸分块的运动补偿残 差能量低，但需要较多的比特表示运动矢量和模式选择信息，分块尺寸的选择影响了压缩 性能。整体而言，大的分块尺寸适合于图像帧中变化平缓的区域，而小的分块尺寸适合域 1 2 南京邮电犬学硕l 研究生学位论文第二章h 2 6 4 a v c 视频压缩编码技术 细节丰富的区域【2 6 。 宏块中的色度分量( c b 和c r ) 的水平和垂直分辨率是亮度分量的一半，每个色度块采用 和亮度块相同分割方式，只是水平和垂直的尺寸各减半。 2 ) 1 4 像素精度的运动估计和补偿 帧问编码时，宏块的每个分块和子宏块都是通过对参考图像的某一相同尺寸区域进行 预测得到的。这两个区域的运动矢量对亮度分量采用1 4 像素精度，对色度分量采用1 8 像素精度。亚像素位置的亮度和色度并不存在于参考帧中，需利用临近已编码的