（信号与信息处理专业论文）基于h264avc的宏块层码率控制算法研究.pdf

南京邮电大学硕士研究生学位论文 摘要 h 2 6 4 a v c 是目前应用前景最广泛的视频编码标准，也是目前图像通信领域最领先的 视频编码标准。它不仅吸收了以往视频编码算法的优点并融会贯通，还采用了很多先进的 思想和方法，大大提高了编码效率和编码质量。同时h 2 6 4 a v c 广泛的应用环境也给码率 控制的研究开辟了广阔的空间。 码率控制是视频编码中的一个重要问题。其研究的主要目的是解决如何控制编码参数 以使产生的比特流符合各种应用需求，并且达到较高编码质量的问题。研究方法涉及调整 量化阶，选择合适的编码模式和缓冲器控制等等。一个完善的码率控制方法对视频编码质 量有着重要的作用。 首先讨论了h 2 6 4 a v c 视频编码标准的系统组成和编码流程，着重讨论了帧内预测、 帧间预测、运动估计、整数变化及量化等关键技术，然后重点分析了h 2 6 4 a v c 采用的率 失真优化技术，以及经典码率控制算法。对率失真与码率控制的关系进行了深入的研究， 指出它们之间的冲突。 其次，重点阐述h 2 6 4 a = 、，c 中tg 0 1 2 码率控制算法的原理和过程，着重分析了并 给出了算法实现的流程。接着对tg 0 1 2 方案中算法的不足之处进行修改。利用离散余 弦变换( d c t ) 系数特性采用平均像素信息比特( a p i b ) 的概念及其码率控制模型；然后 在基本单元层根据基本单元的编码复杂度进行准确的码字分配，并利用时间相关性对a p i b 进行有效预测。并结合j p e g 中的感兴趣区域( i 的i ) 的特点，提出了a p i b 与r o i 结合 的自适应量化码率控制算法。 最后对本文算法进行计算机模拟和实验结果的比较。通过比较可以看到，本文提出的 算法最终实验结果表明，宏块的自适应量化改进了图象的编码质量，而且使得输出的码率 更加接近目标比特率。 关键词：h 2 6 4 a v c ，码率控制，率失真优化，感兴趣区域 南京邮电大学硕：l = 研究生学位论文 a b s t r a c t h 2 6 4 a v ci sm o s ta d v a n c e dv i d e oc o d i n gs t a n d a r di np r e s e n t l yi m a g ec o m m u n i - c a t i o n f i e l dw i t l lg r e a tp r o s p e c t i ta b s o r b sa d v a n t a g eo ff o r m e rv i d e oc o d i n gs t a n d a r da n dd i g e s t sm a n y a d v a n c e da l g o r i t h m ，a n dh a sag r e a ti m p r o v e m e n to nc o d i n ge f f i c i e n c ya n dq 叫i t y a s h 2 6 4 a v cc a nb ew i d e l yu s e di nm a n ya p p l i c a t i o n s ，i ta l s op r o v i d eaw i d e rs p a c ef o rr a t e c o n t r o lr e s e a r c h r a t ec o n t r o lp l a yak e yr o l ei nv i d e oc o d i n ga n dc o m m u n i c a t i o ns y s t e m sb yc o n t r o l l i n g c o d i n gp a r a m e t e r sf o rv a r i o u sb i ts t r e a mo fa p p l i c a t i o n sa n da c h i e v i n gt h eb e s tv i s u a lq u a l i t ya t t h er e c e i v e r r a t ec o n t r o le s s e n t i a l l yi n v o l v e sa d j u s t i n gq u a n t i z a t i o np a r a m e t e r ( q p ) ，s e l e c t i o no f o p t i m a lc o d i n gm o d ea n dc o n t r o lo f b u f f e r t h i sp a p e r ，a tf i r s ta n a l y s i st h ea l g o r i t h mc h a r a c t e r so fh 2 6 4 a v c ，t h ep a s tw o r ko fr a t e c o n t r o la n dt h ed i l e m m ao fr a t e - d i s t o r t i o no p t i m i z a t i o n ( r d o ) a n dr a t ec o n t r 0 1 t h e nf o c u so n r a t ec o n t r o la l g o r i t h mn a m e d t - g 012w h i c hi sa d o p t e di nh 2 6 4 a v c t os o l v et h ed r a w b a c k o fj v t - g 012 ，an e wc o n c e p to fa v e r a g ep i x e ii n f o r m a t i o nb i t ( a p m ) a n dr a t ec o n t r o lm o d e l b a s e do ni ta l ei n t r o d u c e d t h em o r ep r e c i s eb i ta l l o c a t i o ns c h e m ei si m p l e m e n t e da c c o r d i n gt o t h ec o d i n gc o m p l e x i t yo fe a c hb a s i cu n i t ，a n dp r e d i c ta p i bu s i n gt e m p o r a lc o r r e l a t i o n c o m b i n e d w i lr e 西o no fi n t e r e s t ( r o i ) w h i c hp r e s e n t e di nj p e g 一2 0 0 0t oh a v ep r o p e rs e g m e n t a t i o n , an e w m a c r o b l o c kl a y e ra d a p t i v e q u a n t i z a t i o ns t r a t e g yi sp r o p o s e d t h ee x p e r i m e n t a lr e s u l t ss h o wt h em o d i f i e da l g o r i t h mi m p r o v e st h ev i d e oq u a l i t ya n d e i l s u r e st h eo u t p u tb i ts t r e a mm o r ec l o s et ot a r g e tb i tr a t e k e y w o r d s ：h 2 6 4 a v c ，r a t ec o n t r o l ，r a t ed i s t o r t i o no p t i m i z a t i o n , r o i h 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：在挝魄幽 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：答挝 名：谬琚嗍 南京邮电大学硕士研究生学位论文第一章绪论 1 1 引言 第一章绪论 近年来，低速率视频传输的应用前景日益为人们所认识，如通过公共交换电话网 ( p s t n ) 传输的可视电话、无线移动网上的各种视频业务，以及互联网上的多媒体电子邮 件、电子报纸、视频检索等。 与语音、图片等媒体形式不同，数字视频本身数据量巨大，对存储器、通信信道以及 处理器等都提出了相当高的要求。因此，视频数据的高效压缩意义重大，是降低存储成本， 缓解网络带宽，突破存储空间和处理器主频限制的关键技术。但是视频信息的信息量太大， 要使视频得到有效的应用，必须首先解决视频压缩编码问题，其次解决压缩后视频质量保 证的问题。这两者是相互矛盾的，是矛盾的两方面。我们的任务是既要有较大的压缩比， 又要保证一定的视频质量。所以，视频编码有非常广阔的应用前景，而码率控制在编码中 具有举足轻重的地位，并且针对不同应用其控制策略具有很强的灵活性和发挥余地。因此， 视频编码的码率控制策略具有重要的研究和应用价值。 视频编码方案都有一个共同的特征，就是图像序列通过压缩后会产生变长的码流，然 而，这样的码流不适合在信道上传输。码率控制的主要任务之一就是：在保证一定图像质 量的前提下，把视频码流的码率波动有效地控制在虚拟缓冲器的容限之内，使缓冲器即不 出现“溢出”，也不出现“下溢”，从而保证视频码流自适应的在信道中传输，同时满足解码 器的缓冲器容量限制和延时限制。为了使传输尽量高效和精确，还要考虑许多编码因素， 如信道速率，编码速率和图像内容以及他们之间的关系，从而为编码参数建立精确的模型， 使码率控制更加有效。 一般在视频标准产生后，码率控制会得到广泛研究，例如针对m p e g 2 ，m p e g - 4 ，h 2 6 3 等标准提出的码率控制算法【卜4 1 。然而，h 2 6 4 1 a v c 的码率控制比其它标准更加困难。 这是因为在码率控制算法以及率失真优化( r a t ed i s t o r t i o no p t i m i z a t i o n , r d o ) e e 都使用了量 化参数( q u a n t i z a t i o np a r a m e t e r , q p ) ，这导致了在进行码率控制时出现了下面的竞争问题： 对当前帧的宏块进行率失真优化时，需要先通过当前帧或宏块的平均绝对差( m e a n a b s o l u t e d i f f e r e n c e ，m a d ) 决定每个宏块的量化参数，然而当前帧或宏块的m a d 仅在率失真优化后 才能得到。同时，编码过程中的有效信道带宽可以是恒定的或是变化的，因此必须考虑恒 定比特率( c b r ) 和变化比特率( v b r ) n 种情况。当前提出的大多数算法都是集中在c b r 情形 1 南京邮电大学硕士研究生学位论文第一章绪论 i - l ，- 4 1 k o 2 0 0 2 年，m a 较早的提出了一种h 2 6 4 a v c 的码率控制算法【5 1 ，采用t m 5 模型，分为比 特分配、第一次率失真优化、计算量化参数和再次进行率失真优化四步，只是在计算宏块 活动性时，用帧内预测或运动补偿后的s a d 代替以前的宏块方差，结果更为准确：2 0 0 4 年， s h i n a 采用线性p 域码率模型提出一种h 2 6 4 a v c 的码率控制算法1 6 】，由于采用了线性关系， 该方法较为简单，而且对于场景切换情形能产生近似恒定的比特率。同年，x u 也提出了一 种高效率的h 2 6 4 a v c 码率控制算法【7 】，分为帧层和宏块层的控制，实际产生的比特率较 为稳定，而且更接近目标比特率，复杂度较低，只进行了一次率失真优化( m a 的算法1 8 】及其 它一些算法均进行了两次率失真优化) ，峰值信噪比( p s n r ) 较为平滑，但比m a 的算法稍低 一些：m a 于2 0 0 3 年又提出了一种自适应的码率控制算法 9 1 ，引入了基本单元的概念，分为 图像组( g o p ) 层、帧层和基本单元层三个层次的控制算法，效率较高。 码率控制算法一般被分为图像层码率控制和宏块层码率控制。图像层码率控制，是指 一帧图像被编码前，按照一定策略确定图像应当输出多少个比特。这类算法复杂度低，延 迟小，但如果连续多帧图像的输出比特数大于期望比特数，会导致不必要的跳帧。相反， 则浪费信道传输带宽，并可能导致缓冲区下溢。 宏块层码率控制则以图象层码率控制确定的输出码率为目标，调整编码器相关环节， 计算宏块的量化系数，使该帧图像使用的比特数尽量接近于期望输出比特数。其中 r i b a s c o r b e r a 4 5 】等提出的码率控制算法被用于h 2 6 3 的测试模型t m n 8 和m p e g - 4 的验证模 型v m 8 ，并一直沿用到t 1 1 。该算法不仅能较好地将输出码率控制在目标码率附近，而 且有较好的图像复原质量。但是由于该类算法需要计算每个宏块，计算复杂度较大；且由 于宏块平均分配比特，重建图像精准度不够。 1 2 论文研究内容 本文对h 2 6 4 a v c 视频编码标准和码率控制算法进行了深入的研究。首先讨论了 h 2 6 4 a v c 视频编码标准的系统组成和编码流程，着重讨论了帧内预测、帧间预测、运动 估计、整数变化及量化等关键技术，然后重点分析了h 2 6 4 a v c 采用的率失真优化技术， 以及经典码率控制算法。对率失真与码率控制的关系进行了深入的研究，指出它们之间的 冲突。 其次，本文以h 2 6 4 a v c 视频编码的码率控制策略为研究对象，从提高图像精准度的 角度出发，提出了t g 0 1 2 的改进算法。在重点阐述h 2 6 4 斛c 中tg o 2 码率控制算法 2 南京邮电大学硕士研究生学位论文第一章绪论 的原理和过程，着重分析了并给出了算法实现的流程后，对tg 0 1 2 方案中算法的不足之 处进行了修改。利用d c t 系数特性采用平均像素信息比特( a p i b ) 的概念及其码率控制模 型，降低了计算复杂度：然后在基本单元层根据基本单元的编码复杂度进行更准确的码字 分配，并利用时间相关性对a p i b 进行有效预测。由于不同的视频信息对人类视觉系统的作 用是不一样的。如何充分利用人眼的视觉特性，已成为现代视频编码中要考虑的重要问题。 本文结合j p e g 中的感兴趣区域( r o d 的特点。提出了a p i b 与r o i 结合的自适应量化宏块 层码率控制算法，使实际编出的比特更接近目标比特，并给出了仿真结果。 1 3 论文组织结构 本文以h 2 6 4 视频编码的码率控制策略为研究对象，从提高图像精准度的角度出发， 提出了t - g 0 1 2 的改进算法。 全文共分为五章，各部分安排如下： 第一章：首先分析了视频压缩编码的意义以及视频编码标准的发展过程，接着针对本 文的主要研究方向码率控制，分析了h 2 6 4 a v c 的码率控制的研究难点和应用发展状况。 最后介绍了本文研究内容和组织结构。 第二章：主要介绍了h 2 6 4 a v c 的算法新特点及编码框架，其中包含帧内预测、帧间 预测、运动估计、整数变化及量化策略。 第三章：重点分析了h 2 6 4 a v c 采用的率失真优化技术，以及经典码率控制算法。对 率失真与码率控制的关系进行了深入的研究，指出它们之间的冲突。 第四章：重点阐述了h 2 6 4 a v c 中tg 0 1 2 码率控制算法的原理和过程，着重分析了 并给出了算法实现的流程。利用d c t 系数特性采用平均像素信息比特( a p i b ) 的概念及其 码率控制模型；利用人眼对不同视频信息敏感度不同的视觉特性，结合j p e g 中的感兴趣区 域( r o i ) 的特点，提出了a p i b 与r o i 结合的自适应量化码率控制算法。使实际编出的比 特更接近目标比特。 第五章：实验结果分析。将本文提出的改进新算法与h 2 6 4 a v c 的参考模型进行实验 比较，并做出总结。 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 a v c 的算法特点 第二章h 2 6 4 a v c 的算法特点 作为第二代编码标准，h 2 6 4 a v c 在继承了以前编码标准的优点的同时，对一些不能 很好适应技术发展的应用需求的设计进行了改进，并且提出了一些新的编码工具。对于 h 2 6 4 a v c 的理解，总体上可以从两个方面着手。第一，h 2 6 4 a v c 的基本架构，它说明 了一组视频序列在编码过程中的组成单元和结构，以及其在编码过程中所起的作用。第二， h 2 6 4 a v c 的编解码流程，它说明了在对视频序列进行编解码过程中的具体实现步骤和其 中的主要算法。本章将对其进行较为详尽的分析。本章首先对图像压缩编码标准的发展做 一简要介绍，然后对新一代视频压缩标准h 2 6 4 a v c 中采用的先进编码技术进行回顾，重 点描述了h 2 6 4 a v c 中与整数类d c t 变换相结合的新型量化策略。 2 1 视频压缩编码技术简介 视频编码的一个主要目的是在保证一定重构质量的前提下，以尽量少的比特数来表征 视频信息。传统的压缩编码是以香农信息论为出发点，用统计概率模型来描述信息。这种 基于数据统计的、以消除视频数据相关冗余为目的的第一代视频编码技术获得了巨大成 功。j p e g ( j o i n tp h o t o 脚l l i ce x p e r tg r o u p ) , m p e g - l ( m o v i n g p i c t u r ee x p e r tc r o u p ) ， m p e g - 2 ，h 2 6 1 以及h 2 6 3 等压缩编标准对多媒体产生的巨大影响就是有力的证明。但是 第一代视频编码技术并未考虑信息接收者的主观特征、视频信息的具体含义和重要程度 等，只是力图去除数据冗余，这是一种低层次的编码技术。真正代表视频编码方向的是基 于内容的第二代视频编码技术，它所关心的是视频内容的冗余，它认为编码时应充分考虑 人眼的视觉特性的影响，这是目前视频编码最为活跃的一个领域。下面对得到广泛应用的 第一代视频编码方法及拥有很好发展前景的第二代视频编码方法进行介绍。 j p e g 标准：j p e g 是i s o i e c 联合图像专家组制定的静止图像压缩标准，是适合于连续 色调( 包括灰度和彩色) 静止图像压缩算法的国际标准。j p e g 算法共有四种运行模式，其 中一种是基于空间预测( d p c m ) 的无损压缩算法，另外三种是基于d c t 的有损压缩算法 【l o 1 5 】 h 2 6 1 标准f 1 6 - 18 】：是i t u t 针对可视电话和会议电话、窄带i s d n 等要求实时编解码和 低延时应用提出的一个编码标准。它的推出是为了在速率为p 6 4 k b i t 幽的信道上传输可视 电话与会议电话。该标准要求输入的图像格式满足c i f 格式或q c i f 格式，并将c i f 和q c i f 4 南京邮电大学硕士研究生学位论文第二章h 2 6 4 1 a v c 的算法特点 格式的数据结构划分为如下四个层次：图像层( p ，p i c t u r e ) 、块组层( g o b ，g r o u po f b l o c k s ) 、 宏块层( m b ，m a c r o b l o c k ) 和块层( b ，b l o c k ) 。 h 2 6 3 标准【1 9 1 ：h 2 6 3 标准是i t u 的第十五研究组为窄带宽应用而建立的视频编码标准， 该标准完成于1 9 9 5 年。h 2 6 3 标准的制定参考了h 2 6 1 ，因此其中大部分编码结构和算法与 h 2 6 1 相同，但由于h 2 6 3 的目标位率低于6 4 k b p s ，所以又在许多方面对h 2 6 1 进行了改进 和扩充，使其在编码算法复杂度增加很少的情况下，能够提供更好的图像质量和更低的码 率，十分适合于p 视频会议、可视电话应用。经过测试，h 2 6 3 在低于6 4 k b p s 速率的应用中 能够提供比h 2 6 1 高3 - 4 d b 的峰值信噪比。它可以作为评价未来低速编码算法和标准性能的 基准。目前，h 2 6 3 标准主要应用于可视电话和无线通信中的视频传输。 h 2 6 3 标准在1 9 9 7 年又完成了第二版一h 2 6 3 + ，h 2 6 3 + 通过新增1 2 种可选方式，增强 - f h 2 6 3 的功能【2 0 l ；1 9 9 9 年完成的h 2 6 3 第三版h 2 6 3 + + 【2 1 1 ，通过新增4 种可选方式，提高 了该标准的网络传输与容错能力。 h 2 6 l 标准【2 2 】：h 2 6 l 是i t u 目前制定的最新的视频压缩标准，它继承了h 2 6 3 ， h 2 6 3 + ，h 2 6 3 + + 等标准的许多优点，同以前的标准相比，h 2 6 l 进行了许多改进：运动估 计预测的精度已经精确到8 像素，可以进行1 4 像素的运动补偿，能够自适应选择块尺寸的 大小，量化级别精确到了宏块级，熵编码采用了u v l c 【2 0 】，对数据分割方面的也有相关语 法语义定义。与h 2 6 3 + 或m p e g - 4 的s i m p l ep r o f i l e 相比，h 2 6 l 在大多数码率下最多可节省 5 0 的码率。h 2 6 l 既能够工作在低延时模式以适应实时通信的应用( 如视频会议) ，同时 又能够很好地工作在没有延时限制的应用，如视频存储和以服务器为基础的视频流式应 用。 m p e g 1 标准 2 3 1 ：从1 9 8 8 年5 月开始启动，于1 9 9 2 年1 1 , q 达到国际标准状态，是关于 1 5 m b i t s 数据传输率的数字存储媒体运动图像及其伴音编码的国际标准。它与h 2 6 1 及 h 2 6 3 原理大致相同，不同的是m p e g - 1 主要针对媒体的存储，而h 2 6 1 ，h 2 6 3 主要针对视 频的传输。故m p e g 1 在顾及图像质量、压缩比的情况下，还要考虑对序列图像进行随机 访问和编辑的方便。m p e g 1 标准的制定极大地促进了v c d 产业的发展。 m p e g 2 标准【2 4 】：从1 9 9 0 年6 月开始启动，于1 9 9 4 年1 1 月达到国际标准状态，是针对数 字视频广播( d v b ) ，高清晰度电视( h d t v ) ，数字视盘d v d 等制定的高于1 5 m b i t s 运 动图像及其伴音的编码标准。m p e g 2 在制定过程中充分考虑了对m p e g 1 的兼容，对图像 质量和数据传输率的多层次需求。m p e g - 2 支持帧编码与场编码，且具有可分级性。 m p e g 4 标准【2 5 1 ：m p e g - 4 标准于1 9 9 9 年完成。相对于m p e g 的前两个压缩标准， m p e g 4 己经不再是个单纯的视频音频编解码标准，它更多定义的是一种格式和框架，从 s 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 1 a v c 的算法特点 而为多媒体数据压缩提供了一个更广泛的平台。该标准揉和了各种现有的多媒体技术，包 括压缩本身的一些工具、算法和图像分析与合成、计算机视觉、计算机图形、虚拟现实、 语音合成等技术。标准的主要特征是基于对象的编码和基于模型的编码，此外，为了适宜 互联网和无线网等窄带视频通信、多质量视频服务、多媒体检索等服务，m p e g - 4 提供了 基于对象的分级功能，包括时域与空域的分级及其混合分级。 j v t 标准 2 6 - 2 8 ：i t u 与i s o 于2 0 0 1 年底开始合作制定一个新的视频编码标准，该标准 以合作的专家组t ( j o i n tv i d e ot e a m ) 来命名，其基本框架采用h 2 6 l 标准。i t u t 组织将 该标准定为h 2 6 4 a v c ，而m p e g 组织将该标准加入了m p e g - 4 标准中，作为其第l o 部分称 为m p e g - 4p a r t1 0 ，故又合称为h 2 6 4 a v c 。 具体比较可见表2 1 ： 功能 h 2 6 1i p e g lm p e g 2h 2 6 3 m p e g 4h 2 6 4 a v c 图像编码类型 i ，pi ，p ，bi 。p ，bi ，p ，bi ，p ，bi ，p b 熵编码 v l cv l cv l c v l c ，s a c v l c u v l c ，c a v l c , c a b a c m v 分辨率整数像素半像素半像素半像素l 4 像素1 4 像素 变换 8 x 8 d c t8 8d c t8 x 8 d c t8 x 8d c t8 x 8d c t 4 x 4 与8 x 8 整数 矢量块大小1 6 x 1 61 6 1 61 6 x 1 6 ，8 x 8 或1 6 1 68 x 8 ，1 6 x1 6 ，1 6 x 8 ， 1 6 x 1 81 6 x 1 68 x 1 6 ，8 x 8 ， 8 x 4 ，4 x 8 ，4 4 空域帧内预测无无无 无无 有 支持的格式逐行逐行逐行，隔行逐行逐行隔行逐行隔行 预测模式帧帧场帧 帧 场帧场帧 去块滤波器环内无后期环内后期环内 表2 - l 视频压缩编码性能比较 2 2h 2 6 4 a v c 的基本架构 视频的各种应用必须通过各种网络传送，这要求一个好的视频方案能处理各种应用和 网络接口。h 2 6 4 a v c 为了解决这个问题，提供了很多灵活性和客户化特性。h 2 6 4 a v c 的设计方案包含两个层次，视频编码层( v c l ，v i d e oc o d i n gl a y e r ) 和网络抽象层( n a l ， n e 铆o r ka b s t r a c t i o nl a y e r ) 。视频编码层主要致力于有效地表示视频内容，网络抽象层格 6 南京邮电大学硕士研究生学位论文第二章h 2 6 4 a v c 的算法特点 式化v c l 视频表示，提供头部信息，适合多种传输和存储媒体，是本论文主要研究的对象。 h 2 6 4 a v c 的视频编码层结构和m p e g - 2 、h 2 6 3 比较类似，其层次结构为序列 图象 片组 片 宏块 块 像素) ) ) ) ) ) 序列层：序列以s p s ( 序列参数集) 语法开始。s p s 包括了视频序列的参数集标 识、概图、级、参考帧数量、图像宽与高、是否只使用帧宏块等信息。直到下一 个s p s 的出现才重新开始一个新序列，每个序列使用固定的s p s 参数值。 图像层：这一层以p p s ( 图像参数集) 语法开始。p p s 包括了s p s 标识、p p s 标 识、熵编码模式、片组数目、图像初始量化参数值、是否帧内预测受限等信息。 除非出现新的p p s ，在接下来的图像数据中使用此p p s 参数值。每幅图像可以由 一个或多个片组构成，每个片组也可以由一个或多个片构成。 片层：片以片头语法开始。片头包括片的起始宏块号、片类型、图像参数集标识、 帧号等信息。片的数据由其所包含的宏块信息组成。 宏块层：每个宏块包括宏块类型、编码块模式、宏块量化调节值、预测模式或运 动矢量、残差数据。 与m p e g 2 、h 2 6 3 语法结构不同的是，h - 2 6 4 舱c 的s p s 、p p s 可以异步传输，片 层可以独立解码。 2 2 编码流程 h 2 6 4 a v c 视频编码层的设计与以往的标准( h 2 6 1 ，h 2 6 3 ，m p e g 1 ，m p e g - 4 等) 类似 ( 如图2 1 ) ，也是基于块的混合编码。它的基本算法也是通过帧间预测和运动补偿等技术 来消除图像间的时域冗余，通过变换编码技术来消除频域冗余。整个编码过程也主要是经 过以下功能模块：预测、变换、量化和熵编码。每个模块的基本功能没有发生根本的变化， 主要是在每一个功能模块的细节上发生了重要的变化，这些变化也就构成了h 2 6 4 a v c 的 关键技术。h 2 6 4 a v c 中的关键技术包括：帧内与帧间预测、运动估计、变换量化、熵编 码和环内滤波。下面将具体分析这几个编码过程的关键技术，并对后文编码优化会涉及到 的变换与量化做单独详细介绍。 2 2 1 帧内与帧间预测 编码前的分块：在编码前每幅图像都划分成大小相同的宏块，其中包括1 6 x1 6 的亮度 宏块和两个8x8 的色度宏块，多个宏块组成一帧。 7 南京邮电大学硕士研究生学位论文第二章h 2 6 4 a v c 的算法特点 h 2 6 4 a v c 支持5 种类型的帧： i 帧( i n t r a ) ：不需要参考其他的帧来编码，数据量最大。 p 帧( p r e d i c t i v e ) ：只参考该帧以前的帧来编码。 b 帧( b i p r e d i c t i v e ) ：既参考该帧以前的帧，也参考该帧以后的帧来编码；数据 量小但是会带来编码器延时增加、复杂度增高、需要更多的缓存等缺点。 s p 帧( s w i t c h i n g p ) 和s i ( s w i t c h i n g i ) 帧：用于不同码流的切换( s w i t c h ) ，也可以用于 码流的随即访问、快进快退和错误恢复。 图2 1h 2 6 4 a v c 的编码框架 帧内预测( i n t r a f r a m ep r e d i c t i o n ) 帧内预测主要用于减少空间上的冗余度，为了保证数据帧的独立性，帧内预测只能在 当前帧中进行。h 2 6 4 a v c 提供三种帧内预测方式 2 9 1 ： 4 x 4 亮度块帧内预测 1 6 x 1 6 亮度宏块帧内预测 8 x 8 色度宏块帧内预测 并且为每一种预测方式提供多种预测模式。 一般，图象相对变化较大的区域，需要更细小的块分割和更多可选的预测模式，以提 供足够的预测精度，因此4 x 4 亮度块帧内预测采用9 种预测模式。而1 6 x 1 6 亮度宏块帧内预 测，更适合用在变化较平缓且面积较大的区域。预测模式也相应有所减少，只有4 种另 外，由于人类视觉系统( h v s ：h u m a nv i s u a ls y s t e m ) 对色度变化的敏感性低于亮度，因 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 a v c 的算法特点 此8 8 色度块帧内预测所需预测模式少于4 x 4 亮度块帧内预测，共有4 种模式。 1 ) 4 x 4 亮度块帧内预测 qabcdefgh i 陌 广硼 耋k幽i k 1mn op l j l ll l心 | 侈j 刁 p j j ，、 4 ( a ) c o ) 图2 - 24 x 4 亮度块帧内预测和预测方向示意图 图2 - 2 ( a ) 中大写字母a q 表示相邻块已解码重构的像素( 当这些像素在图像外部或编码 次序上之后于被预测像素时称为不可得) ，小写字母a - p 表示被预测的4 4 亮度块的1 6 个亮 度像素。 由于预测模式2 为d c 预测，不包括在预测方向图中，所以图2 2 ( b ) 中所示只是4 x 4 亮度 块其余8 种预测模式的预测方向图。 2 ) 1 6 x 1 6 亮度宏块帧内预测 1 6 x 1 6 亮度宏块帧内预测共有4 种预测模式，模式0 ：垂直预测；模式l ：水平预测； 模式2 ：d c 预测；模式3 ：平面预测( p l a n e ) ( 采用一个线性平面函数，在亮度变化平缓 的区域预测效果非常好) 。如图2 3 所示，其中a ，b 分别表示相邻宏块已解码重建的像素。 3 ) 8 x 8 色度块帧内预测 色度宏块包含u 、v 两个色度分量宏块。在进行8 x 8 色度宏块帧内预测时，对两者采用 相同的预测模式。与1 6 x 1 6 亮度宏块帧内预测的预测模式相比，除d c 预测有点细微区别外， 其他预测模式十分类似。预测值计算公式参考文科冽。 模式0 ( 垂直)模式1 ( 水平)模式2 ( d c )模式3 ( p l a n c ) 间园国圃 图2 31 6 x 1 6 亮度宏块帧内预测模式示意图 帧间预测( i n t e r - f r a m ep r e d i c t i o n ) 帧间预测用于降低图像的时域相关性，通过采用多帧参考和更小运动预测区域等方 9 南京邮电大学硕士研究生学位论文第二章h 2 6 4 a v c 的算法特点 法，对下一帧精确预测，从而减少传输的数据量。 每个亮度宏块被划分成形状不等的区域，作为运动描述区域。其划分方法有1 6 x 1 6 ， 1 6 x 8 ，8 x 1 6 和8 x 8 四种。当选用8 x 8 方式时，可以进一步划分成8 x 8 ，8 x 4 ，4 x 8 和4 x 4 共四 个子区域( 图2 - 4 ) 。每个区域包含自己的运动向量，每个运动向量和区域选取信息必须通 过编码传输。因此，当选用较大区域时，用于表示运动向量和区域选取的数据量减少，但 运动补偿后的残差会增大；当选用小区域时，残差减少，预测更精确，但用于表示运动向 量和区域选取的数据量增大。大区域适合反映帧间同质部分，小区域适合表现帧间的细节 部分【2 9 】。 1 6 x 1 6 1 6 x 88 x 1 68 x 8 图2 - 4 帧间预测的宏块划分模式 2 2 2 运动估计( m o t i o ne s t i m a t i o n ) 运动估计是利用视频图象的是与相关性产生运动矢量，尽可能准确地描述对象( 块或 宏块) 的时域运动。因此运动矢量的精度越高，运动估计的残差越小，这样在降低码率的 同时又能提高重建视频质量。 h 2 6 4 a v c 对于图像的划分有很多方法和选择，导致运动估计算法的复杂性大大提高， 且运动向量的位移精度也由以往的整像素变成对于亮度分量是l 4 像素，对于色度分量是 1 8 像素，算法大致如下：当运动向量( m v ，m o t i o nv e c t o r ) 指向整数像素时，参考值就 是对应的采样值，否则需要通过邻近采样值插出所需的参考值。l 2 像素位置的参考值通过 一维的f i r 滤波器插出，l 4 像素位置的参考值由整数和l ，2 像素位置的均值获得。对于色度 分量，参考值通过双向线性插值获得，即在整像素，l 2 像素，l 4 像素和1 8 像素之间选择 运动残差最小的运动向量，这样就能使得编码的效率大大提高。 每个分割m v 的编码需要相当数量的比特，特别是使用小尺寸分割时。为减少传输比 特数，可利用邻近分割较强的相关性，m v 可由邻近已编码分割的m v 预测而得。预测矢量 1 0 南京邮电大学硕士研究生学位论文第二章h 2 6 4 1 a v c 的算法特点 m v p 基于已计算的m v 和m v d ( 预测与当前的差异) ，并被编码和传送。m v p 则取决于运 动补偿尺寸和邻近m v 的有无。 e 为当前宏块或宏块分割的子块。a 、b 、c 分别为e 的左、上、右上方的三个相对应块。 如果e 的左边不止一个分割，取其中最上一个为a ；上方不止一个分割时，取最左边一个为 b 。如图2 5 所示为所有分割有相同尺寸时的邻近分割选择。 其中： 1 ) 传输分割不包括1 6 x 8 和8 x 1 6 时，m v p 为a 、b 、c 分割的中值； 2 ) 对于1 6 x 8 分割，上面部分m v p i 扫b 预测，下面部分m v p i 扫a 预测； 3 ) 对于8 x 1 6 分割，左面部分m v p f l l a 预测，右面部分m v p f l 习c 预测： 4 ) 跳跃宏块( s k i p p e dm b ) ，同1 ) 。 如果图2 5 所示的已传送块不存在时( 如在当前片外) ，m v p 的选择需重新进行调整。 在解码端，m v p 以相同的方式形成并加到m v d 上。对于跳跃宏块而言，由于不存在m v d ， 其运动补偿也由m v 直接生成。 芒 图2 5 当前和邻近分割( 相同尺寸) 2 2 3 变换和量化( t r a n s f o r m & q u a n t i z a t i o n ) 在h 2 6 3 和m p e g - 2 当中，亮度d c t 变换是在8 x 8 分块上采用浮点运算的方式来实现 的，浮点d c t 变换不但计算量很大，而且由于计算机浮点运算的特殊结构，导致系数在 d c t 和i d c t 变换后会出现细微的偏差( 即编码噪声) ，从而影响到保证解码端图像的精 确重建。h 2 6 4 a v c 第一次采用了基于4 x 4 分块的整数类d c t 变换。变换分块的缩小提供了 d c t 算法更好的变换效果；而整数运算的采用则极大简化了运算要求，同时避免了常规 d c t 变换的编码噪声【3 0 l 。 量化过程对码率起着决定性的影响，码率控制主要就是控制量化参数。其流程图见下。 h 2 6 4 1 a v c 中，量化是和整数类d c t 变换联系在一起的，因此本节在介绍整数类d c t 变换 的基础上引入量化策略。 l l 南京邮电大学硕士研究生学位论文第二章h 2 6 4 a v c 的算法特点 输 出z y = 辱篓砌) c o 昭+ 1 ) 知，l 2 ，一l ( 2 1 1 ) 叫肇嚣一。 其中变化矩阵彳中的系数4 = q c 。s ( 2 1 j + 丙1 ) 一i n ； 设口= 吾扣压c 。s c = 捱c o s 譬，则： 肚i a a a； 1 2 南京邮电大学硕士研究生学位论文第二章h 2 6 4 1 a v c 的算法特点 相对精确的再现原始的数据，并且实现起来更简单。式( 2 2 ) 等效为： y = ( c x c r ) 固e ll 1d 1一l 孑一l ll dl ll l 一 11 1d 1一d 1一l 1d l一1 一ll 1一d ( 2 - 4 ) 其中，a = c a ( 锱o 4 1 4 ) 。符号“o a 示, ( c x c r ) 结果中的每个元素乘以矩阵e 中对应 位置上的系数值的运算。这样由于矩阵e 只是经过变换后的各个元素的尺度伸缩，所以可 以在编码器端结合量化表，解码器端结合反量化表来一次性的完成变换和量化。为了简化 计算，取d 为o 5 。同时又要保持变换的正交性，对b 进行修正，取b = 2 5 。对矩阵c 中 的第2 行和第4 行，以及矩阵c f 中的第2 列和第4 列元素乘以2 ，相应地改造矩阵e 为 e ，以保持式( 2 - 4 ) 成立，得到： 】，= ( q c ，7 ) o 毋 11 21 11 l - 2 ll l _ 2 一ll 21 l2ll ll一1 - 2 1一ll2 l - 2l一1 a 2 a b 2 a 2 a b 2 a b 2 b 2 4 a b 2 6 2 4 口2 a b 2 a 2 a b 2 a b 2 b 2 4 a b 2 b 2 4 ( 2 - 5 ) 其中，运算“o ”对每个矩阵元素只进行一次乘法，同时它将被归纳到量化运算中。这 样，( c ，c ，7 ) 中只剩下整数的加法、减法和移位( 乘以2 ) 运算。 量化过程在不降低视觉效果的前提下减少图像的编码长度，减少视觉恢复中不必要的 信息。h 26 4 中量化级( q p ) 的范围为【o ，5 1 ，这么大的一个量化范围为码率和质量提供了一 个很好的权衡。量化的基本公式为：勉= r o u n d ( 壹p ) 其中，y 为输入样本点编码，q 尸为 量化补偿，勉为y 的量化值，r o u n d o 表示其输出为与输入实数最近的整数。 表2 - 2 列出了对应于量化级o - 5 1 的的值。可以看出，当量化级q p 增加6 时，增加 一倍。 6 2 6 2 翻6 凸6矿的枣砧 6 2 6 2 翻6 凸6矿曲矿如 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 a v c 的算法特点 q p 0123456 7891 0 q s t e p 0 6 2 5 0 6 8 7 5 0 8 1 2 50 8 7 5 11 1 2 51 2 51 3 7 51 6 2 51 7 52 q p 1 l1 2 1 82 43 05 1 q s t e p 2 2 5 2 5 51 03 02 2 4 表2 2 对应于q p 的值 将公式( 2 5 ) 中经过c ，的变换认为是整数类d c t 变换，那么即可以看成h 2 6 4 a v c 引入的量化矩阵。这里的量化矩阵和通常意义上的量化矩阵不是同一个概念，通常