（模式识别与智能系统专业论文）h264avc帧内预测算法优化研究.pdf

南京邮电大学硕士研究生学位论文摘要 摘要 i t u th 2 6 4 m p e g 一4p a r t1 0a v c ( 简称h 2 6 4 ) 是由i s o i e c 的运动图像专家组m p e g 和i t u t 的视频编码专家组v c e g 组成的联合视频小组j v t 共同制定而成的最新的国际 视频编码标准，其中包含了众多先进的视频压缩技术和思想。比以前的视频编码标准在编 码效率方面有了明显的提高，并且还拥有更好的网络友好性和容错性，然而h 2 6 4 的高压 缩编码效率却使得编码器的计算复杂度急剧增加，与m p e g - 4 简单配置相比，其编码复杂 度更是增加了1 0 倍，所以必须对压缩编码算法进行优化以提高其编码效率，特别是在实 时应用中。 本文安排如下：首先，扼要介绍了视频压缩编码的基本原理和标准。其次，介绍了h 2 6 4 编码标准的编解码器结构和关键技术。然后，在h 2 6 4 软件参考模型j m 8 6 的基础上，通 过对h 2 6 4 帧内预测编码方法性能的分析和研究，提出了一种基于宏块平滑特性的帧内预 测快速算法，同时讨论了基于4 4 宏块模式选择的帧内预测快速算法以及改进算法基于 r d o 的双闽值快速算法。这些算法主要是利用当前块及其周围像素的某些特征，预先排除 某些可能性很小的预测模式，或提前终止某些可能性小的模式判决计算，从而降低帧内预 测的复杂度。仿真实验结果表明，本文中所论述的方法可以在保持s n ry 、s n ru 、s n rv 几乎不变甚至有所增加的情况下有效地降低编码器的计算复杂度，并且具有较好的自适应 性。 关键字：h 2 6 4 ，帧内预测，视频编码，模式选择 南京邮电大学硕士研究生学位论文a b s t r a c t ab s t r a c t i t u th 2 6 4 m p e g - 4p a r t1 0a v c ( h 2 6 4 a v cf o rs h o r t ) ，w h i c hw a se s t a b l i s h e db yj o i n t v i d e ot e a m ( t ) c o n s i s t i n go fe x p e r t sf r o mi t u t sv i d e oc o d i n ge x p e r t sg r o u p ( v c e g ) a n d i s o i e c sm o v i n gp i c t u r ee x p e r t sg r o u p ( m p e g ) ，i st h en e w e s ti n t e r n a t i o n a lv i d e oc o d i n g s t a n d a r d ，a n dc o n t a i n sm a n ya d v a n c e dv i d e oc o d i n gt e c h n o l o g i e sa n dt h o u g h t s c o m p a r e dt o t h o s ee x i s t i n gv i d e oc o d i n gs t a n d a r d s ，h 2 6 4h a sm a d eab i gp r o g r e s si nc o d i n ge f f i c i e n c y , a n da f r i e n d l y i n t e r f a c eo fn e t w o r ka n df a u l tt o l e r a n c e b u tt h ea d v a n c e dc o d i n gc o m p r e s s i o n e f f i c i e n c yo fh 2 6 4m a k e st h ec o m p u t a t i o n a lc o m p l e x i t yh a v ead r a m a t i ci n c r e a s e ，c o m p a r e dt o t h es i m p l ep r o f i l eo fm p e g - 4 ，i t sc o d i n gc o m p l e x i t yh a si n c r e a s e db y10t i m e s ，s oi ti sn e c e s s a r y t oo p t i m i z et h ea l g o r i t h m so fc o m p r e s s i o nc o d i n gi no r d e rt oi m p r o v et h ec o d i n ge f f i c i e n c y , e s p e c i a l l yi nr e a lt i m ea p p l i c a t i o n f i r s t l y , t h i sp a p e r i n t r o d u c e st h eb a s i ct h e o r i e sa n ds t a n d a r d so f v i d e oc o d i n g ， s e c o n d l y , w es i m p l yi n t r o d u c et h es t r u c t u r eo fe n c o d e ra n dd e c o d e r ，k e yt e c h n o l o g i e s t h i r d l y , o nt h eb a s eo fr e f e r e n c es o f t w a r ee n c o d e rj m 8 6 ，t h ep e r f o r m a n c eo fi n t r ac o d i n gi s a n a l y z e d a c c o r d i n gt ot h ec h a r a c t e r i s t i c so fh 2 6 4 ，w ep r o p o s eaf a s ti n t r ap r e d i c t i o na l g o r i t h m b a s e do nm a c r o b l o c kp r o p e r t i e s ，d is c u s saf a s ti n t r ap r e d i c t i o na l g o r i t h mb a s e do n4 4b l o c k a n di t si m p r o v e dd o u b l et h r e s h o l d si n t r a p r e d i c t i o na l g o r i t h m t h o s ea l g o r i t h m sa r em a i n l yt h e u s ec u r r e n tb l o c ka n dm o u n ds o m eo ft h ef e a t u r e so fp i x e l s ，r e m o v ec e r t a i np o s s i b l ev e r ys m a l l f o r e c a s tp a t t e r n si na d v a n c e ，o rt e r m i n a t ec e r t a i np o s s i b l es m a l lp a t t e r n sd e c i s i o nc o m p u t a t i o n a h e a do ft i m e t h es i m u l a t i o ne x p e r i m e n tr e s u l ti n d i c a t et h a tt h o s em e t h o d sc a nm a i n t a i n si nt h e s i t u a t i o nw h i c hs n r _ y , s n r _ u ，s n r va r en e a r l yi n v a r i a b l ee v e ni n c r e a s e ，r e d u c e se n c o d e r s c o m p u t a t i o nc o m p l e x i t ye f f e c t i v e l y ，a n dh a v eg o o da u t o - a d a p t e d f i n a l l y , s u m m a r yo f t h i sd i s s e r t a t i o ni sp r e s e n t e d k e yw o r d s ：h 2 6 4 ，i n t r ap r e d i c t i o n ，v i d e oc o d i n g ，m o d es e l e c t i o n 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生豁姓吼醴：9 、工 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生虢丞丸导师签名：卵吃矗日期：脚譬，9 一 112 名：多叩吃“1 日期：剔譬， 南京邮电大学硕士研究生学位论文 第一章绪论 第一章绪论 多媒体信息主要包括文字、声音、图像等内容，其中视频是最重要的组成部分之一。 这是因为视频信息具有直观、形象、准确、高效和应用广泛等特点，容易被人类接受，据 统计人类通过视觉获取的信息占全部获取信息的6 0 。但与文本、语音等数据相比，未经 压缩的数字视频因为巨大的数据量而几乎没有什么实用价值。从传输角度来看：一路广播 级的彩色数字电视，若按4 ：4 ：2 的分量编码视频格式，用1 3 5 6 7 5 6 7 5 m h z 频率采样， 每像素用8 位编码，则比特率为2 1 6 m b p s ；另外，一路高清晰度电视，比特率更高达1 3 2 7 m b p s ，这么大的数据量，不便于图像的传输和存储。显然数字视频必须经过极大的压缩才 能具有实际意义，这就使得视频压缩技术成为多媒体技术的关键。 近二十多年来，经过世界众多的专家的合作研究，多媒体数据压缩技术取得了巨大的 发展，而且，数据压缩技术取得的科研成果已经越来越广泛地被应用于可视电话、视频会 议、数码相机、数字化视频光盘、数字高清电视等领域。尤其在网络通信技术高速发展的 今天，对多媒体通信的需求越来越丰富。如此丰富的需求，为多媒体技术的发展提供了无 穷的动力，同时在v c d 、v o d ( v i d e oo nd e m a n d ) 、电影、电视、电子游戏、卡拉o k 等 领域中取得的成功，让全世界对多媒体技术的发展更加憧憬。 1 1 视频压缩编码原理 视频序列在空间和时间上都包含许多冗余信息，视频压缩的目的是去相关，用较少的 比特数来表示视频内容。视频序列中的冗余主要包含空间冗余、时间冗余和编码冗余等， 空间冗余、时间冗余和编码冗余都依赖于图像数据的统计特性，可以统称为统计冗余。 在图像编码国际标准中，绝大多数都是采用基于d c t 的混合编码算法。利用d c t 变 换消除空间冗余，采用运动预测和运动补偿消除时间冗余。根据信息码字出现概率的分布 特性而进行统计压缩编码，寻找概率与码字长度间的最优匹配。这些编码技术都是优秀的 纹理编码，它们能够在中等压缩率的情况下，提供非常好的图像质量i 但在非常低的位率 情况下，无法为一般的序列提供令人满意的质量。究其原因是由于这些技术都没有利用图 像的结构特点，因此它们也就只能以像素或块作为编码的对象。另外，这些技术在设计编 码器时也没有充分利用人的视觉生理、心理和图像信源的各种特征，实现从“波型”编码 到“模型”编码的转变，以便获得更高压缩比。 塑塞塑皇奎兰婴主堕壅圭兰竺笙奎星二兰堑笙 新一代的编码方法主要有：基于分形的编码、基于模型的编码和基于区域分割的编码。 这些新一代的编码方法充分利用了计算机图形学、计算机视觉和模式识别等相关学科的研 究成果，为视频压缩编码开拓出了广阔的前景。但是由于这些编码方法增加了分析的难度， 所以仍处于深入研究的阶段。例如，分形法由于图像分割、迭代函数系统代码的获得是非 常困难的，因而算法非常复杂。模型法则仅限于人头肩像等基本视频，进一步的发展有赖 于新的数学方法和其他相关科学的发展。但由于巨大压缩性能的潜力，人们都在致力于这 些新方法的研究之中。 近年来，还出现一类充分利用人类视觉特性的“多分辨率编码”方法，如子带编码和 基于小波变换的编码。这类方法使用不同类型的一维或二维线性数字滤波器对视频进行整 体的分解，然后根据人类视觉特征对不同频段的数据进行粗细不同的量化处理，以达到更 好的压缩效果。 1 2 视频压缩编码标准 近年来，一系列国际视频编码标准的制定，极大促进了视频压缩编码技术和多媒体通 信技术的发展。视频压缩编码标准的制定工作主要是由国际标准化组织i s o 和国际电信联 盟i t u 完成的。由i t u 组织制定的标准主要是针对实时视频通讯的应用，如视频会议和可 视电话等，它们以h 2 6 x 命名；由i s o 和i e c ( i n t e r n a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n ， 国际电工委员会) 的共同委员会中的m p e g ( m o v i n gp i c t u r ee x p e r tg r o u p ) 专家组制定的标 准针对视频数据的存储( 如v c d 和d v d ) ，广播电视和视频流的网络传输等应用，它们以 m p e g 。x 命名。图1 1 按照时间顺序表述了视频编码标准的发展历程。 1 9 8 41 9 8 61 9 8 8 1 9 9 01 9 9 21 9 9 41 9 9 61 9 9 82 0 ( 1 02 0 0 2 2 0 0 4 图1 1 视频编码国际标准的发展 2 塑室塑皇奎堂堡主堕窒竺堂堡丝奎星二兰竺笙 在i t u 和i s o i e c 所制定的这些标准中，并没有对视频编码的具体算法做硬性规定， 而仅仅是定义了相应的解码方法和比特流语法，使得对于符合某一标准的压缩码流，所有 的解码器都能够得到相同的输出结果，这也为标准的具体应用带来了最大的自由度。下面 我们对几种典型的国际视频编码标准做简单的介绍。 一、m p e g 系列标准 1 、口e g - 1 m p e g 一1 制定于1 9 9 2 年，是针对数据传输率1 5 m b p s 以下的数字存储介质图像以及伴 音编码的国际标准，共分为图像编码、声音编码和系统( 同步和复用) 3 部分。该标准主 要用于在各种数字存储介质( c d r o m ，d a t ，w i n c h e s t e r 盘等) 上存储同步和彩色运动 视频信号，在1 2 m b p s 速率下的视频质量可与v h s ( 家用视频系统) 所记录的模拟视频质 量相媲美。m - p e g 1 对色差分量采用4 ：l ：l 的二次采样率，可优化为中等分辨率并在优化 的模式下采用所谓的标准交换格式( s i f ) 。其视频压缩率约为2 6 ：1 。m p e g - 1 标准采用运 动估计、运动补偿、变换编码等技术，并规定了编码位流的表示语法和具体解码方法。由 于m p e g 1 标准是针对数字存储的应用而制定的，因此它的编解码器是不对称的，其编码 端的复杂度通常要远远高于解码端。 2 、m p e g 2 ( h 2 6 2 ) m p e g 2 标准是由i s o 的m p e g 专家组和i t u t 的第1 6 研究组于19 9 4 年共同制定的， 全称为“运动图像及其伴音的编码 ，在i 下u t 的协议中也被称为h 2 6 2 建议。m p e g 2 的传输速率为3 m b p s 1 0 m b p s ，主要针对数字电视和高清晰电视( h d t v ) 所需要的视频及 伴音信号，此外还兼顾了与a t m 信元的适配问题。 m p e g - 2 在m p e g 一1 的基础上做了相应的扩展，从多方面提高了编码参数的灵活性以 及编码性能。它综合采用了运动补偿的帧间预测、空问域离散余弦变换、自适应量化和可 变长编码的混合编码。m p e g 2 视频编码标准是一个分等级的系列，按编码图像的分辨率 分成4 个等级；按所使用的编码工具的集合分成五个类别。“等级”和“类别”的若干组 合构成m p e g 2 视频编码标准在某种特定应用下的子集，对某一输入格式的图像，采用特 定集合的压缩编码工具，产生规定速率范围内的编码码流。目前m p e g 2 标准已经在d v d 存储和数字电视广播方面得到了广泛应用。 3 、呼e g 4 在m - p e g 1 和m p e g 2 之后，i s o 的m p e g 工作组于1 9 9 9 年4 月出台了m p e g - 4 标 准，并在1 9 9 9 年1 2 月提出了第二版的i s o 最终草案。m p e g 4 提出了音视频对象的概念， 并在此基础上实现了许多新的功能，为各种多媒体应用特别是基于i n t e r n e t 和移动网络的 气 南京邮电大学硕士研究生学位论文第一荦绪论 应用提供了理想的工具，如基于内容的编码、错误掩盖和基于内容的可伸缩性等。与m p e g 前两个图像压缩标准相比，m p e g 一4 为多媒体数据压缩提供了一个更为广阔的平台。更注 重于定义一种格式和框架，而不是具体算法，其出发点就是希望建立起一个更自由的通信 与研发环境，可以在系统中加入许多新的算法，为使用计算机软件实现编码和解码提供更 大的方便。它可以将各种各样的多媒体技术充分应用于编码中，除包括压缩本身的一些工 具、算法外，还包括图像分析和合成、计算机视觉、计算机图形学、虚拟现实和语音合成 技术。 4 、m p e g 7 和口e g - 2 l m p e g 一7 标准称为“多媒体内容描述接e l ”( m u l t i m e d i ac o n t e n td e s c r i p t i o ni n t e r f a c e ) ， 目的是制定一套描述符标准，用来描述各种类型的多媒体信息以及它们之问的关系，以便 更快更有效的检索信息。该标准的第4 版已于2 0 0 0 年l o 月发布，它通过标准化一种用来 定义描述方案的语言，即描述定义语言( d e s c r i p t i o nd e f i n i t i o nl a n g u a g e ) ，使带有与之相 关的m p e g 一7 数据的a v 素材，就可以被加上索引，并可进行检索。这些媒体材料可包括 静态图像、图形、3 d 模型、声音、语音、电视以及在多媒体演示中它们之间的组合关系。 在m p e g 一7 的基础上，i s o 又于1 9 9 6 年开始着手m p e g 2 1 标准的制定工作。m p e g - 2 1 是一个支持通过异构网络和设备使用户透明而广泛地使用多媒体资源的标准，其目标是建 立一个交互的多媒体框架，该框架能够使遍布全球的各种网络和设备上的数字资源被透明 和广泛的使用。 总体来说，m p e g 7 和m p e g - 2 1 的应用范围己超出了传统的传输和存储范畴，开始转 向多媒体检索、交互式多媒体操作和内容管理等领域，已经不是一种单纯意义上的视频编 码标准。 二、h 2 6 x 系列标准 1 、h 2 6 l h 2 6 1 建议是最早出现的视频编码标准，由i t u t 第1 6 研究组为在窄带综合业务数字 网( n i s d n ) 上开展双向声响业务( 可视电话、电视会议) 而制定的。该建议于1 9 9 0 年 通过，其全称为“p x 6 4 k b i t s 视听业务的视频编码器”，其中p = l - - - 3 0 ，用以根据传输线路 的带宽调整图像质量。h 2 6 1 只对c i f 和q c i f 两种图像格式进行处理，采用的算法结合 了可减少时间冗余的帧间预测和可减少空间冗余的d c t 变换的混合编码方法。主要由运 动估计i f 偿，d c t 变换和h u f m a n 编码等部分组成。由于该建议主要针对实时业务，因而 希望编解码的延时尽可能小，所以只利用前一帧作参考帧进行前向预测，且编解码器的复 杂度基本对称。 z l 南京邮电大学硕士研究生学位论文第一章绪论 2 、h 2 6 3 h 2 6 1 建议是i t u t 提出的关于码率低于6 4 k b i t s 的窄带电信信道视频编码的基本方 法，于1 9 9 6 年正式通过。它以h 2 6 1 为基础，同时吸收了m p e g 等其它一些国际标准中 有效合理的部分，如半像素精度的运动估计、非限制运动矢量、高级预测模式、p b 帧等， 使其性能优于h 2 6 1 。h 2 6 3 建议不仅着眼于利用公共交换电话网络( p s t n ) 传输，而且 兼顾g s t n 移动通信等无线业务，作为视频编码解码的核心算法被广泛应用于视频电话终 端如i t u t 的h 3 2 4 ( p s t n ) ，h 3 2 0 ( i s d n ) 和h ，31 0 ( b i s d n ) 中。 在h 2 6 3 之后，i t u 又相继于1 9 9 2 年和2 0 0 0 年制定了h 2 6 3 + + ( h 2 6 3v 2 ，h 2 6 3 第 二版) 和h 2 6 3 十十( h 2 6 3v 3 ，h 2 6 3 第三版) 。h 2 6 3 + 和h 2 6 3 十+ 是h 2 6 3 标准的扩充并 与之兼容，主要是在h 2 6 3 的4 种可选模式的基础上又附加了新的可选模式和其它一些附 加特性，目的是拓宽应用领域、提高压缩效率和错误掩盖能力。 3 、h 2 6 4 h 2 6 4 作为面向电视电话、电视会议的新一代编码方式，最初是由i t u 组织的视频编 码专家组v c e g 于1 9 9 8 年开始制定的，目标是在同等图像质量条件下，新标准的压缩效 率比任何现有的视频编码标准要提高l 倍以上。直到2 0 0 1 年底，m p e g 组织也加入i t u t 的v c e g 组织，组成了联合视频专家组( j o i n tv i d e ot e a m ，j v t ) 共同完成制定工作。h 。2 6 4 标准草案于2 0 0 3 年3 月正式获得通过。h 2 6 4 仍基于经典混合编码算法的基本结构，在变 换编码、熵编码和运动估计等方面采用了一系列先进技术，是视频编码技术和图像工程的 最新研究成果，其性能超越了以往所有的视频编码标准，具有光明的应用前景。 1 4 本文内容安排 h 2 6 4 优异的压缩性能和良好的网络亲和性将会使它在数字视频全面的代替模拟视频 进行处理和传输已成为技术发展的今天，在数字电视广播，视频实时通信，网络视频流媒 体传递以及多媒体短信等各方面发挥重要作用。 虽然h 2 6 4 标准草案已经颁布几年了，但是h 2 6 4 在实际当中的应用仍然存在着一些 不足之处。其原凶在于虽然h 2 6 4 采用了先进的算法和技术，但是先进算法和技术的采用 是以牺牲编码复杂度为代价的，相对于以前的大部分编码标准而言，h 2 6 4 编码的复杂度 提高了大约3 倍。编码复杂度的提高必然导致h 2 6 4 整个系统庞大的计算量，增加了整个 编码系统的运行时间，如果在一些需要实时传输的场合，其优秀的压缩性能就显示不出来。 如何使编码复杂度降低，更好的提升h 2 6 4 在实际当中的应用，这成为了h 2 6 4 研究的关 南京邮电大学硕士研究生学位论文 第一章绪论 键所在。 近年来，很多学者为了提高h 2 6 4 编码效率作了大量的工作，提出了很多快速算法。 如基于s o b e l 算子的快速算法【1 3 1 、基于s a t d 联合特征的快速算法1 1 】。但是这些快速算法 都存在着不同的缺陷，有待于迸一步改进。例如，基于s o b e l 算子的快速算法需要对当前 块中所有点的边缘矢量强度进行计算，并统计每一个点的边缘矢量方向所处的预测空间， 计算复杂度仍然很高。基于s a t d 联合特征的快速算法，实现起来较为困难，且编码性能 有一定损失，在不同码率的情况下，复杂度降低程度相差较大。 本论文以h 2 6 4 视频编码国际标准为研究对象，在深入研究h 2 6 4 算法的基础上，仔细 分析h 2 6 4 编码过程的复杂度，对如何提高帧内编码速度的问题，还有对h 2 6 4 帧内预测 模式决策部分进行优化，共分为五章。 第一章绪论部分简单介绍了视频编码的主要原理，以及m p e g 1 、m p e g 一4 、h 2 6 1 、 h 2 6 3 、h 2 6 4 等常用的数字视频编码标准以及发展过程。 第二章主要介绍h 2 6 4 编码标准，对其采用的关键技术：帧内预测、多种块模式的帧 间预测、1 4 和1 8 像素精度运动估计、支持多参考帧、整数变换及量化、环内去块滤波器、 熵编码、具有网络友好性的分层结构进行简单论述。 第三章首先介绍了帧内预测编码的方法和目前测试模型中广泛使用的全搜索帧内预 测模式选择算法的流程，分析其计算复杂度。 第四章对快速帧内预测模式选择算法的现状进行分析，在此基础上研究帧内预测模式 快速选择算法，提出了一种基于宏块平滑特性的帧内预测快速算法，讨论了基于4 4 宏 块模式选择的帧内预测快速算法及其改进算法基于r d o 的双闽值快速算法。并在h 2 6 4 测试模型j m 8 6 上进行仿真，对实验结果进行了分析。 第五章是全文总结，并对下步工作提出展望。 6 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 视频编码标准 第二章h 2 6 4 视频编码标准 2 1h 2 6 4 标准概述 i t u t 在1 9 9 6 年初步完成h ，2 6 3 视频编码标准后，制定了短期和长期两个工作目标。 短期目标是进一步扩展和增加h 2 6 3 的特色，增强低比特率编码能力，并产生了h 2 6 3 的 增强版，即h 2 6 3 + 、h 2 6 3 + + 。长期目标是制定一种新的视频编码标准，以更好的质量、 更高的压缩比支持视频会议等低比特率应用，由此产生了h 2 6 l 草案。与此同时，i s o i e c 也在继续进行e g 一4 高级视频编码a v c 的研究。 最近几年来，随着通信技术和电信市场的发展，基于p 的、融合互联网与电信网络全 新下一代网络( n g n ) 逐渐浮出，这为视频应用的发展创造优越的条件。但是，进一步提 高视频压缩编码效率，在同样带宽的信道中传输更多路视频信号仍是一个亟待解决的技术 难题。 2 0 0 1 年，m p e g 对h 2 6 l 草案进行了评估并认识到h 2 6 l 潜在的优越性，于是m p e g 和v c e g 组成了联合视频专家组，进一步完善h 2 6 l 模型，共同发展新的视频编码国际标 准。新标准于2 0 0 3 年5 月正式颁布，官方名称分别为：i t u tr e c h 2 6 4 和i s o 【e cm p e g 4 p a r t1 0a v c ( 简称为h 2 6 4 ) 。 与以往视频标准对比，h 2 6 4 虽未做出重大改进，但在多编码模式、编码参数自适应 选择、上下文自适应熵编码、多参考帧的灵活选择、高精度预测、去方块滤波以及抗误码 能力等方面都有所改进，采取了一系列的切合实际的技术措施，较好地实现了预定的两个 主要目标：相对于h 2 6 3 和m p e g - 4 ，视频压缩比提高1 倍，或节约5 0 的码率；对 网络特别是i p 和无线网络具有良好的抗误码能力。 i t u t 在发展和制定h 2 6 4 的前身h 2 6 l 时，主要是为甚低比特率编码提供一种高性 能的编码国际标准，但随着m p e g 的加入以及更多新技术的采纳，h 2 6 4 以其卓越的压缩 性能在电视、h d t v 、卫星电视、存储媒体、无线多媒体应用等方面显示了巨大的应用潜 力。显然h 2 6 4 这个新世纪制定的面向高质量到低比特率，从有线到无线各种应用的视频 编码国际标准，有望成为新世纪最成功的国际标准之一。 7 南京邮电大学硕士研究生学位论文第二章h 2 6 4 视频编码标准 2 2h 2 6 4 编解码器框架 与以往的标准相同，h 2 6 4 标准中并没有明确的定义编解码器部分，而是将编码视频 比特流的语义和该比特流中的解码的方法一起定义了。在实际应用中，一个好的编码器和 解码器应该包括图2 1 和图2 2 中所示的功能要素。同时，在图中展示的功能也是必要的， 这为c o d e c 结构的变化留下了余地。基本的功能要素( 预测，变换，量化，熵编码) 与 先前标准并没有太大出入；在h 2 6 4 中的大的改变发生在每个功能元素的细节部分。 编码器( 图2 1 ) 包括两个数据流通道，一个“前向”通道( 从左至右，虚线) 和一 个“重建 通道( 由右至左，实线) 。解码器的数据流通道( 图2 2 ) 从右至左展示了编码 器和解码器的类似处。 图2 1h 2 6 4 编码器 8 新ij 熵编 序一码 t n a l 南京邮电大学硕士研究生学位论文第二章h 2 6 4 视频编码标准 2 2 1 编码器前向通道 图2 2h 2 6 4 解码器 输入帧只以宏块为单元被编码。按帧内或帧间预测编码的方法被处理。在这两种情况 下，都形成了一个基于重建帧的预测宏块p 。在帧内模式中，p 是由当前帧f n 中已编码重 建后的像素点得到的( 图中u f ，为在图像序列中的位置编号；注意这里用于生成p 的像素 点为未过滤前的) 。在帧间模式中，p 由一个或多个参考帧的运动补偿预测得到。如图所示， 参考帧为先前已编码帧e - 1 - 然而实际上，每个宏块的预测都可能来自一个或两个己编码 重建的前序或后序帧( 时间顺序) 。 用当前宏块减去预测宏块得到了残差宏块d ，并将该块经过变换( 使用块变换) 、量 化后赋值给量化变换系数x 。这些参数被重新排列并进行熵编码。熵编码后的系数，连同 压缩比特流中解码宏块时所需的边界信息一起，发送到网络抽象层( n a l ) 等待传送和存 储。 2 2 2 编码器重建通道 量化后的宏块系数x ，为了后序宏块编码时重建帧的需要而被编码。将系数x 反量化 ( q 。) 和反变换( t j ) 后，生成残差宏块d j 。但由于量化过程是有损的，d j 与原始的 残差宏块d 。并不完全相同，而是受损重建后的d 。将d j 与预测宏块p 相加后生成了重建 9 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 视频编码标准 宏块u f ( 原始宏块重建后的失真宏块) 。使用滤波器来降低失真效应，并利用多个宏块e 产生重建后的参考帧。 2 2 3 解码器 解码器从n a l 中接收到压缩比特流。对数据元素进行熵解码和重新排序后产生一系 列的量化系数x 。这些系数被反量化和反变换后赋值给d i ( 同编码器中的d j ) 。使用比特 流中的已解码的报头信息，解码器生成了与编码器中完全相同的预测宏块p 。将d j 与预测 宏块p 相加后生成了重建宏块u f ，在经过滤后得到己解码宏块e 。 从上图和讨论中可以清楚看到，编码器重建通道的作用是为了保证编码器和解码器可 以使用完全相同的参考帧来创建预测块p 。若没有重建通道，则在编码器和解码器端的预 测块p 可能不同，这将导致错误的增加和编解码器之问的“漂移”。 2 3h 2 6 4 标准的关键技术 h 2 6 4 作为一种新出现的视频压缩标准，有很多的先进之处，主要包含以下几方面： 2 3 1 帧内预测 帧内预测是h 2 6 4 标准的重要特性之一，同时也是本文重点研究的内容。它利用了相 邻像素的相关性，根据相邻已编码过的块来预测当前块的像素值，并且只对预测差值进行 变换编码，以消除空间冗余。尤其是在变化平坦的区域，利用帧内预测可以用较少的比特 数来表达像素块信息，大大提高了编码效率。 为了提高帧内预测的质量，h 2 6 4 提供了三种预测模式：基于4 x 4 的亮度宏块帧内预 测、基于1 6 x 1 6 的亮度宏块帧内预测和基于8 x 8 的色度宏块帧内预测，并且为每一种预测 方式提供多种预测模式。对于变化相对较大、包含多个不周对象的区域，显然需要更小的 块分割和更多可选的预测模式，以提供足够的预测精度，因此4 4 亮度块的帧内预测共有 9 种预测模式；而在图像平坦区域使用1 6 1 6 亮度块帧内预测，预测值和原始值是很相近 的，这就可以节约很多的比特数；同时人眼视觉系统对色度变化的敏感性低于亮度变化， 因此对1 6 x 1 6 亮度宏块帧内预测和8 8 色度宏块帧内预测，所需预测模式共只有4 种。 l o 南京邮电大学硕士研究生学位论文 第二章i 2 6 4 视频编码标准 2 3 2 多种块模式的帧问预测 与先前的视频编码标准类似，h ，2 6 4 也使用了块匹配的帧间预测以消除视频序列的时 域冗余。在过去的标准中定义了两种块的大小，以像素为单位，分别是1 6 1 6 和8 8 的正 方形块。但由于视频图像的复杂性，在较大的块中可能包含多个具有不同运动状态和不同 形状的对象。特别是在运动剧烈的局部区域中，用1 个( 1 6 x 1 6 ) 或4 个( 8 x 8 ) 运动矢量 并不能准确的描述一个宏块全部的运动细节。 为了更准确的描述宏块的运动细节，h 2 6 4 中定义了7 种不同尺寸和形状的宏块和亚 宏块分割，分别为：1 6 1 6 ，1 6 x 8 ，8 x 1 6 ，8 8 ，8 x 4 ，4 x 8 ，4 x 4 ，通过率失真优化( r a t ed i s t o r t i o n o p t i m i z a t i o n ) 来选择不同的块尺寸。这样对于一个宏块，在不同的块模式下，可以用1 个 或最多1 6 个运动矢量来描述，并且块的形状可以是正方形或矩形的。这种更小的、更多 形状的宏块分割，可以改善运动补偿的精度，更好的实现运动隔离，提高图像质量和编码 效率。 2 3 31 4 和1 8 像素精度运动估计 运动估计是利用视频图像的时域相关性，产生相应的运动矢量，尽可能准确的描述对 象( 块或宏块) 的时域运动。因为运动矢量的精度越高，运动估计的残差越小，这样在降 低编码效率的同时提高重建视频质量。h 2 6 4 支持亮度分量的i 4 像素和色度1 8 像素的运 动估计，利用6 抽头滤波器产生1 2 分数像素，线性插值产生1 4 分数像素。4 抽头滤波器 产生最高1 8 分数像素。 2 3 4 支持多参考帧 h 2 6 4 标准吸收了h 2 6 3 什中的多参考帧技术，在对快速的周期性运动、背景相互切 换、物体存在遮蔽现象等情况进行预测时，多参考帧可以提供更好的预测效果，使得在p 、 b 帧预测时预测误差更小。另外，h 2 6 4 中的b 帧也可以作为其它图像的参考图像。 2 3 5 整数变换及量化 与先前视频编码标准中的d c t 变换不同的是，h 2 6 4 使用一种整数变换。其基本编码 特征与4 x 4 点的二维d c t 变换相似，将二维整数变换分解为一维整数变换，先进行行整 堕室坚皇奎堂堡主竺窒竺兰篁丝茎星三里竺：! 竺望塑塑竺堑堡 数变换，再进行列整数变换。在变换过程中系数均为整数，保证了编解码端的数据可以精 确匹配。这样大大简化了计算的复杂度，且保证了运算精度，并且在解码器端有严密的反 变换过程，能够减少块效应和振铃效应。而且整数变换是和量化紧密结合在一起的，在整 数变换过程中所有的系数都会扩大相应的倍数，结合量化可以减少复杂度和提高量化精 度。 2 3 6 环内去块滤波器 基于块的视频编码系统在低码率时无法回避的一个问题就是块效应，为了降低由高压 缩比产生的明显的块失真效应，h 2 6 4 标准中引入了基于内容的去块滤波器。所有宏块按 照扫描顺序，基于4 x 4 块边界进行滤波。去块滤波器应用在反变换后，图像重构前。根据 宏块中每个块的位置和量化参数的不同，对每一条边界设置不同的滤波强度，自适应地 调整滤波效果。 在宏块中按下面的顺序对4 x 4 块的水平和垂直边界滤波：首先对1 6 x 1 6 宏块亮度分量 的4 个垂直边界滤波；其次对亮度分量的4 个水平边界滤波；再次对色度分量的2 个垂直 边界滤波；最后对色度分量的2 个水平边界滤波。去块滤波器的滤波将影响邻近块边界的 至多3 个像素。通过这种自适应调整强度的去块滤波，能有效地改善解码图像的主观视觉 质量，并且在编码时用去块滤波后的宏块做运动补偿时，可以减少预测残差，提高压缩效 率。 2 3 7 熵编码 熵编码是整个视频编码中的一个重要环节，它的实质是将最常出现的信息用短码表 示，不常出现的消息用长码表示，以使平均码长尽可能的短，达到无损压缩的目的。h 2 6 4 标准中使用了两种熵编码方法：基于上下文的自适应变长编码( c o n t e ) ( t b a s e da d a p t i v e v a r i a b l el e n g t hc o d i n g ，c a v l c ) 与一致变字长编6 - 马( u n i v e r s a lv a r i a b l el e n g t hc o d i n g ， u v l c ) 相结合的编码：基于上下文的自适应二迸制算术编码( c o n t e x t b a s e da d a p t i v eb i n a r y a r i t h m e t i cc o d i n g ，c a b a c ) 。采用c a v l c 和c a b a c 可以根据上下文的内容，自适应调 整符号概率统计，保证在当前编码过程中用较短的码字表示概率较大的符号矗2 ：。 1 2 南京邮电大学硕士研究生学位论文第二章h 2 0 4 视频编码标准 2 3 8 具有网络友好性的分层结构 随着通信技术和计算机技术的飞速发展，特别是互联网和移动通信网在世界各地的兴 起和普及，编码视频的传输网络也就变得越来越复杂。如何增强编码视频的网络适应性， 扩展视频编码标准的应用范围日益成为人们关注的焦点。为此，h 2 6 4 标准在设计上将整 个编码系统分成视频编码层v c l ( v i d e oc o d i n gl a y e r ) 和网络提取层n a l ( n e t w o r k a b s t r c t i o nl a y e r ) 两个具有不同概念的层次。 视频编码层v c l 主要负责对数字视频进行高效编解码，提供具有高质量、高压缩比、 健壮性、可分级等特性的视频编码码流。这一部分也是整个h 2 6 4 视频编码标准的核心部 分，但是编码视频比特率对于不同的传输网络和传输协议并不具有普通的适应性。为此， h 2 6 4 标准在视频编码层的外部定义了网络提取层n a l 。 网络提取层n a l 主要负责将视频编码层v c l 产生的视频编码数据正确的、适当的映 射到不同的传输网络中去。当v c l 产生的编码视频比特流将在某种特定网络中传输时， n a l 针对这种网络及其传输协议的特性，对v c l 的编码码流进行适合该网络及其传输协 议的封装。这样h 2 6 4 就可以在面向不同的传输网络时，灵活的提供不同的封装方式，增 强了网络的适应性。n a l 的产生不但使得h 2 6 4 对目前现存的各种不同网络有很强的网络 友好性，而且使它对未来的网络同样具有很强的适应性。 2 4 本章小结 通过本章对h 2 6 4 视频编码标准进行的简单介绍可以看出，虽然h 2 6 4 也是基于块匹 配的混合编码框架，与先前的标准类似，但h 2 6 4 采用许多先进的技术。而这些关键技术 正是使其性能得到大幅度提升的关键所在。主要包括：帧内预测、多种块模式的帧问预测、 1 4 和1 8 像素精度运动估计、支持多参考帧、整数变换及量化、环内去块滤波器、熵编码、 具有网络友好性的分层结构等特点。 在下一章中将进一步对h 2 6 4 中的帧内预测模式选择方法以及全搜索帧内预测模式选 择算法作介绍。 南京邮电大学硕士研究生学位论文第三章h 2 6 4 帧内编码及其实现 第三章h 2 6 4 帧内编码及其实现 3 1 帧内预测的模式 以往的视频编码标准对帧内宏块编码时直接进行变换、量化和熵编码，没有充分利用 帧内宏块的空间冗余信息，造成编码输出码率较大。h 2 6 4 标准的帧内预测编码充分利用 了图像的空间相关性，使用帧内块周围的像素来进行帧内宏块的预测，提高了编码效率， 从而减少了编码输出码率。在h 2 6 4 标准中，无论是预测帧( p 帧或b 帧) ，还是帧内帧( i 帧) ，都需要在编码时进行帧内预测。并且h 2 6 4 支持的帧内预测编码方式也很多，分别是： 用于4 x 4 亮度块编码的i n t r a4 x 4 ，有9 种预测模式( 见表3 1 ) ，其中包括8 种方向性预测模 式和1 种均值预测模式；用于1 6 1 6 亮度宏块的i n t r a1 6 x 1 6 ，有4 种预测模式( 见表3 2 )