（通信与信息系统专业论文）h264视频编码帧间、帧内算法研究.pdf

摘要 h 2 6 4 与现有其他标准相同，都采用了基于块的混合编码模型。同时h 2 6 4 又使 用了许多先进技术，如帧内编码中的空域预测、可变块尺寸的运动补偿、4 4 整数 变换、多参考帧预测和内容自适应的二进制算术编码等。因此，i - i 2 6 4 的计算复杂度 远远高于现有其他标准。为了更好的满足不同环境下实时视频通信的应用需求，必 须对算法进行优化以降低复杂度。 本文首先在第一章中简单介绍了视频压缩编码的需求和可操作性，以及视频编 码标准在国内外的发展及研究现状。接着在第二章，分析了包括h 2 6 4 在内的现有 的各种视频标准的技术特点，指出h 2 6 4 的优越性。第三章对h 2 6 4 之所以能取得 比以往好的性能的核心技术进行了分析和研究。 本文取得的成果主要在第四章和第五章： 第四章对最耗时模块之一的块匹配运动估计的现有各种快速算法进行了深入分 析，如菱形搜索算法、混合的非对称的多六边形搜索算法等。这些算法都有比较准 确的块定位功能，但搜索点数仍然较多。在此基础上，针对原有算法耗费编码时问 多的不足，提出改进的帧间编码算法。然后，对新算法的有效性进行了仿真实验验 证。 第五章对已有的帧内编码算法进行详细分析，包括利用图像边缘信息的快速选 择算法、基于最佳模式概率的快速算法、基于递推模式的帧内预测算法等。研究了 高计算复杂度的预测模式选择部份，结合已有算法，提出一种基于自适应阈值和图 像纹理复杂程度的快速选择算法，该算法可以根据图像复杂度和时空相关性自适应 的调整判决阈值，提前终止预测模式选择过程。仿真结果显示，在性噪比和码率变 化很小的前提下，极大的缩短了原有算法的编码时间，提高了h 2 6 4 的编码效率。 最后，我们对论文的工作进行了简要总结与展望。 关键词：h 2 6 4 ，算法，运动估计，预测模式 a b s t r a c t h 2 6 4c o m m o nt oa l lv i d e oc o d i n gs t a n d a r d sp r e s e n t a n ds o m en g wt e c h n i q u e s ，s u c h a ss p a t i a lp r e d i c t i o na r ei ni n t m - e o d i n g , a l t e r a b l eb l o c ks i z em o t i o nc o m p e n s a t i o n , 4 x 4 i n t e g e rt r a n s f o r m a t i o n , a n dc o n t e n ta d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ( c a b a c ) t h u s ，t h e c o m p u t a t i o n a lc o m p l e x i t yo f h 2 6 4i sf a rm o r ed e m a n d i n gt h a na n ye x i a i n gv i d e oc o d i n g a l g o r i t h mw h i c hc a l ln o ts a t i s f yt h ed e m a n do f v a r i o u sr e a lt i m ev i d e oc o m m u n i c a t i o n , s o t h e r em u s tb es o m em e l i o r a t i v ea r i t h m e t i c n 圮d e m a n da n dl i k e l i h o o do fv i d e oc o m p r e s s i o na n dt h ev i d e oc o m p r e s s i o n d e v e l o p m e n ta n da c t u a l i t ya r ei n t r o d u c e df i r s ti nc h a p t e r1 , l a t e r , 1 1 1 et e c h n o l o g yo ft h e e x i s t i n gv i d e oc o m p r e s s i o nc r i t e r i o nc h a r a c t e r i s t i c sa r ea n a l y z ea n dt h ea d v a n t a g e so f h 2 6 4i si n d i c a t e di nc h a p t e r2 i nc h a p t e r3 , w ea n a l y z ea n dr e s e a r c ht h ek e yt e c h n o l o g y o n h 2 6 4 。 t h em a i nr e s e a r c hr e s u l t sa c h i e v e di nt h i sp a p e ra r ei nc h a p t e r4a n d c h a p t e r5 c h a p t e r4r e s e a r c h e df a dm o t i o ne s t i m a t es e a r c ha l g o r i t h mi ne x i s t e n c ew h i c hw a s o n eo fm o s tt i m e - c o n s u m i n gm o d u l e , f o re x a m p l ed i a m o n ds e a r c ha n dh y b r i d u n s y m m e t r i c a l - c r o s sm u l t i - h e x a g o n - 面ds e a r c ha n ds oo n , w h i c hc a l ls e a r c hb e t t e r s i m i l a ri m a g eb l o c k , b u tt h e yn e e dt os e a r c hm o r ep e l sp o i n tt h e n ，a l li m p r o v e di n t e r - c o d e a l g o r i t h mi sp u tf o r w a r db a s e do nt h ef a l t i n e s so ft h eu s i n gm u c ht i m e f i n a l l y , t h e e m u l a t i o n a le x p e r i m e n ti se x e c u t e df o rt h ea v a i l a b i l i t yo nt h en e wa r i t h m e t i c 1 h ei n t r a - p r e d i c t i o nm e t h o di sa n a l y z e di nd e t a i li nc h a p t e r5 i n c l u d i n gt h ef a s t a r i t h m e t i co fi m p r o v i n gi n t r ap r e d i c td i r e c t i o na n ds oo n a n dt h e p r e d i c t i o nm o d e s e l e c t i o ni sr e s e a r c h e d ，t h e naf a s tm o d es e l e c t i o nm e t h o db a s e da d a p t i v et h r e s h o l di s g i v e n t h et h r e s h o l dc a nb ea d j u s t e da d a p t i v e l yb a s e do nb o t ht h ei m a g et e x t u r ea n dt h e r e l a t i v i t yo fs p a c e - t i m e f i n a l l y , f i n dt h eo p t i m a lm o d et oe n dt h es e l e c t i o np r o c e s s 1 1 1 e e m u l a t i o n , a r e s u l t ss h o wt h a tt h ei m p r o v e m e n ta r i t h m e t i cs h o r t e nc o d i n gt i m ea n d i m p r o v et h ec o d i n ge f f i c i e n c yw i ma l i t t l ec h a n g ef o rp s n ra n d c o d i n gr a t e a b r i e f s u m m e r ya n dp r o s p e c ti sg i v e ni nt h el a s tc h a p t e r k e y w o r d s ：h 2 6 4 ，a r i t h m e t i c ，m o t i o ne s t i m a t e ，p r e d i c t i o nm o d e 附录d ： 学位论文独创性声明： 本人所呈交的学位论文是我个人在导师指导下进行的研究工作及取 得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论 文中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同事 对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 如不实，本人负全部责任。 论文作者( 签名) ： ( 注：手写亲笔签名) 僻衫月庐日 学位论文使用授权说明 河海大学、中国科学技术信息研究所、国家图书馆、中国学术期刊 ( 光盘版) 电子杂志社有权保留本人所送交学位论文的复印件或电子文 档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被 查阅和借阅。论文全部或部分内容的公布( 包括刊登) 授权河海大学研究 生院办理。 论文作者( 签名) ： 0 2i 歪力年名月彦日 注：手写亲笔签名 、 j 趣龌太差硒堂僮监塞 筮二童绪i 幺 第一章绪论弟一早三百y 匕 1 1 引言 在过去的近二十年中，多媒体通信在世界范围内获得了日益广泛的应用，特别是二十 世纪九十年代以来，随着i n t e m e t 和移动通信的迅猛发展，多媒体技术的应用和研究成为 全世界范围内信息化中的一个热点。为此，国际标准化组织己制订一系列的国际视频编码 标准且已应用到各种领域，包括个人视频电话、商务视频会议，v c d 、d v d 、数字电视( 卫 星、广播和有线分布) 和其它很多方面。新的应用仍在继续出现，例如移动视频和数字影 院，并以惊人的速度不断增长。 视频电话和移动视频通常需要在码率6 4 k b p s 或更低码率下使用，而数字影院需要码 率高达每秒百万位或者更高。以i m t 2 0 0 0 标准为核心的第三代( 3 g ) 移动通信系统，正在 逐步改善通信网的通信质量和通信带宽，它以及第四代和后四代移动通信追求的主要目标 之一也是实现多媒体业务f l l 。而与此相对应的是视频信息数据量十分巨大。一幅6 4 0 x 4 8 0 分辨率的彩色图像( 2 4 比特像素) ，其数据量约为0 8 8 m b ，如果以每秒3 0 帧的速度播放， 则视频信号的数码率高达2 4 6 m b p s 。如果存放在6 5 0 m b 的光盘中，在不考虑音频信号的 情况下，每张光盘最多也只能播放2 6 秒钟。这显然是无法适应现实生活中的各种需要。 所以，多媒体通信中最重要的环节之一是视频压缩编码技术。其主要的目的就是根据不同 情况，尽可能的压缩视频数据又能满足不同环境的信息保真要求。 视频图像中含有大量的冗余数据，包括空间冗余、时间冗余、信息熵冗余、结构冗余 以及知识冗余。因此，怎样进一步改进原来的视频压缩技术，以达到更好的压缩效果和编 解码速度不仅有现实的可能性，而且已成为此领域的研究热点。 1 2 视频编码标准在国内外的发展及研究现状 1 2 1 视频编码标准在国外的发展及研究现状 从二十世纪九十年代以来，1 1 u - t 和i s o 制订了一系列视频压缩编码标准，极大地推 动了视频通信的发展。通常，i t u - t 制订的标准都是为了满足实时视频通信应用，例如 h 2 6 1 和h 2 6 3 ( 后来发展为h 2 6 3 + 和h 2 6 3 + + ) 【2 】1 5 1 ：而i s o 的m p e g 标准大多为了满 足视频存储、广播视频和视频流需要而制定，包括m p e g 1 ，m p e g - 2 及m p e g - 4 等【6 l l 鄹。 同时，在一些标准内部还给出了不同的类，级规定，被称为“p r o f i l e ”和“l e v e l ”，具体 描述了编码特征、参数设置和推荐的应用场合。这要求解码器能够实现各个标准所定义的 工具集的一个子集，以便能够设计出符合标准的解码器，使之面向特定应用领域。 h 2 6 1 是基于块的整像素运动估计的混合编码器。它是第一个成功用于实际的数字视 频标准，并成为后来其它视频编码标准的基础。h 2 6 1 主要用于i s d n 线上传输的视频会 议中，其视频编码码率在6 4 k b p s 和2 m b p s 之间。而h 2 6 3 ( 其最新扩展版本h 2 6 3 + 和 h 2 6 3 + + ) 扩展了h 2 6 1 ，并且增加了许多特性( 包括半像素运动补偿) ，因此使编码视频能 够以低于5 6 k b p s 的速率在模拟电话线上传输，广泛用于各种典型视频场合。 m p e g 1 也源于h 2 6 1 ，但增加了许多关键性的特征，包括b 帧的双向预测编码、半 像素的运动估计和其它方面的改善，以便满足大约1 2 m b p s 速率的编码视频以及c i f 分辨 率的c d r o m 的视频需求。 。 m p e g 2 ( e l lh 2 6 2 ，与i s o i e c 联合开发) 是至今为止最成功的视频编码标准，也是 第一个能以s d t v ( 标准数字电视) 和h d t v 分辨率隔行视频编码的标准。它扩展了 m p e g i ，为隔行视频引入了新的预测模式，可以提供大约4 m b p s 速率的t v 广播以及 1 5 m b p s 的高质量视频，被广泛应用于d v d 、广播、卫星和有线电视。 在m p e g 2 和h 2 6 3 基础上发展的m p e g - 4 ，引入了基于对象的功能，不仅用运动和 纹理，而且用形状来描述视频对象。形状信息与亮度信号同位，并且采用基于上下文的算 术熵编码进行编码，极大的提高了视频编码的效率。 h 2 6 1 和h 2 6 3 标准只给出了视频压缩内容，而m p e g 1 2 4 标准除此外还描述音频 表示以及能联合传输音频视频信号的系统表示。m p e g 1 2 4 标准使音视频数据的交换成 为可能。而其后的m p e g - 7 的目的是使搜索和浏览这些音视频数据成为可斛9 1 。2 0 0 0 年6 月开始研究制定2 l 世纪多媒体应用的标准化技术m p e g - 2 1 则是致力于在大范围的网络上 实现透明的传输和对多媒体资源的充分利用和保护0 0 1 。 i t u tv c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 早在1 9 9 7 年就开始其h 2 6 4 的开发工作。 2 0 0 1 年底，在见证了h 2 6 l 的优秀编码性能之后，i s o i e cm p e g 专家组加入i t u t v c e g ，这样i t u t 和i s o i e c 共同成立了t ( j o i n tv i d e ot e a m ) z 作组，然后开始标准 的制定工作。j v t 的目标是建立一个全新的视频编码标准，同时提出m p e g - 4 第l o 部分 ( 1 4 4 9 6 1 0 ) 和h 2 “建议这样的新标准。j v t 在2 0 0 3 年3 月正式颁布了这些标准。h 2 6 4 采用了近几年在视频编码方面发展的先进技术，并将它们很好结合起来。它以较高编码效 率和网络友好性使之成为新一代的国际视频编码标准。但h 2 6 4 高效编码是以较高的运算 复杂性和对硬件的高要求为代价的，实验结果表明与以前的标准相比，在提高5 0 的编码 效率的同时，在编码端增加了一个数量级的复杂度，在解码端提高了2 倍以上的复杂度， 因此要将h 2 6 4 运用到实际中去还需进一步优化f l “。关于h 2 6 4 标准的更为详细的内容在 第二，三章做了详细的分析和研究。 世界范围内关于视频编码技术的探索确实是高潮不断。在h 2 6 4 尚未得到大面积商用 时，i t u tv c e g 已经开始征集更新的标准h 2 6 5 的建议，期望在2 0 0 8 - 2 0 1 0 期间推出【1 2 1 。 h 2 6 5 计划再比h 2 6 4 在压缩性上提高至少一倍，它有可能改变人们欣赏视频的角度性以 及提供更好的容错性能。 l2 2 视频编码标准在国内的发展及研究现状 我国目前正积极进行着视音频压缩编码技术的研究，并提出了具有自丰知识产权的 音视频编码技术标准a v s ( a d v a n c e dv i s u a ls y s t e m ) f 1 3 1 。a v s 标准是信息技术先进音视 频编码系列标准的简称，a v s 标准包括系统、视频、音频、数字版权管理等四个丰要技术 标准和一致性测试等支撑标准。a v s 工作组成立于2 0 0 2 年6 月，当年8 月开始了第一次 的工作会议。经过7 次a v s 正式工作会议和3 次视频组附加会议，经历一年半的时间， 审议了1 8 2 个提案，先后采纳了4 l 项提案，终于在2 0 0 3 年1 2 月1 9 日a v s 视频部分定 稿。 由于a v s 是我国自主开发的音视频编码标准，收费低廉，它注意了与国际标准的共 存，所以得到了广大设备厂商、运营商的青睐。截至2 0 0 6 年底，其工作组成员已经达到 近2 0 0 家，其中，国内大学与研究所占成员总数的2 4 ，总部在海外的企业或科研机构占 3 0 。按行业来分，家电企业占成员总数的1 1 ，电信企业达1 2 ，芯片企业为1 4 ，计 算机软件与制造企业达到4 4 。当前，a v s 视频主要面向高清晰度电视、高密度光存储媒 体等应用中的视频压缩。a v s 正朝成为主流标准的方向前进。 1 3 课题研究的目的和意义 h 2 6 4 是目前一种比较流行的视频压缩标准，它的应用也比较广泛。由于h 2 6 4 采用 3 了许多新的压缩技术，其在压缩效果和对网络的适应性方面都有了很大程度的提高。 但是，h 2 6 4 性能的改善是很多技术的改进的结果，这些新技术的采用产生了巨大 的计算量，还不能达到实际应用的要求。本文针对h 2 6 4 的运算复杂性，从时间复杂性和 空间复杂性两方面来优化h 2 6 4 ，研究新的快速算法来降低编码时间，提高h 2 6 4 的，具 有比较大的现实意义 1 4 本文的主要内容和安排 本文的主要内容和安排如下： 第一章介绍了视频压缩编码的需求和可操作性，以及视频编码标准在国内外的发展及 研究现状，包括论文的目的和意义。 第二章分析了包括h 2 6 4 在内的现有的各种视频标准的技术特点，介绍了h 2 6 4 的优 越性。 第三章对h 2 6 4 之所以能取得比以往好的性能的核心技术进行了深入的分析和研究， 并进行了仿真实验。 第四章对耗时最大的帧间编码算法进行优化。 第五章帧内编码算法优化。 第六章总结与展望。 1 5 本章总结 本章作为整篇论文的绪论部分，首先介绍了视频压缩的需求和可操作性，然后介绍了 国内外的研究现状以及木课题的研究目的和意义。最后，简要概括了本文的主要内容和结 构安排。 第二章各类视频编码标准技术特点 2 1 视频压缩编码技术综述 根据采用的信源模型，视频压缩编码分为两大类：基于波形的编码和基于内容的编 码。它们利用不同的压缩编码方法，得到相应的量化前的参数，再对这些参数进行量化， 用二进制表示其量化值。最后，进行有损和无损的熵编码进一步压缩码率。解码则为编 码的逆过程。视频编解码系统的基本结构如图2 - l 所示。 ? 。一一。一。一一一。一。j ：编码器： 图2 - 1 视频编解码系统 2 1 1 基于波形的编码 基于波形的编码采用的信源模型是把一副图像看成由许多像素构成，这种信源模型 的参数就是每个像素的亮度和色度的幅度值。对这些参数进行压缩编码的技术称为基于 波形的编码。它利用像素间的空间相关性和帧间的时问相关性，采用预测编码和变换编 码结合的技术来减少视频信号的相关性，从而降低视频序列的码率。预测编码是由已经 编码的样点来预测待编码的样点，然后对预测误差进行量化和编码。预测误差与原始信 号相比具有较小的相关性和较低的能量。变换编码的目的是去除原始抽样点间的相关 性，把原始信号的能量集中在几个系数上，然后对这些变换系数进行量化和编码。 为了减少编码的复杂性，使视频编码操作易于执行，采用预测编码和变换编码结合 的混合编码时，把一副图像分成固定大小的块，例如块8 8 ( 每块8 行，每行8 个像 素) 、块1 6 1 6 等，然后对块进行压缩编码处理。 现有的视频编码标准h 2 6 1 、h 2 6 3 、h 2 6 4 、m p e g o i 、m p e g - 2 和m p e g - 4 都采 用基于块的混合编码方法，它综合了预测编码和变换编码两种方法。将每幅图像分成固 定大小的块，用第k 1 帧的一个块来估计第k 帧已移位的相同尺寸的块，这样产生的图 像叫做预测图像。编码器将所有块的二维运动矢量传送到解码器，以便解码器能够计算 出同样的预测图像。编码器从原始图像中减去此预测图像，就得到预测误差图像。如果 预测误差超过了某个阈值，就用变换编码将预测误差变换后传送给解码器。解码器将预 测误差与预测图像相加，从而合成解码图像。因此，基于块的混合编码是根据块的平移 运动信源模型而来的。放除了传输预测误差的变换系数外，还必须传送运动矢量。 2 1 2 基于内容的编码 上述基于块的混合编码实际上是用固定大小的方块来近似场景中物体的形状，因此 在物体边界处的块会产生较高预测误差。这些边界块往往包含具有不同运动的两种物 体，因此用一个运动矢量并不能说明两个不同的运动。为此，基于内容的编码希望能够 将视频帧分成对应于不同物体的区域，分别编码这些物体。而对于每个物体，除了运动 和纹理信息外，还必须传送其形状信息。也就是说基于内容的编码采用的信源模型是一 个分量由几个物体构成，信源模型参数包括各个物体的形状、纹理和运动。 显然，为了描述物体的形状，要采用分割算法。此外，还要估计每个物体的运动和 纹理参数。在最简单的情况下，以二维轮廓描述物体形状，以运动矢量场描述它的运动， 而以颜色波形描述它的纹理。 如果已知视频序列中的物体种类，可采用基于知识的编码矾】。这种编码使用特别设 计的线框来描述己识别出的物体类型，现己开发了几种用预定义的线框来编码人头的方 法。因为预定义线框可以与物体的形状相适应，因此可以提高编码效率。有时可把这种 技术称为基于模型的编码。 当已知物体的可能类型和行为时，可采用语义编码f 1 5 l 。例如，人脸的“行为”指 的是与特殊表情相关的一系列面部特征点的时间轨迹。其可能行为包括典型面部表情， 诸如高兴、悲伤、生气等。在这种情况下， 这种编码方法能够达到非常高的编码效率， 将描述物体行为的参数传送给解码器即可。 因为物体( 如脸) 可能的行为数目非常小，所 以说明行为所需的比特数比用传统的运动和颜色参数描述实际行动所需的比特数少得 6 多。 m p e g - 4 标准中就有基于内容的编码方法。由于基于波形的编码方法比较成熟，目 前应用较多的还是基于波形的编码方法。 2 2h 2 6 4 以前各类视频编码标准内容概述 2 2 1h 2 6 1 h 2 6 1 采用了基于块的运动补偿与离散余弦变换( d c t ，d i s c r e t e c o s i n e t r a n s f o r m s ) 相结合的混合视频编码框架，成为后来各种视频编码标准的基础。h 2 6 1 采用了4 ：2 ：0 采样格式，其主要特点包括： ( 1 ) 定义了尺寸为1 6 x1 6 像素的宏块，将一个宏块划分为4 个8 8 的亮度块和 两个8 8 的色度块( 一个用于c r 分量，一个用于c b 分量) 。 ( 2 ) 采用8 8 的d c t 变换来减少空间冗余。 ( 3 ) 使用单向整像素前向运动补偿构成环路d p c m ，以减少时间冗余。 ( 4 ) 采用了一种二维环路滤波器对运动补偿预测信号进行低通滤波，以减少预测 误差并降低预测图像的块效应。 ( 5 ) 对d c t 系数采用两个量化器，用步长为8 的均匀量化器来量化帧内模式的 d c 系数，用步长2 至6 2 的近似均匀的量化器来量化帧内模式和帧间模式的a c 系数。 ( 6 ) 运动向量的范围限制在1 6 个像素内。 ( 7 ) 编码控制信息包括宏块类型( m t y p e ) 、具有或不具有环路滤波的运动矢量的 差分编码( m v d ) 、编码块模式( c a p ) 以及量化器步- l 生( m q u a n t ) 等。 ( 8 ) 编码控制原则通常是选择m t y p ，c b p 及m v d 使预测误差最小。 ( 9 ) 经“z ”形扫描使量化系数转换成编码符号( 游程，量化值) ，每一个符号用可 变长码( v l c ) 进行编码。 2 2 2h 2 6 3 h 2 6 3 标准是基于h 2 6 1 编码框架的。由于视频压缩技术的进步以及高性能台式计 算机的逐步普及，i t u - t 在h 2 6 3 中逐步引入复杂性和编码效率都较高的算法。h 2 6 3 的发展分为三个阶段：h 2 6 3 ，h 2 6 3 + 和h 2 6 3 + + 。与h 2 6 1 相比，h 2 6 3 的基线( b a s e l i n e ) 档次采用了以下新的技术： 7 ( 1 ) 支持双向预测模式，并使运动估计的搜索精度提高到半像素，半像素通过双线 性内插计算得到；其次利用邻近三个宏块的中值运动向量作为对当前宏块的运动矢量的 预测。 ( 2 ) 采用了三维v l c ( l a s t ，r u n ，l e v e l ) 来提高d c t 系数编码的效率，l a s t 标志是否为最后一个非零系数。 ( 3 ) 在块组级以及m t y p e 和c b p 编码中降低开销。 ( 4 ) 比h 2 6 1 支持更多的图像格式，增加了较大尺寸的图像，如1 6 c i f 。 除此之外，h2 6 3 还在h2 6 1 基本编码算法的基础上提供了以下四种可选编码模式， 以进一步提高编码效率。 ( i ) 非限制运动向量( 2 6 3 标准中的附件d ) ，允许矢量指向图像外面，搜索范围扩 展到( - 3 i 5 + 3 1 ) 。 ( 2 ) 用基于语法( ( s y n t a x - b a s e d ) 的算术编1 i 马( 2 6 3 标准中的附件e ) 来替代可变长编码， 这对于p 帧可节省4 的码率，对于i 帧可节省l o 的码率。 ( 3 ) 先进的时域预测模式( 2 6 3 标准中的附件n ，还包括两个附加改善：个是重 叠块运动补偿( o b m c ) ：另一个是允许个宏块含有四个运动矢量，即每个8 8 亮度 块一个运动向量。 ( 4 ) 支持p b 帧图像( 2 6 3 标准中的附件g ) 模式，将双向预测图像与一般前向预测 图像一起编码。 2 2 3m p e g - 1 1 9 9 3 年制定的m p e g 1 标准是针对i 5m b s 速率的数字存储媒体运动图像及其伴 音编码制定的国际标准，它由5 部分组成：系统、视频、音频、一致性以及软件。该标 准的制定使得基于c d r o m 的数字视频以及m p 3 、m p 4 等产品成为可能。m p e g 1 的 带宽最多为1 5 m b s ，其中1 i m 用于视频，1 2 8 k b s 用于音频，其余带宽用于m p e g 系 统本身。 视频把图像分成l 帧、p 帧、b 帧和d 帧共四种类型。目的是为了追求高的压缩 效率，去除图像序列的时间冗余度，同时满足多媒体等应用所必须的随机存取要求。i 帧为帧内编码帧，编码时采用帧内d c t 编码，i 帧的压缩率是几种编码帧类型中最低 的。p 帧为预测编码帧，采用前向运动补偿预测和误差的d c t 编码，由前面的i 帧或p 帧进行预测。b 帧为双向预测编码帧，采用双向运动补偿预测和误差的d c t 编码，由 前面和后面的i 帧或p 帧进行预测，所以b 帧的压缩效率最高。d 帧为直流编码帧，只 包含每个块的直流分量。m p e g 1 采用运动补偿去除图像序列时间轴上的冗余度，可使 对p 帧和b 帧图像的压缩倍数比i 帧高很多。 m p e g 1 与h 2 6 l 有很多相似之处，也采用混合编码框架，与h 2 6 1 相比，有如下 区别： ( 1 ) 使用环路滤波采用了半像素精度的运动矢量，运动矢量范围扩大到士“像素。 ( 2 ) 对于i 帧，d c t 系数的量化是适应人类视觉系统的，用一个加权矩阵来除这 些系数，虽在相同比特率条件下降低了解码图像的p s n r ，但提高了主观质量。另一个 区别是一个i 块的d c 系数可以由它的左邻块的d c t 系数预测。 ( 3 ) 提出了图像组( g o p ：g r o u p o f p i c t u r e ) 结构。每一个g o p 都以一个i 帧开始， 后跟一定数量的p 帧和b 帧，以实现视频的随机访问。 ( 4 ) 定义了一个特殊的编码参数子集，称为约束参数集( c p s ) ，可以用来限制解码 器计算复杂度、缓冲器大小以及存储器带宽。 2 2 4i i p e g - 2 m p e g - 2 标准主要是因为m p e g 1 不能以广播质量有效地压缩隔行数字视频而制 定的。其主要目的是使4 ：2 ：0 格式的隔行视频具有m p e g 1 的功能，产生4 8 m b p s 码 率的电视质量图像和1 0 1 5m b p s 码率的高质量图像，因此m p e g - 2 能够解决s d t v 或h d t v 隔行视频的高质量编码问题。m p e g - 2 是以电视演播室以及标准清晰度和高 清晰度电视广播为目的的。与m p e g 1 相比主要区别如下： ( 1 ) 逐行编码的4 ：2 ：0 格式与m p e g 1 相比，其色度采样点的位置水平移动0 5 个像素。 ( 2 ) 还支持4 ：2 ：0 格式的隔行编码。 ( 3 ) 允许d c t 系数有其它的扫描格式( 如垂直交替扫描) ，并具有1 6 x 8 像素尺寸 的块运动补偿。 ( 4 ) d c t 的d c 系数用i o 比特量化，以及采用非线性量化和较好的v l c 表等 9 也提高了逐行扫描视频序列的编码效率。 ( 5 ) 支持各种的可分级性，如空间可分级性、时间可分级性和s n r 可分级性。 ( 6 ) 定义了类( p r o f i l e ) 和级( l e v e l ) ，扩展了m p e g l 的受约束参数集概念，设计 了更为广泛的特征子集和参数范围。 2 2 5 _ p e g 一4 视频编码理论不断发展为视频编码质量的提高提供了技术保障，而更多的服务需 求，如个人无线视频通信系统、交互电视、视频点播( v o d ) 等，为新的视频编码标准提 供了应用平台，因此性能更好的编码标准一直为业界所追求，这导致了m p e g - 4 和h 2 6 4 等现代视频编码标准的出现。 相对于m p e g 的前两个压缩标准，m p e g 4 已不再是一个单纯的视频音频编解码 标准，它将内容与交互性作为核心，从而为多媒体数据压缩提供了一个更加广阔的平台。 它更多定义的是一种格式和框架，而非具体的算法，这样人们就可以在系统中加入许多 新的算法。除了一些压缩工具和算法外，各种各样的多媒体技术如图像分析与合成、计 算机视觉、语音合成等也可以应用于编码中。 m p e g - 4 通过用运动、纹理和形状参数对物体独立的编码，使与视频对象进行基 于内容的交互成为可能。一个场景是由几个视频对象( v o ，v i d e oo b j e c t ) 组成。一个v o 可由几个视频对象层( v o l ) - 组成。v o l 可以表示可分级比特流的不同层或v o 的不同部 分。v o l 的一个时间瞬间称为一个视频对象平面( v o p ) 。一个v o p 可以是任意形状的 或矩形的，由其纹理变化和其形状完全描述。视频编码器把运动、纹理和形状编码工具 用于v o p ，所使用的i ，p 和b 模式类似于m p e g - 2 的编码模式。同时将m p e g i 2 的 帧内图像，预测图像以及双向预测图像的概念扩展到v o p ，分别称为1 - v o p ，p - v o p 和b v o p 。 m p e g - 4 采取的是以功能为基础的策略，即并不针对任何特殊的应用，而是力图 尽可能地支持对多种应用均有帮助的功能组。 m p e g - 4 除了因基于对象的性质引起视频编码的明显改变之外。还引入以下工具 以提高编码效率： ( 1 ) 与m p e g 1 2 相比改进了的d c 系数预测，可以选择当前块的左块或者上块 1 0 来预测当前d c 系数值。 ( 2 ) 采用a c 系数预测，对第一列或第一行的a c 系数可由d c 系数预测块相同 位置的系数来预测。 ( 3 ) 在m p e g - 2 的垂直交替扫描d c t 系数的基础上，增加了水平交替扫描方法。 ( 4 ) 采用与h 2 6 3 类似的三维v l c 编码。 ( 5 ) 采用与h 2 6 3 类似的四个8 8 块运动矢量 ( 6 ) 无限制运动矢量，与h 2 6 3 相比，可以选择更宽的运动矢量范围，最大可以 到士2 0 4 8 像素。 ( 7 ) 采用全局运动补偿，有助于改善最挑剔的场景中的图像质量。 ( 8 ) 采用精确到i 4 像素的运动补偿，其中亮度块的运动矢量为l 4 ，而色度像 素以半像素精度进行补偿。 除了上述特征外，m p e g 4 包括了基于对象的视频编码算法，其主要工具包括： 二进制形状编码、低通填充、形状自适应d c t 和灰度形状编码等。 2 3h 2 6 4 的主要特点及优越性 2 3 ih 2 6 4 的主要特点 1 9 9 8 年，i t u - tv c e g 提出研究新一代编码标准( h 2 6 l ) ，其目的就是与已存在的 视频编码标准相比能够成倍提高编码效率并可应用到更广阔的领域。2 0 0 1 年6 月通过 i s o i e cm p e g 测试，被确认为是当前最先进的视频压缩编码方法。在2 0 0 3 年3 月， 通过了最终视频编码标准草案，正式定为h 2 6 4 。其高编码效率和网络友好性使它成为 新一代的国际视频编码标准。相对于以前的视频编码标准h 2 6 x 系列和m p e g 系列， h 2 6 4 有如下比较突出的特点f 1 6 1 ： ( 1 ) 提出n a l ( n e t w o r k a b s t r a c t i o nl a y e r ) 的概念，使之与视频编码层( v c l ) 相分离， 能更友好地适应于网络的应用。 ( 2 ) 多种模式的帧内空间预测编码，有效提高了预测质量，从而提高了帧内编码效 率。 ( 3 ) 采用4 x 4 的整数类似d c t 变换，降低了变换的计算，减小了d c t 浮点运算带 来的变换与反变换的漂移。 ( 4 ) 先进的帧间编码技术：宏块由以前标准的1 6 x1 6 和s x8 模式，扩展为7 种不 同大小块模式：运动矢量精度由以前标准的l ，2 像素提高到l ，4 像素，色度块提高到1 8 像素。允许多参考帧，平均可采用5 个参考帧，允许b 帧作为其它帧的参考帧。 ( 5 ) 基于上下文的自适应熵编码，包括c a v l c ( c o n t e x v a d a p t i v ev a r i a b l e - l e n g t h c o d i n g ) 和c a b a c ( c o n t e x t - a d a p t i v eb i n a r ya r i t h m e t i cc o d i n d 。 ( 6 ) 将自适应的循环去块滤波器用于编码器，不仅有效提高了去块滤波效果，而且 一定程度上提高了帧间预测效果。 ( 7 ) 提出了包括f m o ( f l e x i b l em a c r o b l o e k o r d e r i n g ) ，a s o ( a r b i t r a r ys l i c eo r d e r i n 曲， s p s l ( s y n c h r o n i z a t i o n s w i t e h i n gp i c t u r e s ) 技术概念等。 2 3 2h 2 6 4 的优越性 由于h 2 6 4 采用了许多新的技术，使得它的性能得到很大的提高，具体表现在以 下几方面。 ( 1 ) 使用参数集来提高视频传输的健壮性。以前的视频编码标准其中一个关键的 问题是它的分层特性不够理想，导致视频传输在容易丢包的环境下缺乏健壮性。这些编 码标准通常在开始传递每个片( s l i c e ) ，图像( p i c t u r e ) ，图像组( g o p ，g r o u po f p i c t u r e ) 和图像序列( s e q u e n c e ) 之前都要先传递与它们对应的头信息。这些头信息包的丢失往 往便那些与之有关的数据变成无效。h 2 6 4 克服了这个缺点，使在一个实时多媒体环境 下同步传递的包变得相互独立，即每个包不依赖其它包能够独立重建。所有高层的信息 依赖于系统，而不依赖具体内容，因此可以异步传输。它将那些经常变化的参数放入 s l i c e 层。而将其他参数集中起来构成参数集。另外，h 2 6 4 还采用一种特殊网络抽象层 ( n a l ，n e t w o r ka b s t r a c t i o nl a y e r ) 来传送参数集。它可以在传递n a l 单元的信道内传 递，在一些特殊应用场合下，也可以使用一种比视频通道更加可靠的传输机制来优先传 递参数集t m 。 ( 2 ) 具有网络友好性。制定h 2 6 4 标准的时期正是世界范围内移动通信发展高涨时 期。而以前的视频编码标准通常为某种特殊应用场合而设计的，通常是基于电路交换或 直接面向比特流环境。而j v t 专家组在开始设计时考虑到在固定和无线网络传输中包 传递的重要性，加强了这方面的设计。h 2 6 4 能处理各种应用和网络接口。为了最大限 度地灵活适应特定的应用、网络环境和传输机制，h 2 6 4 在功能上分为两层：视频编码 层v c l ( v i d e oc o d i n gl a y e r ) 和网络抽象层n a l 。具体分层以及和其他网络协议的关系 如图2 - 2 所示。 图2 - 2h 2 6 4 的分层结构和其他网络协议关系 视频编码层主要负责对数字视频进行高效编解码，提供具有高质量、高压缩比、健 壮性好、可分级等特性的视频编码码流。因此该层包含了代表视频图像内容的核心压缩 编码部分的表述，包括基于块的运动补偿混合编码和一些新的特性。它通过时域、空域 预测和变换编码来完成对视频信息的压缩。 网络抽象层主要负责将视频编码层提供的数据，包括头信息、段结构信息和实际载 荷等映射到不同的网络。当v c l 产生的编码视频比特流将在某种特定网络中传输时， n a l 针对这种网络及其传输协议的特性，对v c l 的编码码流进行适合该网络及其传输 协议的封装，使网络对于v c l 层是透明的。n a l 的产生不但使h 2 6 4 对目前现存的各 种网络( 包括即将到来的3 g 网络) 具有很强的网络亲和性，而目对未来的网络同样具 有很好的适应性。 ( 3 ) 更高的压缩性能。以前的标准中最多使用两个预测帧进行帧间预测。对于双向 预测帧( b 帧) ，通常一个为当前帧的前面帧，另一个采用它的后面一帧。而h 2 6 4 允许 多个参考帧预测，通常可以采用5 个参考帧。尽管增加了编码器的复杂度，但能够被显 著改善预测性能。实验表明多参考帧能够提供较好的性能，在低比特率( 如o 5 m b p s ) 情 况下，可以提高大约o 5 d b ，在高比特率( 如2 5 m b p s ) 的情况下，可提高ld b 左右。 不仅如此，h 2 6 4 的帧间帧内预测还比以前任何标准采取了更多的宏块划分模式 显然，图像块被分得越细，压缩编码的效果就越好。尤其是帧内预测，h 2 6 4 采用了比 以往编码标准更为复杂和精确的预测方式。此外，帧内片中的宏块编码时还可以参考帧 问编码的宏块，这在以前标准中也没有出现过。当然，这是以复杂度大大增加为代价的。 仍然值得高兴的是，很多人对该标准从算法复杂度和实现方式上做了大量的优化工作， 我们也是其中的一员，对帧内帧间编码算法的研究和改进是本文的主要工作。 ( 4 ) 更高的