（信号与信息处理专业论文）视频图像压缩技术的研究与优化.pdf

太原理工大学硕士研究生学位论文 视频图像压缩技术的研究与优化 摘要 随着电子技术的发展，人们已经进入了一个电子信息的时 代，多媒体作为电子信息时代一个重要的信息交流形式，已经 在当今的社会中扮演着越来越重要的角色。而作为多媒体中最 重要、最为复杂的数字视频信息也随着信息处理技术的发展而 得到广泛的应用。在当今最广为人知的就是i s 0 i e c 制定的 m p e g 标准和i t u - t 制定的h 2 6 x 标准，其中，又以i t u t 与 i s 0 i e c 联合制定与发布的新一代国际视频压缩标准h 2 6 4 的 性能最为优越，算法也最为复杂。 本文对视频图像的各种统计特性进行了详细的分析，并深 入研究和分析了h 2 6 4 采用的各种新技术，诸如：j 帧内预测方 法、可变尺寸块的运动补偿技术、多参考帧的运动补偿技术、4 4 整数变换技术、基于上下文的二进制算术编码技术以及新 的环路滤波技术。在此基础 ：，为了进步提高编码速度，促 太原理工大学硕士研究生学位论文 进视频编码技术在多媒体通信领域的实际应用，对其所采用的 混合编码的关键算法进行了深入的研究并提出了相应的优化方 法，对帧内和帧间压缩算法进行了优化和改进，提出了优化方 法，并给出了具体的实现步骤，降低了原有算法的计算量。 关键词：视频编码运动估计h 2 6 4 优化 太原理工大学硕士研究生学位论文 t h es t u d ya n do i r r i m i z a t i o no f v i d e oc o d i n gt e c h n o l o g y a b s t r a c t w i t ht h ed e v e l o p m e n to ft h ee l e c t r o n i ct e c h n o l o g y ，p e o p l e h a v ee n t e r e dat i m e so fe l e c t r o n i ci n f o r m a t i o n i nt h i sa g e s ，t h e m u l t i m e d i ah a sb e e na ni m p o r t a n tr o l ei ne l e c t r o n i cc o m m u n i c a t i o n t h ei n f o r m a t i o no fd i g i t a lv i d e o ，a st h em o s ti m p o r t a n ta n d c o m p l e xo n ea n dh a v i n gt h el a r g e s ta m o u n to fd a t ai nm u l t i m e d i a ， i sa p p l i e di nm a n yf i e l d sa n dh a sp r o g r e s s e dv e r ym u c ha f t e rt h e i n f o r m a t i o np r o c e s s i o nt e c h n o l o g yi sd e v e l o p e de n o r m o u s l y i ti s w e l lk n o w nt h a tt h et e a m so fm p e g xa n dt h et e a m so fh 2 6 x w h i c hi s r e s p e c t i v e l y e s t a b l i s h e d b yi s o i e ca n di t u t b u t r e c e n t l y ，i s o i e ca n di t u tj o i na g a i nt oe s t a b l i s ha n dr e l e a s ea 1 i 太原理工大学硕+ 研究生学位论文 n e wg e n e r a t i o ni n t e r n a t i o n a lv i d e oc o d e ds t a n d a r d ：h 2 6 4 w h i c hi s a v e r ya d v a n c e dp e r f o r m a n c ea n dm o s tc o m p l e xs t a n d a r d b ya n a l y z i n gt h e s t a t i s t i cc h a r a c t e r i s t i co fv i d e od a t aa n d k n o w i n gt h eb a s i cm e t h o d so fv i d e oc o d i n g ，t h i sp a p e ri n t r o d u c e s t h ep r i n c i p l eo fh 2 6 4a n de l a b o r a t e so ni t sk e yf u n c t i o nm o d u l e so f h 2 6 4a n dn e wt e c h n o l o g i e sb e i n ga d o p t e di nh 2 6 4s t a n d a r d ，f o r e x a m p l e ：i n t r ap r e d i c t i o n ，v a r i a b l e s i z eb l o c km o t i o ne s t i m a t i o n ，4 4d c t b a s e d i n t e g e rt r a n s f o r m ，m u l t i r e f e r e n c ef r a m e s ， c o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n ga n dl o o pf i l t e r w i t ht h eb a s e o ft h ea b o v es t u d i e s ，i no r d e rt o i m p r o v e t h e e f f i c i e n c yo ft h ev i d e oc o d i n ga n de x p a n dt h er a n go fm u l t i m e d i a t e c h n o l o g i e sa p p l i e d ，t h i sp a p e rp u tf o r w a r dt ot h ei m p r o v e da n d o p t i m i z e dm e t h o d so fi n t r am o d ec h o i c ea n d f u l l p i x e l m o t i o n e s t i m a t i o na n ds u b - p i x e lm o t i o ne s t i m a t i o nf a s ta l g o r i t h m ，s o i m p r o v i n gt h ee f f i c i e n c yo fv i d e oc o d i n g k e yw o r d s ：v i d e o c o d i n g m o t i o ne s t i m a t i o nh 2 6 4 o p t i m i z a t i o n 独创性声明 本人声明所呈交的扮文是我个人在导师j j 导下进行的研究 工作及取得的研究成果。尽我所知，除支中特别加以标注和致 姑中所1 烈的内容外，论文中不包含其他人已经发表或撰写过 的研究成果；也不伺括为获得太原理工大学或其它教育乳构的 学位或证书而使用过的材科。与我一同工作的同志对冬史研究 所做的任何贡献已在论文中叛了明确的说明并表示了谢意。 本人签名：垒骝受鲎日期：卫丛7 工年一旦月鱼 _ 关于论文使角授权的说葫 乔人完全了解太原理1 ：大学有关保留和使，i i i j 学位论文的规 定，臣j ：掌毒夔有权保密送交沦文的复印件，容1 1 ：硷i 词和僻阅论 文；学校 | 以公布论文的全部或舂 ：分内缚，可以允许采用影印、 缩印或其蠢复制手段保存沦文( 探密的， 文在解密以后遵、j 此 规三) 。 导师签 7 壶f 盘霆一 兽斗一 炎：至兰堕年竺川宣：i 刚强堡丝一年卫月卫立一 太原理工大学硕士研究生学位论文 1 1 引言 第一章绪论 在上世纪七十年代后，随着大规模和超大规模集成电路技术、计算机 技术、数字信号处理技术和通信技术的飞速发展，人们对信息的处理也跨 入了数字时代，从单机处理到利用网络的多机交互式协作，从简单的文字 信息处理到大量的多媒体信息的处理，人们已经进入了信息急速膨胀的时 代。多媒体信息主要包括文字、声音、图像、图形和视频等信息。而在这 些信息中，多媒体信息占了很大一部分，而在这其中，视频信息又占了绝 大部分。这是因为视频信息具有直观、形象的特点，易被人们所接受，所 以被广泛使用。 进入上世纪9 0 年代，多媒体技术随着人类进入信息时代而得到了迅猛 的发展。所传递信息最终可归结为图像、语音、数据三大类。图像信息具 有直观性强，信息丰富等特点，所以，图像通信技术在电子信息领域占据 着重要的地位。由于图像数据量非常大，若未经处理，其存放、传输都存 在很大问题，为此，对于图像的压缩就显得十分重要。 按照图像内容的变化与否来划分，图像可分为静止图像和活动图像两 大类，活动图像也称作视频。视频通信最早是以模拟的形式出现的，例如， 传统的模拟电视系统。然而，随着数字化技术的飞速发展，数字视频信号 的传输技术更受到人们的关注。 原始数字视频信息的数据量是惊人的，要把一路电视信号数字化，不 加任何数据压缩措施时的数码率为2 1 6 m h i t s i ij ，这要求数字视频信号莉： 传输之前必须进行压缩，尽可能地消除信息的冗余，减少信号的数摧：量。 l 太原理工大学硕士研究生学位论文 数据的压缩是通过信源编码来实现的，信源编码的主要目标是压缩每个信 源符号的平均比特数或信源的码率，因为一般信源输出的每个符号所能载 荷的信息量远大于该符号实际的信息量。信源编码可以分为无失真信源编 码和限失真信源编码两种，对于前者，要求原始信号能够得到无失真的还 原，而对于后者，允许给定的失真存在。就数字视频信号来说，多数情况 下适当的失真是可以接受的，因而数字视频信号多采用限失真编码。限失 真编码理论所研究的主要问题是：如何在失真不超过某定值的条件下，使 编码所需的比特数最少。也即给定失真的条件下如何获得最大的数据压缩 率。 在上世纪8 0 年代，对于视频的压缩已经逐渐形成了一套运动补偿和变 换编码相结合的混合编码方案，大大推动了数字视频编码技术的发展。到 了9 0 年代初，i t u 推出了针对会议电视应用的视频编码建议h 2 6 1 ，这是 第一个得到广泛使用的混合编码方案。之后，随着不断改进的视频编码标 准如：h 2 6 1 、h 2 6 3 、m p e g l 、m p e g 2 、胛e g 4 、h 2 6 4 的制定出台，混合 编码技术逐渐趋于成熟，成为一种应用最广泛的数字视频编码技术。 1 2 数字视频编码标准的发展 随着数字视频编码技术的不断发展和成熟，出现了大量视频编码应用 方案。为了使各种应用系统实现兼容，同时推进技术的市场化，各企业联 盟、标准组织和专门化标准委员会就新技术的规范化制定了一系列的标 准。国际电信联盟( i t u ) 和活动图像专家组( m p e g ) 分别制定的h 2 6 x 系 列和m p e g x 系列的音视频压缩标准。 h 2 6 1 3 1 ：是1 9 9 0 年制定的，是第一个获得广泛应用的视频编码标准。 它的全称为“v i d e oc o d e cf o ra u d i o v i s u a is e l v i c e sa tp 6 4 b p s s ”。 2 太原理工大学硕士研究生学位论文 它使数字视频信号能够以p x 6 4 b p s ( p = l _ 3 0 ) 的速率在电信网络中传输， 得以支持视频会议和视频电话业务。这个标准的制定出台，采用了帧内编 码、帧间误差预测、运动补偿、d c t 和变长编码等技术，取得了巨大成功， 并奠定了混合编码技术的雏形，为以后的视频压缩标准提供了基础。 b l p e g - 1 j ：是活动图像专家组( m p e g ) 在1 9 9 2 年制定的，是其制订的 第一个音视频编码标准。其视频压缩算法的框架基本和h 2 6 1 相同，但有 重要改进，以提高重建视频图像的质量和满足数字存储媒体在电视图像重 放方面的需要。它可以使数字视频在大约1 ，5 m b i t s 的速率下达到甚至超 过家用录像系统的品质，并将压缩的音频也放到了普通的c d r o l l 中。从技 术特征上来分析，m p e g 依然采用的是传统的混合编码框架，只是增加了双 向帧问预测技术，并且将运动补偿的分辨率提高到半像素。由于应用目标 不同，m p e g 一1 和h 2 6 1 分别在高比特率的情况下和低比特率的情况下显示 出各自的优点。 m p e g 一2 i 。：1 9 9 4 年1 1 月通过t m p e g 一2 标准。i d p e g - 2 标准又在m p e g 一1 标准基础上做了重要扩展和改进，克服了m p e g 一1 不能满足的日益增长的多 媒体技术、数字电视技术对分辨率和传输率等方面的技术要求的缺陷。 m p e g 一2 标准将视频图像的质量从基本级到最高级分成4 级，最高图像质量 可达至j j h d t v 的质量。m p e g 一2 标准保证了与m p e g - 1 视频体系向下兼容，并支 持固定比特率传送、可变比特率传送、随机访问、信道跨越、分级解码、 比特流编辑以及一些特殊功能，如：快进播放、慢动作、暂停和画面凝固 等。因此，i p e g 一2 标准广泛应用于有线电视( c a t v ) 、数字电视地面广播、 视频点播、多媒体终端等众多领域，而且i p e g 一2 是工业标准d v d 的核心技 术。 h2 6 3 m1 9 9 5 年，r t u t 针对甚低比特率的视频会议和可视电话，摊 ： 太原理工大学硕士研究生学位论文 出了1 4 2 6 3 视频压缩标准。h 2 5 3 最初是针对1 0 3 0 k b i t s 范围的甚低比特 率应用设计的，其编码算法与h 2 6 1 相似，但它在性能上有了显著的提高。 实验结果表明，在任意速率范围内，h 2 6 3 都取得了惊人的压缩效果，成 为当时最成功的数字视频压缩标准。在同样的主观质量前提下，h 2 6 3 的 输出码率仅为h 2 6 1 的一半甚至更少。这主要是由于h 2 6 3 采用了诸如可变 尺寸块运动补偿技术、重叠块运动补偿技术、无限制运动矢量技术和运动 矢量预测技术等一系列新的视频编码技术的结果，它为混合编码框架的进 一步发展奠定了基础。制定h 2 6 3 建议的i t u - t 研究小组在h 2 6 3 建议推出 之后，为适应现有的窄带网络环境上传输视频信息，在1 9 9 8 年退出了它的 改进版本h 2 6 3 + ，在2 0 0 0 年1 1 月，又退出了第三版h 2 6 3 + + 。 m p e g _ 4 l l 3 1 ：活动图像专家组制订m p e g 一4 的初衷是提供一种用于视频 会议和可视电话的甚低比特率的数字视频编码方法，但是随着i t u t 的 h 2 6 3 及其后继版本在低码率视频编码领域取得了巨大成功，活动图像专 家组决定扩大m p e g 一4 的研究目标，最终被定位为一种基于内容的，支持多 媒体信息内容访问的数字视频编码标准。在m p e g 一4 中，基于对象的编码和 比特分配思想是其最大的创新之处，其引入了视频对象的新概念，一改传 统的基于帧的编码方法。它支持7 个新的功能，可粗略分为3 类l l j ： 1 基于内容的交互性 a ) 基于内容的造作和比特流编辑。 b )自然与合成数据的混合编码。 c ) 增强的时间域随机存取。 2 高压缩率 a ) 更高的编码效率。 b ) 对多个劳发数据流的编码。 4 太原理工大学硕士研究生学位论文 3 灵活多样的存取 a ) 在错误易发环境中的抗错性。 b ) 基于内容的尺度可变性。 作为第一个面向对象的视频编码标准，m p e g 一4 具有极大的历史意义。 h 2 6 4 】：t 9 9 8 年，i t u t 第1 6 研究小组在对h 2 6 3 不断改进的同时， 还启动了另一个研究项目h 2 6 l ，目标是制定一个新的数字视频编码标准， 使其编码效率能够两倍于当时已投入使用的标准。这个项目具体由视频编 码专家组( v c e g ) 负责，由此产生了h 2 6 l 草案。与此同时，活动图像专 家组也在进行m p e g 一4 高级视频目标a v c 的研究。2 0 0 1 年，m p e g d 、组认识到 h 2 6 l 草案所具有的潜在优越性，于是m p e g d 、组也加入进来，与v c e g 一起 成立了联合视频组( j o i n tv i d e ot e a m ：j v t ) ，共同来完成标准的最终 制订工作。2 0 0 3 年3 月，标准的最终草案公布，称作h 2 6 4 a v c 或m p e g 4 v i s u a lp a r t1 0 。与以前的视频编码标准不同，h 2 6 4 不仅含有一个规定 视频编码算法的视频编码层( v c l ) ，还包括一个规定网络传输规范的网 络抽象层( n a l ) 。h 2 6 4 的视频编码层采取的仍然是传统的混合编码框架， 但其采用了多种新的压缩技术，这些新技术包括：新的帧内预测方法、可 变尺寸块的运动补偿技术、多参考帧的运动补偿技术、4 4 整数变换技术、 基于上下文的二进制算术编码技术以及新的环路滤波技术。与先前的标准 相比较，h 2 6 4 压缩性l b m p e 6 4 和h 2 6 3 得到极大的提高，但其编解码复杂 度也要高出3 4 倍，但可以肯定，h 2 6 4 的制定标志着数字视频编码技术 有一个旱程碑，成为新世纪最为成功的国际视频压缩标准之一。 1 3 本课题的意义 近年束，多媒体技术的飞速发展，在社会的许多领域中得到了广泛的 5 太原理工大学硕士研究生学位论文 应用，为了适应不断发展的技术和应用的要求，诸如m p e g - - x 系列和h 2 6 x 系列等许多关于多媒体的编码标准纷纷出台，涉及的应用范围也越来越 广，性能也越来越好，但采取的各种新技术的算法复杂度也越来越高，例 如，最新的视频标准h 2 6 4 的压缩性能比m p e g - 4 提高l 倍，但算法的复 杂度却提高了4 5 倍，算法复杂度的提高与压缩比的提高成几何级数的 增长，因此，如何在不降低原有的压缩性能和重构的图像品质的前提下， 大幅度的降低算法的复杂度，提高对视频序列的编解码速度，已经成为当 前的一个重要课题。 本课题在全面了解h 2 6 4 标准的基础上，对h 2 6 4 标准的核心部分一 一视频的压缩编码进行了重点研究。研究压缩编码的目的是在尽量保持图 像品质的前提下，实现对原始视频源进行快速的编码。因此压缩编码的 的速度和重构图像的品质成为一个压缩编码算法的最为重要的两个指标。 所以，本课题对编码中的关键算法一帧内与帧间的压缩算法进行了重点 研究、优化和改进，以达到降低计算量，提高压缩编码的速度的目的，为 以后对压缩算法的进一步研究和优化提供了基础。 1 4 论文的组织结构 论文共分四个部分，第一部分是绪论和理论知识准备；第二部分是对 最新标准h 2 6 4 标准的介绍和其相关算法的分析。第三部分是视频压缩算 法的优化和改进。第四部分是全文总结。全文的内容组织如下： 第一章绪论，阐述课题的背景、目标、意义和完成的工作。 第二章理论准备，讲述了图像压缩的有关理论和基础知识。 第三章对| 2 6 4 标准进行了简介和对其压缩的核心算法进行的分 析。 6 太原理：r 大学硕士研究生学位论文 第四章帧内和帧间压缩算法的优化和改进。提出了新的算法，并给 出了具体的实现步骤。 第五章总结本文的研究成果，明确了进一步的研究工作和方向。 7 太原理工大学硕士研究生学位论文 第二章视频图像压缩理论基础 2 1 图像的统计特性 图像信号，尤其视频信号数字化以后的数据量一般很大，直接将p c m 方式的数字图像信号用于通讯或存储在大多数场合下显然是不可取的。为 此，需要一种有效的表示图像信息的符号代码，以此作为传输或存储的内 容，接收端只要依据一定的规则就可以从这些代码中恢复出图像来。这一 过程就是图像压缩的编、解码过程。实现压缩的可能性就在于图像信源固 有的统计特性，以及信号接收者的某些特性。 在很多情况下，我们可以将图像信号看作是随机信号。图像的统计特 性是指图像信号本身或在变换域中的随机统计特性。由于图像种类繁多， 内容千变万化，表面上看，为了把图像信息传送到对方，所需的比特数将 高的惊人。然而，通过大量的统计试验发现，图像抽样值存在一些内在的 联系和规律。例如，图像的同一行相邻象素之间，相邻行象素之间，以及 活动图像相邻帧的对应象素之间往往存在很强的相关性。建立在信息论基 础上的经典图像编码方法就是利用图像信号这种固有的统计特性，通过去 除相关性来对图像信息进行压缩处理的。 图像的统计特性所包含的内容很多，一般可以从变换域和时域两方面 来研究。例如，变换域的谱特性，时域中信号值的概率分布。 2 1 1 图像的自相关函数 在理论上讲，通过对图像熵值的计算来了解图像编码所能达到的数码 率的下届。但是图像熵值计算十分困难，它要预先知道图像的统计特性， 8 太原理工大学硕士研究生学位论文 因而在实践中用的最多的还是相关函数。因为它口 以反应任慈两个象索之 间的相关性。图像的归一化一维自相关系数可由下式表示： p = e p ( f ，j ) 厂( f ：，j ：) 一所2 l 占2 ( 2 一1 ) 式中，e 【】为数学期望， m 为象素均值： 肼：专“，) ( 2 - 2 ) n 鼍一 j 2 为图像的方差： 巧2 = e f ( i ，州2 一m 2 ( 2 3 ) 由大量的数据统计结果表明，同一行内的象索间隔越大，自相关系数 平均值的曲线基本上呈指数规律衰减，这说明相邻象素之间存在的相关性 随着两者之间的距离增加而迅速减少。实际的计算得出，一维自相关系数 可用下面的数学模型近似表示： 成- - e 一。h = p 1 7 l ( 2 4 ) 对于一般的图像视频序列，p 值都在o 9 至o 9 8 之间p l 。 对于图像中任意两点( f ，j ) 和( f + r ，j + r ：) 的二维自相关系数的数学 模型近似为： p o l ，r 2 ) = 尸 ( 2 5 ) 式中，为相关距离，其定义为： r = 本+ ( 2 6 ) 其二维自相关系数呈由中心向四周按指数规律衰减，对于图像中相邻象索 值变化小的比变化大的相关一肚要强。 9 太原理工大学硕士研究生学位论文 2 1 2 图像差值信号的统计特性 对于常见的大多数图像，相邻两个象素的差值的统计分布将集中在零 附近。这里，相邻象素的插值是指同一行或列中相邻两个象素的插值。对 实际图像的水平方向插值信号的统计表明，插值信号绝对值的8 0 9 0 落在总数为2 5 6 个量化层中的1 6 1 8 个量化层范围内，这一统计得出的 结论在预测法图像压缩中是非常重要的依据。 对于一帧图像内部象素进行的统计分析称之为帧内统计特性。对于视 频图像来说，相邻帧对应象素之间的时间间隔很小，很可能表示的是场景 中的同一点或两者之间变化很小，因此有必要对相邻帧象素的统计特性进 行研究。 在视频序列中，除了景物有剧烈的运动，或是整幅场景更换以外，相 邻帧之间存在着较强的相关性。对于一些特殊的应用场合，例如会议电视 或可视电话，图像内容教简单，且主要只有一些认得头肩部及五官的小幅 运动，因而其相关性比一般的电影电视图像更强。这种帧差信号的统计特 性为视频序列的帧间压缩编码提供了基本依据。 2 1 3 频域上的统计特性 为了更好的研究图像的统计特性，人们往往通过一些f 交变换，将图 像变换到变换域中进行处理，使得人们可以从不同的角度对图像进行分析 和处理。因此对于不同的丁e 交变换，研究图像在其变换域中的统计特性也 是十分有意义的。对于视频序列的频谱特性而言4 ，通过大量的统计表明， 其绝大部分能量集中在直流和低频部分，这一结果和前面的对自帽关函数 分析的结果是一致的。 1 0 太原理工大学硕士研究生学位论文 2 2 常用的视频压缩技术 由于图像信息的编码必须在保持信息源内容不变，或者损失不大的前 提下才有意义。这就必然涉及到信息的度量问题。信源编码通过减少信源 中存在的信息冗余而实现数据压缩的目的，其理论研究开始于香农的信息 论。信息论理论首次对信息的概念进行了科学的表述并给出了量度信息的 明确方法；信息论中的无损信源信源编码定理和率失真理论是整个信源编 码理论的基础。 2 ，2 1 图像的信息熵 设信息源x 可能发出的消息符号集合为a = 矗，l f = l ，2 ，m ，并设x 发 出符号a 。的概率为e ( a ) ，则定义符号a 出现的自信息量为： l ( a ，) = 一l o g e ( a ，) ( 2 - 7 ) 通常，上式中的对数取2 为底，这时定义的信息量单位为“比特”( b i t ) 。 如果各符号的出现是独立的，那么x 发出一符号序列的概率为等于各符号 的概率之积，所以改序列的信息量就是各符号的自信息量的和。这类信源 称为无记忆信源。 对信源x 各符号的自信息量取统计平均，可得到平均信息量： ( 柳= 一p ( n ，) l o g ：p ( a ，) ( 2 8 ) 称h ( x ) 为信息源x 的熵( e n t r o p y ) ，单位为b i t 符号，也称为信源x 的一阶 熵，它可以理解为信息源x 发出任意一个符号的平均信息量。是无记忆信 源在无失真编码时所需数码率的下界。埘于图像的熵丽占，就是各灰度级 太原理工大学硕士研究生学位论文 比特数的统计平均。 在实际中，信息源发出的各符号之间往往不是相互独立的，而是具有 统计的关联性。这种信源称为有记忆信源。一个有记忆信源的符号出现的 概率与其先前出现的符号有很大关系。 由上小节可知，图像相邻象素之间具有很大的相关性，因此，图像 信源是一种有记忆信源，对于这样的信源，就不能把一阶熵作为编码的数 码率下界。 对于有记忆信源而言，如果相继的各符号之间存在相关性，则可以 将这各符号当作一个新的符号肘。( ) ，其概率用p ( m 。( ) ) 表示，这时 信源x 的平均信息量为： ( x ) = 一p ( m ，( n ) ) l 0 9 2p ( m ( ) ) ( 2 9 ) j l 其中，m 是新符号m ( n ) 的总数。若再除以就得到每个符号或每一象素 的平均信息量。 信源的熵给出了信源编码的理论极限，要使信源无损地编码，平均每 个信源符号所需的比特数最少也必须大于信源的熵率。 2 2 2 无损信源编码 根据香农信息论pj 可知，信源符号出现的概率越大，其信息量反而越 少，因此在编码中，根据编码对象出现的概率，分别给予不同长度的代码， 概率大的用短代码表示，概率小的用长代码表示，这样会使平均码长最短。 香农的信源编码理论指出，对于信源咒熵为川殉，总能找 ；一种无失 真的编码方法，构成唯一可译码，使其平均码长满足如下的公式： 太原理工大学硕士研究生学位论文 型! 塑。些塑+ a ( 2 1 0 ) l o g2q k l o g2q k 其中，万( k ) 表示k 元消息组的平均码长，- 万( k ) k 表示平均每一个符号的 码长。 如果在二进制编码中，q = 2 ，l o g ：q = 1 ，消息组的长度k = l ，则公式 可写成： h ( x ) 万 q b i t s ( 3 一l o ) 其中，在帧间预测时f = 2 批3 ，在帧内预测时f = 2 椰6 。由于量化步 长每六个增加一倍，因此，矩阵m 共有六组不同的矩阵值。 3 1 3 多模式的宏块预测 在 i2 6 4 标准中，每个要编码的宏块都要使用先l 订已编码的数据柬进 2 d 太原理工大学硕士研究生学位论文 行预测，宏块的预测分为帧内预测核帧间预测两种。帧内预测使用该宏块 的相邻宏块来进行预测，而帧问则侧重于使用先前帧的数据来预测，不论 是哪种预测方式，预测所使用的数据都是编码后重再解码的重构图像数 据。 3 1 3 1 帧内预测模式 方式0 ( 壬直项测)方式i ( 水平预测) 方式2 ( 直流预测) f 方式3c 左下对角预测) 方式4 ( 右下对角预测) 方式5 ( 垂直右预测) 夥imiai b i c l d i z l i i g l t l l 酽 方式6 水平下硬酗)方式t ( 垂直左颈泓)方宴抽( 水平上预测) f 沪 图324 4 亮度预测的方式 f i g u r e3 2 4 4l u m ap r e d i c t i o nm o d e s 在 i 2 6 4 以前的视频编码标准中，处理帧内编码时，只是直接进行变 换、量化和熵编码，对于帧内存在的空i l l k l t l 关性利川不充分，尤其列于平 滑的背景区域，往往存在着极大的空| 日j 相关性，并没有考虑，因此需要较 多的编码比特数。为了降低帧内编码所占的比特数提高压缩比， 2 6 4 2 5 太原理工大学硕士研究生学位论文 采用了帧内预测技术。 帧内预测能够极大的消除视频序列的空间冗余利用相邻块已经解码 重构的象素作为预测值来实现对当前块的预测，将预测后所得的残差再进 行d c t 变换和熵编码。通过这样的处理，在变换平坦的区域，帧内预测可 以取得很好的效果，提高了编码效率，减少了帧内编码的比特数。 在h 2 6 4 中，提供了三种块大小的帧内预测，种是4 4 块的预测方 式，有9 种选择方式；第二种是以1 6 1 6 的块为单位，包括4 种预测方式， 第三种是以8 x 8 的块为单位，也有4 种预测方式。其中第一、二种方式是 在亮度数据的帧内预测中所使用。第三种方式是供色差数据进行帧内预测 所使用。 4 x 4 块的亮度预测模式如图3 2 所示，1 6 1 6 的亮度预测模式如图3 3 所示，而8 8 块的四种预测模式同1 6 1 6 块的预测模式是一致的。 方式0 垂直预酬)方式1 ( 水平援测) 方式3 ( 平面谈穗 图3 3 16x 16 亮度预测的方式 f i g u r e3 3 i6 i6l u m ap r e d i c t i o nm o d e s 2 6 太原理工大学硕士研究生学位论文 3 1 3 2 帧问预测模式 1 6 1 61 6 8 8 8 8 8 图3 4 宏块分割模式 f i g u r e3 4 m a c r o b l o c kp a r t i t i o n s 8 44 8 e 日田口 图3 ，5 子宏块的分割模式 f i g u r e3 5 s u b m a e r o b l o c kp a r t i t i o n s 4 x4 多模式的运动估计和补偿技术是h 2 6 4 的特点之一，与以往的视频编 码标准类似，也使用块匹配的帧间预测来消除视频图像序列的时域冗余。 在过去的标准中定义了两种块大小的运动估计，1 6 1 6 和8 8 ，但由于视 频图像的复杂性，在较大的块中可能包含有多个具有不同运动方向和不同 形状的物体，尤其是在运动剧烈的区域中，用它们并不能准确的描述宏块 所在区域中物体的全部运动细节，因此，为了更准确的描述宏块的运动， 在 i 2 6 4 中，将进行运动补偿的块尺寸范围扩大到从1 6 x1 6 至, j 4 4 共7 种模 式。其中1 6 1 6 的宏块可以被分割成1 6 8 、8 1 6 和8 8 三i 种，如果是8 8 分割模式，则可以继续分割成8 4 、4 8 和4 4 王种模式。图3 4 是1 6 7 太原理工大学硕士研究生学位论文 1 6 的宏块分割，图3 5 是8 8 的子宏块分割。如此对一个宏块而言，最 多可以使用1 6 个运动矢量来描述物体的运动情况，提高了预测性能，降低 了预测后的残差能量。 而且在h 2 6 4 中，为了达到更准确预测，提高运动矢量的精度，精度 采用了1 4 象素精度的运动补偿，比以前的视频压缩标准中的1 2 象素精度 提高一倍，同时使用了多帧参考技术使得在快速的周期运动、快速的场 景切换中，获得更好的预测效果，由于采用了多帧参考，因此，每种预 测模式都可以用不同的参考帧来进行预测。 3 1 4 环路滤波 田； tb tbcd 1 6 x1 6 亮度块8 x 8 色度块 圈3 6 宏块滤波边界 f i g u r e3 6e d g ef i l t e r i n go r d e ri nam a c r o b l o c k 虹 砣 趋 “ 吐 丝 b 3 b 4 l t l l 9 i d t 4b i b 2 b 3 b 4 j 垂赢边界水平边界 图3 7 垂直和水平边界的相邻象素 f i g u r e3 7 p i x e l sa d j a c e n tt ov e r t i c a la n dh o r i z o n t a lb o u n d a r i e s 太原理丁大学硕士研究生学位论文 由于h 2 6 4 是基于块的编码，所以在低码率时，解码后的宏块不可避 免的会有块效应失真，块效应的存在很大程度上影响了图像重建后的主观 质量，为了降低编码所造成的块失真，h 2 6 4 采用了一种先进的自适应环 路滤波器，也称为消除块效应滤波器1 1 2 ，l “，它的滤波强度可以根据当前量 化步长、相邻块的编码模式和块边界上的象素值梯度大小来决定，它不仅 可以改善图像的主观视觉品质，而且对于运动估计和补偿来说，也有一定 的增益，可以达到更好的帧问预测效果。 在h 2 6 4 中，变换块的大小是4 4 ，因此在环路滤波时，也是以4 4 块边界来进行的，如图3 6 所示，对于1 6 x1 6 的亮度块而言，要进行水平e ， f ，g ，h 四个边界和垂直a ，b ，c ，d 四个边界的滤波，对8 x 8 色度块则相 应减少为水平和垂直各两个边界的滤波。在进行环路滤波时，滤波器最多 影响块边界上的三个象素的样值，即a 2 a 4 ，b 2 b 4 。 3 1 5 加权预测 加权预测是一种在运动补偿中对预测样值进行缩放的方法，在进行运 动补偿预测之前，通过一个权值因子对于每一个预测样值进行缩放。在 h 2 6 4 中加权预测有两种，一种是直接加权预测，一种是间接加权预测。 在直接加权模式中，权值因子是出编码器来决定的。而对于间接加权模式， 权值因子是根据参考帧与当前帧在时间上的距离大小来决定的，如果参考 帧离当前帧近，则使用大的加权因子，否则，使用小的加权因子。加权预 测在逐渐消退的场景中是十分有效的。 31 6 视频交错技术 对于场宏块而言，交错视频编码是一种高效编码方法。在自适庸帧场 2 9 太原理工大学硕士研究生学位论文 宏块编码模式中，每一个宏块都要进行帧、场编码的选择，在这种情况下， 编码单元不再是单个宏块，而是一个1 6 象素高、3 2 象素宽的宏块对，对于 不同的场景而言，帧场的编码效率是不同的0 3 j ，对于活动的区域场编码效 果更好，而对于静止的区域帧编码则更佳一些，通过采用帧场自适应技术 可以降低一定的编码比特率，但采用了帧场自适应技术后，其参考帧的组 织也要进行调整。 3 1 7 熵编码技术 在图像的压缩处理中，一幅图像被分割成若干个子图片( s l i c e ) ， 每个子图片是由若干个宏块所组成，对于每个编码后的子图片和宏块的信 息是用变长码字或者是采用基于内容自适应的算术编码( c a b a c ) 。对于 变长编码使用了两种方法，一种是基于内容自适应的变长编码( c a v l c ) ， 一种是指数型g o l o m b | 10 l 编码。 在熵编码中，采用c a b a c 编码方法是h 2 6 4 标准中的一个特点，由于算 术编码的编码效率要高于通常采用的哈夫曼编码，因此，与c a v l c 相比， 采用c a b a c 编码可以降低5 1 5 的码率。 3 2h 2 6 4 的算法分析 由于h 2 6 4 采用了大量的新技术，不论是帧问编码还是帧内编码，从 变换到量化，都与以前的标准有很大不同。因此在编码中，运动补偿、变 换和差分编码相互影响，不同的运动补偿方法、不同的量化系数、不同的 差分编码方法构成不同的编码模式，而每种编码模式针对不同的内容又体 现出不同的率失真性能，因此，在编码时，如何对这些因素进行控制成为 太原理工大学硕士研究生学位论文 混合编码算法的关键问题，必须解决在编码每一个宏块时，要采用哪种编 码方式和编码参数，图3 8 给出了h 2 6 4 的编码框图。 为了充分利用视频图像序列在时间轴上相关性，采用帧间差分编码是 一种极为有效的方法，对于视频序列，由于相邻帧的时间间隔很短，除去 运动引起的一些细微差别，相邻帧之间的图像基本上是相同的，如果只编 码发生变化的部分，就可以提高压缩率，因此，在编码时，就出现了三种 编码模式：s k i p 模式，i n t r a 模式和i n t e r 模式。s k i p 模式是用参考帧对应 位置的块来替代当前位最的块：i n t r a 模式则是对当前块进行帧内编码； i n t e r 模式是帧间编码，即使用运动估计和补偿技术。 3 2 1 帧内编码分析 图3 8h 2 6 4 编码器基本结构 f i g u r e3 8 h 2 6 4e n c o d e r 帧内编码的处理主要是如何对帧内预测模式进行选择。帧内预测可以 充分的利用视频序列中固有的空f n l s h 关性柬提高视频序列在帧内编码时 的压缩效率。 3 l 太原理工大学硕士研究生学位论文 在h 2 6 4 以前的视频编码标准中，在帧内编码时，只是直接进行变换、 量化和熵编码，没有考虑帧内存在的空间相关性，因此需要较多的编码比 特数。帧内预测能够极大的消除视频序列的空间冗余，利用相邻块已经解 码重构的象素作为预测值来实现对当前块的预测，将预测后所得的残差再 进行d c t 变换和熵编码。通过这样的处理，在变换平坦的区域，帧内预测 可以取得很好的效果，提高了编码效率，减少了帧内编码的比特数。 由于视频序列的空间相关性远小于其时问的相关性，因此为了确保获 得高压缩比和较好的重构品质，因此，根据视频图像的局部纹理特征和象 索值在不同方向上的变化走向，在h 2 6 4 中总共提供的帧内预测模式有1 7 种，这样可以对图像局部的不同特性的纹理达到一个较为准确的预测。 由图像的统计特性可知，相邻相邻象素随着距离的增大，它们的相关 性呈指数性递减，因此采用不同的块大小在变化起伏不同的的场景中效果 是不同的。在相对变换较大、包含多个不同对象的场景，需要相对更小的 块和针对不同的纹理进行更为细腻的预测，以提供足够的预测精度，对于 4 4 块而言，其9 种预测方向从一9 0 0 9 0 0 ，相邻两个预测方向之间的夹 角为2 2 5 0 ，因此，可以对3 6 0 0 任何方向上的不同纹理特征进行极为准确 的预测。而对于大的平滑的背景区域，使用大尺寸的块则可能效果更好， 而且一般来讲，其纹理相对平滑，起伏变化不大，因此在标准中只提供了 4 中预测模式。而对于色差块而言，由于人的视觉系统对色度变换的敏感 度小于亮度变换的敏感度，因此，对于色度的预测只使用了8 8 的块预测 模式。 322 运动估计和补偿分析 运动估计和补偿的性能的好与坏直接关系到图像的压缩性能和重构 3 2 太原理工大学硕士研究生学位论文 的图像品质。那么，衡量运动估计和补偿算法的标准主要有以下几点： 1 编码的性能。这主要是指算法是否能更好的减少残留帧的能量。 2 算法的复杂性。遮住要指算法的计算量的大小，用软硬件是否容易 实现。 3 算法本省所带来的额外延迟和所需内存大小的要求。 4 所需编码的额外信息量的多少。例如，运动矢量( m y ) ，参考帧的信 息。 5 抗噪能力。 这些问题是相互关联的，而且有些是矛盾的。例如：一个好的编码性 能可能会导致算法复杂度的增加、更大的延迟和更差的抗噪性能。因此， 只能针对不同的应用采取不同的解决方案，在以上几点衡量标准之间进行 折中。一个运功估计、补偿和图像重构方案设计的好坏直接关系到视频编 码的性能。 图像的运动估计是指在可用的先前已编码的帧中为当前帧构建一个 预测模块。这些参考帧可能是过去的也可自是将来的，而预测模块可以是 从一个或多个参考帧中产生。运动估计算法的目的在于使预测模型对于当 前帧而言尽可能的精确，从而使得有一个更好的压缩性能，同时尽可能的 降低算法的复杂度。当根据匹配准则选择了一个最佳得预测模块后，用当 前帧减去预测模块得到残留帧，这个残留帧就是当前帧得一个运动补偿。 然后将残留帧与解码和重构图像时所需的必要信息一同编码、传输。在解 码端，解码传输过来的残留帧同时和预测模块相加来重构当前帧。 残留帧也称为替代帧差( d i s p l a c e df r a m ed i f f e r e n c e ，d f d ) 它是 和运动向量一同编码传输的。那么编码后的信息量越少，其压缩性能越好。 编码后的d f d 的大小是与经运动补偿后的d f d 的剩余能量的多少有关。因 此，预测模块越精确，压缩量也就越大。 ： 3 太原理工大学硕士研究生学位论文 在传统视频标准中，运动估计和补偿主要是基