（计算机应用技术专业论文）h264帧内预测及变换方法的研究与优化.pdf

h 2 6 4 帧内预测及变换方法的研究与优化 摘要 随着数字图像处理和计算机网络等技术的发展，以信源压缩、总线传输、 图像数据库等技术为标志的第三代视频监视系统已开始形成。其基本原理是使 用视频压缩编码技术将视频采集单元输出的模拟信号直接进行数字化压缩，然 后通过计算机网络传输到接收端进行解码、播放和存储等操作。 在第三代视频监控系统中，不管从传输、存储还是图像质量方面考虑，视 频压缩编码技术都至关重要。尤其在面对网络传输的带宽瓶颈问题时显得尤为 突出，因此需要一个合适的编解码标准。 i t u th 2 6 4 m p e g - 4p a r t1 0a v c ( 简称h 2 6 4 ) 是最新的视频编码国际 标准，由i s o i e c 的运动图像专家组m p e g 和i t u t 的视频编码专家组v c e g 组成的联合视频小组j v t 共同开发而成。h 2 6 4 标准中包含了很多先进的视频 压缩编码方法，与以前的视频编码标准相比有了明显的进步。在相同视觉感知 质量的基础上，h 2 6 4 的编码效率比m p e g 2 提高了5 0 左右，并且有更好的 网络友好性。然而，高编码压缩率是以很高的计算复杂度为代价的，h 2 6 4 标 准的计算复杂度约为h 2 6 3 的3 倍，所以在实际应用中必须对算法进行优化以 提高其编码的时间效率。 本论文首先在第一章中简要介绍了视频压缩编码的基本原理方法，以及数 字视频压缩标准的发展过程。在第二章简要介绍了h 2 6 4 编码标准的主要功能 模块。 在第三章中我们对已有的帧内预测快速算法进行详细分析，对其中计算复 杂度很高的预测模式选择部分进行了深入研究，提出一种基于自适应闽值的快 速模式选择算法，该算法可以根据图像复杂度和q p 值自适应的调整判决阈值， 以确定是否可以将最可能的预测模式作为最终的结果，提前中止预测模式选择 过程。另外，为了进一步提高模式选择的计算速度，对其他非最可能的预测模 式采用分段计算的方法，首先计算其中的几种，根据计算结果选择临时最优预 测模式相邻的预测模式进行比较，以得到最终结果。由相关的实验结果可以看 出，我们的快速方法不但在很大程度上降低了h 2 6 4 帧内预测中，模式选择过 程的时间复杂度，提高了编码的时间效率，并且具有很强的自适应性。特别的， 该方法能够很好的支持s i m d 指令优化，具有很高的实用价值。 在第四章中我们对h 2 6 4 中的单方向帧内预测方法进行了进一步的分析， 发现这种单方向预测方法导致了相同方向上的样本点被赋以相同的预测值，然 而在视频帧中一个样本点与它相邻点的亮度值通常都是不同的。此外，一个样 本点与其相邻环绕样本点的中值很接近，这样双向预测的结果通常比单向预测 要好。所以我们结合加拿大学者a n d yt e n g 在d c c 0 4 上提出的双向预测思想， 对h 2 6 4 帧内双向预测方法进行了改进与实验。 随后，在第五章中我们首先对t it m s 3 2 0 c 6 0 0 0 系列d s p 作了简介，介绍 了c 6 0 0 0 系列d s p 结构特点和c 6 0 0 0d s p 软件开发流程，然后针对d m 6 4 2 上 帧内预测及变换部分程序的汇编优化进行了详细的讨论。第六章主要对h 2 6 4 中的自适应块尺寸变换方法进行了实验分析与讨论。最后，我们对论文的工作 进行了简要总结与展望。 关键词：视频压缩，h 2 6 4 ，帧内预测，自适应模式选择，双向预测，变换量化 d s p ，汇编优化 r e s e a r c ha n d o p t j m j z a t i o n f o rt h e i n t r a p r e d i c t i o na n d t r a n s f o r mi nh 2 6 4 a b s t r a c t w i t ht h e d e v e l o p m e n t o fd i g i t a l i m a g ep r o c e s s i n g a n dc o m p u t e rn e t w o r k t e c h n o l o g 孔t h e 3 r d g e n e r a t i d nv i d e os u r v e i l 】a n c es y s t e mh a sc o m eu pw i t ht h e s y m b 0 1o f s o u r c ec o m p r e s s i n g ，b u st r a n s p o r ta 1 1 di m a g ed a t a b a s ee t c t e c h n o l o g i e s i t sb a s i c t h e o r y i s u s i n g t h ev i d e o c o m p r c s s i n gt e c h n o l o g yi m m e d i a t e l y t o c o m p r e s s t h e a n a l o gs 谵n a l so u t p u t t i n gb y t h ev i d e oc a p t u r eu n i t ，t h e n t r a n s p o r tt h e e n c o d e ds i g n a i st ot h er e c e i v e rb yt h ec o m p u t e rn e t w o r k ，a n dd e c o d e ，p l a yb a c k ， a n ds t o r et h e m v i d e o e n c o d i n gt e c h n 0 1 0 9 y i s v e r yi n l p o r t a n t i nt h e3 r d g e n e r a t i o n v i d e o s u r v e i l l a n c e s y s t e mc o n s i d e r i n g n o to n i y t r 雠s p o r t i n g ，s t o r i n g ，b u t a l s o i m a g e q u a i i t y ag o o d e n c o d i n g s t a n d a r di sn e e d e d e s p e c i a l l y w h e nt h en e t w o r k b a n d w i d t h sf o rt r a n s p o r ta r et a k e nt oa c c o u n t i t u th 2 6 4 m p e g - 4p a r t1oa d v a n c e dv i d e oc o d i n g ( c o m m o n l yr e f c r r e d a s h 2 6 4 ，a v c ) i st h en e w e s ti n t e m a t i o n a lv i d e o c o d i n g s t a n d a r d s i tw a s d e v e l o p e db yaj o i n tv i d e ot e a m ( j v t ) c o n s i s t i n go fe x p e r t sf r o m i t u t sv i d e o c o d i n ge x p e r t sg r o u p ( v c e g ) a n di s o i e c sm o v i n gp i c t u r ee x p e r t sg r o u p ( m p e g ) i nt h ep r o c e s s ，t h e s t 趾d a r dw a sc r c a t e dt h 砒i m p r o v e dc o m p r e s s i o n e m c i e n c yb y af a c t o ra b o u tt w o ( o na v e r a g e ) o v e rm p e g - 2 s e v e r a l c o d i n g e i e m e n t sc o n t r i b u t et ot h eg r e a ti m p r o v e m e n ti nc o m p r e s s i o ne f f i c i e n c yf o rt h en e w 3 t a n d a r d h o w e v e r ，t h ec o m p u t a t i o n a lc o 加【p l e x i t y o ft h eh 2 6 4 f a v ce n c o d e ri s d r a m a t i c a l l y i n c r e a s e db yt h i s o p t i m i z a t i o nt e c h n i q u e s ot h a ti ti sd i f f i c u l tt o i m p l e m e n ti nr e a l t i m e 印p l i c a t i o n s t h eb a s i ct h e o r i e sf b rv i d e oe n c o d i n ga n dt h ed e v e l o p m e n to fv i d e oe n c o d i n g s t a n d a 砖a r ei n t r o c l u c e d 蠡r s t ，a n dt h em a i np a r t so fh 2 6 4a r ei n t r o d u c e di nc h a p t e r 2 t h ei n t r a - p r e d i c t i o n m e t h o di s a n a l y z e d i nd e t a j l i n c h a p t e r3 ，a n d t h e c o m p u t i o n a l l yc o m p l e xp a r t p r e d i c t i o nm o d es e l e c t i o ni s r e s e a r c h e dd e e p l y ，t h e n af a s tm o d es e l e c t i o nm e t h o db a s e da d 印t i v et h r e s h o l di s 百v e n t h et h r e s h o l dc a n b ea d j u s t e d a d a p t i v e l y b a s e do nb o mt h ei m a g et e x t u r ea n dt h e q pv a l u e t o d e t e r m i n ew h e t h e rt h em o s tp r o b a b l em o d ec a nb es e l e c t e d8 sm e o p t i m a lm o d e t o e n dt h es e l e c t i o np r o c e s s t bd e c r e a s et h ec o m p l e x i t yo fm o d es e l e c t i o nf h r t h e r ，w e u s eap a r t i o n lc o m t u t i n gm e t h o df o rt h er e m a i n i n gm o d e s s o m em o d e sa r et e s t e d f i r s t ，a n d t h en e i g h b o rm o d e so ft h et e m p o p t i m a lm o d ea r ec o m p a r e dt og e tt h e b e s to n e t h es i m u l a t i o nr e s u l t ss h o wt h a tw i t h o u tc o n s i d e r a b l e p e r f o r m a n c e d e g r a d a t i o n ，t h ep r o p o s e dm e t h o dd e c r e a s e sc o m p l e x i t yo ft h ei n t r a p r e d i c t i o n m o d ed e c i s i o np a ni nh 2 6 4 ，a n ds a v e st h e c o m p u t i n gc o s t sg r e a t l y a n d t h e m e t h o d s u p p o r t s s i m di n s t r u c t i o n s w e l l ， s oi t ，s v e r y u s e f u lf o r a s s e m b l y o p t i m i z a t i o ni n 印p l i c a t i o n s t h eo n e - d i r e c t i o n a lp r e d i c t i o ni nh 2 6 4i s a n a l y z e df h r t h e ri nc h a p t e r4 ，a n d w ef b u n dt h a tt h eo n e d i r e c t i o n a lp r e d i c t i o nr e s u l t si ni d e n t i c a lp r e d i c t i o nv a l u e s f o ra l ls a m p l e si nt h es a m ed i r e c t i o n h o w e v e ri nan a t u r ev i d e of r a m e ，o n es a m p l e u s u a h y h a sd i f f e r e n tv a l u ef r o mi t s n e i g h b o r s ， e v e ni nas m o o t h r e g i o n f u r t h e r m o r e ，t h ev a l u eo fas a m p l e l i e s h i g h l yl i k e l ya m o n gt h e v a l u e so fi t s s u r r o u n d i n gn e i g h b o r s ，a i l dt h u sb i - d i r e c t i o n a l ( f b r w a r da n db a c k w a r d ) p r e d i c t i o n u s u a n yb r i n g s ab e t t e rr e s u l tt h a n0 n e d i r e c t i o n a lo n e s ot h eb i - d i r e c t i o n a l p r e d i c “o nm e t h o di s d i s c u s s e da n di m p r o v e db a s e do nt h ei d e ap r o p o s e db ymr a n d yt e n g f r o mc a n a d ai nd c c 0 4 i nc h a p t e r 5 ，t 1 1 es t r u c t u r ec h a r a c t e r i s t j c sa n dt h es o f t w a r ed e v e j o p m e n tf 1 0 wo f c 6 0 0 0s e “e sd s p sa r ei n t r o d u c e da f = e rab r i e fi n t r o d u c t i o no ft it m s 3 2 0 c 6 0 0 0 d s p s ，a n dt h e nt h ea s s e m b l yo p t i m i z a t i o no fi n t r a p r e d i c t i o na n dt r a n s f o r mi s d i s c u s s e di nd e t a i l t h ea d a p t i v eb l o c k - s i z et r a n s f b r mo fh 2 6 4 i s 粕a l y z e da n d d i s c u s s e di n c h a p t e r6 ，a n dab r i e fs u m m e r ya n dp r o s p e c ti sg i v e ni nt h e l a s t c h a d t e r k e y w o r d s ：v i d e oc o m p r e s s i n g ，h 2 6 4 ，i n t r a - p r e d i c t i o n ，a d a p t i v em o d es e l e c t i o n ， b i - d i r e c t i o n a lp r e d i c t i o n ，t r a n s f o ma n dq u a n t i z a t i o n ，d s p ；a s s e m b l y o p t i m i z a t i o n 合肥工业大学 本论文经答辩委员会全体委员审查，确认符合合肥工业大学硕士 学位论文质量要求。 答辩委员会签名( 工作单位、职称) 主席：彩1 叩f - t 皓押。移青l 委员： 导师： 武谴贰 插图清单 图3 1f o r e m a n 序列第一帧1 0 图3 2f o r e m a n 序列第一帧亮度分量1 1 图3 34 4 预测样本示意图1 2 图3 44 4 预测的8 种预测方向示意图1 2 图3 5 相邻4 4 亮度块a 、b 和c 的关系图1 5 图3 6a “y o 序列第一帧原始图像2 2 图3 7 原算法在q p = 3 l 时对a k i y o 序列第一帧的编码效果2 3 图3 8 改进算法在q p = 3 1 时对a k i y o 序列第一帧的编码效果2 3 图3 9c o a s t g u a r d 序列第一帧原始图像2 4 图3 1 0 原算法在q p = 3 1 时对c o a s t g u a r d 序列第一帧的编码效果2 4 图3 1 1 改进算法在q p = 3 1 时对c o a s t g u a r d 序列第一帧的编码效果2 5 图4 14 4 亮度块的预测区域划分示意图2 7 图4 2 文献中r 区域预测示意图2 7 图4 3 文献现中f 区域预测示意图2 7 图4 4b 区域预测示意国2 7 图4 5f 区域预测示意图2 9 图5 1c 6 0 0 0 c p u 芯片结构一3 3 图5 2 整数变换与反变换的蝶形结构图4 2 图6 1 帧间预测分块模式4 8 图6 2a b t 帧内预测分块模式5 0 图6 3a b t 帧内预测参考点示意图5 1 表格清单 表3 1 预测模式的左右关系 表3 2a k i y o 序列图像的实验结果 表3 3c o a s t g u a r d 序列图像的实验结果 表3 4c o n t a i n e r 序列图像的实验结果 表4 1q p = 3 0 时s a d 的平均结果一 表4 2q p = 3 0 时的变换量化系数平均长度 表5 1 整数变换与反变换的运算步骤 表5 2 整数变换优化结果比较 表6 1a b t 算法性能比较 2 0 2 1 2 l 2 2 3 0 3l 4 3 4 5 5 1 独创性声明 本人声明所呈变的学位论文是本人在导师指导下进行的研究工作及取得的研究成 果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得 垒妲至些盘堂 或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示谢意。 学位论文作者签名：三张彦 整字日期；寸年6 月b 日 f 学位论文版权使用授权书 本学位论文作者完全了解盒胆王些盘堂有关保留、使用学位论文的规定，有权保 留井向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授 权盒世些盍堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采 用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 目 签名瓣名帮 签字日期：澍月l 日 学位论文作者毕业后去向： 工作单位：嗍砖鞯万嗣 通讯地址： 签字日钳月。矿 电话： 邮编，掰7 致谢 十分有幸能成为蒋建国教授的一名研究生，感谢蒋老师三年来对我学习、 科研和生活的指引与关怀! 蒋老师严谨的治学态度、渊博的专业知识、敏锐的 学术洞察力和宽阔的胸怀将对我以后的工作、学习和生活产生深远的影响。蒋 老师不仅仅是我三年的指导老师，更是我终生的榜样。 感谢齐美彬副教授、吴从中副教授、李小红老师! 你们脚踏实地的工作作 风，顽强不息的攻关精神教会了我如何学习、工作，你们在科研工作上对我们 要求严格，在生活中是我们的良师益友。同时还要感谢实验室的胡社教副教授、 周建政老师三年来对我的关心和帮助。 感谢所有与我并肩奋斗过的实验室同学们! 感谢夏娜博士、李援博士、朱 晓东、章玲、魏星、木春梅，三年来我们共同进步，祝你们工作顺利、生活美 满；感谢张国富、李勇、尤小泉、尹翔、胡嘉凯、聂秋玉、常传文、王德宝、 胡亚玲、彭兴邦、苏兆品、包先雨、袁炜、徐亚东、蒋庆汝、吴琼等师弟师妹 们，你们给了我很多支持与帮助，实验室的明天需要你们。 特别感谢我的家人，你们的关爱与鞭策是我从漫长的求学道路上坚持下来 的重要原因。在论文得以顺利完成之际，感谢所有亲人们对我的殷切希望和无 私帮助。 最后，感谢所有关心过我，帮助过我的老师和同学。 作者梁立伟 2 0 0 5 年5 月 1 1 引言 第一章绪论 多媒体信息主要包括文字、图形、图像、音频和视频等，其中视频是多媒 体信息中最重要的组成部分之一。这是因为视频信息具有直观、形象、准确、 高效和应用广泛等特点，极易被人类接受，据统计人类接受的信息大约7 0 来 自于视觉 2 1 。但与文本和音频等数据相比，巨大的数据量使得未经压缩的数字 视频难以方便使用。例如：对于普通p a l 制彩色电视信号，每采样点8 b i t 量化， 色度格式为4 ：2 ：2 时，每秒数据量高达2 7 m b ，不便于图像的传输和存储。显然 数字视频都必须经过极大的压缩才能具有实际意义，这就使得视频压缩技术成 为多媒体技术的关键所在【3 】。 随着数字图像处理和计算机网络等技术的不断发展，以信源压缩、总线传 输、图像数据库等技术为标志的第三代视频监视系统己开始形成【4 】。其基本原 理是使用视频压缩编码技术将视频采集单元输出的模拟信号直接进行数字化压 缩，然后通过计算机网络传输到接收端进行解码、播放和存储等操作。 在第三代视频监控系统中不管从传输、存储还是图像质量方面考虑，视频 压缩编码技术都至关重要。尤其在面对网络传输的带宽瓶颈问题时显得尤为突 出，为此需要一个合适的编解码标准【5 】。 1 2 数字视频压缩编码原理 视频序列在空间和时间上都包含许多冗余信息，所以视频压缩的目的是去 相关，用较少的比特数来表示视频内容。视频序列中的冗余主要包含空间冗余、 时间冗余和编码冗余等【1 1 。空间冗余是指在一帧图像中，相邻的象素间存在的 相关性。特别是当这些相邻象素位于同一视频对象中时，相关性极强。时间冗 余是指视频序列中的前后两帧往往包含与当前帧相同的背景和对象。只是由于 镜头的转动或对象的移动使得其空间位置发生变化，因此视频序列在时域存在 极强的相关性。编码冗余是指对于编码符号，其平均码长高于所表示信息的信 息熵，这个差值就形成了编码冗余。空间冗余、时间冗余和编码冗余都依赖于 图像数据的统计特性，可以统称为统计冗余口j 。 在目前的图像编码国际标准中，绝大多数都是采用基于d c t ( d i s c r e t e c o s i n et r a n s f o r m ) 的混合编码算法m 】。利用d c t 变换消除空间冗余，使用运 动预测和运动补偿消除时间冗余。根据信息码字出现概率的分布特征而进行统 计压缩编码，寻找概率与码字长度间的最优匹配。这些编码技术都是非常优秀 的纹理编码，它们能够在中等压缩率的情况下，提供非常好的图像质量。但在 非常低的位率情况下，无法为一般的序列提供令人满意的质量。究其原因是由 于这些技术都没有利用图像的结构特点，因此它们也就只能以像素或块作为编 码的对象。另外，这些技术在设计编码器时也没有充分利用人的视觉生理、心 理和图像信源的各种特征，实现从“波形”编码到“模型”编码的转变，以便获得 更高压缩比峥j 。 新一代的编码方法主要有：基于分形的编码、基于模型的编码和基于区域分 割的编码等【9 】。基于分形的编码方法适用于自相似性较强的自然景物图像。例 如：海岸线、云彩、大树等。基于模型的编码方法把计算机视觉和计算机图形学 中的方法应用到视频编码中，在编码端通过各种分析手段，提取所建模型的特 征与状态参数，而在解码端则依据这些参数，通过模型及相关知识生成所被建 模的信源。基于区域分割的编码方法根据图像的空域特征将图像分成纹理和轮 廓两部分，然后分别对它们进行编码。 这些新一代的编码方法充分利用了计算机图形学、计算机视觉和模式识别 等相关学科的研究成果，为视频压缩编码开拓出了广阔的前景。但是由于这些 编码方法增加了分析的难度，所以大大增加了实现的复杂度。从当前发展情况 来看，他们仍处于深入研究的阶段。例如，分形法由于图像分割、迭代函数系 统代码的获得是非常困难的，因而算法非常复杂。模型法则仅限于人头肩像等 基本视频，进一步的发展有赖于新的数学方法和其它相关学科的发展。但由于 巨大压缩性能的潜力，人们都在致力于这些新方法的研究之中。 近年来，还出现了一类充分利用人类视觉特性的“多分辨率编码”方法，如 子带编码和基于小波变换的编码。这类方法使用不同类型的一维或二维线性数 字滤波器对视频进行整体的分解，然后根据人类视觉特性对不同频段的数据进 行粗细不同的量化处理，以达到更好的压缩效果。 1 3 数字视频压缩编码标准 视频编码技术是多媒体视频通信中的核心技术之一，理论和应用领域都致 力于视频编码技术的研究，并且制定了一系列国际标准。在视频应用中，编码 方法的选择不但要考虑到信噪比和压缩比，还要考虑到算法的复杂性。过于复 杂的编码算法可能会得到较高的压缩比，但也会带来很大的计算开销，就可能 会影响通信的实时性口】。 目前，在众多视频编码算法中，影响最大并被广泛应用的是i s o i e c 的 m p e g 系列和i t u - t 的h 2 6 x 系列标准。如：i t u t 的h 2 6 1 ，h 2 6 3 和i s o i e c 的 m p e g - l ，m p e g - 2 和m p e g 4 等i ”】。下面对这些图像编码标准作简单介绍： h 2 6 1 是第一个获得广泛应用的视频编码标准，公布于1 9 9 0 年。它的全称为 “v i d e oc o d e cf o ra u d i o v i s u a is e r v i c e sa tpx6 4 k b i t s ”( p 为1 到3 2 的整数，当p 6 时；可以传输清晰 度较好的图像，适用于电视会议) 。h 2 6 1 是一个完整的视频编码算法，它在帧 间编码时采用了基于1 6 1 6 的宏块和整象素精度的运动估计；在帧内编码时采 用了基于8 8 的d c t 运算：还包含变长编码等技术，这有效的降低了视频序列 的冗余度，建立了取得巨大成功的基于块的混合编码框架。为后来的m p e g 1 、 m p e g 2 、h 2 6 3 等一系列视频压缩标准提供了基础。 i s o ，m p e g 在1 9 9 1 年1 1 月提交了i s o1 1 1 7 2 标准“用于数字存储媒体的 码率为1 5 m l i t s 的运动图像及其声音编码( c o d i n go f m o v i n gp i c t u r e sa n d a s s o c i a t e da u d i of o rd i g i t a ls t o r em e d i aa tu pt o1 5 m b s ) ”建议草案，即通常所说 的m p e g l 。该标准于1 9 9 2 年1 1 月通过，1 9 9 3 年8 月公布。m p e g 1 标准在h 2 6 1 编码算法的基础上改进、发展，m p e g 1 改进的主要内容是增加了b 帧( 双向预 测) 和图组( g o p ) 。这些改进具有更高的压缩比，同时定义了编码算法中各工具 层的语法，使视频的可操作性更灵活。m p e g 1 标准只规定了码流语法和解码 过程，用户可以很好地利用这个语法的灵活性来设计质量非常高的编码器和成 本非常低的解码器。编码器的设计中一些重要参数，如运动估值、自适应量化 和码流速率控制等可以由用户自由确定。速率约为1 2 m b s 的用m p e g 1 算法压 缩的视频图像的质量相当于v h s ( 家用视频系统) 记录质量。m p e g 1 标准是v c d 工业标准的核心，现在己经走入千家万户。 m p e g 一2 是i s 0 m p e g 制定的第二个国际标准。m p e g 2 标准扩展了m p e g 1 标准，能够支持高分辨率图像和声音。目标码率是在3 1 5 m b i t s 传输速率条件 下提供广播级的图像，而且能够提供信噪比( s n r ) 、时间和空间三种分级编码。 该标准应用于卫星广播时，在当前的一个模拟信道中，不牺牲质量的情况下能 提供5 路数字的编码节目。因此，m p e g 2 标准能广泛应用于卫星广播业务 ( b b s ) 、电缆电视( c a m ) 、数字电视地面广播( d t t b ) 、点播电视( v o d ) 、数字 声音广播( d a b ) 、多媒体终端和网络数据库业务等众多领域。m p e g 2 是工业标 准d v d 的核心标准，是m p e g - 1 的一个超集，它后向兼容m p e g 1 ，又对m p e g 1 作了重要的改进和扩充。针对隔行扫描的常规电视图像专门设置了“按帧编码” 和“按场编码”两种模式，并对运动补偿作了相应的扩充，使其编码效率显著提 高。 1 9 9 5 年“月i t u t 的低码率视频编码标准h 2 6 3 出台。h 2 6 3 是针对甚低码率 ( 低于6 4 k b p s ) 视频会议和可视电话的窄带信道视频编码建议，它是在h 2 6 l 建议 的基础上发展起来的。h 2 6 3 是为了支持低速率的通信而制定的标准，但同时希 望码流能够适应较大的动态范围，而不仅限于低码率。h 2 6 1 和h 2 6 3 的主要区 剐在于：h 2 6 3 支持更多的图像格式、采用了半像素精度的运动矢量的搜索、取 消了h 2 6 1 中的环路滤波器，增加了非限制运动矢量、基于语法的算术编码和 p b 帧编码等高级选项，从而达到了进一步降低码率和提高图像质量的目的。试 验表明：在相同的主观质量下，h 2 6 3 编码码率仅为h 2 6 1 的一半。在完成h 2 6 3 标准的制定工作后，为适应在现有的窄带网络环境上传输视频信息，i t u - t 在 1 9 9 8 年1 月通过了h 2 6 3 标准的第二版h 2 6 3 + ，增加了十二个新的高级模式。2 0 0 0 年1 1 月，又推出了第三版h 2 6 3 + + ，新增3 个高级模式。新增模式主要包括：参 考帧再采样模式、高级帧内编码模式、交替帧间v l c 选择模式、分片结构模式、 参考帧选择模式、数据分割模式可分级扩展编码等。他们的主要应用方向仍是 低码流的视频业务，用于p s t n 以及无线接入的高误码比的通信环境，因此在其 中既增加了一些改进编码效率的方法，同时也提高了抗误码性能的能力。由于 实现成本较低，h 2 6 3 系列标准已经越来越多地被采用。 m p e g 4 是i s o ，m p e g 提出的一种极低码率的视、音频压缩编码标准。考虑 到低损耗、高性能技术提供的机会和面临迅速扩展的多媒体数据库的挑战， m p e g 4 提供灵活的框架和开放的工具集，这些工具将支持一些新型的和常规 的功能。m p e g 4 支持逐行扫描和隔行扫描，是基于视频对象的编码标准，通 过对象识别提供了空间的可伸缩性。m p e g 4 标准既能够支持码率低于6 4 k b i t ，s 的视频应用，也能够支持广播级的视频应用。与其他压缩标准相比，m p e g 4 标准在d c t 的基础上引入了图像模型的概念从而具有更高的压缩效率。 在m p e g 4 标准里，新增了视频压缩率约为以往方式两倍的新方式 “m p e g 4 a d v a n c e d v i d e o c o d e c ( a v c ) ”【l l j 。2 0 0 2 年1 2 月9 日1 3 日期间在日本 香川县淡路岛举行的m p e g ( m o v i n g p i e t u r ce x p e r t sg r o u p ) 会议上确定了相关 技术规格。在规范书定稿以后，2 0 0 3 年3 月1 7 日被确定为国际标准规范( i s ) 。a v c 也被称作“m p e g 4v i s u a lp a r t1 0 ”，它采用了近似d c t 的整数变换来替代迄今为 止在m p e g 1 2 4 中所采用的d c t ，因此它与以往的m p e g - 4 编码播放设备不兼 容。标准化工作由m p e g 的上级组织i s o ，i e c 和i t u t 共同成立的小组( j v t ) 负责 进行，a v c 也被称作“i t u t h 2 6 4 ”。目前，这个标准有6 个不同的名字：h 2 6 4 ， h 2 6 l ，i s o i e c1 4 4 9 6 1 0 ，j v t ，m p e g 4 a v c 和m p e g 4p a r tl o 。在本论文中， 我们使用h 2 6 4 作为代表。在下一章我们将详细介绍h 2 6 4 算法标准。 总之，这些标准支持不同速率、不同的图像质量要求等条件的视频业务， 能够满足包括电视会议、视频电子邮件、可视电话和广播级视频等不同应用的 要求。随着视频应用需求的不断发展，视频压缩技术也有了很大的提高，新出 现的压缩标准有了更高的压缩效率( 在相同的图像质量下需要更低的传送码率 或在相同的传输速率提供质量更好的图像) ，同时支持不同的传输速率以适应不 同的传送网络。 4 1 4 本论文的研究内容及结构 本论文以h 2 6 4 视频编码国际标准为研究对象，在深入研究h 2 6 4 算法的基 础上，对其帧内预测与变换量化部分进行了优化，共分为七章。 绪论部分简要介绍了视频压缩编码的基本原理方法，数字视频压缩编码标 准的发展过程。 第二章简要介绍了h 2 6 4 编码标准，对其中的主要功能模块：帧内预测、多 种块模式的帧问预测、1 4 和l 8 像素的运动估计、多参考帧、整数变换及量化 和去块滤波器等进行了简单论述。 第三章首先详细分析了h 2 6 4 帧内预测的方法，然后针对其中计算复杂度很 高的预测模式选择部分进行了研究，在此基础上提出了一种基于自适应闽值的 快速模式选择算法。 第四章中对h 2 6 4 标准中的单方向帧内预测方法进行了进一步的分析，结合 加拿大学者a n d yt e n g 在d c c 0 4 上提出的双向预测思想，对h 2 6 4 帧内双向预测 方法进行了探讨。 第五章首先介绍了t it m s 3 2 0 c 6 x 系列d s p 的特点及软件开发流程，然后 针对d m 6 4 2 上帧内预测及变换部分程序的汇编优化进行了详细的讨论。 第六章中对h 2 6 4 中的自适应块尺寸变换方法进行了讨论。 最后一章是全文的总结与展望。 2 1 概述 第二章h 2 6 4 编码标准简介 i t u t 在1 9 9 6 年初步完成h 2 6 3 视频编码标准后，制定了短期和长期两个 目标。短期目标是进一步增加h ，2 6 3 的特色，增强低比特率编码能力，产生了 h 2 6 3 的增强版即h 2 6 3 + 和 l 2 6 3 + + 。长期目标是制定一种新的视频编码标准， 以更好的质量、更高的压缩比支持低比特率的视频会议等应用，由此产生了 h 2 6 l 草案。2 0 0 1 年，i s o m p e g 对h 2 6 l 草案进行了评估并认识到h 2 6 l 潜在的优越性，于是由m p e g 和v c e g 的专家组成了联合视频小组j v t f j o i n t d e ot e a m ) ，进一步完善h 2 6 l 模型，共同开发新的视频编码国际标准。新的 编码标准与现有的视频编码标准比较，有了明显的改进。在相同视觉感知质量 上编码效率比m p e g - 2 提高了5 0 左右，并且有更好的网络友好性。虽然i t u t 在发展和制定h 2 6 4 的前身h 2 6 l 时，主要的目标是为甚低比特率编码提供一 种高性能的编码国际标准，但随着m p e g 的加入以及更多新编码技术的采纳， h 2 6 4 以其卓越的压缩性能在高清晰度电视、卫星电视、存储媒体、无线多媒 体应用等方面显示出了巨大的应用潜力【l l ，1 2 】。 2 2h 2 6 4 的关键技术 h 2 6 4 作为一种新出现的视频图像压缩标准，有很多先进之处，主要包含 以下几个方面： 2 2 1 帧内预测 帧内预测是h 2 6 4 标准的重要特性之一，它利用了相邻像素的相关性，根 据相邻已编码过的块来预测当前块的象素值，并且只对预测差值进行变换编码， 以消除空间冗余。尤其是在变化平坦的区域，利用帧内预测可以用较少的比特 数来表达像素块信息，大大提高了编码效率【l 3 1 。 为了提高帧内预测的质量，h 2 6 4 提供了三种帧内预测模式：基于4 4 的 亮度块帧内预测、基于1 6 1 6 的亮度宏块帧内预测和基于8 8 的色度宏块帧内 预测，并且为每一种预测方式提供多种预测模式。对于变化相对较大、包含多 个不同对象的区域，显然需要更小的块分割和更多可选的预测模式，以提供足 够的预测精度，因此4 4 亮度块帧内预测共有9 种预测模式；而在图像平坦区 域使用1 6 1 6 亮度块帧内预测，预测值和原始值是很接近的，这就可以节约很 6 多的比特数；同时人眼视觉系统对色度变化的敏感性低于亮度变化，因此对 1 6 1 6 亮度宏块帧内预测和8 8 色度宏块帧内预测，所需预测模式共只有4 种。 2 2 2 多种块模式的帧间预测 与先前的视频编码标准类似，h 2 6 4 也使用了块匹配的帧间预测以消除视 频序列的时域冗余。在过去的标准中定义了两种块的大小，以象素为单位，分 别是1 6 1 6 和8 8 的正方形块。但由于视频图像的复杂性，在较大的块中可能 包含多个具有不同运动状态和不同形状的对象。特别是在运动剧烈的局部区域 中，用1 个( 1 6 1 6 ) 或4 个( 8 8 ) 运动矢量并不能准确的描述一个宏块全部 的运动细节。 为了更准确的描述宏块的运动细节，h 2 6 4 中定义了7 种不同尺寸和形状 的宏块和亚宏块分割，分别为：1 6 1 6 ，1 6 8 ，8 1 6 ，8 8 ，8 4 ，4 8 ，4 4 ， 通过率失真优化( r a t ed i s t o r t i o no p t i m i z a t i o n ) 来选择不同的块尺寸。这样对于 一个宏块，在不同的块模式下。可以用1 个或最多1 6 个运动矢量来描述，并且 块的形状可以是正方形或矩形的。这种更小的、更多形状的宏块分割，可以改 善运动补偿的精度，更好的实现运动隔离，提高图像质量和编码效率1 4 】。 2 2 31 ，4 和l ，8 精度的运动估计 运动估计是利用视频图像的时域相关性，产生相应的运动矢量，尽