（计算机应用技术专业论文）基于图像能量谱特性的h264帧内预测算法研究.pdf

顺i 学f ? ，论乏 !iii，li一i _i i i i _ , , ! 摘要 h 2 6 4 a v c 标准是由i s o i e c 的运动图像专家组( m p e g ) 和i t u 的视频编码专 家组( v c e g ) 宝h 成的联合视频专家组共同制定的最新视频编码标准。h 2 6 4 标准引 入了许多先进的视频压缩编码技术和思想，使其具有更高的编码效率、更好的压 缩效果和网络友好性。但是，h 2 6 4 的高压缩编码效率是以很高的计算复杂度为代 价的，其编码复杂度约为m p e g 4 的1 0 倍以上，这就限制了h 2 6 4 标准在实时领域 的应用。因此，在实际应用中必须要在保证一定视频质量的情况下进行算法优化 来降低其计算复杂度、提高编码效率。 本文首先简要介绍视频编码技术的基本原理和两大系列数字视频编码标准 h 2 6 x 和m p e g x 的发展过程及国内外研究现状。接着，对h 2 6 4 编码标准的编解 码器结构及主要技术特点进行介绍，然后，分析了h 2 6 4 编码器的性能和算法复杂 度，并对h 2 6 4 标准的帧内预测技术进行了深入研究。 最后，在对己有的帧内预测算法进行详细分析的基础上，本文提出了一种基 于图像能量谱特性的帧内预测算法，该算法可以根据图像能量谱特性将最可能的 预测模式作为最终的预测结果，提前终止预测模式选择过程，降低预测复杂度， 提高编码速度。本文采用h 2 6 4 校验模型j m1 3 2 作为实验平台，将本文提出的快速 算法与全搜索算法进行性能比较。实验结果表明，本文提出的快速算法在保证图 像质量和编码码率的前提下，极大地提高了编码效率。 关键字：视频编码；h 2 6 4 ；帧内预测；图像能量谱 基于图像能量谱特性的h 2 6 4 帧内预测算法研究 曼鼍詈曹皇i ii i li ii ii l lii lm 曼曼鲁曹鼍曼皇量寡 a b s t r a c t h 2 6 4 a v cs t a n d a r di st h el a t e s tv i d e oc o d i n gs t a n d a r df o r m u l a t e db yt h ej o i n t e x p e r tg r o u pc o m p o s e db yt h em o v i n gp i c t u r ee x p e r t sg r o u p ( m p e g ) o ft h ei s o i e c a n dt h ev i d e oc o d i n ge x p e r t sg r o u p ( v c e g ) o ft h ei t u h 2 6 4s t a n d a r di n t r o d u c e sa n u m b e ro fa d v a n c e dv i d e oc o d i n gt e c h n i q u e sa n di d e a s ，s ot h a ti th a sah i g h e rc o d i n g e f f i c i e n c y ，ab e t t e rc o m p r e s s i o na n dn e t w o r k f r i e n d l y h o w e v e r ，t h eh i g hc o d i n g e f f i c i e n c yo ft h eh 2 6 4i sc o m i n gw i t hh i g hc o m p u t a t i o n a lc o m p l e x i t y t h ec o d i n g c o m p l e x i t yo ft h eh 2 6 4i sa b o u t1 0t i m e sm o r et h a nt h em p e g 一4 ，w h i c hl i m i t st h e a p p l i c a t i o no ft h eh 2 6 4s t a n d a r di nt h ef i e l do ft h er e a lt i m e t h e r e f o r e ，i ti se s s e n t i a l t or e d u c et h ec o m p u t a t i o n a lc o m p l e x i t ya n d e n h a n c et h ec o d i n ge f f i c i e n c ya c c o r d i n gt o o p t i m i z i n gt h ea l g o r i t h mw h i l ek e e p i n g t h ev i d e oq u a l i t yi nt h ea p p l i c a t i o n f i r s t ，t h i sp a p e rp r o v i d e sab r i e fo v e r v i e wo ft h ef u n d a m e n t a lt e c h n o l o g yo ft h e v i d e oe n c o d i n ga n dt h ed e v e l o p m e n tp r o c e s so ft w os e r i e so fd i g i t a lv i d e oc o d i n g s t a n d a r dn a m e dh 2 6 xa n dm p e g xa n dt h ec u r r e n tr e s e a r c hb o t ha th o m ea n da b r o a d a n dt h e nt h es t r u c t u r eo ft h ec o d e ca n dt h em a i nf e a t u r e so ft h eh 2 6 4e n c o d i n g s t a n d a r da r ed e s c r i b e d f i n a l l y ，a n a l y z i n gt h ee n c o d e rp e r f o r m a n c ea n da l g o r i t h m c o m p l e x i t yo ft h eh 2 6 4a n dd o i n gr e s e a r c hd e e p l yo nt h ei n t r ap r e d i c t i o nt e c h n o l o g y o ft h eh 2 6 4s t a n d a r d f i n a l l y ，t h i sp a p e rp r o p o s e dai n t r ap r e d i c t i o na l g o r i t h mo fh 2 6 4b a s e do nt h e c h a r a c t e r i s t i co fi m a g ep o w e rs p e c t r a lo nt h eb a s i so fa n a l y z i n gt h ec u r r e n ti n t r a p r e d i c t i o na l g o r i t h mf o rd e t a i l ，w h i c hc a ns e tt h em o s tl i k e l yp r e d i c t i o nm o d e la st h e f i n a l p r e d i c t i o n m o d e l a c c o r d i n g t ot h es t a t i s t i c a lc h a r a c t e r i s t i c so ft h e e n e r g y s p e c t r u mo ft h ei m a g e t h ep r o p o s e da l g o r i t h mc a na b o r tt h es e l e c t i n gp r o c e s so f p r e d i c t i o nm o d e le a r l ya n dr e d u c et h ec o m p l e x i t ya n di m p r o v et h ec o d es p e e d t h i s p a p e ru s e st h ev e r i f i c a t i o ns o f t w a r eo ft h eh 2 6 4n a m e dj m1 3 2 a st h ee x p e r i m e n t a l f o u n d a t i o n t h e np r o v i d i n gac o m p a r i s o no ft h ep e r f o r m a n c ef o rt h ef u l ls e a r c h a l g o r i t h ma n dt h ep r o p o s e da l g o r i t h m e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e d a l g o r i t h mc a ni n c r e a s ec o d i n ge f f i c i e n c yd r a m a t i c a l l yw h i l ek e e p i n gag o o di m a g e q u a l i t ya n de n c o d i n gr a t e k e y w o r d s ：v i d e oc o d i n g ；h 2 6 4 ；i n t r ap r e d i c t i o n ；p o w e rs p e c t r ao ft h ei m a g e h 顺卜t | 论文 插图索引 图1 1 混合编码模型4 图1 2 视频编码系统结构4 图1 3 国际视频编码标准发展进程表5 图2 1h 2 6 4 标准的层次结构一1 0 图2 2h 2 6 4 标准的码流结构图1 1 图2 3h 2 6 4 编码器1 2 图2 4h 2 6 4 解码器1 3 图2 5h 2 6 4 标准的宏块分割1 4 图2 6h 2 6 4 标准的子宏块分割1 4 图2 7h 2 6 4 多参考帧预测1 5 图2 8 整数变换及量化过程一1 6 图2 9c a b a c 编码流程1 9 图3 。14 4 块中像素及其相邻像素2 1 图3 2i n t r a4 x 4 帧内预测模式2 2 图3 3i n t r a1 6 x 1 6 预测模式2 3 图3 4h 2 6 4 标准帧内预测编码算法流程图2 6 图3 5 模式空间相关性2 7 图3 64 x 4 亮度块预测模式方向示意图2 8 图4 1 自然图像的自相关函数图3 2 图4 2 具有不同空间频率的图像3 2 图4 3 多幅自然图像的平均能量谱与空间频率的关系3 4 图4 4 多幅自然图像的平均能量谱与朝向的关系3 5 图4 5i n t r a4 x 4 子块改进算法流程图3 9 图4 6h 2 6 4 帧内预测编码优化算法流程图3 9 图4 7 快速算法与全搜索算法编码时间对比结果4 2 i i i 萆t i 矧侮能节谱特件的h 2 6 t 帧内预洲算法研究 附表索引 表2 1h 2 6 4 的量化步长对应表1 8 表3 1i n t r a4 x 4 亮度预测模式2 1 表3 2i n t r a1 6 x 1 6 亮度预测模式2 3 表3 3g 0 1 3 算法待选模式数量2 9 表4 1 最佳模式统计一3 6 表4 2i n t r a4 x 4 子块各预测模式作为最佳模式比例3 7 表4 3 快速算法同全搜索算法的性能比较统计表4 1 i v 预 j 学f ? ，论迂 曼曼皇舅皇皇皇曼曼蔓! 曼! 皇皇! 曼曼皇曼! ! ! 曼皇曼! ! 皇皇皇皇曼曼! ! 曼! 曼曼曼曼曼皇曼i ii l l 曼曼曼皇曼鼍曼曼皇曼曼曼曼曼! 曼曼皇曼蔓曼曼! 兰! 蔓 符号及缩略语 v c e g ：v i d e oc o d i n ge x p e r t sg r o u p a v c ：a d v a n c e dv i d e oc o d i n g c c i t t ：c o n s u l t a t i v ec o m m i t t e eo ni n t e r n a t i o n a l t e l e g r a p h ya n dt e l e p h o n y i s 0 ：i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n i e c ：i n t e r n a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n i t u ：i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n j v t ：j o i n tv i d e ot e a m j p e g ：j o i n tp h o t o g r a p h i ce x p e r t sg r o u p m p e g ：m o v i n gp i c t u r ee x p e r t sg r o u p d p c m ：d i f f e r e n t i a lp u l s e c o d em o d u l a t i o n m e ：m o t i o ne s t i m a t i o n m c ：m o t i o nc o m p e n s a t i o n e e ：e n t r o p ye n c o d i n g r l e ：r u nl e n g t he n c o d i n g h e ：h u f f m a ne n c o d i n g a e ：a r i t h m e t i ce n c o d i n g d c t ：d i s c r e t ec o s i n et r a n s f o r m v h s ：v i d e oh o m es y s t e m a v o ：a u d i ov i s u a lo b j e c t v c l ：v i d e oc o d i n gl a y e r n a l ：n e t w o r ka b s t r a c t i o nl a y e r u v l c ：u n i v e r s a lv a r i a b l el e n g t hc o d i n g c a b a c ：c o n t e x t - a d a p t i v eb i n a r ya r i t h m e t i cc o d i n g r d o ：r a t e d i s t o r t i o no p t i m i z a t i o n s a d ：s u mo fa b s o l u t ed i f f e r e n c e s s a t d ：s u mo fa b s o l u t et r a n s f e rd i f f e r e n c e s p s n r ：p e a rs i g n a ln o i s er a t i o v 视频编码专家组 高级视频编码 国际电报电话咨询 委员会 国际标准化组织 国际电工委员会 国际电信联盟 联合视频专家组 联合图像专家组 运动图像专家组 差值脉冲调制编码 运动估计 运动补偿 熵编码 行程编码 哈夫曼编码 算术编码 离散余弦变换 家用视频系统 视听对象 视频编码层 网络抽象层 统一的可变长编码 基于内容的自适应 二进制算术编码 率失真优化 绝对误差和 绝对变换差和 峰值信噪比 兰州理工大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的 研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均 已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名：主。j 易繁 日期：汐匆年月日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权兰州理工大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同 时授权中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据 库，并通过网络向社会公众提供信息服务。 日期：加加年月日 日期：矽矽年月多日 硕十伊沦文 第1 章绪论 随着计算机技术和多媒体网络通讯技术的兴起和快速发展，数字视频编码技 术在人们同常生活中起到了越来越重要的作用。纵观新一代蓬勃发展起来的高新 技术，如宽带网络通信、网上可视商务、网上会议等，这些高科技都包含一个共 同的技术一一以音视频为主要内容的信息编解码压缩技术。随着h 2 6 4 a v c 标准 的制定出台，视频编解码技术作为计算机多媒体技术的一个分支，己经成为国际 上研究的热点。 1 1 课题研究背景 2 1 世纪是一个信息化的时代，随着i n t e r n e t 和移动通信技术的迅猛发展，多 媒体通信技术在世界范围内获得了更加广泛的应用。如网上可视商务、网上政务、 网上学校、网上购物、网上远程医疗、网上会议、可视咨询等业务，与此同时， 如数字影院和移动视频等新的应用仍在不断出现，并以惊人的速度增长。 研究表明，人类通过视觉获取的信息量约占信息总量的7 0 ，视频信息是人 类获取和交流信息最主要的媒体，具有直观性和可信性等优点。因此，视频信息 在多媒体信息中占有重要地位。作为一种应用最广泛的多媒体信息，视频信息经 数字化处理后具有易加密、抗干扰能力强等优点，与此同时，海量数据也随之而 来，这就对通信网络和信息存储设备提出了更高的要求。 图像编解码技术的不断进步推动了视频压缩编码技术的发展，从传统的预测 和变换编码技术、熵编码技术到现在的小波变换、神经网络等新编码技术。当今 世界，许多致力于研究高效视频压缩编码方法的研究工作者陆续提出了一些具有 新意的视频压缩编码思想和方法，与此同时，国际标准化组织( i s o i e c ) 和国际 电信联盟( i t u t ) 两大国际组织也参与到有关视频编码标准制定的工作中。如国 际标准化组织成立的联合图像专家组j p e g ( j o i n tp h o t o g r a p h i ce x p e r tg r o u p ) 先后 制定了关于图像压缩编码标准j p e g 标准和j p e g2 0 0 0 标准；运动图像专家组 m p e g ( m o v i n gp i c t u r ee x p e r t sg r o u p ，m p e g ) 先后完成制定了关于视频( 运动图像) 压缩编码标准m p e g 1 i 1 】m p e g 2 i2 1 、m p e g 4 1 3 】、m p e g 7 f 4 1 和m p e g 2 1 标准的 制定；国际电信聪明( i t u t ) 成立的视频编码专家组( v i d e oc o d i n ge x p e r t sg r o u p ， v c e g ) 先后制定了h 2 6 1 15 1 ，h 2 6 3 6 】和h 2 6 3 + 1 7 】等一系列国际数字视频压缩编码 标准；国际标准化组织( i s o i e c ) 币i 国际电信联盟( i t u t ) 成立的联合视频专家组 ( j o i n tv i d e ot e a m ，j v t ) 联合制定的h 2 6 4 1 8j f 9 】标准，既是i t u t 的h 2 6 4 ，也是 i s o i e c 的m p e g 4 高级视频编码( a d v a n c e dv i d e oc o d i n g ，a v c ) 标准的第1 0 部 荩丁图像能节谱特性的h 2 6 4 帧内预洲算法研究 分。这些国际标准的制定极大地推动了视频编码技术的发展，作为多媒体技术的 核心及关键，视频压缩编码技术将成为未来多媒体通信技术的重点研究领域之 一o 1 2 视频编码技术概述 1 2 1 视频压缩编码原理和方法 根据人类的视觉特性，在单位时间( 这里指一秒) 内连续播放2 5 , - 一3 0 张的静止 的图像序列，才会使人眼感觉看到的图像是连续的。通常说的视频是指在单位时 间内连续播放的相互间差异很小的静止图像序列，其中的每一张静止图像叫做 帧( f r a m e ) 。视频压缩编码的目的是用尽量少的比特位来表示视频信息同时又尽量 不影响其视觉效果，使得原本巨大的视频信息量减少，以便于存储或传输。 视频序列中包含大量如时间冗余、空间冗余、视觉冗余、结构冗余【1 0 】等高 度相关的冗余信息。视频压缩编码技术主要是从时域、空域两方面去除冗余信息。 为了取得较好的压缩编码效果，在实际应用中，人们采用不同的压缩编码技术对 不同类型的冗余信息进行压缩。 ( 1 ) 空间冗余及其消除技术 空间冗余是指视频序列中一帧图像内相邻或相近像素之间具有的相关性，从 而产生了空间冗余，空问相关性又称为帧内相关性。 对于空间冗余，主要采用帧内预测编码方法和差值脉冲调制编码( d p c m ) 方 法来消除。帧内预测编码技术采用的压缩编码思想如下：对某一采样点的数值进 行预测时，首先要用到与当前被预测采样点所在同一行的i j 一采样点的取值，然 后还要用到位于被预测采样点上一行与之相邻的采样点的取值，有时还会用到被 预测采样点上一行与之相邻采样点的前一采样点取值。这样做的目的是使预测值 与实际的采样值更加接近，预测误差值会变的更小甚至为零，从而降低视频信号 信息量。差值脉冲调制编码技术是利用相邻采样点之间具有较强的相关性的特 点，在编码器中，记录与传输的数据是当前采样值与前一采样值的差值，而不是 每一采样点的取值。最后，采用零游程编码对传送的差值进行编码可以极大地提 高数据压缩率。 ( 2 ) 时间冗余及其消除技术 时间冗余是指视频序列中相邻图像相应位置的像素之间具有的相关性。一般 情况下，个视频序列的相继帧都是连续的，当前帧与其前后两帧往往包含相同 的背景和对象，因此视频序列在时域上存在极强的相关性，时间相关性又被称为 帧间相关性。 消除时间冗余主要采用运动估计和运动补偿技术。通常情况下，运动估计 2 硕卜学伊论文 iui _ 1 i。mi l l ! 曼曼曼曼曼! 曼曼曼曼皇 ( m o t i o ne s t i m a t i o n ，m e ) 和运动补偿( m o t i o nc o m p e n s a t i o n ，m e ) 技术不能单独应 用于编码器中，m e 和m c 与各种其它视频压缩编码技术组合在一起才能构成完整 的编码器。运动估计和运动补偿技术的具体思想就是先将当前图像分割成互不重 叠的图像子块，然后为每一图像子块在前一帧图像或后帧图像内搜索与之匹配 的图像块。即为当前图像中的每个图像子块寻找一个合适的运动矢量，这个运动 矢量是由当前帧的图像子块与参考图像中的图像子块相减得到，这样就会得到象 素值很小的差值图像块。从而获得更高的编码效率。 ( 3 ) 视觉冗余及消除技术 视觉冗余是相对于人眼的视觉特性而言的。人眼足图像重建最终结果的接收 者，因此可以利用人眼的视觉特性来获得较高的压缩比。人眼对于图像的视觉特 性包括：非均匀性、非线性、对图像水平线条和垂直线条比对斜线敏感、对亮度 信号比对色度信号敏感及对低频信号比对高频信号敏感等。 消除视觉冗余的主要采用变换编码技术。采用变换编码技术消除视觉冗余信 息是利用人眼对低频信号比对高频信号敏感这一特性。变换编码技术的基本思想 是，先将一幅原始图像分成若干个互不重叠的图像子块，然后利用人眼的特性对 每一个图像子块进行变换编码，包括将图像子块左上角的低频信号系数设置成较 小的量化步长，将高频信号系数设置成较大的量化步长。经过变换后，图像子块 大多数的系数都变成零，然后结合z 型扫描和零游程编码技术，可以实现视频序 列压缩的目的。 ( 4 ) 统计冗余及消除技术 统计冗余是指数据重复出现的概率。 消除统计冗余主要采用熵编码( e n t r o p ye n c o d i n g ) 技术。熵编码技术的主要目 标就是获得较短的平均码长。熵编码技术的基本原理是对出现概率较小的符号用 较长的码字来表示，对出现概率大的符号用较短的码字来表示，以获得较短的平 均码长，这样就达到了减少数据占用空间、提高数据压缩率的目的。由此可见， 如果需编码符号出现的概率分布越集中，那么熵编码技术的压缩编码效率就越 高。作为无损压缩编码技术，熵编码常用的方法包括行程编码( r u n 1 e n g t h e n c o d i n g ，r l e ) 、哈夫曼编码( h u f f m a ne n c o d i n g ，h e ) 、算术编码( a r i t h m e t i c e n c o d i n g ，a e ) 和香农( s h a n n o n ) 编码等。 ( 5 ) 混合编码 在m p e g 1 、m p e g 4 、h 2 6 1 和h 2 6 3 等视频标准中通常是将前面介绍的变 换编码、运动估计、运动补偿和熵编码等方法结合在一起构成一个整体编码框架， 以达到最好的压缩效果。混合编码的模型如图1 1 所示。 荩丁罔侍能节讲特性的h 2 6 1 帧内了哽洲算法研究 曼曼曼曼舅! 曼曼曼! 曼曼曼曼! 皇! 曼! 曼鼍曼! 曼! 曼曼! 曼曼曼曼曼曼曼鼍曼鼍曼i ii i _ = i 曼! 曼曼! ! ! 曼! 曼曼曼! 曼曼曼皇! 曼曼曼曼! ! 曼鼍曼曼皇 图1 1 混合编码模型 1 2 2 视频编码的基本结构 传统的视频压缩编码是以香农的信息论【1 1 】为理论根据，采用统计概率模型 来描述信源，对像素或像素块进行编码。视频编码系统的基本结构如图1 2 所示： 磊运磊j i 解码器i i j 图1 2 视频编码系统结构 根据视频编码方法采用的信源模型，视频编码可以分为两大类：基于波形的 编码和基于内容的编码。它们利用不同的压缩编码方法，得到相应的量化前参数， 再对这些参数进行量化，然后用二进制数表示其量化值，最后进行无损熵编码进 一步压缩码率。解码器为编码器的逆过程。 1 2 3 视频压缩编码标准 目前，视频压缩编码技术领域有两个主要的标准化组织：面向电信行业的国 际电信联盟( i t u ) 和面向贸易产业的国际标准化组织( i s o ) 。自上世纪8 0 年代中期 至今，两个组织制定了一系列国际视频编码标准。图1 3 描述了国际视频编码标 准发展的进程表。 4 硕十。伊论文 曼曼! ! ! ! 曼曼曼曼! 曼曼曼寰i i i ； l o i t u t 标准 h2 6 1 h2 6 3h2 6 3 +h2 6 3 + + 。i 船e g 标准 m 咿e g 1h 仰e g 4n 口e g 一7 ll 1 9 9 4 2 0 0 02 0 0 2舢 图1 3 国际视频编码标准发展进程表 i t u t ( n 际电信联盟) 和i s o i e c ( 雪际标准化组织) 针对不同的实际应用制定 和颁御了一系列国际视频编码标准。其中，i t u t 制定的标准包括h 2 6 1 、h 2 6 3 和h 2 6 4 。h 2 6 x 标准主要应用于实时视频通信领域，如网上视频会议。i s o i e c 制定的标准包括m p e g 1 、m p e g 2 、m p e g 4 、m p e g 7 、m p e g 2 1 。m p e g x 标准主要应用于视频存储( v c d 、d v d ) 和因特网等。两个组织也共同制定了一些 标准，如h 2 6 2 标准相当于m p e g 2 ，h 2 6 4 标准相当于m p e g 4 的第1 0 部分。这 些标准追求的共同目标：一、保持低码率尽；二、获得高质量的图像。下面本文 将简要介绍上文提到的几种国际视频编码标准。 ( 1 ) h 2 6 x 系列标准 h 2 6 1 标准是由i t u t 第1 6 研究组制定并于1 9 9 0 正式颁布。h 2 6 1 全称为 “p x 6 4k b i t s 视听业务的视频编解码器”，其中p = l 3 0 ，用来根据传输线路的 带宽调整图像质量标准，主要应用于面向综合业务数字网( i s d n ) x _ i k 务。h 2 6 1 标 准是基于图像块的混合编码系统，该标准将预测编码、变换编码和熵编码技术有 机地融合在一起形成了一个统一的模式。h 2 6 1 标准作为第一个正式颁布的国际 数字视频编码标准，无论从理论层面还是技术层面，都为其后的其它相关标准奠 定了良好的基础。 h 2 6 2 是由i t u t 的v c e g 组织和i s o i e c 的m p e g 组织联合制定的，所以制定 完成后分别成为了两个组织的标准，正式名称是“i t u t 建议h 2 6 2 ”和“i s o i e c 1 3 8 1 8 2 ”。目前，该标准已经成功应用在数字电视、d v d 、数字广播等诸多领 域。 h 2 6 3 标准是由i t u t 于1 9 9 6 年正式颁布。h 2 6 3 标准主要是针对低码率通信 而设计，在大多数的实际应用中可以代替h 2 6 1 标准。h 2 6 3 标准所采用的编码算 法是在h 2 6 1 标准的基础上进行改进。与h 2 6 1 相比，h 2 6 3 能够在更低的速率情 况下提供更好的图像质量。i t u t 于1 9 9 8 年正式公布的h 2 6 3 + 和其后的h 2 6 3 + + 是h 2 6 3 的改进版本，目前已成为视频会议的主要标准并能广泛应用于其它视频 应用领域。 h 2 6 4 标准是由i t u t 于1 9 9 8 年开始制定的，m f e g 组织于2 0 0 1 年底加入 5 萆丁像能 l 谱特性的h 2 8 4 帧i 大j 预洲算法研究 i t u t 组织并与之组成了联合视频专家组( j o i n tv i d e ot e a m ，j v t ) 。由联合视频专 家组( j v t ) 起草的h 2 6 4 草案于2 0 0 3 年3 月正式获得通过，该标准也被称作 h 2 6 4 a v c 或m p e g 4p a r t1 0 。与以往的标准一样，h 2 6 4 也是基于d p c m j j l l 变换 编码的混合编码模式。该标准集中了以往标准技术的优点并采用“回归基本”的 简洁设计来降低编码复杂度、采用“网络友好”的结构和语法来加强对各种信道 的适应能力，满足不同速率和不同传输场合的需求。h 2 6 4 标准的主要特点包括 更高的编码效率、高质量视频画面、网络友好性、混合编码结构、错误恢复功能、 较高复杂度等。 ( 2 ) m p e g x 标准 m p e g 标准主要有以下五个，m p e g 1 、m p e g 2 、m p e g 4 、m p e g 7 和 m p e g 2 1 。m p e g 标准的视频压缩编码技术主要利用了具有运动补偿的帧间压缩 编码技术以减小时间冗余度，利用d c t 技术以减小图像的空间冗余度，利用熵编 码技术减小统计冗余度。这几种技术的综合运用，大大增强了压缩性能。m p e g 的每个标准都侧重于不同的应用。 m p e g 1 是由i s o 的m p e g 组织制定的第一个视频和音频有损压缩标准。视频 压缩算法于1 9 9 0 年定义完成，1 9 9 2 年底，m p e g 1 正式被批准成为国际标准。 m p e g 1 标准共分为音频、视频和系统三部分，为工业级标准而设计，它可针对s i f 标准分辨率的图像进行压缩，传输速率为1 5 m b i t s s ，每秒播放3 0 帧，具有c d ( 激 光唱盘1 音质，质量级别基本与v h s ( v i d e oh o m es y s t e m ) 相当。m p e g 1 是v c d 的主要压缩标准，同时也被广泛应用于数字电话网络上的视频传输，如视频点播 ( v o d ) 等。m p e g 1 的主要特点包括随机访问，灵活的帧率、可变的图像尺寸、 定义了i 帧、p 帧和b 帧、运动补偿可跨越多个帧、1 2 像素精度的运动向量等。 m p e g 2 标准是由m p e g 专家组和i t u t 的第1 6 研究组于1 9 9 4 年共同制定的， 全称为“运动图像及其伴音的编码”，也被称为h 2 6 2 建议。m p e g 2 最高可支持 4 0 m b i t s s 的速率，由于m p e g 2 的出色性能表现，已能适用于h d t v ( h i g h d e f i n i t i o nt e l e v i s i o n ) ，使得原打算为h d t v 设计的m p e g 3 ，还没问世就被放弃 了( m p e g 3 要求传输速率在2 0 m b i t s s 4 0 m b i t s s f n j ) 。m p e g 2 标准首次引入了档 次( p r o f i l e s ) 和等级( l e v e l s ) 的概念、支持隔行视频的各种算法、编码的可分级性 技术等。在功能上，m p e t 2 完全兼容m p e g 1 。m p e g 2 标准被广泛应用于d v d 、 高清晰度电视( h d t v ) 、卫星广播业务( b s s ) 、视频点播系统( v o d ) 等。 m p e g 4 标准是m p e g 专家组继m p e g 1 和m p e g 2 标准后于1 9 9 9 年4 月推出 的国际标准。m p e g 4 标准首次引入了基于视听对象1 1 2 1 ( a u d i o v i s u a lo b j e c t ， a v o ) 的编码理念，即在编码时将一幅景物分成若干在时间和空间上相互联系的 视频音频对象，分别编码后，再经过复用传输到接收端，然后再对不同的对象分 别解码，从而组合成所需要的视频和音频。与以往的m p e g 系列标准不同的是， 6 硕1 j 学伊论文 m p e g 一4 标准不但在一定比特率可以对音视频压缩编码，而且该标准更加注重交 互性与灵活性，从理论上完成了从基于像素的编码向基于对象的编码的过渡。 m p e g 4 可应用于低比特率下的移动多媒体通信、基于内容存储和检索的多媒体 系统、d v d 上的交互多媒体应用等方面。m p e g 4 是新一代基于内容的多媒体数 据压缩编码国际标准，它与传统视频编码标准的最大不同在于第一次提出了基于 对象的视频编码新概念。基于内容的交互性是m p e g 4 标准的核心思想，这对于 视频编码技术的发展方向及广泛应用都具有特别重要的意义。 m p e g 7 标准并不是一种压缩编码方法，其正规名字叫做“多媒体内容描述 接口 ( m u l t i m e d i ac o n t e n td e s c r i p t i o ni n t e r f a c e ) ，其目标就是产生一种描述多媒 体内容数据的标准，满足实时、非实时及其推广应用的需求。m p e g 7 主要用于 帮助运营者管理同益丰富的多媒体信息。 m p e g 2 1 标准是m p e g 专家组于1 9 9 9 年1 0 月提出的，同年1 2 月，m p e g 会议 确定m p e g 2 1 的正式名称是“数字视听框架”。m p e g 2 1 标准的目标就是将标 准集成起来支持协调技术以管理多媒体商务。 1 2 4 国内外研究现状 h 2 6 4 标准是目前j v t 制定的编码效率高，网络适应性强的最新视频编码标 准。统计表明，在相同的码率情况下，h 2 6 4 能够获得最好的编码效率和图像质 量。除此之外，h 2 6 4 t e 常适于低带宽高质量网络视频应用的需要，尤其在低码 率视频编码方面；在相同图像质量情况下，h 2 6 4 比m p e g 4 简单配置节省近5 0 的码率i 引。 h 2 6 4 标准的优异编码性能是建立在其高复杂度的算法基础上。由于h 2 6 4 标准中引入了多种新的编码技术，如采用了从4 4 到1 6 x 1 6 的7 种预测块模式；多 参考帧预测模式和高精度运动矢量( 1 4 像素精度) ；与量化相结合的整数稀疏变 换；基于上下文的变长编码( c a v l c ) 和算术编码( c a b a c ) 等。同时，h 2 6 4 采用 了率失真优化( r a t e d i s t o r t i o no p t i m i z a t i o n ，r d o ) 技术来获得最好的编码效率， 这就意味着编码器要花费大量的时间来判断帧内和帧间预测模式组合的可能性。 h 2 6 4 标准采用的高复杂编码算法使得该标准还不能广泛地应用于面向实时传输 的视频压缩应用领域，因此，提高h 2 6 4 编码效率成为目前视频编码中十分重要 的技术问题。 通过对h 2 6 4 编码器各个模块使用的算法复杂度进行分析可知，帧内预测、 帧间预测及模式决策三个模块的运算量占整个运算量的6 0 7 0 。所以，如果要 对h 2 6 4 编码器进行优化，就必须先对预测和模式决策模块进行优化。近年来， 很多致力于提高视频编码效率的研究者提出了很多能够提高h 2 6 4 编码效率的快 速算法。针对h 2 6 4 运动估计过程中计算量过大的问题，从最早的全搜索，到三 7 荩丁图像能廿谱特一件的h2 6 4 帧内预洲算法研究 步法，钻石型搜索算法，六边形搜索算法以及由此衍生的其它一些快速运动搜索 算法【1 3 h 14 1 。这些快速算法可以大幅度地节省帧内预测、帧间预测和模式决策所 花费的时间，提高了h 2 6 4 的编码效率。因此，提高帧内编码效率成为目f j 亟待 解决的最重要的问题。 目前，减小帧内预测复杂度的方法大体上可分为三类：第一类是简化代价函 数；第二类是缩小预测模式选择的范围；第三类是对快速选择算法进行结构优化。 本文将在第三章对上述三类减小帧内预测复杂度的方法及具体算法做出比较详 细的介绍。 1 3 课题研究目的和意义 h 2 6 4 标准是目前应用最广泛的一种视频压缩编码标准。h 2 6 4 采用了许多新 的压缩技术，其正面效应就是使其在压缩效率和网络适应性方面都有了很大程度 的改善和提高，其负面效应就是采用新的压缩技术产生了巨大的计算量，使得 h 2 6 4 还不能真正达到实际应用的要求。 本文针对h 2 6 4 的运算复杂度高的问题，从空间复杂性方面来优化h 2 6 4 ，通 过研究新的快速预测算法来减少帧内预测编码时间，提高h 2 6 4 的实时性，具有 很重要的现实意义。 1 4 本文主要工作和内容安排 本文以h 2 6 4 国际视频编码标准为研究对象。在对h 2 6 4 标准算法进行深入研 究的基础上，通过对h 2 6 4 标准帧内编码的复杂度和现有主要的帧内预测算法的 研究，对h 2 6 4 帧内预测模式决策部分进行优化。下面简要介绍一下本文所做的 主要工作： ( 1 ) 收集并整理相关资料，阅读大量关于h 2 6 4 标准的文献和开源参考软件 j m