（通信与信息系统专业论文）hevc若干关键技术研究.pdf

摘要 摘要 随着信息技术和互联网的发展，视频编码技术广泛应用于通信、计算机、广播 电视等领域。在众多视频编码协议中，以h 2 6 4 视频编码协议的效果最为突出，并 已经作为最有影响力的行业标准被广泛应用。随着人们对视频编码质量的需求越 来越高，h 2 6 4 已经不能很好的适应。因此，h e v c 作为下一代视频编码协议开始 被研究，并将作为下一代视频编码标准有望在2 0 1 2 年被推出。 h e v c 的目标是给音视频服务提供更好的编码方法。h e v c 标准围绕着现有的 h 2 6 4 视频编码标准，保留原来的某些技术，同时对一些相关的技术加以改进。具 体的研究内容包括：提高压缩效率、提高鲁棒性和错误恢复能力、减少实时的时 延、减少信道获取时间和随机接入时延、降低复杂度等。因此，为了满足更高的 视频编码需要，h e v c 协议的研究具有重要的意义。 论文的主要工作及取得的研究成果如下： 1 提出了一种多扫描双向参考的快速帧内预测算法。首先通过边缘相关性选取最 优的扫描模式，然后通过预处理和简化的率失真模型确定最终的预测模式，并用 这些预测模式进行编码，大幅度的提高了编码性能。仿真结果表明，与双扫描双 向参考帧内预测算法相比，该算法在大幅度减少编码时间的情况下，不但降低了 输出码率2 7 4 ，而且提高了重建图像的平均p s n r 。 2 提出了一种自适应预测残差和量化矩阵的码率控制算法。该算法首先根据宏块 梯度方向权值和简化率失真模型，确定是否对宏块进行d c t ；然后通过新的比特 分配模型计算宏块的量化参数，并通过坡度加权确定宏块的坡度系数，最终根据 得到的量化参数和坡度系数计算宏块的量化矩阵，并使用该量化矩阵对宏块进行 编码。仿真结果表明，与h 2 6 4 基本单元层码率控制算法相比，该算法在严格控制 编码时间和输出码率的情况下，提高了p s n r 。 3 提出了一种最优对称性的快速自适应环路滤波算法。该算法首先根据区域对称 性和平均绝对差值门限确定最优的对称性滤波器；然后在i 帧中按照基于块与四叉 树的方法得到需要滤波的区域，在p 或b 帧中利用运动矢量、运动估计和率失真模 型得到需要滤波的区域；最后采用得到的最优对称性滤波器对这些区域进行滤波。 仿真结果表明，与基于块与四叉树的自适应环路滤波算法相比，在保证重建图像 质量的同时，本文算法的编码时间大幅度下降。 4 提出了一种快速多对称性自适应插值滤波算法。该算法根据区域对称性和简化 率失真模型计算出一种最优的对称性插值滤波器。仿真结果表明，与可变对称性 自适应插值滤波算法相比，该算法在大幅度减少控制编码时间的同时，进一步提 高了重建图像的p s n r 值，并降低了输出码率。 h e v c 若干关键技术研究 5 提出了一种基于分割采样的混合时空预测编码算法。在该算法中，每一帧首先被 分为4 个子帧；第一个子帧中的宏块根据率失真模型自适应的进行帧内或帧间预 测；其余子帧中宏块的预测模式在帧内预测、快速帧间预测、或空间插值预测中 进行合理的选择。仿真结果显示，该算法与传统h 2 6 4 编码相比，提高了编码性能。 针对提出的所有算法，论文都通过大量的软件仿真、测试，及与相对应算法的 比较来验证其有效性和先进性。 关键词：h e v c 帧内预测码率控制环路滤波插值滤波 a b s t r a c t a b s l r a c t w i t ht h ed e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g ya n d i n t e r n e t , d i g i t a lv i d e o t e c h n o l o g yi sw i d e l yu s e d i nc o m m u n i c a t i o n s ，c o m p u t e r , r a d i o ，t e l e v i s i o na n do t h e r f i e l d s v i d e oc o d i n gt e e h r l o l o g i e sh a sa l s ob e e na p p l i e dn x ) r ea n dm o r e i nv i d e oc o d i n g t e c h n o l o g i e s ，t h ep e r f o r r m n c eo fh 2 6 4 i st h em o s tp r o m i n e n t t h u s ，h 2 6 4v i d e o c o d i n gh a sb e e na p p l i e dw i d e l ya st h em o s ti n f l u e n t i a ls t a n d a r do fv i d e oc o d i n g w i t h t h ed e r m n df o rh i g h e rq u a l i t yv i d e o ，h 2 6 4h a sb e e nu n a b l et om a t c ht h ed e r m n d t h e r e f o r e ，a st h en e x tg e n e r a t i o nv i d e oc o d i n gs t a n d a r d ，h e v cv i d e oe n c o d i n gs t a r tt o b es t u d i e d ，a n di ti se x p e c t e dt ob eh u n c h e di n2 0 1 2 t h eg o a lo fh e v c i st op r o v i d eb e t t e re n c o d i n gm e t h o df o ra u d i oa n dv i d e o s e r v i c e s h e v cv i d e oc o d i n gs t a n d a r di sb a s e do n1 4 _ 2 6 4v i d e oc o d i n gs t a n d a r d i t h o l d ss o m e o r i g i n a lt e c h n o l o g i e so fh 2 6 4 ，a n di m p r o v e ss o m e o t h e rr e l a t e d t e c h n o l o g i e s t h es p e c i f i c r e s e a r c ho fh e v ci n c l u d e s ：i m p r o v i n gc o m p r e s s i o n e f f i c i e n c y ，i m p r o v i n gr o b u s t n e s s ，i n c r e a s i n ge r r o rr e c o v e r yc a p a b i l i t i e s ，r e d m i n gt h e t i m ed e l a y , r e d u c i n gt h ec h a n n e la c c e s st i m e , r e d u c i n gr a n d o ma c c e s sd e l a y , r e d u c i n g c o m p l e x i t ya n ds oo i l t h e r e f o r e ，i no r d e rt om e e tt h eh i g h e rn e e d so ft h e v i d e o c o d 蛔岛t h es t u d yo fh e v cv i d e oc o d i f l gi s 证岬r t a l 吐 t h er m i nc o n t n b u t i o n sa n di n n o v a t i o np o i n t so f t h et h e s i sa l ea sf o n o w s ： 1 t h em u l t i p t i c a t es c a n sa n db i - d i r e c t i o n a lr e f e r e m et i m ti n t r ap r e d i c t i o na l g o r i t h mi s p r o p o s e di nt h i sp a p e r f i r s t l y ，t h i sa l g o r i t h md e t e r m i n e so n eo rm o r es c a n n i n gm o d e s b yt h ef r i n g er e l a t i v i t y s e c o n d l y ，t h ef i n a li n t r ap r e d i c t i o nm o d e sa r ed e t e r m i n e db y p r e p m c e s sa n ds i m p l er a t ed i s t o r t i o no p t i m i z a t i o n ( r d o ) m o d e lt h es i m u l a t i o n r e s u l t ss h o wt h a tc o m p a r e dw i t hd o u b l es c a n n i n gm o d ea n db i - d i r e c t i o ni n t r ap r e d i c t i o n a l g o r i t h m , c o d i n gt i m ei sr e d u c e dg r e a t l y ，b i t r a t e i sr e d n c e da n dp e a ksi g n a ln o i s e r a t i o ( p s n r ) i si m p r o v e di nt h ep r o p o s e da l g o r i t h m 2 r a t ec o n t r o la l g o r i t h mf o ra d a p t i v ep r e d i c t i o ne l t o ra n dq u a n t i z a t i o nm a t r i xi s p r o p o s e di nt h i sp a p e r fi r s t l y ，t h i sa l g o r i t h md e t e r m i n e sw h e t h e rd i s c r e t ec o s i n e t r a n s f o r m ( d c di sd o n ef o rt h em a c r o b l o c k ( m b ) a c c o r d i n gt ot h eg r a d sd i r e c t i o n a l w e i g h to fr m c r o b l o c ka n ds i m p l e r a t ed i s t o r t i o nm o d e s e c o n d l y ，q u a n t i 2 a t i o n p a r a m e t e r ( q p ) i sd e t e r m i n e dt h r o u g han e wb i n a r yt a r g e tb i t sa l l o c a t i o nm o d e l ，a n dt h e s b p ec o e f f i c i e n ti sc a l c u l a t e db yt h ea v e r a g es l o p ew e i g h ti nt h em a c r o b l o c k f m a u y t h eq u a n t i z a t i o nm a t r i x , w h i c hi sd e t e r m i n e da c c o r d i n gt oq pa n ds b p ec o e f f i c i e n t , i s a p p l i e di nc o d i n gf o rt h en n m r o b b c k s i m u l a t i o n r e s u l t ss h o wt h a tc o m p a r e dw i t hr a t e h e v c 若干关键技术研究 c o n t r o la l g o r i t h mo fb a s i c - u n i ti nh 2 6 4 ，t h ep r o p o s e da l g o r i t h mr e s t r i c t sc o d i n gt i m e a n db i t r a t ed r a r m t i c a l l y ，m o r e o v e r , p s n ri si n c r e a s e d 3 f a s ta d a p t i v el o o pf i l t e ra l g o r i t h mw i t ht h eo p t i m a ls y m m e t r y ( f a l f _ o s ) i s p r o p o s e di nt h i sp a p e r f i r s t l y , t h i sa l g o r i t h md e t e r m i n e st h eo p t i m a ls y m m e t r yf i l t e r a c c o r d i n gt oa r e as y m m e t r ya n da v e r a g es u mo fa b s o l u t ed i f f e r e n c e ( s a d ) t h e nt h e f i l t e ra r e a sa r eo b t a i n e dt h r o u g ht h eb l o c k b a s e da n dq u a d t r e e b a s e dm e t h o di nif l a m e ， a n dt h ef i l t e ra r e a sa r eo b t a i n e dt h r o u g hm o t i o nv e c t o r ，m o t i o ne s t i m a t ea n dr d o m o d e li npo rbf r a m e fi n a l l yt h ef i l t e ra r e a sa r ef i l t e r e db yt h eo p t i m a ls y m m e t r yf i l t e r s i m u l a t i o nr e s u l t ss h o wt h a tc o r r p a r e dw i t hb b c k - - b a s e d a n dq u a d t r e e - b a s e da d a p t i v e l o o pf i l t e ra l g o r i t h m ( b q _ a l f ) ，t h ep r o p o s e da l g o r i t h mr e d u c e st h ec o d i n gt i m e g r e a t l y ，m g a nw h l q e ，i tk e e p st h em c o m t m c t e dp i c t u r eq u a l i t y 4 f a s tm u l t i - s y m m e t r ya d a p t i v ei n t e r p ol a t i o nfi l t e ra l g o r i t h m ( f m s _ a i f ) i sp r o p o s e d i nt h i sp a p e r t h em o s to p t i m a ls y m m e t r yi n t e r p oh t i o nf i l t e rw a sd e t e r m i n e db ya r e a s y m m e t r yp r o p e r t ya n ds i m p l er d om o d e ls i m u l a t i o nr e s u l t ss h o wt h a tc o m p a r e d w i t ha d a p t i v ei n t e r p o h t i o nf i l t e r sw i t hf l e x i b l es y m m e t r y ( s f - a i f ) ，t h ec o d i n gt i m e i sr e d u c e dg r e a t l y , p s n ri si n c r e a s e df a l t h e ra n db i tr a t ei sr e d u c e di nt h i s 姆 5 ad i v i d e - s a m p l i n gb a s e dh y b r i dt e m p o r a l - s p a t i a lp r e d i c t i o nc o d i n ga l g o r i t h mi s d e s i g n e dt of u r t h e ri m p r o v et h ec o d i n gp e r f o r m a m eo f t h ec o n v e n t i o n a lh 2 6 4c o d i n g i nt h ep r o p o s e da l g o r i t h m , af r a m ei sf i r s td i v i de di n t of o u re q u a l - s i z e ds u b f r a m e s ，a n d t h ef i r s ts u b f i a m ei sc o d e du s i n gr d om o d e lw i t hi n t e ro ri n t r ap r e d i c t i o na d a p t i v e l y t h e n , t h eo p t i m a lp r e d i c t i o nm e t h o do ft h em bi no t h e rs u b f r a m e si ss e l e c t e df l e x i b l y a n dr e a s o n a b l yf r o mi n t r ap r e d i c t i o n , t h ef a s ti n t e rp r e d i c t i o n ( f i p ) ，a n dt h es p a t i a l i n t e r p o l a t i o np r e d i c t i o n ( s i p ) t h es i m u l a t i o nr e s u l t ss h o wt h a tc o m p a r e dw i t ht h e c o n v e n t i o n a lh 2 6 4c o d 堍t h ep r o p o s e da l g o r i t h m si m p r o v e dt h ec o d i n gp e r f o n m m e a l lo f t h ep r o p o s e da l g o r i t h m si nt h i st h e s i sa r es i m u l a t e da n de x a m i n e d ，t h e nc o m p a r e d w i t ht h ec o r r e l a t i v e a l g o r i t h m s i no r d e rt op r o v et h e i rv a l i d i t i e sa n da d v a n t a g e s k e y w o r d ：h e v c ，i n t r ap r e d i c t i o n , r a t ec o n t r o ll o o pf i l t e r , i n t e r p o h t i o nf i l t e r 作者简介 李宏伟，陕西西安人。2 0 0 5 年毕业于西安理工大学、获学 士学位。2 0 0 7 年毕业于西南交通大学、获硕士学位。现为西安 电子科技大学博士研究生。导师：吴成柯教授。 主要研究方向：视频编码与传输、多媒体通信；图像处理 等。 代表性成果及经历：以第一作者在 o p t i c a le n g i n e e r i n g ) ) 、 北京邮电大学学报、高技术通讯等刊物发表学术论文6 篇，在i i h m s p 和 s p i e 国际重要学术会议发表学术论文2 篇；参与3 项h 2 6 4 视频编解码项目。 h o n g w e iu w a sb o mi nx i a n , s h a a n x ip r o v i n c e ，c h i n a , i n19 82 h er e c e i v e dh i s b s i nx i a nu n i v e r s i t yo f t e c h n o l o g y ，x i a n , c h 氓i n2 0 0 5 h er e c e i v e dt h em s d e g r e ei no p t i c a le n g i n e e r i n g 硒ms o u t h w e s tj i a o t o n gu n i v e r s i t y , c h e n g d u , c h i n a i n 2 0 0 7 h ei sp u r s u i n gt h ep k d d e g r e ei nc o n n m m i c a t i o n & i n f o r m a t i o ns y s t e m 舶m x i d i a nu n i v e r s i t y , x i a n , c h i n a l o mm a t c h2 0 0 8 佃b o w h i sr e s e a r c hi n t e r e s t si n c l u d ev i d e oc o m p r e s s i o na n dt r a m r n i s s i o n , m u l t i m e d i a c o m m m i c a t i o n s ，a n di m a g ep r o c e s s i n g h el 瑚p u b l i s h e d6j o u r n a lp a p e r si no p t i c a l 画雠r i n g ，j o u r n a lo fb e i n g u n i v e r s i t yo f p o s t sa r dt e l e c o r r n n u n i c a t i o m ，h 碘t c c h n o b g yl c t t c r s ，e ta la n da l s o p u b l i s h e d2c o n f e r e n c ep a p e r si ni i h m s pa n ds p i ek d e r m t i o n a lc o n f e r e n c e s h eh a s p a r t i c i p a t e d i n3v e d i oc o d i n ga n dd c c o d 堍r e s e a r c hp r o j e c t s 第一章绪论 第一章绪论 1 1 引言 数字视频技术 1 在通信和广播领域获得了日益广泛的应用，特别是在9 0 年代 后，随着i n r n 咖移动通信技术的迅猛发展，视频信息和多媒体信息在 i n t e r n e t 网络和移动网络中的处理和传输成为了当前信息化技术研究中的热点。 随着信息技术和互联网的发展，特别是网络多媒体技术的发展，人们迫切需要 获得越来越多的图像和视频多媒体信息，包含丰富信息的高质量视频数据已经成 为必然的发展趋势，另一方面，随着数字相关技术的发展，我们所接触到的视频 等信息，都是经过数字化的，这些信息具有一系列的优点，如直观性、高效性、 广泛性等等。数字化的视频信息，也具有一些明显的缺点，如信息量太大，实时 性要求高等，给信息的存储和传输造成很大的困难，成为阻碍人们获取和使用有 效信息的瓶颈之一。因此，研究和开发新型有效的多媒体数据压缩编码方法，以 压缩的形式存储和传输这些数据将是最好的选择。 数字视频的压缩编码技术，是在尽可能保证图像质量的同时，采用各种高效的 压缩编码技术对图像视频数据进行多次压缩，再对压缩的结果进行存储或者传输。 目前国际上，已经制定了许多视频压缩标准，如流行的m p e g - 4 2 和h 2 6 4 ，从1 9 8 4 年公布的第一个视频编码国际标准 3 以来，已有2 0 多年。视频压缩率和视频质量 之间的矛盾一直受到广泛的研究。 作为最新的编码标准，在2 0 0 3 年3 月，h 2 6 4 视频编码标准 4 - 6 被推出。h 2 6 4 自推出后得到了国内外学术界和产业界的广泛关注，它在编码效率、图像质量、 网络适应性和抗误码等诸多方面都取得了很好的效果，但是其编码算法有很高的 复杂度。随着终端和网络技术的快速发展，对视频编码的要求不断提高，为了适 应新的要求，h 2 6 4 需要被进一步地完善。因此，高效率视频编码( h i g he f f i c i e n c y v i d e oc o d i n g , h e v c ) 被提出作为下一代视频编码标准。h e v c 现在成为许多科研 院所及一些大公司在国际视频编码标准方面的研究热点。目前，在h e v c 编码算法 研究方面已经取得了一些成果。 1 2 视频编码简介与h 2 6 l 方法发展 传统的压缩编码是建立在香农信息论基础上的 7 ，它以经典的集合论为基础， 用统计概率模型来描述信源，但它未考虑信息接受者的主观特性及事件本身的具 体含义、重要程度和引起的后果。因此，压缩编码的发展历程实际上是以香农信 h e v c 若干关键技术研究 息论为出发点，一个不断完善的过程。 众所周知，人类通过视觉获取的信息量约占总信息量的7 0 ，视频信息具有 直观性、可信性等一系列优点。 目前，视频技术的应用范围很广，如网上可视会议、网上可视电子商务、网 上政务、网上购物、网上学校、远程医疗、网上研讨会、网上展示厅、个人网上 聊天、可视咨询等业务。传输的数据量之大，单纯用扩大存储器容量、增加通信 干线的传输速率的办法是不现实的，数据压缩技术是个行之有效的解决办法，通 过数据压缩，可以把信息数据量压下来，以压缩形式存储、传输，既节约了存储 空间，又提高了通信干线的传输效率，同时也可使计算机实时处理音频、视频信 息，以保证播放出高质量的视频、音频节目。可见，多媒体数据压缩是非常必要 的。由于多媒体声音、数据、视像等信源数据有极强的相关性，也就是说有大量 的冗余信息。数据压缩可以将庞大数据中的冗余信息去掉( 去除数据之间的相关 性) ，保留相互独立的信息分量，因此，多媒体数据压缩是完全可以实现的。 随着产业化活动的进一步开展，国际标准化组织于1 9 8 6 年、1 9 9 8 年先后成立 了联合图片专家组o o i n tp h o t o g r a p h i cf x p e r t sg r o u p ，j - p e g ) 和运动图像压缩编码组 织( m o v i n g p i c t u r e se x p e r t sg r o u p ，m v e g ) 。j p e g 专家组主要致力于静态图像的帧内 压缩编码标准i s o i e c l 0 9 1 8 的制定；m p e g 专家组主要致力于运动图像压缩编码标 准的制定。 图像编码方法可分为两代：第一代是基于数据统计，去掉的是数据冗余，称 为底层压缩编码方法；第二代是基于内容，去掉的是内容冗余，其中基于对象方 法称为中层压缩编码方法，其中基于语义方法称为高层压缩编码方法。 基于内容压缩编码方法代表新一代的压缩方法，也是目前最活跃的领域，最 早是由瑞典的f o r c h h e i m e r 提出的，随后日本的h a r a s h i m a 等人也展示了不少研究成 果。下面按照国际电信联盟电信标准化部i - ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o mu n i o n t e l e c o n ：i l u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r , i t u n 视频编码标准的发展过程，介绍 h 2 61 、h 2 6 3 及h 2 6 4 。 1 h 2 6 1 视频编码标准 h 2 61 是1 1 1 j t 为在综合业务数字网上开展双向声像业务( 可视电话、视频会议) 而制定的，速率为6 4 k b s 的整数倍。h 2 6 1 只对c i f 和q c i f 两种图像格式进行处理， 每帧图像分成图像层、宏块组层、宏块( m a c m b l o e k ，m b ) 层、块层来处理。 h 2 6 1 是最早的运动图像压缩标准，它详细制定了视频编码的各个部分，包括 运动补偿的帧间预测、离散余弦变换( d i s c r e t ec o s k i et r a m f o r m , d ct ) 、量化、熵 2 第一章绪论 编码，以及与固定速率的信道相适配的速率控制等部分。 2 h 2 6 3 视频编码标准 h 2 6 3 是最早用于低码率视频编码的i t u 际准，它是i n j - t 为低于6 4 k b s 的窄 带通信信道制定的视频编码标准。它是在h 2 6 1 基础上发展起来的，其标准输入图 像格式可以是s q c i f 、q c i f 、c i f 、4 c i f 或者1 6 c i f 的彩色4 2 ：0 亚取样图像。h 2 6 3 与h 2 6 1 相比采用了半象素的运动补偿，并增加了4 种有效的压缩编码模式。包括 如下： 无限制的运动矢量模式允许运动矢量指向图像以外的区域。当某一运动矢量 所指的参考m b 位于编码图像之外时，就用其边缘的图像象素值来代替。当存在跨 边界的运动时，这种模式能取得很大的编码增益，特别是对小图像而言。另外， 这种模式包括了运动矢量范围的扩展，允许使用更大的运动矢量，这对摄像机运 动特别有利。 基于句法的算术编码模式使用算术编码代替霍夫曼编码，可在重建图像质量 相同的情况下降低码率。 先进的预测模式允许一个m b 中4 个8 x 8 亮度块各对应一个运动矢量，从而提高 了预测精度；两个色度块的运动矢量则取这4 个亮度块运动矢量的平均值。补偿时， 使用重叠的块运动补偿，8 x 8 亮度块的每个象素的补偿值由3 个预测值加权平均得 到。使用该模式可以产生显著的编码增益，特别是采用重叠的块运动补偿，会减 少块效应，提高主观质量。 p b 帧模式规定一个p b 帧包含作为一个单元进行编码的两帧图像。p b 帧模式可 在码率增加不多的情况下，使帧率加倍。 3 h 2 6 3 视频压缩标准版本2 i t u 讫h 2 6 3 发布后又修订发布了h 2 6 3 标准的版本2 ，非正式地命名为 h 2 6 3 + 标准。它在保证原h 2 6 3 标准核心句法和语义不变的基础上，增加了若干选 项以提高压缩效率，改善某方面的功能。原h 2 6 3 标准限制了其应用的图像输入格 式，仅允许5 种视频源格式。h 2 6 3 + 标准允许更大范围的图像输入格式，自定义图 像的尺寸，从而拓宽了标准使用的范围，使之可以处理基于视窗的计算机图像、 更高帧频的图像序列及宽屏图像。 为提高压缩效率，h 2 6 3 + 采用先进的帧内编码模式；增强的p b 帧模式改进了 h 2 6 3 的不足，增强了帧间预测的效果；去块效应滤波器不仅提高了压缩效率，而 且提供重建图像的主观质量。为适应网络传输，h 2 6 3 + 增加了时间分级、信噪比 和空间分级，对在噪声信道和存在大量包丢失的网络中传送视频信号很有意义； 3 h e v c 若干关键技术研究 另外，片结构模式、参考帧选择模式增强了视频传输的抗误码能力。 4 h 2 6 3 + + 视频压缩标准 h 2 6 3 + + 在h 2 6 3 + 基础上增加了3 个选项，不但增强了码流在恶劣信道上的抗误 码性能，而且提高了增强编码效率。这3 个选项为： 选项i _ 称为增强型参考帧选择，它能够提供增强的编码效率和信道错误再 生能力( 特别是在包丢失的情形下) ，需要设计多缓冲区用于存贮多参考帧图像。 选项卜称为数据分片，它能够提供增强型的抗误码能力( 特别是在传输过 程中本地数据被破坏的情况下) ，通过分离视频码流中d c t 的系数头和运动矢量数 据，采用可逆编码方式保护运动矢量。 选项w 一在h 2 6 3 + 的码流中增加补充信息，保证增强型的反向兼容性，附加 信息包括：指示采用的定点i d c t 、图像信息和信息类型、任意的二进制数据、文 本、重复的图像头、交替的场指示、稀疏的参考帧识别。 5 h 2 6 4 视频压缩标准 h 2 6 4 m p e c 卜4 是1 9 9 5 年自m p e c 卜2 视频压缩标准发布以后的最新的视频压缩标 准。h 2 6 4 是由i t u - t 和i s o i e c 的联合开发组共同开发的最新国际视频编码标准。 通过该标准，在同等图象质量下的压缩效率比以往的标准提高了2 倍以上，因此， h 2 6 4 被普遍认为是最有影响力的行业标准。 1 3h 2 6 4 视频编码技术的系统框架 h 2 6 4 并没有明确地规定一个编解码器如何实现，而是规定了视频比特流的句法 和解码方法。各个厂商的编码器和解码器在此框架下应能够互通，在实现上具有 较大灵活性，而且有利于相互竞争。 图1 1h 2 6 4 编码器 编码器采用的仍是变换和预测的混合编码法。如图1 1 所示，输入的帧或场f n 4 第一章绪论 以m b 为单位被编码器处理。首先，按帧内或帧间预测编码的方法进行处理，如果 采用帧内预测编码，其预测值( 图中用p 表示) 是由当前片中前面己编码的参考图 像经运动补偿后得出，其中参考图像用f 表示。为了提高预测精度，从而提高 压缩比，实际的参考图像可在过去或未来( 指显示次序上) 已编码后重建和滤波 的帧中进行选择。预测值p 和当前块相减后，产生一个残差块d n ，经块变换、量化 8 后产生一组量化后的变换系数x ，再经熵编码，与解码所需的一些边信息，如 预测模式、量化参数( q u a n t i z a t i o np a r a m e t e r s ，q p ) 、运动矢量等，一起组成一个压 缩后的码流，经网络自适应层供传输和存储用。 正如上述，为了提供进一步预测用的参考图像，编码器必须有重建图像的功能。 因此必须使残差图像经反量化、反变换后得到的d n 与预测值p 相加，得n uf n 一1 ( 未经滤波的帧) 。为了去除编码解码环路中产生的噪声，为了提高参考帧的图 像质量，从而提高压缩图像性能，设置了一个环路滤波器，滤波后的输出f 1n 即重 建图像可用作参考图像。 图1 2h 2 6 4 解码器 由图1 2 所示，经熵解码得到量化后的一组变换系数x ，再经反量化、反变换， 得到残差。利用从该比特流中解码出的头信息，解码器就产生一个预测块p ，它和 编码器中的原始p 是相同的。当该解码器产生的p 与残差相加后，就产生uf n ，再 经滤波后，最后就得到滤波后的f n ，这个f n 就是最后的解码输出图像。 相对于先期的视频压缩标准，h 2 6 4 引入了很多先进的技术，包括4 4 整数变 换、空域内的帧内预测、1 4 象素精度的运动估计、多参考帧 9 与多种大小块的 帧间预测技术等。新技术带来了较高的压缩比，同时大大提高了算法的复杂度。 1 4 x4 整数变换。以前的标准，如h 2 6 3 或m p e g - 4 ，都是采用8 x 8 的d c t 变换。 h 2 6 4 中提出了4 4 的d c t 整数变换，整数的引入降低了算法的复杂度，也避免了 反变换的失配问题，同时4 x 4 的块也可以减小块效应。新的变换对编码的性能有 一定的提高。 2 基于空域的帧内预测技术【l m l 7 】。视频编码是通过去除图像的空间与时间相关 性来达到压缩的目的。空间相关性通过有效的变换来去除，如h 2 6 4 的d c t 整数变 5 h e v c 若干关键技术研究 换；时间相关性则通过帧间预测来去除。这里所说的变换去除空间相关性，仅仅 局限在所变换的块内，如8 8 或者4 x 4 ，并没有块与块之间的处理。h 2 6 3 + 与 m p e g 4 引入了帧内预测技术，在变换域中根据相临块对当前块的某些系数做预 测。h 2 6 4 贝, t j 是在空域中，利用当前块的相临象素直接对每个系数做预测，更有效 地去除相临块之间的相关性，极大地提高了帧内编码的效率。h 2 6 4 基本部分的 帧内预测包括9 种4 4 亮度块的预测、4 种16 1 6 亮度块的预测和4 种色度块的预 测。 3 运动估计 18 2 4 。h 2 6 4 的运动估计具有3 个新的特点：1 4 象素精度的运动估 计；7 种大小不同的块进行匹配；前向与后向多参考帧。h 2 6 4 在帧间编码中，一 个m b ( 1 6 x1 6 ) 可以被分为1 6 8 、8 1 6 、8 8 的块，而8 8 的块被称为子m b ，又 可以分为8 4 、4 8 、4 x 4 的块。总体而言，共有7 种大小不同的块做运动估计， 以找出最匹配的类型。与以往标准的p 帧、b 帧不同，h 2 6 4 采用了前向与后向的多 个参考帧的预测。半象素精度的运动估计比整象素运动估计有效地提高了压缩比， 而1 4 象素精度的运动估计可带来更好的压缩效果。编码器中运用多种大小不同的 块进行运动估计，相对于1 6 1 6 的块可节省1 5 以上的比特率。运用1 4 象素精度 的运动估计，相对于整象素预测可以节省2 0 的码率。多参考帧预测方面，假设为 5 个参考帧预测，相对于一个参考帧，可降低5 1 0 的码率。 4 熵编码 2 5 2 8 。h 2 6 4 标准采用的熵编码有两种：一种是基于内容的自适应变 长编码与统一的变长编码结合；另一种是基于内容的自适应二进制算术编码。二 者根据相临块的情况进行当前块的编码，以达到更好的编码效率。基于内容的自 适应二进制算术编码比基于内容的自适应变长编码缩效率高，但要复杂一些。 5 去块效应滤波器 2 9 3 1 。h 2 6 4 标准引入了去块效应滤波器，对块的边界进行 滤波，滤波强度与块的编码模式、运动矢量等有关。去块效应滤波器在提高压缩 效率的同时，改善了图像的主观效果。 1 4h e v c 关键技术简介 为了满足更高的视频编码需要，h e v c 的研究具有重要的意义。h e v c 的研究内 容包括： i 提出的新压缩方法可以完成下列功能： ( 1 ) 提高压缩效率； ( 2 ) 具有鲁棒性，提高错误恢复能力； ( 3 ) 减少实时的时延； 6 第一章绪论 ( 4 ) 减少信道获取时间和随机接入时延； ( 5 ) 减少复杂度。 i i 组织压缩数据格式以支持包和流格式。 i 允许码流能容易地被处理器或终端处理。 提供可以让网络或终端有效地调整码流的技术。 v 对象编码技术和多视角操作。 提供更有效的数字压缩技术。 根据比色法、视频质量评估和质量控制的要求，提高视频编解码技术。 对于h e v c ，到现在为止，各种基于h 2 6 4 的改进算法和新的提案已经被提出。 其中一些提案已被采纳。改进较大的部分如下 l - 块划分部分，新的技术有支持6 4 6 4 块，支持3 2 3 2 块和树状m b 划分。 2 运动估计部分，新的技术有自适应插值滤波器 3 2 ，3 3 ，自适应运动估计 3 4 - 4 3 ，解码自分离运动估计 4 4 - 4 9 ，1 8 像素运动估计，运动估计最大支持6 4 6 4 的块划分和运动估计树状结构的块划分 5 0 等。 3 帧内预测部分，新的技术有双扫描帧内预测，双向帧内预测 5 1 ，线性帧内预 测 5 2 ，多参考帧内预测 5 3 ，亮度色度单独预测 5 4 和帧内预测最小支持2 x 2 的块划分 5 5 - 5 7 等。 4 变换部分，新的技术有方向性d c t 5 8 6 1 ，h a a r d , 波变换，支持3 2 3 2 的d c t 变换，离散正弦变换 6 2 和自适应图像旋转编码 6 3 ，6 4 。 5 量化部分，新的技术有自适应量化矩阵 6 5 。 6 环路滤波器部分，新的