已阅读5页,还剩68页未读, 继续免费阅读
(通信与信息系统专业论文)基于h264avc的差错控制与错误隐藏策略研究.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
斟川大学填士学位 仑文 基于h 2 6 4 a v c 的差错控制与错琰黪藏策略研究 基于h 2 6 4 a v c 的差错控制与错误隐藏策略研究 研究生:秦万福 专业:通信与信息系统 指导老师:罗代升 幽际标准化组织( i s o ) 和国际电信联盟( 1 t u ) 于八十年代各自发布了全 球统一的图像和视频编码算法建议,近二十年来,多媒体通信在世界范围内得 以迅速发展,并0 i 断推出新的视讯业务。在视频编码算法方面,已经推出了一 系列标准,最新标准是2 0 0 3 年最后确立的h 2 6 4 a v c 标准,该标准在先前标 准的基础上,采用了一系列改进算法,在追求更高的编码效率和简洁的表达形 式的同时,也提供了非常好的视频质量,在相同视觉感知质量上,h 2 6 4 a v c 的编码效率比h 2 6 3 和m p e g 4 提高了近5 0 ,并具有更好的网络友好性。 对于高效视频通信,尽可能地提高编码效率只是其中的一个方面,另一个 同等重要的任务是要处理通信网络中的差错和损失。由于视频通信对延迟敏感, 不宜采用基于重传机制的网络协议以确保无差错传送;另外,视频编码中广泛 使用预测编码和可变长编码,致使压缩的视频流更容易受到传输差错的损害。 因此,差错控制和错误隐藏技术在视频通信系统中变得尤其重要。 本文主要做了以下三方面的工作: 一、对新的视频编码标准h 2 6 4 进行了深入研究,掌握了该标准所采用的 各类相关技术。 二、通过广泛查阅资料发现,自h 2 6 4 a v c 标准提出以来,还没有专门针 对该标准中所采用的各类差错控制与错误隐藏技术进行系统全面分析的文献, 本文在此方面做了一些工作,为研究该标准的差错控制与错误隐藏算法提供了 宝贵的资料,并为今后的工作打下了良好的基础。本文对视频通信系统中较常 心川大学硕1 :学位论文基于h2 6 4 1 a v c 的差错控制与错误隐藏策略研究 采用的各种差错控制与错误隐藏技术进行详细阐述,对新一代视频编码标准 h 2 6 4 a v c 所采用的各种差错控制与错误隐藏技术进行系统全面的分析,分析 了各种技术的优劣,指明了不同运用环境中适用的差控技术。 三、针对实时视频在移动信道中传输时易发生长的突发差错的特点,由 h 2 6 4 a v c 标准中提出的灵活的宏块排列顺序( f m o ) 克服传输差错思想的启 发,提出了一种新的有较强差错恢复能力的“宏块交错扫描”编码算法,并通 过仿真实验进行了验证。 关键词: h 2 6 4 a v c 标准:差错控制;错误隐藏;宏块交错扫描:视频编码 旧川大学硕士学位论文 基于h 2 0 4 a v c 的差错控制与错误隐藏策略研究 r e s e a r c ho fe r r o rc o n t r o l sa n dc o n c e a l m e n t t e c h n o l o g yb a s e do nh 2 6 4 a v c c o m m u n i c a t i o n a n di n f o r m a t i o ns y s t e m p o s t g r a d u a t e :q i nw a n - f u a b s t r a c t s u p e r v i s o r :l u od a i - s h e n g i n t e r n a t i o n a ls t a n d a r d s o r g a n i z a t i o n0 s o ) a n d i n t e r n a t i o n a l t e l e c o m m u n i c a t i o n su n i o n ( i t u ) r e l e a s e dt h eu n i f i e ds t a n d a r do fp i c t u r ea n dv i d e o c o d i n ga l g o r i t h mi n19 8 0 s i nt h ep a s t2 0y e a r s ,m u l t i m e d i ac o m m u n i c a t i o nw a s d e v e l o p e dr a p i d l yw o r l d w i d e ,a n dw a si n t r o d u c e d t on e wv i d e o - i n f o r m a t i o n b u s i n e s s e sc o n s t a n t l y i nc o d i n ga l g o r i t h mo fv i d e o ,as e r i e so fs t a n d a r d sh a v eb e e n a l r e a d yp u to u t t h el a t e s ts t a n d a r di sh 2 6 4 a v ct h a tw a se s t a b l i s h e df i n a l l yi n 2 0 0 3 t h i ss t a n d a r dh a sa d o p t e das e r i e so fa l g o r i t h m sw h i c hw e r ei m p r o v e df r o m t h ep r e v i o u sv e r s i o n s i t sa i mi sa to f f e r i n gv e r yg o o dv i d e oq u a l i t ya n dr e a l i z i n g h i 曲e rc o d i n ge f f i c i e n c ya n ds u c c i n c te x p r e s s i o nf o r m u n d e rt h es a r n ec o n d i t i o n , t h ec o d i n ge f f i c i e n c yo fh 2 6 4 a v ch a sb e e ni m p r o v e db yn e a r l y5 0 c o m p a r e d w i t hh 2 6 3a n dm p e g 一4 ,a n dh a sb e t e rn e t w o r kf r i e n d s h i p a st oh i g h - e m c i e n tv i d e oc o m m u n i c a t i o n ,i ti so n l yo n ep a r tt oi m p r o v et h e e f f i c i e n c yo fc o d i n ga sm u c ha sp o s s i b l e a n o t h e re q u a l l yi m p o r t a n tt a s ki st od e a l w i t ht h ee r r o ra n dl o s so fd a t ai nt h ec o m m u n i c a t i o nn e t w o r k b e c a u s ev i d e o c o m m u n i c a t i o ni ss e n s i t i v et od e l a yt i m e ,i ti sn o tg o o dt oa d o p tn e t w o r kp r o t o c o lo n t h eb a s i so fr e t r a n s m i s s i o nm e c h a n i s mt oe n s u r en om i s t a k eo c c u r r i n gi n i i 删川大学硕士学位论文纂于h2 6 4 a v c 的差错控制与错误隐藏策略研究 t r a n s m i s s i o n i na d d i t i o n ,c o m p r e s s e dv i d e od a t af l o w sw o u l db ed a m a g e de a s i l yb y t r a n s m i s s i o ne r r o r sa n dm i s t a k e s ,b e c a u s eo fu s i n gp r e d i c t i o nc o d i n ga n dv a r i a b l e l e n g t hc o d i n g ( v l c ) e x t e n s i v e l yi nv i d e oc o d i n g t h e r e f o r e ,t h et e c h n o l o g yo f e r r o r c o n t r o la n dc o n c e a l m e n tb e c o m e s e s p e c i a l l yi m p o r t a n t i nv i d e o c o m m u n i c a t i o ns y s t e m s t h i st h e s i sp r e s e n t st h r e em a i np a r t so f a u t h o r sr e s e a r c hw o r k : f i r s t ,f u r t h e rr e s e a r c ho nh 2 6 4i sc a r r i e do na n da l lk i n d so fr e l e v a n t t e c h n o l o g i e st h a th 2 6 4s t a n d a r da d o p t sa r es t u d i e d s e c o n d ,t h r o u g hr e a d i n ge x t e n s i v e l yt h er e f e r e n c e sa n dm a t e r i a l sc o n c e m i n g h 2 6 4 ,i th a sa l m o s tn o tf o u n dt h ed o c u m e n t sc a r r y i n go ns y s t e ma n a l y s i si na i l a l l r o u n dw a ya b o u te r r o rc o n t r o la n dc o n c e a l m e n tt e c h n o l o g ys i n c eh 2 6 4 ,a v c s t a n d a r dh a sb e e nr e c o m m e n d e d h e n c e ,t h ew o r ki nt h i sr e s p e c ti sc a r r i e dt oo f f e r v a l u a b l em a t e r i a l sf o re r r o rc o n t r o la n dc o n c e a l m e n ta l g o r i t h m s ,a n dl a yag o o d f o u n d a t i o nf u r t h e rf o rf u t u r ew o r k i nt h i s p a p e ri se x p l a i n e di nd e t a i lt h ee r r o r c o n t r o la n dc o n c e a l m e n tt e c h n o l o g i e st h a ta r er e l a t i v e l yo f t e na d c p t e di nv i d e o c o m m u n i c a t i o ns y s t e m s t h ee r r o rc o n t r o la n dc o n c e a l m e n tt e c h n o l o g i e sw i t l lt h e o v e r a l ls y s t e ma n a l y s i si nt h eh 2 6 4 a v cs t a n d a r da r ed i s c u s s e d t h ea d v a n t a g e s a n dd i s a d v a n t a g e so ft h et e c h n o l o g i e sa r ep o i n t e do u t h o wt ou s et h et e c h n o l o g i e s i nd i f f e r e n ts i t u a t i o n sa r ep u tf o r w a r d t h i r d ,r e a l - t i m ev i d e ol i k e l yt os u f f e rf r o me r r o rb u r s ti nm o t i o nc h a n n e l , h 2 6 4 a v cs t a n d a r dp u t sf o r w a r df r o mf l e x i b l em a c r o b l o c ko r d e r ( f m o ) t h a tc a n o v e r c o m et r a n s m i s s i o ne r r o r s s o m ei n s p i r a t i o nh a sb er a i s e da n dan e wk i n do f c o d i n ga l g o r i t h m ,s a y ,m a c r o b l o c ki n t e r l a c es c a n ,i sp r o p o s e d ,w h i c hh a sg r e a t e r e r r o rr e c o v e r ya b i l i t y t h ea l g o r i t h mh a sb e e np r o v e dt h r o u g ha r t i f i c i a le x p e r i m e n t s k e yw o r d s :h 2 6 4 a v cs t a n d a r d ;e r r o rc o n t r o l ;e r r o rc o n c e a l m e n t ;m a c r o b l o c k i n t e r l a c es c a n ;v i d e oc o d i n g 四川人学硕士学位论文基于h 2 6 4 1 a v c 的差错控制与错误隐藏策略研究 第一章绪论 1 1 引言 自八十年代国际标准化组织( i s o ) 和国际电信联盟( i t u ) 发布了全球第 一个统一的图像和视频编码算法建议的近二十年来,多媒体通信在世界范围内 得以迅速发展,并不断推出新的视讯业务,这主要得益于视频图像压缩编码算 法和多种改进业务质量的数字处理技术以及各类相关的硬件技术的不断发展。 在视频编码算法方面,主要包括两大系列标准,一是i s o i e c 制定的 m p e g x 系列( 主要应用于视频存储、视频广播与视频流方面) ,二是i t u t 制定的h 2 6 x 系列( 主要应用于实时视频通信,如视频会议、视频电话等) 。从 h 2 6 l 视频编码建议,到h 2 6 2 3 、m p e g 1 2 4 等都有一个共同的不断追求的 目标,即在尽可能低的码率( 或存储容量) 下获得尽可能好的图像质量。随着 市场对图像传输需求的增加,如何适应不同信道传输特性的问题也目益显现出 来。i s o 与i t u 两大国际标准化组织看到了这方面的潜在效益,于是在2 0 0 1 年( i t u t 在9 8 年就已开始着手研究) ,由国际电信联盟( i t u ) 的视频编码 专家组( v c e g ) 与国际标准化组织( i s o i e c ) 的活动图像专家组( m p e g ) 组成联合视频组( j v t ) ,着手制定新一代视频图像编码标准,于2 0 0 3 年联合 开发了新标准的正式版本 l 2 6 4 a v c 。 h 2 6 4 a v c 既是i t u t 的h 2 6 4 ,又是i s o i e c 的m p e g 一4v i s u a lp a r t1 0 ( a v c ) ( 在后文中都简称为h 2 6 4 ) ,与其它的视频编码标准相比,在原有标准 的基础上,由于采用了多项改进技术( 将在第二部分中具体介绍) ,在相同视觉 感知质量上,h 2 6 4 的编码效率比h 2 6 3 和m p e g - 4 提高了近5 0 ,并具有更 好的网络友好性。它面向从高质量到低比特率,从有线到无线的各种应用,在 追求更高的编码效率和简洁的表达形式的同时也提供了非常好的视频质量,是 当前最高效的视频压缩编码标准。 但是,对于高效视频通信,降低原始视频码率只是其中的一个方面,另一 个同等重要的任务是要处理通信网络中的差错和损失。数据通信一般不会受到 严格的延迟约束,因此能够采用基于重传机制的网络协议以确保无错传输。实 时视频则不同,它对延时敏感,因此不宜利用重传的方法;另外,视频编码中 叫川人学硕士学位论文 基于h2 6 4 a v c 的差错控制与错误隐藏策略研究 广泛使用预测编码和变长编码,致使压缩的视频流更容易受到传输差错的损害。 对任何通信系统,由于信道噪声的影响,信息在传输过程中都可能被修改 或丢失。这种因信息的丢失对压缩视频的传输的影响具有很大的破坏性,因为, 对压缩视频流,任何一点破坏,都可能在解码器端导致令人讨厌的视觉失真。 因此,差错控错8 和错误恢复技术的研究在视频通信系统中变得尤其重要, 是一个非常重要的课题。近年来,许多人在这方面做了很多突出的贡献,研究 出许多非常实用的技术。 1 2 视频通信系统基本结构 典型的视频通信系统主要包括五个功能块,如图1 一l 所示。 一一 信道编码器卜一 传输解码器 图卜一1 视频通信系统框图 视频编码器首先对视频进行压缩以降低码率,压缩比特流随后被分割成固 定长度或可变长度的包,并与其他类型的数据( 如音频等) 复用。如果网络保 证无比特差错传输,则可直接把包传到网络上,否则,这些数据包一般要经过 信道编码,通常使用前向纠错( f e c ) 和交织,以进行误码保护。上图中,传 输编码设备是指执行信道编码的一系列设备,包括信道编码,打包或调制,以 及用于传输级控制的专用传输协议等。其作用主要是用于将信源编码器输出的 叫川大学硕士学位论文基于h2 6 4 i a v c 的差错控制与错误隐藏策略研究 比特流转换成适合特定信道传输的数据流。在接收端,将接收到的包进行信道 解码和解包,得到的比特流随后输入到视频解码器以重建原始视频。实际上, 许多应用系统把打包和信道编码嵌入在信源编码器作为网络的一个适配层。 1 3 传输差错分类 传输差错可粗略地分为两类:随机比特错误和删除错误。随机比特错误是 由物理信道的不完善引起的,它导致比特反转、插入和删除。随机比特错误的 影响取决于编码方法和受影响的信息内容,从可忽略到不可忍受。当采用固定 长度编码时,随机比特错误将只影响一个码字,引起的损害一般是可接受的。 但如果采用变长编码( 事实上,现在的实际视频系统都是采用的变长编码) ,随 机比特错误可能使编码信息失去同步,从而导致许多后续比特不可解码,直到 下一个同步码字出现为止。在一些情况下,由于没有方法决定解码信息相应的 空间和时间位置,甚至当获得下一个同步后,解码信息仍然不可用。另一方面, 删除错误可能由包交换网络中的包丢失、存储媒体中由于物理缺陷导致的突发 性差错、或者短时间的系统故障所引起。变长编码( v l c ) 比特流中的随机比 特差错也可引起删除错误,由于单个比特差错可导致许多后续比特不可解码, 从而使之不可用。由于连续的比特段被丢失或破坏,删除错误( 包括那些由随 机比特错误引起的删除) 的影响比随机比特错误更具有破坏性。 1 4 差错控制与错误隐藏基本方法 由于以下几个原因,视频通信中的差错控制具有相当的挑战性。首先,由 于信源编码器使用时间预测编码和v l c ,压缩的视频流极容易受到传输差错的 破坏。由于使用时间预测,一个错误地恢复的样点可能导致同一帧和后续帧中 后续样点发生错误;同时,不只在时间上产生误差积累,也会由于基于运动补 偿的预测,在空间上产生误差积累;另外,由于使用v l c ,比特错误的影响等 价于删除错误的影响,引起视频帧中大面积的破坏。 为了使压缩比特流经信道传输后能够在解码器端很好地复原,必须在流中 加入冗余,以使其能够检测和纠正错误。这一般在信道用f e c 实现,对信源编 码产生的比特流进行前向纠错编码。香农编码定理指出,总可以找到一种方法, 蚪川大学硕i :学位论文姥于h 2 6 4 a v c 的差错控制与错误隐藏策略研究 对信源的输出进行编码,只要信息速率小于信道容量,就可实现压缩比特流的 无差错传输。因此,对于指定的失真,信源编码器应该尽可能地压缩信源( 低 于信道容量) ,信道编码可以通过f e c 将冗余加入到压缩码流中。以便能够纠 正传输误码。然而,这种理想的无差错传输只有当实现f e c 时具有无限延迟才 能达到,这在实际中是不能接受的,因此,信源和信道联合编码经常是更可行 的方案,它在信源和信道编码之间分配总的冗余量。所有的差错复原编码方法 实质上都是在这个前提下工作的,有意使信源编码器的效率比可能达到的低, 以使压缩流中出现差错或丢失的比特对重建视频质量不会有严重的影响。 当由于传输差错而丢失一个图像样点或样点块时,解码器可利用时域和空 域相邻样点的内在相关性。根据相邻的已接收样点估计它们。这种技术称为错 误隐藏。由于实际的信源在编码过程中没有完全去除信号冗余度;同时,人类 感知系统可以容忍一定程度的信号失真,视觉系统对视频帧中高频分量的失真 比低频分量失真敏感度要低。所以实现错误隐藏是可能的。与差错复原信源编 码不同,错误隐藏的优点是无需用任何额外的比特,但在解码器中要增加计算 的复杂度。 最后,为了使在信源编码器中嵌入的冗余有用以及便于在解码器中进行错 误隐藏,编解码器和网络传输协议必须协调一致。例如,如果比特流中某些比 特比其他比特更重要,那么应该给重要的部分分配一组更严格的q o s 参数以 便在网络上传输。为了抑制误差积累,网络也可提供反馈信道,以使编码器知 道解码端重建信号的哪部分受到了破坏,从而不用这部分来预测将来的样点。 总之,为视频传输而设计的差错控制机制根据编解码在其中所扮演的角色, 各种差错控制与错误隐藏技术可分为三大类。一类是前向差错控制,在这类技 术中,编码器扮演了主要角色。另一类是后向错误隐藏技术,在这类技术中, 主要由解码器完成错误隐藏任务,而不需要依赖于编码器的附加信息,主要通 过空间和时间平滑技术。第三类是交互错误隐藏技术。在这类技术中,需要编 码器和解码器协调工作,尽可能使传输错误的影响更小。本文在以后的章节中, 对各种差错控制与错误隐藏技术的论述,将根据以上的分类方法来进行。 叫川大学硕| j 学位论文基于h 2 6 4 1 a v c 的差错控制o i 错误隐藏策略研究 1 5 文章结构 本文将首先简单介绍新一代视频编码标准h 2 6 4 的发展历程与关键技术; 在第三部分对目前在视频通信系统中较常采用的各种差错控制与错误隐藏技术 进行了详细介绍:在第四部分对新一代视频编码标准h 2 6 4 所采用的各种差错 控制技术分三大类进行了系统全面的分析,分析了各种技术的优劣,指明了不 同运用环境适用的差控技术;最后,本文由h 2 6 4 标准中提出的灵活的宏块排 序顺序( f m o ) 克服传输差错思想的启发,针对视频信号在移动信道中传输时 易发生长突发差错的特点,在第五部分提出了一种针对h 2 6 4 实时视频系统应 用于移动信道时、具有较强差错恢复能力的新的视频编码算法“宏块交错 扫描”编码算法,并通过仿真实验进行了验证。 四川大学硕士学位论文基于h2 6 4 a v c 的差错控制与错误隐蔽蘸略研究, 第二章视频编码新标准h 2 6 4 综述 上世纪8 0 年代以来,人们在多媒体表示和通信领域取得了惊人的进展。数 字多媒体的压缩和通信算法取得了显著进步,使得诸如视频会议、巨量多媒体 数据存储、数字电视广播、基于网络的流媒体的传输和播放等视频多媒体应用 不断普及与发展;反过来,这些多媒体应用的普及与发展也对数字多媒体的压 缩和通信算法提出了许多新的更高的要求。国际标准化组织( i s o i e c ) 的活动 图像专家组( m p e g ) 制定的m p e g x 系列( 主要应用于视频存储、视频广播 与视频流方面) 和国际电信联盟( i t u t ) 的视频编码专家组( v c e g ) 制定的 h ,2 6 x 系列( 主要应用于实时视频通信,如视频会议、视频电话等) 视频标准, 正是顺应这一要求的产物。2 0 0 1 年,以上两组织第二次携手1 ,组成联合视频 组( j v t ) ,于2 0 0 3 年推出了新的视频编码标准h ,2 6 4 a v c 或者说i s om p e g 一4 v i s u a lp a r t1 0 ( 以下均简称为h 2 6 4 ) 。 注:1 第一次携手共同开发了m p e g 2 ,h 2 6 2 。 2 1h 2 6 4 的制定过程与发展历程 1 9 9 5 年i t u t 推出了针对甚低比特率的视频压缩标准h 2 6 3 建议 7 】。 h 2 6 3 最初是针对1 0 3 0 k b i t s 范围的甚低比特率应用设计的,但实验结果表 明,在任意速率范围内,h 2 6 3 都取得了惊人的压缩效果,成为当时最成功的 数字视频压缩标准。在比特率低于3 0 k b i t s 的应用中,同样的视频质量前提下, h 2 6 3 的输出码率仅为h 2 6 1 的一半甚至更少。h 2 6 3 采用了诸如可变尺寸块 运动补偿技术、重叠块运动补偿技术、无限制运动矢量技术和运动矢量预测技 术等一系列新的视频编码技术,为混合编码框架的进一步发展奠定了基础。 v c e g 在h 2 6 3 建议推出之后继续对其进行改进,将各种新技术以附件的形式 加入到h 2 6 3 中,并提供了相应的测试模型( t e s tm o d e l ) ,使h 2 6 3 不断得到 完善。1 9 9 8 年公布的h 2 6 3 + 和其后的h 2 6 3 + + 分别是改进后的版本,两者也是 h 2 6 4 标准的前身。 早在1 9 9 5 年,在完成h 2 6 3 标准最初的版本后,v c e o 就已经开始着手“短 期( s h o r tt e r m ) ”和“长期( 1 0 n gt e r m ) ”的研究工作。短期的工作结果是产生了 四川人学硕士学位论文 基于h 2 6 4 a v c 的差错控制与错误隐藏策略研究 h 2 6 3 + 标准,而长期的工作目标是形成一个在性能方面与已经存在的视频编解 码标准有较大区别的视频编解码标准。在标准的初期制定过程中形成的草案被 称为h 2 6 l 。之后与m p e g 合作,组成联合视频组( j v t ) 共同研究,于2 0 0 3 年完成了新标准的制定工作。 其简单发展历程是: 1 9 9 8 年1 月,v c e g 征集视频编解码方案; 1 9 9 8 年1 1 月,v c e g 形成第一份正式评价文献; 1 9 9 9 年8 月,v c e g 完成第一个草案文档和第一个测试模型t m l 1 : 2 0 01 年7 月m p e g 对m p e g - 4 的“a d v a n c e dv i d e oc o d i n g ”进行招标。同年 底,在目睹了基于h 2 6 l 标准的软件编码后的视频流质量远远优于当时基于 m p e g 一4 标准的软件编码后的视频流质量后,i s 0 以e c 的m p e g 就与i t u t 的 v c e g 联合形成j v t 小组来共同研究开发这个标准; 2 0 0 2 年5 月,j v t 形成委员会草案c d ( c o m m i t t e ed r a f t ) ; 2 0 0 2 年7 月,j v t 形成最终委员会草案f c d ( f i n a lc o m m i t t e ed r a f t ) ; 2 0 0 2 年1 2 月,j v t 形成最终国际标准草案f d i s ( f i n a ld r a f ti n t e r n a t i o n a l s t a n d a r d ) ; 2 0 0 3 年3 月,标准的最终草案公布,称作h 2 6 4 a v c 或m p e g 4v i s u a lp a r t 1 0 。 其简要发展历程可从下图中清楚地看出。 l ;i t u - t z 日王 d 望r d回m p e g 叵一 s t a nt ,l - 2 ”n 6 - a v 1 9 9 41 9 9 6 1 9 8 91 髑o 神21 9 9 41 9 9 61 9 9 92 0 0 02 0 22 4 图2 一l 视频编码标准的发展历程 7 四川大学硕士学位论文 基于h 2 6 4 a v c 的差错控制与错误隐藏策略研究 2 2h 2 6 4 的关键技术介绍 视频编码新标准h 2 6 4 与先前的标准类似,都是基于块的混合编码模式, 其编码算法都是通过基于分块的运动补偿算法来利用时间冗余信息压缩数据, 用对残差信号进行正交变换、再量化、最后进行熵编码的模式来压缩空间冗余 信息;视频信号的每帧( 或场) 图像( 都统称为p i c t u r e ) 都被分成固定尺寸( 1 6 1 6 ) 的宏块( m a e r o b l o c k ) ,作为基本处理单元,其编码模式根据每个p i c t u r e 所采用的编码类型各不相同。同样的,h 2 6 4 也定义了帧内编码图像或称为 i - p i c t u r e ,在i - p i c t u r e 中,所有宏块不用参考视频序列中的其它p i c t u r e 的信息, 而进行独立编码;也定义了预测编码图像,称为帧间预测或称为p p i c t u r e 和双 向预测或称为b p i c t u r e ,他们的宏块编码需参考视频序列中的其它p i c t u r e 的信 息。各视频标准的共同点与不同点综述请参阅 2 】的i n t r o d u c t i o n 部分。 但是,视频编码新标准h 2 6 4 在继承h 2 6 3 各种编码技术的基础上,对多 处细节进行了改进,利用其效果累积达到较大的增益,其综合效果与原来相比, 发生了质的改变,在相同视觉感知质量上,h 2 6 4 的编码效率比h 2 6 3 和 m p e g 4 提高了近5 0 ,并具有了更好的网络友好性。 其改进主要体现在以下几个方面: 2 2 1 采用分层编码结构 h 2 6 4 算法在概念上可以分为两层:规定视频编码算法的视频编码层( v c l : v i d e oc o d i n gl a y e r ) ,负责高效的视频内容表示;规定网络传输规范的网络抽 象层州a l :n e t w o r ka b s t r a c t i o nl a y e r ) ,负责以网络所要求的恰当的方式对数 据进行打包和传送。这样,高编码效率和网络友好性的任务分别由v c l 和n a l 来完成。 网络抽象层把数据封装成为若干网络抽象单元,这些网络抽象单元可以在 现有的大部分网络中以包的形式传送:对于解码端,可以认为这些网络抽象单 元或者正确无误,或者在网络中丢失,或者存在位错误。一般,网络抽象单元 头信息中会设有相应标志来指示是否发生位错误,解码器能够识别发生位错误 的网络抽象单元并决定是对其进行解码还是丢弃之。 封装于网络抽象单元中的数据称为原始字节序列载荷( r a wb y t es e q u e n c e 四川人学硕士学位论文 基十h2 6 4 a v c 的差错控制与错误隐藏策略研究 p a y l o a d s ) ,简称为r b s p 。根据r b s p 的不同,网络抽象单元中可以分为不同 的类型。 h 2 6 4 中的r b s p 主要分为两种,一种为视频编码数据,一种为控制数据。 视频编码数据可以以片( 每个片由若干宏块组成) 为单位进行组织;也可以对 片进行数据分割,即将每个片中编码后的数据按类型分为三种,同类型的数据 组织到一起,形成三个数据划分( d a t ap a r t i t i o n ) ( 数据具体划分情况在后面 的4 2 2 节中将介绍) ,视频编码数据以数据划分为单位进行组织。控制数据是 指视频序列参数、图像参数等信息。h 2 6 4 编码器分层结构如下图所示: 控制数 据 巾数据分区 一。 r 一 i 一一一j 一 网络抽象层 n a l ) 图2 1 h2 6 4 编码器分层结构 2 2 2 采用帧内预测 在先前的h 2 6 x 系列和m p e g 。x 系列标准中,都是采用的帧间预测的方式。 在h 2 6 4 中,当编码帧内编码图像( i n t r ap i c t u r e ) 时可用帧内预测。 帧内编码主要是通过消除图像的空间冗余信息来实现对图像的压缩。传统 的帧内编码是采用d c t 变换技术对原始数据进行变换,来消除空间冗余信息, 并对d c t 变换量化后的系数进行变长编码( v l c ) 。在h 2 6 4 中,利用了一帧 图像内部在空间上的相关性,引入了帧内预测的方式来利用相邻的已编码块的 藿建数据,来对当前块数据进行预测,去除空间冗余,然后再对预测误差进行 正交变换和熵编码。 9 四川大学硕士学位论文 基于h 2 6 4 a v c 的差错控制与错误隐藏策略研究 对一个1 6 x1 6 的宏块进行帧内编码时,对于亮度块来说,有两组预测模式: i n t r a 4 x 4 模式( 4 x 4 亮度块所采用的模式) 下有9 种预测方式:i n t r a l 6 x1 6 模式( 1 6 x 1 6 亮度块所采用的模式) 下有4 种预测方式:对于8 x 8 的色度块 来说,也有与i n t r a l 6 x1 6 类似的4 种预测模式。 例如:对于每个4 4 亮度块( 除了边缘块特别处置以外) ,每个像素都可 用1 7 个最接近的先前已编码的像素的不同加权和( 有的权值可为o ) 来预测。 下图说明了待预测块与空间上相邻块的关系: 图2 24 x 4 于块帧内预测示意图 各模式的分化与详细计算方法请参考文献 3 p 9 5 1 0 6 、 4 】。 显然,这种帧内预测不是在时间上,而是在空间域上进行的预测编码,它 可以消除相邻块之间的空间冗余度,取得更为有效的压缩。 2 2 3 采用1 4 像素精度的运动估计 视频序列数据除了在空间上有大量的相关性外,时间轴上也有很强的相关 性,存在大量冗余信息。在先前的视频编码标准h 2 6 1 、h ,2 6 3 、m p e g 1 、 m p e g 2 、m p e g 4 中,都广泛利用运动补偿技术对帧间图像进行预测编码, 以便尽可能的去除时域相关性。与帧内编码相对应,这种编码方式被称为帧间 编码( i n t e rc o d i n g ) 。 运动补偿技术的关键就是要在参考帧中尽可能精确地找到当前块的匹配 块,如果运动搜索的步长为小数。那么运动估计的结果将会更加精确。h ,2 6 4 四川人学硕士学位论文 基于h2 6 4 1 a v c 的差错控制与错误隐藏策略研究 中,预测精度得到更进一步的扩展,采用了1 4 像素精度的运动估计。 如果最佳匹配块的位置在整象素位置上,那么相应的参考块的值可以直接 得到;但是,如果最佳匹配块的位置不在整象索位置上,也就是说运动矢量不 是整数,此时对应的最佳匹配块的值不存在,所以需要通过对非整数位置周围 的整数点进行插值来获取相应的值。 其具体的插值方法是:通过用水平或垂直方向的相临的整像素点值,用6 阶滤波器( 1 , - 5 ,2 0 ,2 0 ,5 ,1 ) 来获得半像素点的值,再由整像素和半像素位置点的 值来获得1 4 像素位置点的值 3 p 1 1 8 - 1 2 6 。 其插值方法如图2 3 所示,插值后的结果如图2 4 所示: 口口回囤回口口 固固 刚 剖 卫圈 匝田 网凼 引巴 口口圈园罔口 口 图2 31 4 像素插值方法示意图图2 41 4 像素插值结果示意图 这样,经过插值后,由运动矢量在参考帧中寻找的匹配块就更为精确。 2 2 4 采用多模式的运动估计 如前所述,h 2 6 4 仍然是沿用基于块的混合编码结构。在运动估计中,将 一幅图像合理的进行分块,对编码效率的提高起到至关重要的作用。在h 2 6 4 之前标准中,分块的方法大体上可以分为两大类:固定大小的块( h 2 6 3 等中 采用) 以及基于内容特征的自适应块( m p e g 4 中采用) 分割。 = 口口n 厂 = 二 n_口i口_广_n 口口口_ i r 口口 o口一口_= r 口u h 二e n一口一u_口_n口口口l。口口n o 口l l j o 口_ l i 四川i 大学硕l 学位论文牲十h 2 6 4 a v c 的差错控制与错谩隐藏策略研究 固定块大小的划分影响着估计的精度。块过大,整个块中所有象素作相同 运动的假设不容易被满足( 块匹配算法的基本前提) ,造成估计误差:块过小, 运动估计容易受干扰,同时传输的运动矢量也比较多,会增加编码比特。同样, 在运动搜索中,过大的块能够减少搜索次数,但是会降级估计精度;过小的块 能够提高估计的精度,但是却增加了计算量,降低了估计速度。 在h 2 6 4 中提出,运动估计可以基于可变尺寸块来进行,提出了多种模式 的运动估计算法。这就较好的解决了上述矛盾。 在h 2 6 4 中,运动补偿的块共有7 种尺寸:1 6 1 6 、1 6 8 、8 1 6 、8 x8 、 8 4 、4 x 8 、4 x 4 。根据运动补偿采用的块尺寸的不同,宏块的编码模式分为 四种,前三种模式分别按照一个1 6 1 6 块、两个1 6 8 块和两个8 1 6 块来 进行运动补偿;在最后一种模式p 8 8 模式下,一个宏块被分为4 个8 8 的 子块,而每一个子块又有4 种可能的子模式,分别按照一个8 8 块、两个8 x 4 块、两个4 8 块及四个4 4 块进行运动补偿【3 】p 1 0 6 1 2 6 、 5 】。 其分块方法如下图所示: 1 6 x 1 6 1 6 x r8 x 1 6 8 x 8 m t 3 p c s 8 x 8 t y p e s 口田田田 曲离甬南 图2 5h 2 6 4 宏块划分模式示意图 块大小的选择是否合理对于压缩效果的好坏有很大的影响,实际上,对于 一帧图像中变化缓慢的背景部分,采用较大的块并不会降低估计精度;同时, 对于变化较剧烈的运动物体,采用较小的块可以提高运动估计的精度。 2 2 5 采用多参考帧的运动补偿方式 在h 2 6 4 中允许采用多个参考帧来进行运动补偿,即在作运动补偿的预 l ,【l 川大学硬士学位论文基于h 。2 6 4 a v c 的差错控制与错误隐藏策略研究 测时,可以有多于一幅的已编码图像作为参考图像。这在很多自然场景的周期 变换以及镜头在两个场景中交替转换等情况下可以提高编码效率。在这种模式 下,对某个块进行运动估计时,编码器会从过去的一个或几个刚刚编码过的 参考帧中选定一帧作为参考帧,以获得更好的预测效果。例如对于鸟类飞翔的 视频序列,由于翅膀的扇动具有周期性,因而采用多参考帧的运动估计方式就 有机会选择时间间隔为一个或接近一个周期的帧作为参考帧,采用这个参考帧 来进行运动估计的效果显然会比选取时间上相邻但翅膀位置差别较大的帧作为 参考帧的效果要好得多。 这将在后面的4 ,1 3 节中进一步介绍。 2 2 6 采用4 4 块的整数变换 在混合编码框架中,利用正交变换来消除空间冗余以达到数据压缩的目的 一直是一个重要的手段。其中,d c t 变换在m p e g 1 、m p e g 2 、m p e g 4 、 h 2 6 1 、h 2 6 3 等标准中得到了广泛的应用。文献【6 】、【3 5 1 详细介绍了d c t 变 换消除空间冗余的原理。 传统标准中的d c t 变换总是基于8 8 块的二维浮点运算的。这种运算通 常被分解为两个一维8 点的d c t 变换。为了进一步减少运算时间,人们提出了 很多快速d c t 变换的算法,目前比较流行的快速算法是快速蝶型算法,但仍然 用到了浮点乘法运算。浮点乘法运算环节的引入不光影响了运算速度,同时由 于浮点运算的合入问题造成了误差,从而导致正变换和反变换的“失配”问题。 为此,在h 2 6 4 中引入了基于4 4 块的整数变换,其变换思想仍然来源于 d c t 变换。先对d c t 的变换矩阵作因式分解,提出缩放因子;再对变换核作 必要的近似,使得变换核仅为1 、2 的整数;最后再将缩放因子整合到量化 与反量化中。这样,其核心变换仅有移位运算和加法运算。另外,为进一步相 除相邻块的相关性,降低传输比特率,该算法还对4 x 4 亮度块整数变换后的 d c 系数进行了4 4 的哈达码变换,对色度块变换后的d c 系数进行了2 2 的哈达码变换 9 】。 该种变换在核心变换中,去掉了乘法,只有加法和移位运算;同时,变换 与反变换的缩放系数被综合到了量化器中,
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026-2027学年黄冈市武穴市八年级上册物理期末检测卷含答案
- 智能楼宇管理员风险评估与管理水平考核试卷含答案
- 颗粒剂工安全宣贯能力考核试卷含答案
- 木材保护与改性处理工诚信水平考核试卷含答案
- 罐头食品加工工岗前活动策划考核试卷含答案
- 数控组合机床操作工创新意识模拟考核试卷含答案
- 平路机司机标准化测试考核试卷含答案
- 搪瓷花版饰花工岗中适应水平考核试卷含答案
- 油锯工工作合规模拟考核试卷含答案
- 制冷空调设备装配工班组管理测试考核试卷含答案
- 2026年广东省环保集团有限公司人员招聘考试模拟试题及答案
- 2026-2027北京初中语文秋季期七年级上册期中模拟试卷(三)
- 专项债项目运营管理指南
- 2026年《中国慢性阻塞性肺疾病诊疗指南(2026版)》
- 2026新能源领域薄膜过滤材料应用场景开发与商业模式探索报告
- 《第2课 有趣的平面空间》教学设计-2026-2027学年五年级美术上册岭美版
- 2026-2030锦纶纤维行业市场发展分析及发展趋势与投资研究报告
- 乌鲁木齐辅警考试仿真试题及答案解析
- 2026年六盘水市钟山区法检系统书记员招聘考试参考试题及答案详解
- 第九章 三维点云数据标注
- 纪委谈话室建设标准方案
评论
0/150
提交评论