(信号与信息处理专业论文)h264视频编码标准码率控制的研究.pdf_第1页
(信号与信息处理专业论文)h264视频编码标准码率控制的研究.pdf_第2页
(信号与信息处理专业论文)h264视频编码标准码率控制的研究.pdf_第3页
(信号与信息处理专业论文)h264视频编码标准码率控制的研究.pdf_第4页
(信号与信息处理专业论文)h264视频编码标准码率控制的研究.pdf_第5页
已阅读5页,还剩64页未读 继续免费阅读

(信号与信息处理专业论文)h264视频编码标准码率控制的研究.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

西南交通大学硕士研究生学位论文第1 页 摘要 h 2 6 4 是国际电信联合会( i t u t ) 和国际标准化组织( s o r t e c ) 共同研究并 发布的下一代视频压缩标准。码率控制是该视频编码中的关键技术之一,其 控制效果的好坏直接影响到码流的带宽和图像的质量。由于图像序列中各帧 图像的复杂度和运动性大小的非平稳性,导致其压缩编码后的输出码流产生 很大的波动,所以需要采用适当的码率控制策略将这种波动控制在一个限定 的范围之内。 为此,本文针对h 2 6 4 所采用的主要编码技术中的码率控制算法进行了研 究,提出了一种改进的h 2 6 4 码率控制算法,并通过仿真研究证明了算法的 有效性。 首先,论文介绍了h 2 6 4 编码标准的发展及其技术优势,在此基础上分析 了其框架结构和核心技术。论述了码率控制技术的背景和基本原理,重点分 析了率失真理论。并对经典的码率控制方法进行了论述,介绍了各个码率控 制算法的原理。 然后,分析了h 2 6 4 编码标准所采用的码率控制算法,重点讨论了h 2 6 4 码率控制提案中t - g o l 2 所提出的码率控制算法,并在j m 模型的基础上对 其进行仿真和分析。 最后,在j v t - g 0 1 2 提案的基础上提出了一种改进的h 2 6 4 码率控制算法。 该算法利用m a d 和p s n r 计算图像复杂度,并将这种方法应用在基本单元层 的码率控制中;另外使用一种新的线性码率。量化参数模型调节量化参数。 本文的研究结果表明,改进的码率控制算法很好的解决了m a d 不能准确 反映图像编码复杂度的事实。而线性码率量化参数模型能够很好的降低编码 复杂度,并能达到更好的编码效果。 关键词:h 2 6 4 :码率控制:率失真优化;比特分配 西南交通大学硕士研究生学位论文第页 a b s t r a c t i t u ta n di s o ,i e c j o i n t oe s t a b l i s ha n dr e l e a s ean e w g e n e r a t i o n i n t e m a t i o n a lv i d e oc o d i n gs t a n d a r d :h 2 6 4 r a t ec o n t r o la l g o r i t h mi so n eo ft h e k e yt e c h n i q u e sf o rv i d e oc o d i n g i tw i l la f f e c tt h e b a n d w i d t ho fe n c o d e db i t sa n d r e c o n s t r u c ti m a g eq u a l i t yd i r e c t l y b e c a u s et h ec o m p l e x i t ya n d m o t i l i t yo fi m a g e s a r en o ts a m e ,i tw i l ll e a dt ot h eo u t p u tb i t sh u g ec h a n g e i ti sn e c e s s a r yt h a t t h e c h a n g ei sc o n t r o l l e dt oal i m i t e dr a n g eb ys o m e r a t ec o n t r o la l g o r i t h m s i nt h i s t h e s i s ,t h er a t e c o n t r o la l g o r i t h mo fh 2 6 4i sb e e ni n v e s t i g a t e d i m p r o v e dr a t ec o n t r o la r i t h m e t i ci sa d v a n c e d i t sv a l i d i t yi sp r o v e db yi m i t a t i n g f i r s t l y , t h ed e v e l o p m e n ta n dt e c h n o l o g yp r e d o m i n a n c ea r ei n t r o d u c e d b a s e d o nt h i s i t sf l a m ec o n f i g u r a t i o na n dk e r n e lt e c h h i q u ea r ea n a l y s e d n l eb a c k g r o u n d a n dr a t i o n a l eo fr a t ec o n t r o la r ed i s c u s s e d ;t h er a t e d i s t o r t i o ni sa e m p h a s i s t h e n s o m ec l a s s i c a lr a t ec o n t r o lm e t h o da n dt h e i rp r i n c i p l ea r ed i s c u s s e d t h i r d l y , t h er a t ec o n t r o la r i t h m e t i co f h 2 6 4i sa n a l y s e d ,t h ej v t - g 012i sa n e m p h a s i st ob ed i s c u s s e d 1 1 1 ee f f i c i e n c yo fj v t - g 0 1 2i se m u l a t e da n da n a l y s e d b a s e d o nj m f i n a l l y , a ni m p r o v e dr a t ec o n t r o lm e t h o di sp u tf o r w a r db a s e do nj t v - g 0 1 2 i nt h i sm e t h o d ,a l li m p r o v e df r a m ec o m p l e x i t ym e a s u r et h a tu s e sac o m b i n a t i o no f m a d b a s e dm e a s u r ea n dp s n r b a s e dm e a s u r ei sa p p l i e di nt h eb a s i cu n i tl a y e r r a t ec o n t r 0 1 i na d d i t i o n ,an e wl i n e a rr qm o d e li si n t r o d u c e dt oa d j u s tq p r e s e a r c hr e s u l t ss h o wt h a tt h e s ei m p r o v e m e n t sc a l lc o m m e n d a b l ys o l v et h e p r o b l e mt h a tm a d c a nn o ta c c u r a t e l yr e f l e c tp i c t u r ec o m p l e x i t y l i n e a rr q m o d e ld e p r e s s e sc o d i n g c o m p l e x i t yc o m m e n d a b l y ,a n dh a s ag o o dc o d i n g e f f i c i e n c y k e yw o r d s :h 2 6 4 ;r a t ec o n t r o l ;r a t e d i s t o r t i o no p t i m i z a t i o n ;b i ta l l o c a t i o n 西南交通大学硕士研究生学位论文第1 页 第1 章绪论 2 l 世纪是一个数字信息时代,数字信息化涉及到世界的各个角落,改变 了人类的生活和工作方式。信息化的一个主要特征就是多媒体技术的广泛应 用,随着多媒体业务的不断拓展,多媒体技术己成为工业界和学术界的一个 研究热点。同时,超大规模集成电路技术、数字信号处理技术和网络技术的 飞速发展f l 】,使得多媒体技术的实际应用成为可能。随着时代的发展,视频编 码技术越来越得到学术界和商业上的重视,成为当前的研究热点。 1 1 引言 多媒体信息内容丰富,包括文字,声音、图像、图形和视频等数据,信 息容量大,表达能力强。其中视频又是多媒体信息中最重要的成分,但视频 信息的庞大数据量对通信系统中有限的带宽和存储空间提出了严峻的挑战。 因此,视频数据的高效压缩意义重大,是降低存储成本,缓解网络带宽,突 破存储空间和处理器主频限制的关键技术。 码率控带1 ( r a t ec o n t r 0 1 ) 是视频压缩编码过程中的重要环节【2 l 。它贯穿整个 视频编码过程,其有效性不仅影响到码率的稳定,还将影响到整个视频序列 的图像质量。码率控制有效与否,在很大程度上取决于率失真模型( r dm o d e l ) 的准确性及码率控制算法的适应力。同以往的m p e g x 和h 2 6 x 编码标准一 样,h 2 6 4 的率失真模型及码率控制算法也没有一个统一的模式。这是因为码 率控制与具体的应用需求紧密相关,不同的应用目标对码率控制的准确性、 复杂性、实时性、控制灵活性、存储器资源占用量以及可控范围等方面有着 迥然不同的限制和要求。 通过以上的分析可以看出,视频编码有着非常广阔的应用前景,而码率 控制在编码中具有举足轻重的地位,针对不同应用其控制策略具有很强的灵 活性。因此,视频编码的码率控制策略具有重要的研究和应用价值。 1 2 视频编码标准的发展 二十五年前,图像和视频编码成为一个广泛研究的课题。现在它的应用 遍及各行各业,已经从纯学术研究转变为高度的商业行为。目前从事视频压 西南交通大学硕士研究生学位论文第2 页 缩标准制定的国际组织主要有国际电信联盟i t u t 的视频编码专家组v c e g ( v i d e oc o d i n ge x p e r tg r o u p ) 和国际标准化组织 s o i e c 的运动图像专家组 m p e g ( m o t i o np i c t u r ee x p e r tg r o u p ) 。两个标准化组织基于不同的应用需求, 采用近似的压缩编码技术,分别制定了h 2 6 x 和m p e g x 系列视频压缩标准。 其中i t u t 针对可视会议等应用分别制定了h 2 6 1 ,h 2 6 2 ,h 2 6 3 ,h 2 6 3 + , h 2 6 3 + + ,h 2 6 4 ;r s o i e c 相继制定了m p e g i ,m p e g 2 ,m f e g - 4 。以上国 际压缩标准尽管应用领域不同,但是均采用了预测编码结合变换量化的混合 编码模式。其中两大视频标准化组织于1 9 9 2 年联合提出的m p e g 2 1 - i 2 6 2 是 现有最成功的国际视频压缩标准,目前又再次联手提出了h 2 6 4 ,即m p e g - 4 第1 0 部分。图1 1 给出了各个标准出现的时间及其关系。 图1 i 视频编码标准的演进 1 h 2 6 1 【3 】 c c i t t s gx - v 于1 9 8 4 年底开始筹划h 2 6 1 视频压缩标准,直到1 9 9 1 年, h 2 6 1 才正式被批准为国际标准,它是第一个获得广泛应用的视频编码标准。 h 2 6l 的全称为“v i d e oc o d e cf o ra u d i o v i s u a ls e r v i c e sa tp 6 4 k b i t s ”,主要应用 于视频会议和视频电话等应用中。它采用运动补偿( m o t i o nc o m p e n s a t i o n ) 消除 视频信号的时域冗余及采用离散余弦变换消除视频信号的空间冗余。它有两 种编码方式:帧间编码和帧内编码。若帧间预测效率降低,后一种方式将被 激活,输入信号直接进行d c t 变换。 2 m p e g 一1 【4 l 1 9 9 8 年,i s o s c ( s u b c o m m i t t e e ) 成立了m p e g ( m o v i n gp i c t u r ee x p e l s g r o u p ) 。现为i s o i e c 的联合技术委员会j t c ( j o i n tt e c h n i c a lc o m m i t t e e ) 的 s c 2 9 下第1 1 工作组( w g l l ) 。官方名称为i s o f l e cj t c s c 2 9 w g l l 。该组织 西南交通大学硕士研究生学位论文第3 页 主要致力于为数字存储媒体的开发1 5 m b p s 下视频编码标准。i s o i e c l11 7 2 ( m p e g 1 1 标准于1 9 9 1 年起草,1 9 9 2 年正式成为国际标准。m p e g 1 和 h 2 6 1 非常相似,不同之处是加入了一些新技术,如双向预测和半像素运动补 偿m c ( m o t i o nc o m p e n s a t i o n ) 。它能够满足特定的存储需求,如随机访问、快 进、快退等。它主要应用于存储应用。但它的设计具有通用性,它被设计成 一个工具集,用户可根据应用选择工具。另外标准仅定义了解码器和码流语 法,这给开发商很大的灵活度优化自己的编码器。设计的通用性和开发的灵 活性使得m p e g 1 获得了成功。它应用广泛,从c d r o m 上的交互系统到通 信网络上的视频传输。 3 m p e g 一2 【5 i i s o s e cj t c l s c 2 9 ,w g l l 于1 9 9 1 年开始研究新的标准,旨在覆盖 m p e g 1 之外的应用。新标准着力于提高视频质量,提供不亚于n t s c p a l 直到1 0 m b p s 左右的c c i r 6 0 1 质量。这次活动被看作m p e g - 1 工作的延续, 因而习惯上称作m p e g 2 。1 9 9 2 年i t u t s g1 5 也加入了该次标准化工作, 研究a t mf a s y n c h r o n o u st r a n s f e rm o d e ) 网络上的视频编码。1 9 9 3 年,原先拟 定开发h d t v 的m p e g 3 的工作也被纳入了m p e g 2 。1 9 9 4 年公布了 i s o i e c l 3 8 1 8f m p e g - 2 ) 草案,一年后成为国际标准。和m p e g 1 一样, m p e g 2 仍然是本着通用和灵活原则进行设计的。事实上,m p e g 一2 是m p e g - l 的个超集,它后向兼容m p e g 1 。在m p e g 1 基础上,加入了一些额外的 功能,如支持隔行视频和码流分级。对大多数应用来说,没有必要实现m p e g 2 的所有语法,为此,m p e g 2 引入了类( p r o f i l e ) 的概念定义功能,引入了级( 1 e v e l ) 概念限制码流参数。m p e g 2 比m p e g 1 有着更为广泛的应用,如有线电视、 a t m 视频服务、卫星和地面电视广播。 4 h 2 6 3 6 】 随着对p s t n ( p u b l i cs w i t c h e dt e l e p h o n en e t w o r k ) 和移动网络上数字视频 通信需求的不断增长,i t u t s g1 5 发起了h 2 6 3 标准化工作。它的主要目标 是为低于6 4 k b p s 的低码率应用开发视频编码标准。h 2 6 3 在1 9 9 5 年完成,1 9 9 6 年成为国际标准。尽管和h 2 6 1 的结构相似,但它在性能上有了显著提高。 试验表明:在相同的主观质量下,h 2 6 3 编码速率仅为h 2 6 1 的一半。h 2 6 3 西南交通大学硕士研究生学位论文第4 页 性能提高归功于优化的编码技术和高级可选编码模式。和h 2 6 1 相比,h 2 6 3 增加了更多的图像格式、半象素运动补偿、3 d ( l a s tr l i n l e v e l ) 而不是 2 - d ( r u n l e v e l ) 游程编码、优化的v l c 表、可选的重复头信息以提高误码 恢复能力、运动矢量编码的高级2 d 中值预测、更优的宏块编址和量化编码、 一可选的无限制运动矢量、可选的数学编码、可选的重叠运动补偿和四运动 矢量臆块的高级预测模式和可选的双向预测。 h 2 6 3 标准的第2 版h 2 6 3 + 是由i t u t s g1 6 q1 5 高级编码专家组 v c e g ( 先前从属于i t u t s g1 5 ) 于1 9 9 8 年完成。h 2 6 3 + 是在h 2 6 3 基础上增 加了1 2 个可选功能。这些新功能支持用户定义的图像大小和时钟频率,提高 了压缩效率,允许分级编码增强了在无线和分组网络上的误码恢复能力,且 具有后向兼容能力。 5 ,m p e g - 4 7 】 m p e g - 4 是i s o i e cj t c i ,s c 2 9 脚g 1 1m p e g - t 作组自1 9 9 3 年开始的一 项标准化活动。它的目标是面向更低码率,获得比现有技术更高的压缩效率。 在1 9 9 4 年意识到不能获得比现有h 2 6 3 和h 2 6 3 + 更多提高后,m p e g 工作组 决定扩大m p e g 4 的研究目标,并更加深入地研究音视频领域的发展趋势。 特别是通信、计算和娱乐3 个独立传统行业的融合。这份研究推断m p e g 一4 提供的服务必须面向未来的应用,并不受现有标准制约。8 个新功能可以归为 3 类:基于内容的交互f 基于内容多媒体数据访问功能,基于内容处理和流编 辑、混合自然和人工视频编码、改进的随机访问) 、压缩( 更高压缩效率、并存 多数据流编码) 和有效访问( 差错环境中鲁棒性和基于内容分级) 。m p e g - 4 第一 版于1 9 9 8 年1 0 月完成,第2 版在1 9 9 9 年1 2 月发布。m p e g - 4 的正式名称为 i s o i e c1 4 4 9 6 ( 音视频对象通用编码) 。这个名称表明了m p e g 4 的两个重要 特征:( 1 ) 它是一个通用标准,适用于很大码率范围内( 如从5 k b p s 到1 0 m b p s ) , 不同图像格式( 隔行或逐行) 、图像分辨率( s q c i f 到超出t v 的大小) 、帧率( 静 态图像和高帧率) 、通信网络( 有线或无线) 、输入素材( 人工或合成) 等等。( 2 ) 它使用基于对象的表示方式,场景都按对象方式表示、编码、处理。这是区 别于已有基于块编码标准的重要特征。除传统的基于块的m c d p c m 仍c t 技 术外,m p e g 4 采纳了最新的第2 代编码中基于对象的编码技术和基于模型的 西南交通大学硕士研究生学位论文第5 页 编码技术。 6 h 2 6 4 i s h 2 6 4 是i t u t 在1 9 9 9 年开始开发一种新的极低码率视频编码标准,旨 在代替先前的h 2 6 3 标准,2 0 0 3 年5 月正式批准为国际标准。h 2 6 4 是近年 来最为高效的一个视频压缩标准,它的压缩效率比m p e g 4 和h 2 6 3 + 提高了 近5 0 。在整个框架上,h ,2 6 4 和先前的标准没有太大差别,都包含预测、变 换、量化和熵编码这几个功能单元。但在每个功能单元的细节上,h 2 6 4 做了 很大的变动。h 2 6 4 在运动估值时可采用不同大小的块,更高精度的亚象素搜 索、多参考帧选择。变换时使用4 4 整数变换而不是传统的8 8 d c t :在 熵编码时使用统一变长码u v l c ( u n i v e r s a lv a r i a b l el e n g t hc o d e s ) 或基于内容自 适应的二进制算术编码c a b a c ( c o n t e x t - b a s e da d a p t i v eb i n a r ya r i t h m e t i c c o d i n g ) 。 1 3 码率控制技术的国内外研究现状 视频编码码率控制是视频编码技术和网络传输技术共同发展和不断融合 的结果。视频信号的码率结构大致分为图像组层、图像层和宏块层,因此码 率控制方案一般分为图像组层码率控制、图像层码率控制、宏块层码率控制。 一般来说,码率控制主要是从编码各个阶段调控码率和从网络传输因素调控 码率。 对h 2 6 4 标准的码率控制研究比其它标准更加困难。这是因为在码率控制 算法以及率失真优化( r a t ed i s t o r t i o no p t i m i z a t i o n ,r d o ) 中都使用了量化参数 ( q u a n t i z a t i o np a r a m e t e r ,q p ) ,这导致了在进行码率控制时出现了下面的竞争 问题:对当前帧的宏块进行率失真优化时,需要先通过当前帧或宏块的平均 绝对差( m e a n a b s o l u t ed i f f e r e n c e ,m a d ) 决定每个宏块的量化参数,然而当前 帧或宏块的m a d 仅在率失真优化后才能得到。同时,编码过程中的有效信道 带宽可以是恒定的或是变化的,因此必须考虑恒定比特率( c b r ) 和变化比特率 ( v b r ) 两种情况。然而,当前提出的大多数算法都是集中在c b r 情形上陆l i 】, 不适用于v b r 情形。 码率控制在所有的视频编码器中都起着重要的作用,虽然目前各种视频编 码标准没有对码率控制做明确规定,但是都为自己的编码器推荐了一些提案, 西南交通大学硕士研究生学位论文第6 页 例如m p e g 2 的t m 5 1 2 1 ,h 2 6 3 的t m n 8 3 1 ,m p e g 4 的v m 8 【i 4 1 等。h 2 6 4 码率 控制方法的提案主要有两个,一个是马思伟提出的基于t m 5 的改进版本【l 。”l , 文中沿用帧比特分配和二次模式判别的思想,在宏块级进行码率控制,存在 着比特分配不准确以及计算量过大等缺点:另一个是l iz h e n g g u o 提出的基于 基本单元的自适应码率控制算法【1 8 11 1 9 1 ,该算法引入了基本单元,流体流动模 型等新的概念,并采用对线性预钡0 模型来解决“鸡与蛋”悖论,这种算法由 于其对图像间相关性的挖掘以及准确的二次模型而取得l e f 0 8 6 提案更好的控 制效果。除了上述两种码率控制策略,s i m o n e 针对量化后零系数所占比率和 编码码率之间的近似线性关系提出种低复杂度的码率控制方法1 2 0 j :陈川等 提出一种丢包网络中联合信源信道的码率控制方法【2 1 1 :李蔷等使用前后两帧 图像直方图的作为帧编码复杂度的测量准则,提出一种实时的无需二次编码 的比特分配和码率控制和码率控制算法1 2 2 1 。新加坡南洋科技大学的h o n g t a o y u 、z h i p i n gl i n 提出了一种旨在提高高运动场景编码质量的码率控制算法【2 ”。 这种算法可以有效的提高场景切换和高运动场景视频质量并且比h 2 6 4 所采 纳的控制算法可以平均高出0 1 2 9 的p s n r 。 j v t - 0 0 1 2 作为目前主流的经典算法,存在着一些缺点。首先,算法没有 充分利用图像的空间和时间相关性,使预测模型以及比特分配不够准确:其 次,没有能根据图像复杂度进行不同大小的基本单元的划分。为此,很多人 提出了一些改进方法,例如w u y u a n 等在j v t - 0 0 1 6 2 4 】中提出一种新的更准确 的r d 模型,j i a n g m i n g q i a n g 等改进了原算法中对剩余比特平均分配的缺陷 2 3 1 ,y ix i a o q u a n 等采用了一种更准确的的线性预测方法 2 5 1 。 上述算法中,有些算法存在控制过于复杂的问题,不适合实时编码应用, 有的模型则过于简单,难以有效地控制码率。 1 4 本论文研究内容及结构 1 4 1 论文主要研究内容 码率控制通常采用在系统中加入反馈控制装置,使系统整个特性发生变 化,从而满足给定的各项性能指标。在整个视频编码的过程中,有几个环节 是码率控制的主要环节,主要包括:变换、量化和缓冲区调整、分层编码( 即 西南交通大学硕士研究生学位论文第7 页 可分级编码、精细编码) 、网络状况反馈调节编码等过程,在这几个方面进行 研究。另外结合传统的码率控制策略如后向控制、前向控制、联合前后向控 制等方法。 本文主要针对h 2 6 4 编码标准,对视频编码器中的各个编码环节及缓冲 区的相应调整来研究码率控制,提高编码效率。本文对h 2 6 4 视频编码标准 和码率控制算法进行了深入的研究。主要研究工作有: 1 对h 2 6 4 编码器的结构和关键技术进行了详细的分析研究: 2 论述了码率控制的原理和编码模型,重点分析了率失真优化技术在h 2 6 4 中的应用:介绍了几种经典的码率控制算法; 3 分析了h 2 6 4 的码率控制策略; 4 在h 2 6 4 编码标准模型的基础上提出了一种改进的h 2 6 4 码率控制算法, 并通过仿真证明算法的有效性。 1 4 2 论文结构 本文分为五章: 第一章绪论:论述了视频压缩原理及视频压缩标准的发展,结合国内外 研究现状提出自己的研究内容和策略。 第二章h 2 6 4 视频编码标准:对h 2 6 4 编码标准进行简要介绍,分析了 其框架结构和核心技术。 第三章码率控制及率失真理论:对码率控制技术的背景和基本原理进行 简要的介绍,并分析了率失真理论和经典的码率控制算法。 第四章h 2 6 4 的码率控制方法:介绍了h 2 6 4 所采用的码率控制策略, 对其原理进行了详细的描述,并通过仿真验证其优越性。 第五章分析h 2 6 4 码率控制算法的弊端,在此基础上提出一种新的码率 控制方法,并通过试验仿真分析了其性能。 结束语:总结论文工作的成果及需要进一步研究的内容。 西南交通大学硕士研究生学位论文第8 页 第2 章h 2 6 4 视频编码标准 h 2 6 4 是由i t u t 的视频编码专家组( v c e g ) 及i s o i e c 的移动图像专 家组( m p e g ) 大力发展研究的适应于低码率传输的新一代视频压缩标准。它的 主要目标是发展一种简单直接的高压缩性能视频编码设计,提供更加适于网 络传输的方案。由于它支持广播视频能在互联网上以小于1 m b i t s 的速率进行 高质量传输,因此将使得计划采用h 2 6 4 技术的m p e g 4 在低码率视频传输 上取得突破性进展弘“。 2 1h 2 6 4 视频编码标准简介 2 1 1h 2 6 4 的兴起与发展 1 9 9 5 年,在完成了针对视频电话的h 2 6 3 标准的初级版本工作之后,国 际电讯联合会( i t u - t ) 的视频编码专家组( v c e g :v i d e oc o d i n ge x p e r t sg r o u p ) 将未来的工作划分为长期和短期的两个目标:短期目标是对现有的h 2 6 3 不 断增加高级选项,以扩充其功能及应用范围;长期目标是针对低比特率的视 频通信,发展新一代标准。长期目标导致了“h 2 6 l ”标准草案的产生,相对 于i t u t 的以静标准,它取得了更显著的视频压缩效果。后来,在意识到h 2 6 l 的发展前景后,国际标准化组织( i s 0 ) 的运动图像专家组( m p e g :m o t i o np i c t u r e e x p e r tg r o u p ) 与i t u t 的视频编码专家组( v c e g ) 组成了联合视频专家组 ( j v t :j o i n tv i d e ot e a m ) ,共同开展对新标准的研究。t 的主要工作任务是 将h 2 6 l 的草案模型发展成为币式的国际标准。事实上,这些工作成果将出 现在两个相似的标准中:i s o 的m p e g 4 标准的第十部分及i t u t 的h 2 6 4 标 准。新标准官方的命名为“高级视频编码协议”( a v c ) ,但它在大多数文献 和工作中仍被使用旧的工作名称“h 2 6 l ”或它的i t u t 的文件编号h 2 6 4 。 这项标准的基本草案已在2 0 0 2 年1 0 月形成,其最后的批准工作已在2 0 0 3 年 3 月完成。 2 1 2h 2 6 4 的技术优势 h 2 6 4 和以前的标准一致的地方在于,它也是差分脉冲编码调制 d p c m ( d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n ) 加变换编码的混合编码模式。作为一 西南交通大学硕士研究生学位论文第9 页 个目前最好的一个视频编码标准,h 2 6 4 视频压缩标准的主要特点有以下几 占 2 7 1 ( 1 1 高压缩率:在所有的速率上,比h 2 6 3 节省5 0 的比特率,在高比特 率时质量优良; ( 2 ) 采用简洁的设计方式,简单的语法描述,避免过多的选项和配置,尽 量利用现有的编码模块; ( 3 ) 低时延,对不同的业务灵活地采用相应的时延限制: f 4 ) 力f l 强对误码和丢包情况的处理,增强解码器的差错恢复能力: ( 5 ) 在编解码器中采用复杂度可分级设计,在图像质量和编码处理之间可 分级处理,以适应高低不同复杂性的应用; ( 6 ) 提高网络适应性,采用“网络友好( n e t w o r kf r i e n d l i n e s s ) ”的结构和语 法,以适应i p 网络、移动网络的不同应用; ( 7 ) h 2 6 4 编码基本级另1 ( b a s e l i n ep r o f i l e ) 的使用无需版权。 正因为h 2 6 4 继承了以| j 的标准的精华,又克服了各自的缺点,发展了 自己的独特的算法,h 2 6 4 标准成为了目前表现最好的一种视频压缩标准。 根据实验数据,我们可以得出以下比较结果: 表2 1h 2 6 4 与其它标准的码率比较 编码器 m p e g - 4h 2 6 3 i p e g - 2 h 2 6 4 降低的码率 3 9 4 9 6 4 m p e g 4 降低的码率无 1 7 4 3 h 2 6 3 降低的码率无无 3 1 2 2h 2 6 4 视频编码标准的框架结构 2 2 1 编解码器结构 与前期的其他编码标准( m p e g l ,m p e g 2 ,m p e g 4 ) - - 样,h 2 6 4 协议并 没有定义明确的编解码器,但是新标准定义了编码和解码的视频流标准语法。 实际应用中,符合语法的编码器和解码器需要包括一些必需的模块,但除此 之外,标准对具体编解码器的实现留有很大的余地。h 2 6 4 协议中,基本的模 块( 如预测、变换、量化、熵编码等) 与之前的协议( m p e g i 、m p e g 2 、m p e g 4 、 h 2 6 1 、h 2 6 3 ) 是一致的,关键的区别在于每个模块的细节上,这也是h 2 6 4 之 所以可以提高编码质量、降低码率的要点所在。 西南交通大学硕士研究生学位论文第10 页 1 h 2 6 4 编码器框图 编码器包括了两个数据流分支,一是前向分支,二是后向的重建分支。 如图2 1 所示。 幽2 - l 编码器结构 在编码的前向通路中,砌表示输入的视频帧,每一帧是以宏块( 1 6 1 6 个象素点) 为单元进行处理的。每个宏块以帧内或者帧间的模式进行编码,然 后生成一个预测宏块当宏块以帧内模式进行编码时,当前被编码的第n 帧 的宏块经过前期的编码、解码和重建( 即图2 i 中未经过滤波的u f n ) ,生成预 测宏块n 当宏块以帧问模式进行编码时,宏块经对前一个或多个参考帧进行 运动补偿得到预测宏块p o 图2 1 中,参考帧用“f k ,表示,但实际上预测宏 块所参考的可能是其之前的,或之后的参考帧。预测宏块p 和当前宏块相减, 得到了宏块的残差d n ,这一结果经过宏块( 8 8 个象素点) 为单位的变换、量 化,得到一组系数x ,x 经过重新排序和熵编码,就完成了一个宏块的编码 过程。经过熵编码的码流,加上宏块解码所需的一些信息( 如宏块预测模式、 量化步长、描述宏块运动补偿的运动矢量信息等) ,组成了压缩后的码流,然 后再通过网络适配层州e t w o r k a b s t r a c t i o nl a y e r ,n a l ) 进行传输或存储。在后 向的重建通路中,按照一定的顺序对量化后的宏块系数x 进行解码,得到对 后续宏块进行编码所需的重建帧。宏块的系数x 经过反量化q 7 ,和反变换 r7 ,得到了一个差分宏块d n 这与原来的差分宏块d n 并不完全相同,因为 西南交通大学硕士研究生学位论文第1 1 页 量化和反量化的过程产生了信息的损耗,所以d n 是一个包含了失真信息的 d n 的复制。预测宏块p 和参差宏块d n 相加,得到了重建的宏块u f n m 也 就是原始宏块的一个包含失真的副本,然后经过滤波,减少块失真效应,最 后得到重建的参考帧f k 。 2 h 2 0 4 解码器框图 h 2 6 4 解码器框图解码器中数据的流向是从右到左的,详见图2 2 。 图2 2 解码器结构 在图2 2 中,解码器从n a l 得到经压缩的码流,数据经过熵解码和排序, 得到一系列的经过量化的参数x 。然后经过反量化和反变换得到d n ,利用码 流的头信息,解码器重建预测的p 宏块,p 与d n 相加得到未经平滑处理的图 像u f n 。编码器的重建得到的参考帧和解码器中的参考帧必须是一样的,如 果编解码器中的p 帧有所不同,会使图像有误差扩大或漂移的现象。 2 2 2h 2 6 4 的框架 在h 2 6 4 中定义了3 个框架,每个框架支持一系列的特定的编码功能。 编码器和解码器都必须遵守这些规定,框架如图2 3 所示。 基线框架( b a s e l i n ep r o f i l e ) 支持帧间和帧内编码:支持i 帧和p 帧;支 持c a 、,l c 等。它的主要应用是可视电话、视频会议、无线通信等。 主框架( m a i np r o f i l e ) 包括支持交错视频:支持b 帧;帧间编码时使用权 重预测;熵编码使用c a b a c 。它的主要应用是视频存储和电视广播。 扩展框架( e x t e n d e dp r o f i l e ) 不支持交错视频和c a b a c 。但增加了一些在 进行比特流切换时有效的帧模式s i ( s w i t c h i n gi ) 帧和s p ( s w i t c h i n gp ) 帧。 能够有效的提高从错误中恢复的能力。它的主要应用是流媒体应用。 西南交通大学硕士研究生学位论文第12 页 。一、 搬 , 、 j 厂吲 、 ,l ! 竺i 匿蜀圈匦 图2 3h 2 6 4 中的基线框架、主框架和扩展框架 2 3h 2 6 4 视频编码标准的核心技术 毋庸置疑,h 2 6 4 在压缩性能上要比其他标准优越,甚至包括 m p e g 4 ( 2 ) ( m p e g 4 第2 部分) 。众所周知,m p e g - 4 ( 2 ) 最大的特点就是面向 对象的编码,对象概念的提出是具有先进性的,在对象已经提取出来的条件 下确实能够获得很高的压缩比。但是如何提取对象成为摆在人们面前的一大 难题。一个真正的对象提取算法应陔是像人一样具有智能,能够像人一样进 行思维并且是能够学习的,而目前的技术根本达不到这点。正因为如此, m p e g - 4 ( 2 ) 面向对象编码的思想过于超前。i t u t 的v c e g 放弃了对象这一不 现实的概念,与目前科学技术的发展水平相适应,提出了h 2 6 4 视频编码标 准,这是难能可贵的,更重要的是它同样实现了m p e g - 4 ( p a r t2 ) 面向对象编码 的目标之一一高压缩比。h 2 6 4 它保留了一些先前标准的特点,如不受限制 的运动矢量( u n r e s t r i c t e dm o t i o nv e c t o r s ) ,对运动矢量的中值预测( m e d i a n p r e d i c t i o n ) 等。以下介绍的技术使得h 2 6 4 比之前的视频编码标准在性能上有 了很大的提高,这个提高不是单靠某一项技术实现的,而是由各种不同技术 西南交通大学硕士研究生学位论文第13 页 带来的小的性能改进而共同产生的【2 引。 2 3 1 帧内预测 为了利用空间相关性,h 2 6 4 引入了帧内预测以提高压缩效率。简单地说, 帧内预测编码就是用周围邻近的像素值来预测当前的像素值,然后对预测误 差进行编码。这种预测是基于块的,对于亮度分量( 1 u m a ) ,块的大小可以在 1 6 1 6 和4 x 4 之间选择,1 6 1 6 块有4 种预测模式,4 x 4 块有9 种预测模 式;对于色度分量( c h r o m a ) ,预测是对整个8 x8 块进行的,有4 种预测模式。 除了d c 预测外,其他每种预测模式对应不同方向上的预测。 1 4 4 亮度预测模式 4 x 4 子块的预测,见图2 - 4 。1 6 个子块a - p 组成了预测块p 。当左边和 上边的采样点a l 已经重建好后,它们就能作为预测的参考子块。有9 种预 测模式,如图2 5 所示: fg h 侈 砀 6 5 ( a ) 象素点分布( b ) 预测模式 图2 - 44 4 帧内预测模式 1 崎曲伽2 c d c l3 幽酬如i 删4 恤哪l 曲m 圳 黟黔 f 驴 图2 - 5 亮度分量的4 x 4 帧内预测模式 西南交通大学硕士研究生学位论文第14 页 ( 0 ) 垂直预测:上方采样点的值被分别用作各列的预测值。( 1 ) 水平预 测:左边采样点的值被分别用作各行的预测值。( 2 ) 均值( d c ) 预测:采样点 a l 值的均值被用作整个2 的预测值。( 3 ) 左下对角预测:各子块预测值由 采样点从右上方相邻像素( 如a 的a ,b ,c ) 到左下方相邻像素( 如a 的i ,j , k ) 沿4 5 度方向插值得到。( 4 ) 右下对角预测:各子块预测值由采样点从左 上方到右下方沿4 5 度方向插值得到。( 5 ) 垂直向右预测。( 6 ) 水平向下预 测。( 7 ) 垂直向左预测。( 8 ) 水平向上预测。 2 1 6 1 6 亮度预测模式 1 6 x1 6 宏块的预测分为4 种方法:( 1 ) 垂直预测:宏块上方各子块采 样值被用作宏块对应一整列的预测值。( 2 ) 水平预测:宏块左边各子块采样 值被用作宏块对应整行的预测值。( 3 ) 均值预测:宏块上方与左边各子块 采样值的均值被用作宏块预测值。( 4 ) 平面预测:宏块预测值右上方和左边 各子块采样值按左下到右上的方向插值得到。如图2 - 6 所示: 0l v a t l r , a f l l ( h o n z t m t a l 2 f o c )3 i m e hh 图2 - 61 6 x 1 6 亮度预测模式 3 8 8 色度预测模式 由于采用4 :2 :0 采样,色度的分辨率只有亮度的一半,所以色度以8 x8 为单位预测,也有4 种预测模式,但它的预测模式的顺序与1 6 x1 6 有 些不同,分别是:m o d e 0 直流分量d c 、m o d e l 水平、m o d e 2 垂直、m o d e 3 平面。所有的色度块都具有相同的预测模式。 2 3 2 帧间预测 h 2 6 4 的帧间预测编码是基于像素块的运动补偿技术,是以前面已解码图 像作为运动估计的参考帧,h 2 6 4 支持使用多个参考帧。新标准和其它标准的 重要区别在于它支持更灵活块尺寸的运动估计,和更精确的运动矢量( 1 4 像 素精度) 。 崖 西南交通大学硕士研究生学位论文第15 页 1 多模式的帧间预测 h 2 6 4 支持宏块的7 种分区模式,从1 6 1 6 直到4 4 ,可根据图像内容 的不同而进行选择,分区模式见图2 7 。与仅使用1 6 x1 6 块进行预测相比, 使用不同大小和形状的块可以使码率节省1 5 以上。 1 6 。1 6 16 8 8 1 6 8 8 口目田口 口目田口 图2 7 宏块和子宏块分割 2 运动补偿的内插算法 相对于h 2 6 3 、m p e g 2 等标准使用l 2 像素单位的运动估计,h 2 6 4 支 持更为精确的1 4 像素精度的运动矢量,在运动搜索时l 2 、1 4 等分数位置上 的像素值是由周围整数位置上的像素值经6 - t a p 内插滤波器的计算得到。 口至

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论