（信号与信息处理专业论文）基于h264avc视频编解码关键技术的研究.pdf

摘要 摘要 在2 0 0 3 年3 月，由m p e g 和v c e g 组成的j v t 开发的新的视频编码标准 h 2 6 4 a v c 在国际上正式颁布。这一编码标准相对以往的视频编码标准如 m p e g l 、m p e g 2 、h 2 6 3 等在低码率传输中表现出更好的性能。它利用许多比 较先进的编码技术如7 种预测块的树状结构运动补偿、亚像素运动矢量的使用以 及多参考帧运用等，拥有很强的编码优势，编码效率比以往的标准提高了将近 5 0 。但是相应地存在复杂度高、计算量大等问题，限制了h 2 6 4 a v c 技术在实 时通信领域的应用。h 2 6 4 a v c 优异的编码性能对于市场具有极大的诱惑力，而 研究其编码的快速算法及其实现是h 2 6 4 a v c 走向市场的前提和保证，因此对 h 2 6 4 a v c 视频编码算法进行优化具有十分重要的理论意义和实用价值。 针对上述问题，本文研究了以下几个方面：( 1 ) 论述了h 2 6 4 a v c 的编解码 原理，以及它的主要功能模块和采用的一些新的关键技术。( 2 ) 深入探讨了运动估 计算法，对各种运动估计算法进行了比较分析，在h 2 6 4 a 、，c 中利用几种预测方 式得到最优的预测中心和设置阈值，提出了一个新的搜索算法，有效减少了搜索 点，在主观图像质量变化不大的情况下，很大程度地提高运算速度，减少搜索算 法复杂度。( 3 ) 介绍了去块滤波技术在视频编解码技术中的应用，着重对 h 2 6 4 a v c 标准中的环路滤波技术原理及算法进行详细的分析和介绍，并仿真验 证环路滤波在整个编解码体系中不但能去除块效应提高主客观质量，而且能节省 大量的码率。( 4 ) 由于环路滤波器的自适应性，导致其高度复杂，使得滤波过程耗 时很长，而边界强度b s 值的计算大约占滤波器9 0 的计算量，所以本文通过降低 b s 值的复杂度来降低编解码器的耗时。( 5 ) h 2 6 4 a v c 标准中的环路滤波技术可以 有效地滤除块效应，但环路滤波中编码器和解码器必须要完全地匹配，不具有灵 活性，本文介绍了一种只改变解码器不改变编码器的滤波算法，使得滤波算法应 用更加灵活，通过多种视频码流测试仿真的数据显示，相对于原来的滤波算法信 噪比只有较小的改变，而主观上图像的视觉效果有较好的改善。( 6 ) 本文还对 h 。2 6 4 a v c 标准中的整数变换与量化技术进行了分析研究。 关键词：h 2 6 4 a v c ，运动估计，搜索算法，环路滤波器，d c t a b s t r a c t a b s t r a c t h 2 6 4 a v cv i d e oc o d i n gs t a n d a r di san e wi n t e m a t i o n a ls t a n d a r dd e v e l o p e do n m a r 2 0 0 3b yj o i n tv i d e ot e a m c o m p a r e dw i t hp r e v i o u sv i d e oc o d i n gs t a n d a r d s ，s u c ha s m p e g 一1 ，m p e g 一2 ，h 2 6 3 ，t h en e wv i d e oc o d i n gs t a n d a r ds h o w e dab e 钍e rp e r f o r m a n c e i nt h el o wt r a n s m i s s i o nr a t e i ta d o p t sm a n ya d v a n c e dc o d i n gt e c h n o l o g i e s ，s u c ha s7 b l o c k sf o rm o t i o ne s t i m a t i o n ，s u b p i x e lm o t i o nv e c t o r s ，m u l t i p l er e f e r e n c ef r a m e s s i n c et h es t r o n ga d v a n t a g e o u sc o d i n gt e c h n i q u e s ，i tu p g r a d e sa l m o s t5 0 i nt h ec o d i n g e f f i c i e n c y y e t ，a l lt h e s et e c h n o l o g i e sr e q u i r e ab e r e ra b i l i t yo fc o m p l e x i t ya n d c o m p u t a t i o n ，w h i c hr e s t r i c tt h er e a lt i m ea p p l i c a t i o no fh 2 6 4 a v ci nc o m m u n i c a t i o n f i e l d s t h ee x c e l l e n tc o d i n g e f f i c i e n c yo fh 2 6 4 a v ch a sag r e a ta t t r a c t i o nt o t h e m a r k e t ，a n dt h ef a s tc o d i n ga l g o r i t h ma n di t si m p l e m e n t a t i o na r et h ep r e c o n d i t i o na n d g u a r a n t e ef o rt h em a r k e ta p p l i c a t i o no fh 2 6 4 a v c 。s ot h eo p t i m i z m i o no fh 2 6 4 a v c c o d i n gt e c h n i q u e sh a sag r e a tt h e o r e t i c a ls i g n i f i c a n c ea n da p p l i c a t i o nv a l u e s i nt h i sd i s s e r t a t i o n ，f i r s t l y , i ts t a t e st h ee n c o d i n gp r i n c i p l eo f h 2 6 4 a v c t o g e t h e r w i t hi t sm a i nf u n c t i o nm o d u l e sa n dn e w l ya d o p t e dt e c h n o l o g i e s s e c o n d l y , t h em o t i o n e s t i m a t i o ns e a r c ha l g o r i t h m sa r ed i s c u s s e d ，a n dt h e nm a n yk i n d so fc l a s s i c a ls e a r c h a l g o r i t h m sa r ea n a l y s e di nc o m p a r i s o n an e wf a s tm o t i o ne s t i m a t i o na l g o r i t h mw i t h p r e d i c t i o nc e n t e ra n dt h r e s h o l d sf o re a r l yt e r m i n a t i o ni sp r o p o s e d e x p e r i m e n t so nt h e p r o p o s e dm e t h o ds h o wt h ee n c o d i n gs p e e di sl a r g e l yi m p r o v e d ，w h i l et h es u b j e c t i v e i m a g eq u a l i t yo n l yc h a n g e sal i t t l e m e a n w h i l e ，t h ep r o p o s e dm e t h o dr e s u l t si na s u c c e s s f u l l yd e c r e a s i n go ft h ec o m p l e x i t yo ft h ee n c o d e ra n dah i g h l yi m p r o v i n go ft h e s e a r c he f f i c i e n c y t h i r d l y , t h i sd i s s e r t a t i o ni n t r o d u c e sd e b l o c k i n gf i l t e rt e c h n o l o g yi n v i d e oc o d e c ，e s p e c i a l l ya n a l y s e st h ep r i n c i p l ea n da l g o r i t h mo ft h el o o p f i l t e ru s e di n h 2 6 4 a v c t h r o u g hal a r g en u m b e ro fs i m u l a t i o ns e q u e n c e si t i sp r o v e dt h a tt h e i n t r o d u c e dd e b l o c k i n gf i l t e rt e c h n o l o g yn o to n l yc a ns a v eal o to fb i tr a t e s ，b u ta l s o i m p r o v es u b j e c t i v ei m a g eq u a l i t y f o u r t h l y , t h ea d a p t i v el o o p f i l t e rw h i c hh a sh i g h c o m p l e x i t ym a k e st h ec o m p u t a t i o n a lp r o c e s sv e r yc o n s u m i n g t h ec a l c u l a t i o no fb s ( b o u n d a r ys t r e n g t h ) o c c u p i e sa b o u t9 0 o ft h ef i l t e r i n gc a l c u l a t i o n ，t h e r e f o r et h i s d i s s e r t a t i o ni n t r o d u c e sh o wt od e c r e a s et h e c o m p l e x i t yo fb st oa l l e v i a t et h e i i a b s t r a c t t i m e c o n s u m i n gc h a r a c t e r i s t i co ft h ed e c o d e r f i f t h l y , a l l t h o u g hl o o p - f i l t e rt e c h n o l o g y c a ne f f e c t i v e l yr e m o v eb l o c k i n ga r t i f a c t s ，t h ee n c o d e ra n dd e c o d e rm u s tb e f u l l y m a t c h e d ，s oi tl a c k sf l e x i b i l i t y t h ep r o p o s e dd e b l o c k i n gf i l t e ra l g o r i t h mo n l ya l t e r st h e d e c o d e ri nt h ef i l t e r i n gw i t h o u ta n yc h a n g ei nt h ee n c o d e r ，s oi tc a nb em o r ef l e x i b l y a p p l i e d e x p e r i m e n t ss h o wt h ep s n r ( p e a ks i g n a ln o i s er a t i o ) o n l yh a v eas m a l l c h a n g ew i t hal i t t l ei m p r o v e m e n to fs u b j e c t i v ei m a g eq u a l i t y s i x t h l y , i n t e g e rt r a n s f o r m a n dq u a n t i z a t i o nt e c h n o l o g i e sa r ea l s os t u d i e di nt h i sd i s s e r t a t i o n 【k e yw o r d s 】h 2 6 4 a v c ，m o t i o ne s t i m a t i o n ，s e a r c ha l g o r i t h m ，l o o p - f i l t e r , d c t i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：型峄吼沙7 年岁胁日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：逍筮囱牛导师签名：二虹 日期：p 穹年f 月h 日 第一章引言 第一章引言 1 1h 2 6 4 a v c 视频标准算法的研究背景和意义 国际标准化组织( i s o ，i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ) 、国际电子学 委员会( i e c ，i n t e r n a t i o n a le l e c t r o n i c sc o m m i t t e e ) 和国际电信联盟( i t u ，i n t e r n a t i o n a l t e l e c o m m u n i c a t i o nu n i o n ) 等国际组织陆续推出多种视频编码标准，为全球生产厂 商奠定了一个共同的技术基础，使依赖于这些视频标准的信息可以有效地进行传 播，进而使其在全球范围内得到了广泛的应用。 1 1 1h 2 6 4 a v c 视频算法的研究背景 h 2 6 4 a v c t l - - 2 是近年来由i s o i e c ( i n t e m a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n i m e m a t i o n a le l e c t r o n i c sc o m m i t t e e ) m p e g ( m o t i o np i c t u r eg r o u p ) 联合i t u - t ( i m e m a t i o n a lt e l e c o m m u n i c a t i o nu n i o nt e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r ) v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 成立的联合视频组( t ，j o i n tv i d e ot e a r n ) n 定 的视频编码新标准。新标准的制定工作引起了学术界和工业界的广泛关注和参与。 在t 制定标准的过程中，全球有一百多所大学、公司和科研机构参与了提案的 实现，其中包括h h i ( h e i n r i c hh e r t zi n s t i t u t e ) 、微软、诺基亚、英特尔、索尼、摩 托罗拉等国际知名的企业和科研机构。而国内包括浙江大学、清华大学、香港科 技大学、上广电、华为等高校和企业为了避免重蹈d v d 的覆辙，也积极了参与新 标准的发展和制定工作。h 2 6 4 a v c 相对以往的标准如h 2 6 1 p 】、m p e g 1 【4 j 、 m p e g 2 n 、h 2 6 3 6 】等在低码率传输中表现出更好的性能。它在细节上引进了许多 新的编码技术，使得其压缩性能大大超越了以往标准。它为新一代全球性技术互 操作奠定了良好的基础，在其颁布时就引起了广播、电信、流媒体还有移动通信 等相关技术领域的广泛关注【7 j 。 新代视频压缩编码标准h 2 6 4 a v c 的主要目标是：满足网络尤其是无线网 络中视频数据的高比例压缩和可靠性传输。h 2 6 4 a v c 标准在设计上将整个编解 码系统分成两个具有不同功能的视频编码层和网络抽象层，增强了编码视频对复 杂、异构的视频传输网的适应性【8 】。相对于以往视频编码标准在各个层次上有不同 性能的提升，例如：多块尺寸范围更广( 从1 6 x 1 6 到4 x 4 ) ，亚像素运动矢量的使用 电子科技大学硕士学位论文 ( 亮度采用l 4 像素精度m v ) 及多参考帧的运用等，同时s p s i 帧技术的运用解决 了视频流应用中终端用户的带宽不断变化、不同内容节目拼接时数量激增、快进 快退以及错误恢复等问题。 1 1 2h 2 6 4 a v c 视频算法的研究意义 相对于以往的视频编码标准，h 2 6 4 a v c 编解码器的功能块没有太大的变化， 只是在各功能的细节上做了调整。在同等图像质量情况下，h 2 6 4 a v c 标准比以 往视频编码标准节省了5 0 以上的码率；实现视频节目在更低的带宽上传输，可 节省大量带宽资源；编码图像质量高，可以提供连续、流畅的高质量图像；在质 量不稳定的网络中，有较强的容错能力，可得到较好的图像质量。 h 2 6 4 a v c 标准的优异压缩性能将在数字电视广播、视频实时通信、网络视 频流媒体传递以及多媒体短信等多方面发挥重要作用。并且新标准具有良好的网 络亲和性，这对实现实时视频通信是十分重要的。基于d s p 采用h 2 6 4 a v c 编码 的可视电话在市场上已经出现，可进一步说明h 2 6 4 a v c 在视频通信中的重要应 用价值。作为h 2 6 4 a v c 技术的一个重要应用，随着宽带用户数量的日益增多， 应用流媒体技术的视频点播( v o d ) 也有了快速的发展。全球的短信市场方兴未艾， 新标准的另一个重要应用多媒体短信息业务也有巨大的发展潜力。 综上所述，h 2 6 4 a v c 技术在各种热门领域应用范围广泛，对其算法进行优 化研究有极其重要的作用。 1 2 国内外研究现状 从上世纪八十年代以来各种技术均有迅猛的发展，视频压缩技术也不例外， 许多国际组织提出了有许多不同的压缩解压缩方法。国际标准化组织( i s o i e c ) 和 国际电信联盟( i t u t ) 分别制定了m p e g x 与h 2 6 x 两大系列编码国际标准，它们 都是在追求尽可能低的码率下，获得尽可能好的压缩解压缩图象质量。随着视频 压缩技术不断发展，联合视频组( t ) 制定的新的视频编码标准h 2 6 4 a v c ，主 要是为了更好实现提高图像压缩性能，并在低码率情况下实现有效传输。 视频编码技术显示了视频和图像编码的研究水平，其主要是由运动补偿、正 交变换、量化和熵编码四类技术混合构成的。用于数字视频和音频传输以及存储 的m p e g 1 、支持h d t v 等高品质数字音频和视频传输与存储的m p e g 2 、适用 于低码率视频传输的h 2 6 3 、基于对象的视频编码标准m p e g 4 n 和致力于在低码 2 第一章引言 率下高编码效率的h 2 6 4 a v c ，都是具有代表性的视频编码标准。视频压缩编码 标准发展历程以及应用如表1 1 所示。 表1 1 视频压缩标准的发展历程 标准发布日期标题应用场合 p 6 4 k b i t s 的音视频业务的编i s d n ( 综合业务数字网) h 2 6 11 9 9 0 1 2 解码视频会议 用于二值图像的累进 鹏i g1 9 9 1 9 传真等 压缩编码 连续色调静态图像的数字压数字照相、 m e g1 9 9 2 1 0 缩编码图像视频编辑等 面向数字存储的运动图像及v c d 、光盘存储、 【p e g 11 9 9 2 。1 l 其伴音1 5 m b i t s 的编码家用视频、视频监控等 运动图像及其伴音数字电视、d v d 、 m p e g 21 9 9 4 1 l 通用编码高清晰电视、卫星电视 h 2 6 31 9 9 6 3 低比特率通信的视频编码桌面可视电话、移动视频等 h 2 6 3 +1 9 9 8 1 i p 网、交互视频、 口e g - 41 9 9 9 5 音频视频对象的通用编码 移动通信、专业视频等 h 2 6 3 + +2 0 0 0 1 1 低比特率通信的视频编码桌面可视电话、移动视频等 数字照相、i p 网、移动通信、 田e g 2 0 0 02 0 0 0 1 2下一代静态图像编码标准 传真、电子商务等 数字视频存储以及i p t v 、 h 。2 6 4 | 酬c2 0 0 3 3 先进视频编码 数字卫星广播、手机电视 1 2 1 运动估计技术的研究现状 由于运动估计是减少视频图像序列帧间信息冗余的关键技术，国内外在这方 面的相关研究比较多。目前已提出的许多运动估计方法中，比较早的有：文章 1 0 】 是针对刚体运动目标的估计；文章 11 是针对非刚体运动目标的估计；文章 1 2 】是 为提高运动估计的精度而提出的，这类算法的主要特点是通过选取较好的目标特 征来提高搜索的匹配度；文章 1 3 】是针对缩小搜索的目标范围提出的，这类算法的 电子科技大学硕士学位论文 主要特点是通过某种算法预测目标在某时刻可能出现的位置，缩小目标的搜索范 围己达到缩短目标的搜索时间。 为提高搜索速度和效率，基于块匹配b m a ( b l o c km a t c h i n ga l g o r i t h m ) 的搜 索算法是目前研究最多的。其中全搜索算法f s ( f u l ls e a r c h ) 压缩效果最好，但计算 量太大，不利于实际的实时应用。近几年人们又提出了一些快速的算法，具有代 表性的包括：三步搜索算法t s s t l 5 1 ( t h r e es t e ps e a r c h ) 、新三步搜索算法n t s s 1 1 6 】 ( n e wt h r e es t e ps e a r e h ) 、菱形搜索算法d s l l7 1 ( d i a m o n ds e a r c h ) 、运动向量场自适 应搜索技术m v f a s t 1 8 l ( m o t i o nv c e m rf i e l da d a p t i v es e a r c ht e c h n i q u e ) 及后来提 出的可预测的运动向量场自适应搜索技术p m v f a s t 驯( p r e d i c t i v em o t i o nv c e m r f i e l da d a p t i v es e a r c ht e c h n i q u e ) 和h 2 6 4 a v c 标准中的非对称十字型多层次六边 形格点搜索算法u h e x a g o n s l 2 0 ( u n s y m m e t r i c a lc r o s sm u t ih e x a g o ns e a r c h ) 等。 1 2 2 去块滤波技术的研究现状 基于块的视频编码方法都会出现块效应的问题，目前己经出现了许多不同的解 决方案来解决此问题。其中主要有两类：( 1 ) 基于非块模式的方法，彻底改变了原 有编码模式，不再采用分块处理办法；( 2 ) 在现有分块解决方案的基础上，采用一 些新后处理办法。另外利用重叠块运动补偿【2 3 】方式o b m c ( o v e r l a p p e db l o c k m o t i o nc o m p e n s a t i o n ) 在一定程度上也可以解决这个问题。o b m c 已经运用于 h 2 6 3 标准中，在一定程度上能起到去块效应的作用，但是效果不是很理想，而且 还会增加编解码器的复杂度。 利用后处理技术去除块效应的优点是可以不改变编码过程，并保持压缩目标码 率。通常来说，后处理技术大致可以分为：基于凸集映射的方法【2 4 1 、基于统计估 计的方法【2 5 】、利用低通滤波消除块效应【2 6 1 。前两种方法对静止图像能够取得较好 的效果，但如果处理的图像是一段视频序列，上述算法的耗时非常大是不能容忍 的。考虑到算法的复杂度和实时效率，在实际视频后处理的应用中，最为传统和 常用的去除块效应的方法是基于边缘信息的自适应滤波方法【2 7 】，其目的是提高图 像的主客观质量，其重点不是将每一像素恢复到它的原始值，而是对图像块效应 的平滑。 m p e g 4 和h 2 6 3 采用的都是后置去块滤波的方式，h ，2 6 4 a v c 标准是第一个 采用环路去块滤波，并将其算法写入文档的视频编码标准。环路滤波也是 h 2 6 4 a v c 标准在相对码率较低的情况下能获得如此高的压缩性能的一个重要因 4 第一章引言 素，是h 2 6 4 a v c 中的重要组成部分和关键技术。在相同压缩比的条件下， h 2 6 4 a v c 所提供的图像主观质量远远高于其他的编码标准；而对于同等的主观 质量，它又能实现更高的压缩效率，极大地提高了编码性能。 1 3 本文的工作和论文的安排 本文重点研究了h 2 6 4 a v c 视频编码标准的几个关键技术，主要包括快速运 动估计算法和去块滤波算法，并进行了算法优化研究，尽可能的降低纯软件环境 下编码器的编码时间。实现w i n d o w s 操作系统下纯软件平台的编解码器，并在已 有的模块基础上独立完成程序代码。论文具体安排如下： 第一章首先介绍了本文所研究问题的研究背景和研究意义，然后简单地描述 了h 2 6 4 a v c 视频编码标准的研究现状。 第二章重点介绍了h 2 6 4 a v c 视频编码标准的编解码器的原理及其核心技术 以及核心技术对于此视频编码标准的重大作用。 第三章研究了h 2 6 4 a v c 的运动估计算法，包括视频标准中常用到的搜索算 法，并提出一个新的搜索算法对标准进行优化，在原有模块的基础上改变搜索的 方式，利用多视频序列测试其性能并对结果进行分析。 第四章研究了h 2 6 4 a v c 标准中的去块滤波算法，分析此算法在编解码器中 不可或缺的作用，研究了由于边界强度判断的复杂性运用新的算法降低编解码器 的耗时，并在原来滤波算法的基础上改进算法提高滤波算法应用的灵活性，利用 多视频序列测试其性能并对结果进行分析。 第五章介绍了h 2 6 4 a v c 视频编码标准中所采用的整数变换和量化的原理。 第六章总结了对课题研究中取得的成绩以及不足并进行客观的评价。 电子科技大学硕士学位论文 第二章h 2 6 4 a v c 视频编码标准概述 本章主要介绍h 2 6 4 a v c 编码标准的编解码原理及标准中至关重要的几项关 键技术。 2 1h 2 6 4 a v c 编码器及解码器原理 h 2 6 4 a v c 只规定了一个经编码的视频比特流的句法和该比特流的解码方法， 没有明确的规定一个编解码器的具体实现，各个厂商的编码器和解码器在此框架 下应能够互通，在实现上比较灵活，而且有利于厂商之间的相互竞争。 2 1 1 编码器原理 h 2 6 4 a v c 的编码器编码框架如图2 1 所示，从编码框架上可以看出， h 2 6 4 a v c 与以往的编码标准中的编码器功能模块的组成没有太大的区别，依然 采用预测结合变换的混合编码方案。h 2 6 4 a v c 在每一个功能模块中都引入了新 的技术，使各功能模块的实现细节都产生了重要的改变，这使得在相同的编码框 架下可以获得更高的视频压缩性能和广泛的适用性。各功能块细节变化如，在帧 间预测模式编码中引入了多尺寸块模式、1 4 像素精度和多参考帧，4 4 块的整数 d c t 变换等。 图2 1h 2 6 4 a v c 的编码器基本框架 6 第二章h 2 6 4 a v c 视频编码标准概述 在图2 1 中，编码器以宏块为基本单位处理输入的帧或场，按帧内或帧间预测 编码的方法处理数据。若采用帧内预测编码，在当前片中通过对已经编码的参考 图像进行运动补偿处理可以得到帧内预测编码的预测值p 。在进行编码后重建的帧 中选择下一帧的参考图像，如标准中的i 帧、p 帧、b 帧，这样可以提高预测精度， 进而提高压缩比。 将预测值p 与当前块相减，可以得到一个残差块d n ；然后，将d n 经过d c t 变换和量化产生一组量化后的变化系数x ，再对x 进行熵编码( c a v l c 或 c a b a c ) ：接下来，将熵编码后的x 与解码所需的边信息( 如预测模式量化参数、 运动矢量等) 一起组成压缩后的码流；最后，经网络适应层( n a l ) 供传输和存储用。 为了提供进一步预测用的参考图像，编码器须具有重建图像的功能。在编码 器中残差图像进行反量化和反变换后可得到d n ，将d n 与预测值p 相加可得到未 经滤波的帧( u f n ) ，而u f n 经过环路滤波器滤波后的输出f n 为重建图像，可用作 参考图像，可去除编码解码环路中产生的噪声，提高参考帧的图像质量，从而提 高压缩图像性能。 2 1 2 解码器原理 h 。2 6 4 a v c 的解码器框架如图2 2 所示，其输入是由编码器的n a l 输出的一 个压缩后的h 2 6 4 a v c 的压缩比特流。 图2 2h 2 6 4 a v c 的解码器基本框架 在图2 2 中，输入的比特流经过熵解码后重排序得到一组变换系数x ，再经过 反量化和反变换，可以得到矢量残差d n 。解码器从该比特流中解码出头信息后， 就产生一个预测块p ，它与编码器中的原始p 是相同的。该解码器产生的预测块p 与矢量残差d n 相加后，就产生未经滤波的帧( u f n ) ，再经环路滤波后，就可得到 重建帧f n ，这个重建帧f n 就是最后解码输出视频序列。 7 电子科技大学硕士学位论文 2 2h 2 6 4 a v c 关键技术 h 2 6 4 a v c 视频标准采用混合的编码框架，在预测的基础上编码压缩残差数 据，实现高压缩性和适用性。框架中各功能模块相对于以往标准变化不大，只是 各功能模块细节实现有所不同，例如多分块模式的帧间运动估计、1 4 及1 8 像素 精度的运动估计、多参考帧参考预测、帧内预测、环路滤波器、基于内容的可变 长编码和自适应算术编码等技术的引用，使其性能超越了以往所有的标准，具有 光明的应用前景。新技术也带来了极高的压缩比，在相同的重建图像质量下， h 2 6 4 a v c 比以往标准最多可减少5 0 码率，但同时不可否认的是算法的复杂度 也急剧增加。下面具体介绍一下h 2 6 4 a v c 的技术特剧2 8 3 0 1 。 2 2 1 帧内预测编码 为了提高编码效率，帧内编码采用的帧内预测模式，它利用相邻块之间的相 关性，对当前块的相邻像素直接对每个系数做预测，可极大地提高帧内编码的效 率，以便更好的去除图像的空间冗余。h 2 6 4 a v c 基本部分的帧内预测包括4 x 4 亮度块的预测( i n t r a4 x 4 ) 、1 6 x1 6 亮度块的预钡j j ( i n t r a1 6 x1 6 ) 和8 x 8 色度块 ( r n r r a8 8 ) 的预测。帧内预测是依据图像中相邻宏块具有相关性的特点，利用己 编码的宏块( 特别是当前宏块的左边和上方的相邻宏块) 来预测当前宏块，然后对当 前宏块与预测值的差值进行变换编码。 在以往视频编码标准中，帧内图像是直接把像素块的数值进行变换、量化和 编码，处理后的帧内图像仍然包含了大量的数据，压缩效果不明显。h 2 6 4 a v c 标准根据相邻像素的相关性，采用邻近块像素进行预测的模式，该模式下首先对 当前像素块的左边和上边的相邻像素( 经过编码重建的) 进行加权预测，然后对实际 值和预测值的差值进行变换、量化和编码，从而大幅度地提高了编码的效率。编 码器通常选择预测块和编码块之间差异较小的预测模式。 在h 2 6 4 a v c 标准中，亮度块可分为有4 x 4 和1 6 x1 6 两种分块。一般，图像 变化比较丰富的区域图像相对变化较大，需要更细小的块分割和更多可选的预测 模式，以得到足够的预测精度，此时h 2 6 4 a v c 标准采用4 x 4 亮度块帧内预测。4 x 4 亮度块采用9 种预测模式，可提供非常高的预测精度，但伴随而来的是编码预测 方向比特数目增多，帧内编码复杂度增加，编码时间相应增长。这9 种预测模式( 如 图2 3 ，表2 1 所示) 。 第二章h 2 6 4 a v c 视频编码标准概述 垂直 o ae(de f gh 誊 、_ ：秀 爱 j ki ，。 l 岛，。 下左对角线 q ae (def gh 】 兹 j k l 下水平 qae cde fg lh i 、赫： 镒 j k l 水平 q ae ( de fgh 辨“- 、f l 1 l - ；i j 1 r k ；智i l；h 一# 0 下右对角线 q aecdefgh j 忒 j k l 左垂直 qae cdefgh 、翰 f j k l qae (defgh j彩j 。攀麓 j j 。| r l l f f 2 u q m 。要 k垂 h ：? 凌 【 i 氛；勰女塔鬣 右垂直 qae cdefgh 蕊 j k 【 上水平 oae( jdef gh i 强；磊：i $ 苏麓 j k l 图2 - 3 帧内4 x 4 块的9 种预测模式 表2 1 帧内4 4 块的9 种预测模式描述 模式 描述 模式o ( 垂直) 由a 、b 、c 、d 垂直推出相应像素值 模式1 ( 水平) 由i 、j 、k 、l 水平推出相应像素值 模式2 ( d c ) 由a d 及i l 平均值推出所有像素值 模式3 ( 下左对角线) 由4 5 0 方向像素内插得出相应像素值 模式4 ( 下右对角线) 由4 5 0 方向像素内插得出相应像素值 模式5 ( 右垂直) 由2 6 6 0 方向像素值内插得出相应像素值 模式6 ( 下水平) 由2 6 6 0 方向像素值内插得出相应像素值 模式7 ( 左垂直) 由2 6 6 0 方向像素值内插得出相应像素值 模式8 ( 上水平) 由2 6 6 0 方向像素值内插得出相应像素值 图2 - 4 帧内1 6 1 6 块的4 种预测模式 9 电子科技大学硕士学位论文 表2 - 2 帧内1 6 x 1 6 预测模式描述 模式描述 模式0 由上边像素推出相应像素值 ( 垂直) 模式1 由左边像素推出相应像素值 ( 水平) 模式2 ( d c ) 由上边和左边像素平均值推出相应像素值 模式3 利用线形“p l a n e ”函数及左、上像素推出相应像素值， ( 平面) 适用于亮度变化平缓区域 对图像的平滑区域包含有少量的细节，此时h 2 6 4 a v c 标准采用1 6 x 1 6 亮度 块的帧内预测方式，这种预测方式分为4 种模式( 如图2 4 ，表2 2 所示) 。 由于人类视觉系统( h v s ：h u m a nv i s u a ls y s t e m ) 对色度变化的敏感性低于亮 度，因此8 8 色度块帧内预测不须提供4 x 4 亮度块帧内预测的预测精度，而与1 6 x 1 6 亮度块亮度预测模式相同，即色度信号的预测有4 种预测模式，与1 6 x 1 6 亮度块 预测模式名称样，只是顺序有所不同： ( 1 ) 模式0 ( d c 预测) ( 2 ) 模式1 ( 水平预测) ( 3 ) 模式2 ( 垂直预测) ( 4 ) 模式3 ( p l a n e 预测) 2 2 2 帧间预测编码 帧间预测主要是利用连续图像序列之间的相关性，采用运动补偿预测编码方 法来消除连续视频图像之间的时间冗余。h 2 6 4 a v c 不仅包含以往标准中基本的p 帧、b 帧预测方法，还运用了许多新的技术：引入了更高的搜索精度，1 4 像素精 度的运动估计可以极大地提高块匹配程度；7 种尺寸不同的块进行帧间预测，分块 模式的精细化使得块匹配程度得到进一步提高；扩充了参考帧的数目，可利用前 向与后向多帧参考提高编码性能。 编码器中运用多种大小不同的块进行运动估计，相对于只使用1 6 x 1 6 的块可 节省1 5 以上的比特率：运用1 4 像素精度的运动估计，相对于整像素预测可以 节省2 0 的比特率；运用多参考帧预测，若使用5 个参考帧预测，相对于单参考 帧可以节省5 1 0 的比特率。以上百分比都是统计数据，不同视频因其细节特 1 0 第二章h 2 6 4 a v c 视频编码标准概述 征与运动情况而有所差异。 h 2 6 4 a v c 标准帧间预测是利用视频帧场和基于块的运动补偿的预测模式。 与以往标准帧间预测的区别在于块尺寸范围更广( 从1 6 x 1 6 到4 4 ) 、亚像素运动矢 量的使用( 亮度采用l 4 像素精度m v ) 及多参考帧的运用等。 1 运动估计的分块模式 h 2 6 4 a v c 标准中进行帧间预测时，每个1 6 x 1 6 的亮度块有4 种划分和运动 补偿方式：一个1 6 x 1 6 宏块分割、两个1 6 x 8 分割、两个8 1 6 分割和四个8 x 8 分 割；每个8 8 的子宏块还可以进一步分为：一个8 8 的子宏块分割、两个8 x 4 子 分割、两个4 x 8 子分割和四个4 x 4 子分割，如图2 5 所示。在一个宏块内总共有7 种尺寸不同的块做运动估计，这些分割和子分割可以形成大量组合，从中找出编 码效果最好的预测模式。这种将宏块分割成多个块大小的运动补偿子块的方法称 作树状结构运动补偿。 l d - 1 6 1 6 宏块2 个1 6 x g 宏块2 个8 1 6 宏块4 个8 8 宏块 分块模式分块模式分块模式分块模式 0o 1 ool 4 l23 1 4 8 8 子宏块2 个8 4 子宏块2 个4 x 8 子宏块4 个4 4 子宏块 分块模斌分块模斌分块模斌分块模斌 001 r 割 001 l23 图2 - 5h 2 6 4 a v c 中的宏块分割模式 这种多模式应用和细致划分，可以更好的实现运动隔离，使得运动估计模型 更接近物体的实际运动，因此运动估计的精确程度可得到有效地提高，进一步提 高运动补偿的精度。 每个分割或子分割都需要一个独立的m v ，每个m v 必须被编码和传输，同 时宏块类型也要编码传输。在这种多分块模式下，每个宏块中便包含了1 、2 、4 、 8 或1 6 个运动矢量m v 。选择一个大的块模式，就需要少量的比特来表示运动信 息，但由于预测粗糙使得残差值较大，即运动补偿残差在运动丰富区域中的能量 将非常高；选择小的块模式，运动估计更准确，残差值更小，但是需要更多的比 电子科技大学硕士学位论文 特来表示运动信息。一般来说，大尺寸的块模式适宜于运动程度低的平滑区域， 而精细的分割适宜于细节丰富的区域。因此，宏块模式的选择应该在图像失真和 码率上综合考虑。 宏块中的两个色度块量( u ，v ) 分割方法与相应的亮度块是一样的，在水平和 垂直方向上的采样精度都只取对应亮度宏块的一半。例如1 6 8 的亮度块其相应的 色度块的尺寸为8 4 ，4 8 的亮度块其相应的色度块的尺寸为2 4 等。色度块的 m v 也是通过相应的亮度块m v 在水平和垂直分量上减半得到的。 2 运动矢量m v 每个分割块的运动矢量编码都需要耗费一定的比特数，尤其是当采用较小的 块分割时。通常来说，相邻块之间的运动矢量具有高度相关性，所以每个运动矢 量可由当前块附近的编码块( 尤其是左边和上边的块) 的运动矢量预测得到。预测 矢量m v p 依赖于运动补偿块大小和附近向量，利用对前面的运动矢量计算而得到。 编码器中通常是对当前运动矢量和预测运动矢量的差值m v d 进行编码传输。基本 的预测方式是直接取当前块上侧、左