（计算机软件与理论专业论文）h264avc视频编码帧内帧间快速算法研究.pdf

摘要 针对h 2 6 4 基于率失真优化算法的模式选择的高复杂度，本文从 帧内帧间两方面着手改进算法：在帧内模式选择时，本文采用基于纹 理和时空域的多精度快速算法：引入两个指标来指导4 x 4 亮度块的模 式选择。一个指标是利用梯度算子采用滤波的方法，快速而又简便地 得出4 x 4 亮度块纹理的走向；另一个指标是利用时空域相关性，即借 助相邻块或者前一帧相同位置块的模式来预测该4 x 4 块的方向。在这 两个参考指标的基础上，再启用亚像素分组两级判断机制( 即一级判 断机制用较少采样的亚像素、二级判断机制用较多采样的亚像素) ， 用环形滑动窗口逐渐缩小范围，最终锁定最佳帧内预测模式。在帧间 模式选择时，本文采用基于相对运动和纹理走向的快速帧间模式选择 算法：首先利用时空域的方法来预测当前宏块的运动矢量，以此为基 础开始利用上层模式预测下层的m v ( 运动矢量) 。然后以运动误差 为评判依据来反映子块对宏块的相对运动。而为了更清楚地了解块的 运动情况，本文引入覆盖面积面积来判断运动的复杂性，通过判断子 块运动复杂度来决定块是否还要细分。最后还可以利用纹理方向来进 一步确定模式划分的方向( 水平还是垂直划分) 。本文提出的帧内帧 间快速算法降低了5 0 以上的时间复杂度，两视频质量没有明显的下 降，码率的增长也微乎其微。 关键词：h 2 6 4 ，视频编码，帧内预测，帧间预测 a bs t r a c t i no r d e rt or e d u c et h eh i g hc o m p l e x i t yo fm o d es e l e c t i o na l g o r i t h m b a s e do nr a t e d i s t o r t i o no p t i m i z a t i o nc a l c u l a t i o n ，t h i sa r t i c l ew i l lc o n s i d e r t w oa s p e c t s ：i n t r ap r e d i c t i o na n di n t e rp r e d i c t i o n o nt h eo n eh a n d ，t w oi n d e x e sa r ei n t r o d u c e dt of i n dt h eb e s ti n t r a m o d e o n ei n d e xi st h ed i r e c t i o no fi m a g et e x t u r e ，w h i c hi sg a i n e db yt h e i n t e n s i t yg r a d i e n tf i l t e r s ；t h eo t h e ri sm o s tp r o b a b l em o d e ，u t i l i z i n gt h e m o d e so fa d j a c e n tb l o c k s t h et w oi n d e x e sc a nn a r r o wt h es c o p eo fm o d e s e l e c t i o n ，u s i n gm u l t i l e v e lp i x e ls a m p l i n gm e c h a n i s m ，t h a ti s ，f e w e r p i x e l sa r e t a k e ni nt h ee a r l yt i m e ，b u tm o r ep i x e l si nt h el a s tt i m e o nt h eo t h e rh a n d ，t w om e t h o d sa r ea p p l i e di ni n t e rp r e d i c t i o n i n o n em e t h o d ，f i r s t l y , w eg e tt h em a c r o b l o c k sm v ( m o t i o nv e c t o r ) b y t e m p o r a la n ds p a t i a lm e a n s ；t h e n ，t a k eu p l a y e r m o d e sm va st h e b e g i n n i n gp o i n to fn e x tm o t i o ns e a r c ht og e tt h ee r r o ro fm v d e p i c t u r e d b yo v e r l a p p e da r e ar a t et h a tr e f l e c tt h ec o m p l e x i t yo f r e l a t i v em o t i o n s ， w h i c hd e t e r m i n ew h e t h e rt h em a c r ob l o c ks h o u l db ed i v i d e t h eo t h e ri s a s s i s t a n tm e t h o d ，w h i c hd e c i d e sh o wt od i v i d et h em a c r ob l o c k ( i n v e r t i c a lo rh o r i z o n t a ld i r e c t i o n ) i nv i r t u eo ft h et r e n do ft e x t u r e i nt h i sp a p e r , t h ef a s ta l g o r i t h ms i g n i f i c a n t l yr e d u c e st h ee n t i r e e n c o d i n gt i m eb yo v e r50 w i t ho n l yn e g l i g i b l ec o d i n gl o s s k e yw o r d s ：h 2 6 4 ，v i d e oc o d i n g ，i n t r a p r e d i c t i o n ，i n t e r p r e d i c t i o n i 湖南师范大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本 论文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：呶2 u 呵年月3 a 日 湖南师范大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 研究生在校攻读学位期间论文工作的知识产权单位属湖南师范大学。 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权湖南师范大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密彭 ( 请在以上相应方框内打“ ”) 作者签名：姒 日期少。产 s 月 三。日 导师签名：i 乏汐廖芦 日期：知7 年j 6 月乡。日 i h 2 6 4 a v c 视频编码帧内帧问快速算法研究 1 1 研究背景 1 绪论 数字视频技术在通信和广播领域获得了日益广泛的应用，特别是 2 0 世纪以来，随着i n t e m e t 和移动通信的迅猛发展，视频信息和多媒体 信息在i n t e m e t 和移动网络中的处理和传输技术成为了当前我国信息 化的热点。 众所周知，视频信息具有一系列优点，如直观性、确切性、高效 性、广泛性等等。但是视频信息的信息量太大，需要较高的网络带宽。 例如，一路可视电话或会议电视信号，由于其活动内容较少，所需带 宽较窄，但要达到良好质量，不压缩约需若干m b i t s ，压缩后需要 3 8 4 k b i t s ；又如，一路高清晰电视信号( h d t v ) ，由于其信息量相当 巨大，不压缩需1 g b i t s ，利用m p e g 2 压缩后，尚需2 0 m b i t s 。要使 视频得到有效的应用，必须首先解决视频压缩编码问题，其次解决压 缩后视频质量保证的问题。这两者是相互矛盾的，是矛盾的两个方面。 我们的任务是既要有较大的压缩比，又要保证一定的视频质量。 为此，人们付出了巨大的辛勤劳动。自1 9 8 4 年c c i t t 公布第一 个视频编码标准以来，至今已有2 0 几年了。国际电信联盟( i t u t ) 的视频编码专家组( v c e g ) 、国际标准化组织( i s o ) m 际电工委员 会( i e c ) 成立的活动图象专家组( m p e g ) 分别制定了h 2 6 x 和 m p e g x 两大系列视频编码标准。2 0 0 1 年，m p e g 和v c e g 组成联 合视频专家组( j v t ) 共同推进视频编码技术的发展。2 0 0 3 年3 月j v t 形成了最终标准草案，分别提交i t u t 和i s o i e c ，其中该标准在 i t u t 标准中被称为h 2 6 4 ，在i s o i e c 标准中被称为m p e g 4 的第 1 0 部分先进视频编码( a v c ) 1 】。 i 湖南师范大学硕七学何论文 1 2 国内外研究现状 1 2 1 视频视频编码在国外的发展及研究现状 i t u t 和i s o i e c 制订了一系列视频压缩编码标准，极大地推动 了视频通信的发展。i t u t 的标准包括h 2 6 1 、h 2 6 3 、( 后来发展为 h 2 6 3 + 署1 h 2 6 3 + + ) 2 5 h 2 6 4 ，主要应用于实时视频通信领域，如 会议电视；i s o i e c 制定的标准主要应用于视频存储( d v d ) 、广播电 视、因特网或无线网上的流媒体等，包括m p e g 1 、m p e g 2 及 m p e g 4 6 8 】。两个组织也共同制定了一些标准，h 2 6 2 标准等同于 m p e g 2 的视频编码标准，而最新的h 2 6 4 标准则被纳入m p e g 4 的 第1 0 部分。 19 8 8 年c c i t t 通过了“p x 6 4 k b i t s ( p = l ，2 ，3 ，4 ，5 ，3 0 ) 视像编码标 准h 2 6 1 建议，被称为视频编码的一个里程碑。从此，i t u t 、i s o 等公布的基于波形的一系列视频编码标准的编码方法都是基于h 2 6 1 的混合编码方法。 h 2 6 1 是i t u t 为在综合业务数字网( i s d n ) 上开展双向声像业务 ( 可视电话、视频会议) 而制定的，速率为6 4 k b s 的整数倍。h 2 6 1 只 对c i f 和q c i f 两种图像格式进行处理，每帧图像分成图像层、宏块 组( g o b ) 层、宏块( m b ) 层、块( b l o c k ) 层来处理。h 2 6 1 是最早的运动 图像压缩标准，它详细制定了视频编码的各个部分，包括运动补偿的 帧间预测、d c t 变换、量化、熵编码，以及与固定速率的信道相适 配的速率控制等部分。 1 9 9 5 年，i t u t 结合当时国际上视频图象编码的最新进展，针对 低比特率视频应用制定了h 2 6 3 标准。它是在h 2 6 1 基础上发展起来 的，其标准输入图像格式可以是s q c i f 、q c i f 、c i f 、4 c i f 或者1 6 c i f h 2 6 4 a v c 视频编码帧内帧间快速算法研究 的彩色4 ：2 ：0 亚取样图像。h 2 6 3 与h 2 6 1 相比采用了半象素的运动 补偿，并增加了4 种有效的压缩编码模式。随后几年，i t u t 又对其 进行了多次补充，以提高编码效率，增强编码功能。补充修订的版本 有1 9 9 8 年的h 2 6 3 + ，2 0 0 0 年的h 2 6 3 + + 。为提高压缩效率，h 2 6 3 + 采用先进的帧内编码模式；增强的p b 帧模式改进了h 2 6 3 的不足， 增强了帧间预测的效果；去块效应滤波器不仅提高了压缩效率，而且 提供重建图像的主观质量。为适应网络传输，h 2 6 3 + 增加了时间分级、 信噪比和空间分级，对在噪声信道和存在大量包丢失的网络中传送视 频信号很有意义；另外，片结构模式、参考帧选择模式增强了视频传 输的抗误码能力。h 2 6 3 + + 在h 2 6 3 + 基础上增加了3 个选项，主要是 为了增强码流在恶劣信道上的抗误码性能，同时为了提高增强编码效 率。h 2 6 3 系列标准特别适合于p s t n 网络、无线网络与因特网等环 境下的视频传输。 1 9 9 3 年i s o i e c 制定的m p e g 1 标准是针对1 5 m b i t s 速率的数 字存储媒体运动图象及其伴音编制制定的国际标准，该标准源于 h 2 6 1 ，但增加了许多关键性的特征，包括b 帧的双向预测编码、半像 素的运动估计和其它方面的改善，以便满足大约1 5 m b i t s 速率的编码 视频以及c i f 分辨率的c d - - r o m 的视频需求。 m p e g 2 ( 即h 2 6 2 ，与i t u t 联合开发) 是在m p e g 1 标准基 础上的进一步扩展，是至今为止最成功的视频编码标准，也是第一个 能以s d t v ( 标准数字电视) 和h d t v 分辨率隔行视频编码的标准。 它扩展了m p e g 。1 ，为隔行视频引入了新的预测模式，可以提供大约 4 m b i t s 速率的t v 广播以及1 5 m b i t s 的高质量视频，被广泛应用于 d v d 、广播、卫星和有线电视。 m p e g 2 按压缩比大小的不同分成五个档次( p r o f i l e ) ，每一个档 湖南师范大学硕十学位论文 次又按图象清晰度的不同分成四种图象格式，或称为级y j i j ( 1 e v e l ) 。五 个档次四种级别共有2 0 种组合，但实际应用中有些组合不太可能出 现，较常用的是1 1 种组合。这1 1 种组合分别应用在不同的场合， 如m p m l ( 主档次与主级别) 用在具有演播室质量标准清晰度电视 s d t v 中，美国h d t v 大联盟采用m p i - r l ( 主档次及高级别) 。 m p e g 4 在1 9 9 5 年7 月开始研究，1 9 9 8 年1 1 月被i s o i e c 批准 为正式标准，它不仅针对一定比特率下的视频、音频编码，更加注重 多媒体系统的交互性和灵活性。这个标准主要应用于视像电话、视像 电子邮件等，对传输速率要求较低，在4 8 - - 6 4 k b i t s 之间，分辨率为 1 7 6 x 1 4 4 。m p e g 4 利用很窄的带宽，通过帧重建技术、数据压缩， 以求用最少的数据获得最佳的图像质量。利用m p e g 4 的高压缩率和 高的图像还原质量可以把d v d 里面的m p e g 2 视频文件转换为体积 更小的视频文件。经过这样处理，图像的视频质量下降不大但体积却 可缩小几倍，可以很方便地用c d r o m 来保存d v d 上面的节目。另 外，m p e g 4 在家庭摄影录像、网络实时影像播放也大有用武之地。 在m p e g 2 和h 2 6 3 基础上发展的m p e g 4 ，引入了基于对象的 功能，不仅用运动和纹理，而且用形状来描述视频对象。形状信息与亮 度信号同位，并且采用基于上下文的算术熵编码进行编码，极大的提高 了视频编码的效率。 h 2 6 1 和h 2 6 3 标准只给出了视频压缩内容，而m p e g 1 2 4 标准 除此外还描述音频表示以及能联合传输音频视频信号的系统表示。 m p e g 1 2 4 标准使音视频数据的交换成为可能。 而其后的m p e g 7 的目的是使搜索和浏览这些音视频数据成为 可能 9 。2 0 0 0 年6 月开始研究制定世纪多媒体应用的标准化技术 m p e g 2 1 则是致力于在大范围的网络上实现透明的传输和对多媒体 h 2 6 4 a v c 视频编码帧内帧问快速算法研究 资源的充分利用和保护 1 0 】。 1 2 2 视频编码标准在国内的发展及研究现状 a v s 是我国具备自主知识产权的第二代信源编码标准。经过十年 多演变，音视频编码技术本身和产业应用背景都发生了明显变化，后 起之秀辈出。可以推测，由于技术陈旧需要更新及收费较高等原因， m p e g 2 即将退出历史舞台。m p e g 4 出台的新专利许可政策被认为 过于苛刻令人无法接受，导致被众多运营商围攻，陷入无法推广产业 化的泥沼而无力自拔，前途未卜。而a v s 是基于我国创新技术和部 分公开技术的自主标准，编码效率比m p e g 2 高2 3 倍，与a v c 相 当，而且技术方案简洁，芯片实现复杂度低，达到了第二代标准的最 高水平；而且，a v s 通过简洁的一站式许可政策，解决了a v c 专利 许可问题死结，是开放式制订的国家、国际标准，易于推广；此外， a v c 仅是一个视频编码标准，而a v s 是一套包含系统、视频、音频、 媒体版权管理在内的完整标准体系，为数字音视频产业提供更全面 的解决方案。综上所述，a v s 可称第二代信源标准的上选。 a v s 标准是信息技术先进音视频编码系列标准的简称，a v s 标准包括系统、视频、音频、数字版权管理等四个主要技术标准和一 致性测试等支撑标准。在2 0 0 3 年1 2 月1 8 1 9 日举行第7 次会议上， 工作组完成了a v s 标准的第一部分( 系统) 和第二部分( 视频) 的 草案最终稿( f c d ) ，和报批稿配套的验证软件也己完成。2 0 0 4 年1 2 月2 9 日，全国信息技术标准化技术委员会组织评审并通过了a v s 标 准视频草案。2 0 0 5 年1 月，a v s 工作组将草案报送信息产业部。3 月3 0 日，信产部初审认可，标准草案视频部分进入公示期。2 0 0 4 年 度第一季度( 第8 次全体会议) 正式开始“数字版权管理与保护”标准 的制定。2 0 0 5 年初( 第1 2 次全体会议) 完成了第三部分( 音频) 草 气 湖南师范大学硕七学位论文 案。 11 2 0 0 5 年4 月3 0 日，a v s 标准视频部分通过公示，在标准道路上 迈出决定性一步。2 0 0 6 年2 月2 2 日，国家标准化管理委员会颁布通 知：信息技术先进音视频编码第二部分视频于2 0 0 6 年3 月1 日起 开始实施。a v s 视频部分正式成为国家标准，成为震动业内外的一件 大事，国家和各部委领导纷纷发来贺信和题词，对a v s 的工作给予 了高度评价，并鼓励工作组再接再厉，再创辉煌。 1 3h 2 6 4 a v c 的优越性及带来的问题 2 0 0 3 年3 月j v t 形成了最终标准草案，分别提交i t u t 和 i s o i e c ，其中该标准在i t u t 标准中被称为h 2 6 4 ，在i s o i e c 标准 中被称为m p e g 4 的第1 0 部分先进视频编码( a v c ) 1 。类似 于已往的视频编码标准，h 2 6 4 的总体结果仍为基于块的混合编码，但 增加了许多新特性，如率失真优化技术、4 x 4 整数变换、i 帧图像的帧 内多模式预测编码、1 4 像素运动补偿、p 帧图像的多参考帧和多种 块尺寸的编码、环内去块滤波和高效的熵编码等等 1 2 】。这些新特性 使h 2 6 4 比以往的视频压缩标准具有更高的压缩效率和更强的网络 友好性，但同时也增加了h 2 6 4 的编解码复杂度，其在比m p e g 4 提高 约5 0 压缩效率的同时，增加了十几倍的计算复杂度，因此为了满足实 时应用的要求，必须在其计算复杂度和编码效率之间取一个折衷。 视频质量和压缩效率是一对矛盾体，高的压缩效率必然会降低视 频的质量，如何在这两者之间进行权衡取舍就是率失真理论要解决的 问题。视频编码率失真优化策略的主要内容是在编码比特率不超过信 道速率的条件下，如何选择最佳的编码模式，使得失真度最小，即在 视频质量与压缩率之间进行折衷。率失真优化方法的引入提高了视频 h 2 6 4 a v c 视频编码帧内帧间快速算法研究 编码的质量，但与此同时也造成了计算复杂度的上升。需要在使用率 失真优化这种优秀的方法来提高编码器性能的同时，采取其它的一些 优化措施来降低其计算的复杂度。 1 4 本文研究内容 由于采用了相当复杂的率失真优化编码技术和时间空间预测模 式，h 2 6 4 的编码复杂度也远远高于先前标准，其编解码复杂度分别 是h 2 6 3 的3 倍和2 倍 1 3 。这就限制了h 2 6 4 在实时和无线环境中 的应用。因此，研究和开发面向h 2 6 4 的快速算法从而降低编码复杂 度，减少运算量，提高编码速度，对于h 2 6 4 a v c 视频编码标准能 否得到广泛普及以及进一步研究和发展视频压缩和通信技术具有十 分重要的理论意义和应用价值。 本文研究的内容就是降低编码复杂度，提高运算速度。为此，本 文从以下几个方面来做： 1 帧内模式选择。重点分析并实现了几种边缘检测的算法，并提 出改进的梯度算子。在此基础上，提出基于纹理和时空域的多 精度快速算法，取得了较好的效果。 2 帧间模式选择。将模式选择和运动估计结合起来，并充分利用 纹理特征，大大提高了运算速度。 1 5 本文组织结构 第一章绪论部分介绍了视频编码的研究背景、视频编码技术在国 内外的发展历程，特别是h 2 6 4 的优越性和先进性以及它带来的问 题。论文研究的主要内容和文章组织结构。 第二章介绍了视频编码的基本理论。详细描述了h 2 6 4 的体系结 湖南师范大学硕十学位论文 构，各个模块的原理和实现。着重于它与以往的不同和创新。 第三章首先介绍了帧内预测模式选择算法的研究现状，然后重点 分析了几种纹理边缘检测的办法，最后在改进了一种梯度算子的基础 上用双指标多精度逐步锁定最佳预测模式。 第四章首先介绍了帧间预测模式选择算法的复杂性和快速算法 的研究现状，接着提出了一种基于相对运动和纹理走向的快速帧间模 式选择算法。这种相对运动可以充分体现运动复杂性，为后续的模式 遍历和运动估计提供了有力的依据。 第五章总结全文，并对本文不足及下一步需要继续研究的工作提 出展望。 h 2 6 4 a g c 视频编码帧内帧间快速算法研究 2 编码基础 2 1h 2 6 4 编解码器的特点和结构 2 1 1 编解码器的特点 h 2 6 4 对于一个编码器如何实现并不明确地规定，而是规定了一 个编了码的视频比特流的句法，和该比特流的解码方法。各个厂商的 编码器和解码器在此框架下应该能够互通，这样在实现上具有较大的 灵活性，而且有利于相互竞争。 1 4 编码器和解码器的功能组成分别如 图2 1 和图2 2 所示。 图2 1 编码器的结构 图2 2 解码器的结构 从图2 1 和图2 2 可见，h 2 6 4 和基于以前的标准( 如h 2 6 1 、 9 湖南师范大学硕士学付论文 h 2 6 3 、m p e g 1 、m p e g 4 ) 中的编解码器功能块的组成并没有什么 区别，主要的不同在于各功能块的细节。由于视频的内容时刻在变化， 有时空间细节很多，有时大面积的平坦。这种内容的多变性就必须采 用相应的自适应技术措施；由于信道在恶劣的环境下也是多变的，例 如互联网，有时畅通，有时不畅，有时阻塞；又如无线网络，有时发生严重 衰落，有时衰耗很小，这就要求采取相应的白适应方法来对抗这种信道 畸变带来的不良影响。这两方面的多变带来了自适应压缩技术的复杂 性。h 2 6 4 就是利用实现的复杂性获得压缩性能的明显改善。由于大 规模集成电路技术和工艺的迅猛进步，今天己完全具备了实现的可能 性。 2 1 2 编码器的结构 编码器采用的是变换和预测的混合编码方法。在图2 1 中，输入的 帧或场c 以宏块为单位被编码器处理。首先，按帧内或帧间预测编码 的方法进行处理。 如果采用帧间预测编码，其预测值p r e d ( 图2 1 中的p ) 是由当 前片中已编码的参考图像经运动补偿( m c ) 后得到的，其中参考图像 用f 。川表示。为了提高预测精度，从而提高压缩比，实际的参考图像可 在过去或未来( 指显示次序上) 已编码解码重建和滤波的帧中进行选 择。 预测值p r e d 和当前块相减后，产生一个残差块玻经过变换、量 化后产生一组量化后的变换系数x ，再经过熵编码，与解码所需的一些 其它信息( 如预测模式量化参数、运动矢量等) 一起组成一个压缩后 的码流，经n a l ( 网络自适应层) 供传输和存储用。 为了提供进一步预测用的参考图像，编码器必须有重建图像的功 h 2 6 4 a v c 视频编码帧内帧间快速算法研究 能。因此必须使残差图像经反量化、反变换后得到的见与预测值p 相加，得到u f ( 未经过滤波的帧) 。为了去除编码解码环路中产生 的噪声，提高参考帧的图像质量，从而提高压缩图像性能，设置了一个 环路滤波器，滤波后的输出c 即为重建图像，可用作参考图像【1 4 。 2 1 3 解码器的结构 在图2 - 2 中，编码器输出的码码流经过熵解码后得到量化后的一 组变换系数x ，再经过反量化、反变换，得到残差乜。利用从该比特 流中解码出的头信息，解码器就产生一个预测块，它和编码器中的原始 p r e d 是相同的。当该解码器产生的p r e d 与残差乜相加后，就产生 峨，再经过滤波后，最后就得到重建的e ，这个e 就是最后的解码 输出的图像 1 4 】。 2 2h 2 6 4 的体系结构 2 2 1 编码格式 为了更加灵活的适应不同应用领域的要求，h 2 6 4 的设计概念上 可以分为两层：视频编码层( v c l ，v i d e oc o d i n gl a y e r ) 负责高效的 视频内容表示；网络提取层( n a l ，n e t w o r ka b s t r a c t i o nl a y e r ) 负责 以网络所要求的恰当方式对数据进行打包和传送。在v c l 和n a l 之 间定义了一个基于分组方式的接口，打包和相应的信息属于的一部分 n a l 。这样的设计的主要目标有两个：得到高的视频压缩比和具有良 好的网络亲合性可适用于各种传输网络。这样，高编码效率和网络友 好性的任务分别由v c l 和n a l 来完成。v c l 中包括编码器与解码 器，其主要功能是对视频数据进行压缩编码和解码。它具体包括运动 湖南师范大学硕士学位论文 补偿、变换编码、熵编码等单元，它处理的是块、宏块和片数据，其中 还包含许多实现纠错功能的工具。v c l 作为视频编码的核心，它尽量 做到与网络层分离、独立。v c l 可以传输按当前的网络情况调整的 编码参数，以便于适应不同的网络类型。n a l 负责使用下层网络的分 段格式来封装数据，包括组帧、逻辑信道的信令、定时信息的利用或 序列结束信号等 1 5 1 7 】。 2 2 2 框架划分( 档次和级) h 2 6 4 应用面十分广泛，对某些特定应用而言，并不需要实现所有 的编码工具。例如，差错复原编码工具在差错非常低的环境下就没有 必要使用。如果让编码器使用所有的工具，将使编码器的实现过于复 杂。因此，针对不同应用，只需实现部分编码工具。为达到这个目的， h 2 6 4 定义其所有编码工具的特定子集为一个p r o f i l e ，支持某个p r o f i l e 的编码器只需实现对应编码工具。 h 2 6 4 规定了三种档次p r o f i l e ( 图2 3 ) ，每个档次支持一组特定的 编码功能，并支持一类特定的应用。 e x t e n d e dl a r o f i l e 图2 - 3h 2 6 4 的三种档次 1 2 h 2 6 4 a v c 视频编码帧内帧间快速算法研究 基本档次( b a s e l i n ep r o f i l e ) ：主要包含了低复杂度、低延时的技 术特征，主要是针对交互式的应用，如可视电话、会议电视、无线通 信等实时视频通信。b a s e l i n ep r o f i l e 包含了最基本的编码和网络差错 控制算法：利用i 片和p 片支持帧内和帧间编码，支持利用基于上下 文的自适应的变长编码进行的熵编码( c a v l c ) ，片组，灵活的宏块 次序( f o m ：f l e x i b l em a c r o b l o c ko r d e r i n g ) ，任意片顺序( a s o - a r b i t r a r ys l i c eo r d e r i n g ) ，冗余片( r e d u n d a n ts l i c e ) 。 主要档次( m a i np r o f i l e ) ：针对更高编码效率的应用，主要用于数 字广播电视与数字视频存储，对实时要求不高。因此该框架包含了基 本框架的大部分算法并具有额外的技术特征，但并不支持f m o 、a s o 及r s 等网络差错控制技术，不支持多个片组的划分。支持隔行视频， 采用b 片的帧间编码和采用加权预测的帧内编码，支持基于上下文的 自适应的算术编码( c a b a c ) 。 扩展档次( e x t e n d e dp r o f i l e ) ：设计主要针对流媒体的应用，所有 容错技术和对比特流的灵活访问及切换技术都将包括在其中。它包含 基本框架的所有算法，并且支持b 片、加权预测，支持码流之间有效 的切换( s p 和s i 片) 、改进误码性能( 数据分割) ，但不支持隔行视 频和c a b a c 。 每个档次设置不同的参数( 如取样速率、图象尺寸、编码比特率 等) ，得到对应的编解码器性能的不同级。 2 2 3 句法元素的分层结构 h 2 6 4 的编码层结构和m p e g 2 、h 2 6 3 比较类似，其层次结构为： 视频序列、图像层、片层、宏块层、子宏块层。但在h 2 6 4 中，分层 结构最大的不同是取消了序列层和图象层，并将原本属于序列和图像 头部的大部分句法元素独立出来形成序列和图像两级参数集，而其它 1 3 湖南师范大学硕士学位论文 部分则放入了片层。参数集是一个独立的数据单位，不依赖参数集外 的其他句法元素。 2 3h 2 6 4 的关键技术 类似于已往的视频编码标准，h 2 6 4 的总体结果仍为基于块的混 合编码，并没有太多的变化，( 见图2 1 ) 但增加了许多新特性，使它有了 较强的压缩能力。h 2 6 4 区别于其它标准的主要技术有： 2 3 1 帧内预测 在1 4 4 9 6 2 标准的m p e g 4 视频编码规范中，采用的帧内预测是 对d c t 编码并量化后的数据作a c d c 预测的，其方法是利用当前块 的d c 系数与相邻( 水平和垂直方向) 块的d c 之间的差值，根据其 大小选择预测方向，然后分别对d c 和a c 系数作预n 1 8 。 在h 2 6 4 a v c 中采用的方法与上述不同，帧内预测是在变换编 码之前进行的，并且运用了多种不同的帧内预测方法，最大程度地减 少图象的空间冗余信息。本文在第三章详细阐述帧内预测的方法。 2 3 2 宏块多尺寸块划分 块大小可从1 6 x1 6 ，1 6 x 8 ，8 x1 6 ，8 x 8 选择。而8 x 8 模式的每个 子宏块还可以再进一步以4 种方式进行分割：1 个8 x 8 ，2 个4 x 8 或2 个8 x 4 及4 个4 x 4 。 1 9 一般来说，大的分割对应平坦区域，j 、尺寸适合 于细节区域。采用最优分割方法后，将使得传输信息量最小。宏块划 分以及分割下的运动补偿将在第四章的树形结构运动补偿中详细介 绍。 h 2 6 4 a v c 视频编码帧内帧间快速算法研究 2 3 2 亚像素运动估计 ( ) ou ( ) ( ) ooooouoo ( ) ( ) oou a ) 4 x 4 b l o c k i nc u r r e n t f r a m e( b j r e b 障n b l o c k ：v e c t o r 1 1 )( c ) f l e l e f e f 也e b i k ：v e c t o r ( 0 7 5 - o 5 ) 图2 4 整像素和亚像素精度预测 帧间编码宏块的每个分割或者子宏块都是由参考图像中的某一 相同尺寸区域块预测得到的。两者之间的位置差异( m v ) 对于亮度 成分采用1 4 像素精度 2 0 ，而对于色度分量则采用1 8 像素精度。亚 像素位置的亮度和色度像素并不真实存在于参考图像之中，需要利用 邻近已编码点进行内插得到。如果m v 的垂直和水平分量为整数，参 考块的相应像素就是实际存在。如果其中一个或者两个为分数，预测 像素则要通过参考帧中相对应的像素通过内插得到。内插像素的生成 方法见下图2 5 所示。 口口困丑口口 口口圆口口 圉目圜国圉 口口困珂口口 口口圈雪卫口口 图2 - - 5 亮度半像素位置内插 首先生成参考图像亮度成分半像素位置像素，半像素点如( b 、h 、 m ) 通过对相应的整数像素点进行6 抽头滤波得到，权重为 o e o o e o e oo e o o e o oo e o o o 够o e oooo。ooo o o o o 盯 o o o o oo e o e e o o e e o e o p o o o o o o o o o o o o o o oo o o o o o 0 0 o 湖南师范大学硕士学位论文 ( 1 3 2 ，5 3 2 ，5 8 ，5 8 ，5 3 2 ，1 3 2 ) 。b 的计算如下： b - - r o u n d ( ( e - 5 f + 2 0 g + 2 0 h - 5 i + j ) 3 2 ) 类似地，h 由a 、c 、g 、m 、r 、t 滤波得出。如果邻近( 垂直或者水 平方向) 整像素点的所有像素都计算出，剩下的半像素点便可以通过 对个6 垂直或者水平方向的半像素点的滤波得出。例如，j 由 c c ，d d ，h ，m ，e e ，f r 滤波得出。这里说明的是，6 抽头滤波器比较复杂，但可 以明显改善运动补偿性能。 g = - 黔。h o e g k 刀 戮 ；j ! n 。俏。 f p k r 刀 ms ，一n 图2 6 亮度1 4 像素位置内插 半像素点计算出来后，1 4 像素点就可以通过线性内插得出，如图 2 - 6 所示。1 4 像素点( 如a ，c ，i ，k ，d ，f , n ，q ) 由邻近像素内插得到，如 a = r o u n d ( ( g + b ) 2 ) 剩余1 4 的像素点( p ，r ) ，由两个对角线半像素点线性内插得出。如， e 由b 和h 获得。相应地，色度像素需要1 8 精度的m v 也同样通过整 像素线性内插得出，如图2 7 所示。 囚一一。一。臣 d ， 一，一丑 生 - l 8 - d y l ，r 一一一开 图2 7 色度l 8 像素位置内插 其中，a = r o u n d ( ( 8 一d x ) ( 8 - d y ) a + d x ( 8 - d y ) b + ( 8 一d x ) d y c + d x d y d 6 4 ) h 2 6 4 a v c 视频编码帧内帧间快速算法研究 2 3 3 运动向量预测 每个分割m v 的编码需要相当数目的比特数，特别是使用小尺寸 分割时。为减少传输比特数，可以利用邻近分割较强的相关性，m v 通 过邻近已编码分割的m v 预测而得。预测矢量基于已计算的m v 和 m v d ( 预测与当前的差异) ，并被编码和传输。m v p 则取决于运动补 偿尺寸和邻近m v 的有无。 e 为当前宏块或者宏块分割子宏块。a 、b 、c 分别为e 的左、 上、右上方的三个相对应块。如果e 的左边不止一个分割，取其中最 上的一个为a ；上方不止一个分割时，取最左边一个为b 。如图2 8 所 示为所有分割相同尺寸时的邻近分割选择。如图2 - 9 所示为不同尺寸 时邻近分割的选择。其中 2 1 】： ( 1 ) 传输分割不包括16 x 8 和8 16 时，m v p 为a 、b 、c 分割的中值； ( 2 ) 对于1 6 x 8 分割，上面m v p 部分由b 预测，下面m v p 部分由a 预测； ( 3 ) 对于8 x16 分割，左边部分m v p 由a 预测，右边部分m v p 由c 预测； ( 4 ) 跳跃宏块( s k i p p e dm b ) ，同( 1 ) 。 如果如图2 - 9 所示的已传送块不存在( 如当前片外) ，则m v p 的 选择需重新进行调整。在解码端，m v p 以相同的方式形成并加到 m v d 上。对于跳跃宏块而言，由于不存在m v d ，其运动补偿宏块也由 m v 直接生成。 bc f e bc x b e x b l 盒 e l f l x l d 图2 8 当前和邻近分割( 相同尺寸)图2 - 9 当前和邻近分割( 不同尺寸) 湖南师范大学硕士学位论文 2 3 4 多参考帧预测 多参考帧运动估计是使用多于一个的参考帧来估计运动矢量 2 2 】。通过在多个参考帧中进行运动估计，寻找出当前编码块( 或宏块) 的最佳匹配。这样既可以避免传输差错在时间上传递，增强差错适应 力，尤其提高丢包时的鲁棒性又增加了搜索到比前一帧最佳预测图像 块更优的图像块的机会，提高帧间预测对于复杂图像内容的适应力。 与当前帧具有最强时间相关性的过去帧，通常都是在时间域上最邻近 的前一帧。在绝大多数情况下，前一帧是当前宏块的最佳预测的参考 帧。但是对于发生复杂的剧烈的运动的视频序列，时域上更靠前的过 去帧的部分图像区域可以对当前帧部分区域实现最佳运动补偿帧间 预测。在一些特定情况下，如发生遮挡与显露时，多参考帧的使用可以 提供更好的预测效果，使得在p 、b 帧预测时预测误差更小。另外，b 中 的帧也可以作为其他图像的参考图像。 2 3 5 变换和量化 变换和量化是针对帧间或帧内预测后产生的残差图像进行的 2 3 ，对残差图像中的每个像素块进行变换和量化，然后再进行熵编 码。在h 2 6 3 等基于块的视频编码标准中，使用变换性能较好的 d c t ( 离散余弦变换) ，但是d c t 的变换矩阵元素有些是无理数，如 果采用浮点运算就会引起变换和反变换之间的误差。因此h 2 6 3 要 求d c t 变换和反变换都要有足够的精度，来保证解码图像的恢复精 度，同时d c t 变换和反变换的运算量也都较大。而h 2 6 4 与以前 的视频编码标准相比一个显著的特点就是引入了4 4 整数变换。这 种技术有快速算法，反变换不会出现数据失配现象，而且容易在硬件 中实现。 h 2 6 4 a v c 视频编码帧内帧间快速算法研究 h 2 6 4 采用了分级量化器，支持个5 2 量化步长q s t e p ( q u a n t i z e r s t e p ) 用化参数q p ( q u a n t i z a t i o np a r a m e t e r ) 来索引量化步长。q s t e p 与q p 的关系如表2 1 表2 1q p 与q s t e p 的关系 q p 0l234567891 0 q s t e p 0 6 2 50 6 8 7 5o 8 1 2 50 8 7 5l1 1 2 51 2 51 3 7 51 6 2 5 1 7 52 q p 1 82 43 03 6 4 25 1 q s t e p 5 l o2 04 08 02 2 4 从表可以看出q p 每增加6 , q s t e p 增加一倍。量化步长这样大的取 值范围有利于在比特率和编码质量上找到合适的平衡点从而达到两 者兼顾的目的。对于色度编码也使用与亮度编码同样的量化步长，但 在q p 大于3 0 时，其取值是不同的。 2 3 6 熵编码 熵编码就是将描述视频流的一串符号编码成适于传输或存储的 压缩比特流，是整个视频编码的一个重要环节。本质上说熵编码就是 将最常出现的信息用短码表示，而不常出现的用长码表示，这样减少了 平均码长，达到了无损压缩的目的。 h 2 6 4 在编码模块中定义了三种熵编码模式：( 1 ) 指数哥伦布熵 编码( e x p o n e n t i a lg o l o m bc o d e s ) ；( 2 ) 基于上下文的自适应变长编 码( c a v l c ：c o n t e x t b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g ) ；( 3 ) 基于上下文的自适应二进制算术编码( c a b a c ：c o n t e x t b a s e d a d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 。其中，指数哥伦布熵编码的优势 在于硬件复杂度比较低，可以根据闭合公式解析码字，无需查表；另一 方面，它可以根据编码元素的概率分布灵活地确定码字索引，如果选得 恰当，则编码效率可以逼近信息熵。c a v l