（计算机软件与理论专业论文）h264avc标准中运动估计算法分析与优化研究.pdf

h 2 很受视频压缩界的青睐。h 2 6 4 视频编码标准能在保持相同图像质量的前提下，比以 往编码标准节省多达一半左右的比特数。但由于其标准中引入了多种新的编码技术， 使得编解码的计算复杂度急剧增加。其中，基于块匹配的运动估计的运算量占整个视 频编码的计算量多达8 0 。这种高复杂的运算量，已成为视频压缩编码实时应用的瓶 颈。因此，低复杂度且高精度的运动估计算法的研究已成为视频压缩技术领域内近年 来的一个研究热点。 本文首先详细介绍了块匹配运动估计的工作原理，并描述了几个经典的快速运动 估计算法的特点及其优缺点。接着，通过分析视频序列的运动特性，我们提出了一种 基于大小十字模板并行搜索以及多模板自适应搜索的运动估计算法。由于该算法充分 利用了视频序列中静止或准静止块占大多数的特点，同时采用了多路终止策略，因此 该算法极大地简化了运动估计的搜索过程、提高了h 2 6 4 的编码速度。与此同时，算 法中所采用的自适应的多模板搜索优化了运动强度的划分方法，保证了运动估计的精 度和编码效率。 为了验证本算法的有效性，我们把本算法应用在h 2 6 4 的参考模型中，同时进行 了系统仿真实验，并与两个经典算法( f s 算法和u m h e x g o n s 算法) 进行了比较。 通过对实验数据的分析，实验结果表明：该算法在图像质量和算法稳定性无明显变化 的前提下，其运动估计过程所耗费的时问比u m h e x g o n s 算均节约了1 5 8 8 。在对 运动估计时间、峰值信噪比( p s n r ) 值、以及压缩后的码率等性能的综合和权衡比 较下，所提出的基于自适应模板的双起点十字搜索的算法的性能普遍优于 u m h e x g o n s 算法。同时，所提出的算法具有更强的鲁棒性，更利于实时性应用。 l 关键词：h 2 6 4 a v c ；视频压缩编码；块运动估计；起始点预测；快速搜索算法 f o rt h ee n t i r ev i d e oe n c o d i n go p e r a t i o n sa sm u c ha s8 0 t h i sh i g hv o l u m eo fc o m p l e x o p e r a t i o n sh 嬲 b e c o m et h eb o t t l e n e c ko fv i d e oc o m p r e s s i o nc o d i n g f o rr e a l t i m e a p p l i c a t i o n ，t h e r e f o r e ，m o t i o ne s t i m a t i o na l g o r i t h mo fl o w c o m p l e x i t ya n dh i g ha c c u r a c y h a sb e c o m ear e s e a r c hh o t s p o ti nv i d e oc o m p r e s s i o nt e c h n o l o g yi nr e c e n ty e a r s t h i sa n i c l ef i r s t l vi n t r o d u c e st h ew o r ko fb l o c k m a t c h i n gm o t i o ne s t i m a t i o ni nd e t a i l ， a n dd e s c r i b e ss e v e r a lc l a s s i cf a s ta l g o r i t h m sf o rb l o c k - m a t c h i n gc h a r a c t e r i s t i c sa sw e l la s t h e i ra d v a n t a g e sa n dd i s a d v a n t a g e s t h e n ，b ya n a l y z i n gt h em o t i o nc h a r a c t e r i s t i c so fv i d e o s e q u e n c e s ，w ep r o p o s eab i g s m a l l c r o s sp a r a l l e ls e a r c ha n dm u l t i 。p a t t e r ns e l f - a d a p t i v e s e a r c ha l g o r i t h mf o rm o t i o ne s t i m a t i o n b e c a u s e t h i s a l g o r i t h m m a k e sf u l lu s eo f c h a r a c t e r i s t i c st h a ts t a t i ca n dq u a s i s t a t i o n a r yb l o c ka r ei nt h em a j o r i t yi nv i d e os e q u e n c e s ， p l u st h eu s eo fm u l t i e n ds t r a t e g y , s ot h ep r o p o s e da l g o r i t h mg r e a t l ys i m p l i f i e st h em o t i o n e s t i m a t i o ns e a r c hp r o c e s s a n d i m p r o v e s h 2 6 4 c o d i n gs p e e d a t t h es a m et i m e ， s e l f - a d a p t i v em u l t i p a t t e r ns e a r c ho p t i m i z em o t i o ni n t e n s i t yp a r t i t i o nm e t h o d ，a n de n s u r e l i i t h ea c c u r a c yo fm o t i o ne s t i m a t i o na n dc o d i n ge f f i c i e n c y i no r d e rt ov e r i f yt h ev a l i d i t yo ft h i sa l g o r i t h m ，w ea p p l i e dt h i sa l g o r i t h mi nh 2 6 4 r e f e r e n c em o d e lf o r s y s t e ms i m u l a t i o ne x p e r i m e n t ，a n dc o m p a r ew i t ht w oc l a s s i c a l a l g o r i t h m ( f sa l g o r i t h ma n du m h e x g o n sa l g o r i t h m ) b ya n a l y s i so fe x p e r i m e n t a ld a t a ， e x p e r i m e n t a lr e s u l t ss h o wt h a t ，i nt h ep r e m i s eo fn os i g n i f i c a n tc h a n g ei ni m a g eq u a l i t y a n da l g o r i t h ms t a b i l i t y ，t h ea l g o r i t h ms a v em o t i o ne s t i m a t i o nt i m e15 8 8 o na v e r a g et h a n u m h e x g o n s w i t ht h et r a d e o f fo ft h em o t i o ne s t i m a t i o nt i m e ，p s n rv a l u e s ，a n db i t r a t e ， t h ep r o p o s e d s e l f - a d a p t i v ep a t t e r n - b a s e d d o u b l e c r o s s - s e a r c h i n ga l g o r i t h mp e r f o r m s u p e r i o rt ou m h e x g o n sg e n e r a l l yw i t hm o r er o b u s t ，m o r ec o n d u c i v et or e a l - t i m e a p p li c a t i o n s k e yw o r d s ：h 2 6 4 a v cv i d e oc o m p r e s s ；b l o c km o t i o ne s t i m a t i o n ；s t a r t p o i n t p r e d i c t i o n ；f a s ts e a r c ha l g o r i t h m i v 1 4 本文的主要工作和章节安排一5 第二章h 2 6 4 a v c 视频编解码技术7 2 1 视频编码的理论基础7 2 2h 2 6 4 a v c 标准的功能及特点8 2 2 1h 2 6 4 标准的体系结构8 2 2 2h 2 6 4 标准的档次和级9 2 2 3h 2 6 4 a v c 标准的特点1 0 2 3h 2 6 4 a v c 的编解码器l l 2 4h 2 6 4 的关键技术1 2 2 4 1 帧内预测13 2 4 2 环型去块效应滤波器1 4 2 4 3 整数变换及量化1 4 2 4 4 嫡编码l5 2 4 5s p 帧16 2 4 6 灵活的宏块排序17 2 5 视频编码技术的性能指标：1 7 2 6 本章小结19 第三章h 2 6 4 a v c 标准中块匹配运动估计技术2 1 3 1 运动估计简介2l 3 1 1 基于块匹配的运动估计原理2 2 3 1 2 块匹配准则2 2 v 3 1 3 搜索策略2 4 3 2h 2 6 4 a v c 中块匹配运动估计新特征2 4 3 2 1 多帧参考预测2 4 3 2 2 可变块尺寸的划分2 5 3 2 31 4 像素精度预测2 6 3 3 本章小结2 7 第四章基于h 2 6 4 a v c 的典型块匹配运动估计算法2 8 4 1 全搜索算法( f s ) 2 8 4 2 固定模板搜索法2 9 4 2 1 三步搜索法( t s s ) 2 9 4 2 2 基于块的梯度下降搜索 法( b b g d s ) t 2 6 1 3 0 4 2 3 四步搜索法( f s s ) 1 2 5 j 3 0 4 2 4 菱形搜索法( d s ) 2 7 1 31 4 - 2 5 六边形搜索法( h e x b s ) 1 2 8 】3 2 4 3 基于时空相关性和视觉特性的自适应搜索法3 3 4 3 1 预测搜索起点3 3 4 3 2 扁平模板搜索法3 3 4 3 3 背景图像的快速检测3 3 4 3 4 多预测点搜索一3 4 4 5 本章小结3 9 第五章基于双起点十字搜索的自适应搜索算法4 0 5 1 视频图像的运动剧烈程度4 0 5 2 运动矢量分布的特点4 0 5 2 1 运动矢量的中心偏置分布特性4 l 5 2 2 运动矢量的时空相关性4 2 5 3 双起点十字自适应搜索算法4 2 5 3 1 起始点预测4 3 5 3 2 多路终止技术一4 3 5 3 3 自适应的多模板搜索一4 4 5 3 4 算法描述4 5 5 3 5 一次正方形模板搜索4 6 5 4 实验结果和算法性能分析4 8 5 4 1 实验平台4 8 v i v i i 因特 会中 为满 字视 视频将为用户提供功能更强大和更完善的服务，它已被广泛地应用于视频会议、可视 电话、流媒体、远程教育和电子商务等多个领域，但其海量数据，无疑给信息的存储 和传输带来了巨大困难，从而成为阻碍人们有效获取和使用信息的重大瓶颈。而数字 视频压缩技术不失为一种行之有效的方法，它通过去除视频内容的冗余信息，从而减 少信息数抓量，并以压缩的形式进行存储和网络传输，既节约了存储空问，又提高了 通信干线的传输效率，保证了高质量的音视频节目的播放，能以尽可能低的比特率获 得尽可能多的视频图像信息，这就使得数字视频压缩技术成为了多媒体技术的核心及 关键所在。 1 9 4 8 年，脉冲编码调制p c m 技术的提出，标志着数字压缩编码技术的丌始，为后 来的视频编码技术奠定了基础。随着通信技术与数字视频压缩技术都取得了引人瞩目 的发展，同时各种国际组织参与多种视频标准的制定，些媒体压缩与通信的国际标 准相继提出，这些都使得多媒体通信进入了一个新的阶段。h 2 6 4 a v c 标准是由i t u 和i s o 联合制定的最新视频压缩编码标准，其增加的新技术使之有着h 2 6 3 标准和 m p e g 4 标准无法比拟的优异编码性能【l 】，h 2 6 4 具有的高编码效率，尤其是在低码率 方面有明显的提高，非常适合低带宽、高质量网络视频应用，但其高运算复杂度不利 于实际应用，这又制约了h 2 6 4 标准的推广。 第一章绪论 1 2 研究背景和意义 h 2 6 4 是目前一种比较流行的视频压缩标准，国内外很多学者都致力于h 2 6 4 标准 的研究。在国外的论文中，“o v e r v i e wo f t h eh 2 6 4 a v cv i d e oc o d i n gs t a n d a r d ”被视 为h 2 6 4 研究领域中的经典之作3 4 1 ，在国内，毕厚杰老师著的新一代视频压缩编码 标准i j 一书较有影响力，为幽内学者研究h 2 6 4 奠定了理论基础。 h 2 6 4 标准高效的编码性可满足多种应用的需求，应用非常广阔。它具有较强的 抗误码性能以及良好的网络亲和性，能应用于不同网络中的视频传输。h 2 6 4 的基本系 统的使用无需版权，具有丌放的性质，能很好地适应无线网络，这对目前的因特网传输 多媒体信息，移动网中传输带宽信息等方面都具有重要的意义。随着更多新编码技术 的采纳，h 2 6 4 a v c 将具有更加良好的性能及巨大的商业价值和社会价值，并有望成为 新世纪最为成功的国际标准之一。 视频序列中通常存在多种类型的冗余：空| 日j ：，c 余、时间冗余、统计冗余、知识冗 余、结构冗余和视觉冗余。视频压缩主要通过d c t 变换和量化、熵编码、帧问预测 中的运动估计三种技术手段来消除或者减少这些儿余，其中帧f h j 的时i 日j 冗余度最大， 运动估计也就凶而成为视频压缩编码系统中非常重要的模块。同时，运动估计的计算 复杂度在整个视频数据压缩编码系统中的比例最大，占整个编码器运算量的 5 0 9 0 以上。凶此，运动估计性能的好坏不仅很大程度上决定了视频图像压缩编码 的质量，还根本性地决定了整个视频压缩编码系统的实时性能，要对整个编码器进行 优化，运动估计模块应作为首选。 近年来，出现了一些面向h 2 6 4 的快速运动估计算法，其中以被j m 模型采纳的 u m h e x a g o n s ( u n s y m m e t r i c a l c r o s sm u t i h e x a g o n g r i ds e a r c h ) 算法和e p z s 算法较 有代表性。u m h e x a g o n s 算法能比全搜索算法节约9 0 以上的运算量【2 j 【3 1 ，且能保证 图像的质量。在后面章节中将重点分析这两种算法。 1 3 视频压缩技术标准的发展和概况 2 第一章绪论 最近几十年间，视频压缩编码技术得到了飞速的发展，一系列国际视频编码标准 被制定并趋于成熟，其中最为重要、应用最为广泛的编码标准是国际标准化组织 ( i s o i e c ) 的m p e g 系列和国际电信联盟( i t u t ) 的h 2 6 x 系列。其中，在2 0 0 3 年， i t u t 和i s o i e c 成立了联合视频小组( j v t ) ，共同定义了h 2 6 4 编解码技术，这种 技术在m p e g 系列中又被称为m p e g 4 p a r t l 0 或m p e g 4 高级视频编解码( a v c ) 1 4 l ，这些都为视频编码标准技术的发展起到了巨大的推动作用。m p e g 系列和h 2 6 x 系列编码标准的发展历程如图1 1 所示。 r ， ”。 一7 。_ j o i n ti t u - t i s o ，i e c h 2 6 2i m p e g 2 h 2 6 4 ， m p e g 4a v c 。i s o i e c1 溺 m p e g lm p e g 4 l习 ks t a n d a r d s ，鲞 iiili ： t 9 8 41 9 8 61 9 8 81 9 9 01 9 9 2 1 9 9 41 9 9 61 9 9 82 0 0 02 0 0 22 0 0 4 囹囹 图1 1 视频编码标准的发展历程 1 3 1i s o i e c 编码标准一m p e g 系列 m p e g 1 标准制定于1 9 9 1 年底，它是主要针对数据传输率在1 5 m b p s 以下的数 字存储介质运动图像及其伴音编码的国际标准，可提供3 0 帧c i f ( 3 5 2 2 8 8 ) 质量 的图像，主要用于c d r o m 光盘的视频存储和播放。m p e g 1 增加了能双向预测的 b 图像帧和图像组g o p , 提高了压缩比，加上编码算法中定义的各工具层的语法，使得视 频的可操作性更加灵活1 5 1 。但m p e g 1 的编解码器是非对称的，其编码端的复杂度通 常要远远高于解码端。 1 第一章绪论 1 9 9 4 年发布的标准有着通用的压缩编码方法，它能够后向兼容m p e g 1 ，同时又 对m p e g 1 作了重要的改进和扩充。例如，引入了“按帧编码”和“按场编码”两种 模式；扩充了预测模式和运动补偿方式；综合采用了空间域离散余弦变换、自适应量 化和可变长编码的混合编码；并使用了编码的可分级性技术，以适应信道的变化和扩 大应用范围，从而显著提高其编码效率【6 1 。目前m p e g 一2 己在d v d 存储和数字电视广 播方面得到了广泛的应用。 近年推出的m p e g 4 【7 1 标准萨式颁布于1 9 9 9 年1 月，其一个革命性贡献是引入 了视听对象( a v o ：a u d i o v i d e oo b j e c t ) 的概念和基于内容的编码方法。m p e g 4 注 重多媒体通信中的交互性和灵活性，是第一个使用户能在接收端对画面进行操作和交 互访问的编码标准。m p e g 4 采用了自然和合成的音频、视频以及基于对象的图形编 码工具，使得m p e g 4 既能够支持低码率的视频应用，也能够支持广播级的视频应用， 应用前景广阔。 1 3 2i t u t 编码标准一h 2 6 x 系列 h 2 61 标准【8 】【9 1 i t u 编制的h 2 6 1 标准全称是：“v i d e oc o d e cf o ra u d i ov i s u a ls e r v i c e sa t p * 6 4 k b i t s ”。它综合了图像编码4 0 多年的研究成果，定义了完整的基于块的混合编 码框架，是第一个采用现代编码算法的通用视频编码标准，其采用的帧内、帧1 1 j j 编码、 运动补偿和d c t 变换等技术为以后的视频压缩标准提供了基础。虽然h 2 6 1 的编码 算法类似于m p e g 算法，却不能兼容后者。为了优化带宽占用量，h 2 6 1 引进了图像 质量和运动幅度之f u j 的折中机制。它主要针对面对面的视频会议、电话应用，具有覆 盖整个i s d n ( 综合业务数字网) 基群信道的功能，适用在i s d n 、d d n 、p s t n 网上传 输运动的图像。 h 2 6 3 ，h 2 6 3 + ，h 2 6 3 + + 标准 i t u t 于19 9 5 年8 月推出了低于6 4 k b s 的窄带通信信道的视频压缩编码建议 h 2 6 3 1 1 0 l ，其视频编码的基本结构在h 2 6 1 标准基础上做了一些改进，同时也吸收了其 他国际标准中有效、合理的部分。如借鉴了m p e g 2 中的半像素运动补偿技术以取代 h 2 6 1 中的全像素精度和环路滤波器；增加了无约束运动矢量模式、高级预测模式、 4 第一章绪论 基于语法的算术编码、和p b 帧模式编码等四个高级选项；支持更丰富的图像格式， 且不限定帧率，从而达到了进一步降低码率和提高编码质量的目的。为了进一步提高 编码效率，增强编码功能和抗误码性能，i t u t 又于1 9 9 8 推出了h 2 6 3 的修订版本 h 2 6 3 + 和h 2 6 3 + + ，它们既能兼容旧版本，又扩充了更多的编码可选项和其它的附 加特性，增强了视频信息抗误码的差错隐藏性能，同时还综合考虑信源编码中信道传 输性能问题，应用范围进一步扩大。 h 2 6 4 标准 为了充分提高编码效率和增强网络环境稳定性，i t u t 的v c e g ( v i d e oc o d i n g e x p e l sg r o u p ) 和i s o i e c 的m p e g ( m o t i o np i c t u r ee x p e r t sg r o u p ) 联合成立的“联合视 频组”j v t ( j o i n tv i d e o t e a m ) 共同研究开发了一种高质量、低比特率的h 2 6 4 视频压 缩标准【4 1 。h 2 6 4 作为面向视频电话、视频会议的新一代编码方式，“回归基本”简 洁设计能提供比m p e g 4 和h 2 6 3 标准更高的压缩性能和编码效率；“网络友好”的 结构和语法有利于增强的网络适应能力，对不同应用的时延要求具有灵活的适应性； 编码和解码复杂度具有可扩展性；提出了基本档次的版权公丌，使得整个h 2 6 4 视频 压缩标准具有丌放的特点。 总之，h 2 6 x 系列仅是视频编码标准，h 2 6 1 建议是视频编码的经典之作，h 2 6 3 随之发展并将逐步取而代之，针对传输带宽或存储容量受限的情况，h 2 6 4 能在所有 码率下传输高品质的图像。而引人注目的mp e g x 己经不是一种单纯意义上的视频 编码标准，它是系统级的标准，不仅有视频编码，也有音频编码和系统层的协议内容， 相比较完备，因而m p e g 4 的应用范围也己超出了传统的传输和存储范畴，而是转向 多媒体检索、交互式多媒体操作和内容管理等领域。 1 4 本文的主要工作和章节安排 运动估计作为h 2 6 4 标准中的关键模块，其算法的优劣直接影响着整个视频编码 的性能。本论文深入研究视频编码的原理，重点分析了h 2 6 4 标准的几个新技术：帧 内预测、帧| 白j 预测中的运动估计、d c t 变换和量化、熵编码和去块效应滤波器。接 着总结比较了现有几个比较经典的算法，在此基础上，针对运动估计的技术特点和经 5 第一章绪论 典算法的不足，提出了一种改进的块匹配运动估计算法，在实验仿真的基础上与两个 代表性算法f s 和u m h e x g o n s 做对比，以证明提出算法的优势。全部研究工作大致 可分为如下阶段： 第一阶段：查阅搜集大量相关资料，了解数字图像处理理论知识，熟悉并掌握视 频编解码的过程以及基本的思想原理，为以后的丌题打下了初步的理论基础。 第：二阶段：有针对性的选取h 2 6 4 标准的相关资料：标准文档( i t u 协议) 、j m 测试模型( i t u 提供的编解码器源代码) 、经典文章( 如h 2 6 4m p e g 4p a r t1 0w h i t e p a p e r ) ) ，( ( v i d e oc o d i n gu s i n gt h eh 2 6 4m p e g - 4a v cc o m p r e s s i o ns t a n d a r d ) ) 和h 2 6 4 a n dm p e g 4v i d e oc o m p r e s s i o n ) ) ) 。深入了解h 2 6 4 整体框架，确定自己的研究模块 运动估计。 第三阶段：在h 2 6 4 标准参考模型j m l 2 2 中运行部分典型的运动估计算法，仿 真出这些算法的实验结果，总结出其优缺点及需要改进的地方，再结合中外论文中不 断提出的新算法，归纳出运动估计的技术特性。 第四阶段：深度剖析算法e p z s 和u m h e x g o n s ，根据多次仿真找出算法采用的 技术的漏洞，提出了基于视频图像运动类型和运动矢量分布特征的新算法，并通过实 验验证新算法的有效性。 本论文共分为6 章，其具体内容和章节安排如下： 第一章是绪论。简述了选题的背景和意义，概括了视频压缩的主要发展历程。 第二章介绍了视频编码的理论基础，分析了h 2 6 4 标准编解码过程以及关键新技 术。 第四章对h 2 6 4 标准中几种典型的运动估计算法进行了分析和比较，并总结其算 法的利弊。 第五章根据以上的总结，并结合运动估计特征，提出了一种快速高效的块匹配运 动估计搜索算法。 第六章总结全文研究成果和对未来进一步工作的展望。 6 2 1 视频编码的 视频图像压缩的目的就是要以尽可能少的比特数表征原始图像数据，同时保持复 原图像的质量，使其符合应用场合的要求。视频图像的压缩之所以可以实现，是因为 视频图像在空间域、时间域、统计上和视觉上存在大量数据冗余。从信息论的角度来 看，视频图像是一种载有一定信息量的载体，通过压缩去除冗余，保留不确定的因素， 用一种更接近信息本质的描述来代替原有冗余的描述，使相关图像信源成为非相关图 像信源f 1 1 】i 2 】f 1 3 】，从而压缩数据。 传统的压缩编码是建立在香农( s h a n n o n ) 信息论基础上的，它以经典的集 合论为基础，用统计概率模型来描述信源，不接受信息者的主观特性及事件本身 的具体含义、重要程度和引起的后果。我们给出一个利用其信源模型描述视频序列 内容的视频编码基本原理框图，如图2 1 。 图2 1 视频信息基本编解码流程框架图 第二章h 2 6 4 a v c 视频编解码技术 首先在编码器端对原始图像进行映射变换，用信源模型的参数描述和表征图像数 据特性，改变图像数据的特性，去除视频信号的空间域、频率域和时间域的冗余，更利 于压缩。然后根据人眼的视觉特性允许重建的图像有一定的失真，信源模型的参数被 量化成有限的符号集以消除视觉冗余，量化参数取决于码率与失真之间所期望的折 衷。最后，用无损编码技术把量化后的信源模型中运动估计算法优化参数映射成二进 制码字形成编码码流，产生的比特流在通信信道上传输给解码器端，其中的无损编码 要充分利用信源模型参数的统计特性以消除编码冗余。在解码器端执行的是一个逆过 程，对编码的码流依次反向进行二进制解码和反量化，重新获得信源模型的参数，然 后，解码器端的图像合成算法利用信源模型的参数得到复原图像。 从不同的角度考虑，视频图像压缩方法有不同的分类，根据是否存在信息失真可 分为无损编码和有损编码；根据编码方法的原理，可分为基_ j 二图像统计特性、基于人 眼视觉特性和基于图像特征提取等方法；根据采用的信源模型，可分为基于波形的 编码和基于内容的编码。 无损压缩是为保留原始多媒体对象而设计的，数掘在压缩过程中不会改变或 损失，解压缩后的数据是对原始对象的完整复制。当图像冗余度很低时，无损压 缩技术得不到可接受的结果。相比之下，有损压缩的效果就很明显，虽然会造成 某种程度的信息损失，但是只要这种损失没有超过限制的范闹，对图像质量不会 产生太大的影响，就是可以接受的。有损压缩技术主要应用在视频会议、视频电 话和多媒体应用中。 2 2h 2 6 4 a v c 标准的功能及特点 2 2 1h 2 6 4 标准的体系结构 近年来，随着基于i p 网络和无线网络的多媒体应用需求不断出现和扩大，m p e g - 4 和h 2 6 3 + 等标准暴露出了其网络适应性差的先天不足，越来越无法有效的保障视频 信息在网络上的传输质量，这就需要一个能处理各种应用和网络结构的好的视频方 8 第二章h 2 6 4 a v c 视频编解码技术 案，h 2 6 4 在体系上采用的分层模式就是针对这个问题的。 h 2 6 4 标准在设计上将整个编码系统分成视频编码层( v c l ) 和网络提取层( n a l ) 两个具有不同概念的层次。前者负责高效的视频内容表示，对视频内容进行有效的描 述。视频编码层采用了典型的基于离散余弦变换( d c t ) 的整数编码和运动补偿( m c ) 的混合编码，提供了具有高质量、高压缩比、健壮性、可分级等特性的视频编码流， 但是对于不同的传输网络和传输协议，视频编码比特流不具有普通的适应性。为 此，h 2 6 4 标准在视频编码层的外部定义了网络提取层，它负责以网络所要求的恰当的 方式将视频编码层产生的视频编码数据进行打包和传送，完成在不同网络上视频数据 的打包传输，其码流结构增强了对网络的适应性。如图2 2 所示，h 2 6 4 引入了面向 i p 包的编码机制，有利于网络中的分组传输，能够支持网络中视频的流媒体传输。此外 还采用了数据掩盖和错误恢复等技术，使之具有较强的抗误码特性，特别适应丢包率 高、干扰严重的无线信道中视频传输的要求。因此，h 2 6 4 被普遍认为是最有影响力的 行业标准。 数 视频编码层( v c l ) 据 i 宏块 控 上 制 数据分区 + i il 条分区 网络提取层( n a l ) h 3 2 0h 3 2 4h 3 2 3 i ph 3 2 4 m 图2 2h 2 6 4 编解码结构功能结构图 2 2 2h 2 6 4 标准的档次和级 h 2 6 4 提供了三个不同档次，每个档次都具有特定的编码功能，并支持一类特定 的应用。三个档次设置不同参数以得到相互重叠而又不同的功能。 1基本档次( b a s e l i n ep r o f i l e ) 该层次使用了i 片和p 片支持帧内和帧l 日j 编码，采用 9 第二章h 2 6 4 a v c 视频编解码技术 c a v l c 熵编码。该层次主要针对实时编解码产品，连续视频，适用于低时延的实 时应用场合。如视频电话会议、远程医疗、远程教学等； 2主要档次( m a i np r o f i l e ) ：使用i 、p 、b 片及加权预测，采用c a v l c 和c a b a c 嫡编 码。支持隔行、连续视频、宏块或图像级的场帧模式选择。它主要针对于压缩率 和质量要求较高而对时延要求不高的广播和电子消费市场。 3扩展档次( e x t e n d e dp r o f i l e ) ：使用了i 、p 、b 、s p 和s i 片支持码流之间有效的切 换，支持数据分割，但不支持c a b a c s h 隔j j ：视频。该层次可用于各种网络视频流传 输方面。 2 2 3h 2 6 4 a v c 标准的特点 与以往任何标准相比，h 2 6 4 标准的效牢都有极大的提高，它在吸收现有标准优 点的基础上，具有更高的编码效率和更好的网络适应性。在相同重构图像质量下，h 2 6 4 与m p e g 4 和h 2 6 3 + 标准相比，能节省约5 0 的码流。同时由于h 2 6 4 a v c 属于混合 视频编码，它的编码构成既延续了原有标准中基丁块的混合编码的基本特性，又具有很 多新的特性，其主要表现如下： 1 高压缩率：h 2 6 4 采用多参考帧预测和多宏块划分模式，取得了更高的压缩性 能。在大多数码率下，能比h 2 6 3 节省5 0 的比特率，同时能够在所有的码率( 包 括低码率) 条件下提供连续、流畅的高质量的视频图像。 2 简洁设计：采用“回归基本”的简洁设计，避免繁琐的选项和配置，尽量利用 现有的编码模块，具有适应多种信道的能力。 3 自适应的延时特性：h 2 6 4 对不同的业务灵活的采用相应的延时限制。它可以 工作于低延时模式下，用于实时的通信应用，如视频会议，也能用于没有延时限制的应 用，如视频存储等。 4 加强对误码和丢包的处理能力：h 2 6 4 提供了解决在不稳定网络环境下传输包 丢失问题的工具，增强解码器的出错恢复功能。 5 可分级设计：在编码器中采用复杂度可分级设计，即在图像质量和编码处理之 间可分级处理，以适应高或低复杂性的具体应用： 6 提高网络适应性：采用“网络友好( n e t w o r kf r i e n d l i n e s s ) ”的结构和语法， 1 0 块效应，提高图像质量【】；基于内容的自适应算术熵编码，压缩效率更高。因此具有 良好的兼容性和可移植性。 编码器 h 2 6 4 编码器如图2 3 所示，编码器包括了前向路径和重建路径两个数据流路 径。待编码的图像( 帧或场) 以宏块为单位划分输入到编码器端。首先，按帧内或帧 间预测编码的方法进行处理。不论使用何种预测编码，都有一个基于参考帧重构出南 的预测宏块p 。如果采用帧内预测编码，预测值和当前块相减后，产生一个残差块， 经整数变换和量化后产生一组量化后的变换系数，如果采用帧问编码，输入的图像块 首先在参考帧中进行运动估计，得到运动矢量m v 。然后对运动估计后的残差值和运动 矢量信息进行整数变换、量化。量化后的系数此时分成两路：前向路径和重建路径。 一路重新排序后经熵编码，与附加信息一起组成一个压缩后的码流，送入信道传输， 递交给网络提取层n a l 进行传输和存储【1 5 】；另一路将系数进行反量化、反变换， 还原出的残差宏块与预测值相加后得到重构图像( 存在失真) ，存入帧存储器中以便 为进一步宏块预测提供参考图像。同时设置了一个环路滤波器以便去除编码解码环路 中产生的噪声，降低块失真度，滤波后的输出即为作为参考图像的重构图像。 解码器 解码则是编码的逆过程。在解码器端，从h 2 6 4 编码器的网络提取层n a l 输出 的压缩比特流经熵解码和重排序，得到一组量化后的变换系数，再经反量化与反变换， l l 第二章h 2 6 4 a v c 视频编解码技术 还原出残差( 它与编码器中所示的残差相同) 。利用从该比特流中解码获得的头信息， 解码器就构建出一个与编码器中的原始预测块相同的预测块，产生的预测块与残差相 加后，再经环路效应滤波后，最后就得到重建的解码图像。 从以上可以得出，编码器的重构路径的作用是保证编码器和解码器使用同样的参 考帧来产生预测块，否则，预测在编码器和解码器中就会不同，这将在编解码器之间产 生误筹和漂移( d r i f t ) 现象。 2 4h 2 6 4 的关键技术 图2 3 编码器框架 流 h 2 6 4 a v c 在总体模块上与以往标准无太大区别，但它在每个模块上都做了细致 的改进，从丌始的多模式帧内预测、整数变换到最后的嫡编码、环路滤波器都取得显 著的改观。使得在同等的带宽条件下，h 2 6 4 的视频图像质量超过了以往的任何编码 标准，是目前算法复杂度最高、性能最好的基于混合编码框架的视频编码标准。下面 就提高视频编码效率的技术做进一步分析。 1 2 第二章h 2 6 4 a v c 视频编解码技术 2 4 1 帧内预测 单个图像帧内有较高空间冗余度，为了充分利用相邻宏块的空间相关性，h 2 6 4 引入了基于块的帧内预测技术，帧内预测编码是在空间域直接进行的，它利用邻近块 的像素值来预测当前块的像素值，然后对预测误差进行变换编码，这样就能用较少的 比特数来表达帧内编码的像素块信息，从而可以在一定程度上减少一个i 帧的数据量。 而以自，j 的标准( m p e g 4 ，h 2 6 3 + ) 是在变换域中，且忽视了宏块f n j 的相关性，因此需 要较多的编码比特数。 h 2 6 4 标准提供了三种块大小的帧内预测，其中亮度块的大小可以在1 6 x 1 6 和4 x 4 之间选择。1 6 x 1 6 块有4 种预测模式，适用于较平坦区域的图像编码；4 x 4 块有9 种 预测模式，独立预测每一个4 x 4 亮度子块，适用于含有较多空域细节信息的图像编码卜 ； 色度8 x 8 预测块有4 种预测模式。除了d c 预测外，其他每种预测模式对应不同方向 上的预测。另外针对一些很不规则的图像或低量化参数，h 2 6 4 还提供了不经预测和 变换量化而直接编码采样点的i - p c m 模式，从而，精细的帧内方向空i 日j 预测可有效 提高预测质量，如图2 4 。 h2 “与h2 6 3 * 的帧内预潮性能比较 图2 4h 2 6 4 和h 2 6 3 + 的帧内预测性能比较 第二章h 2 6 4 a v c 视频编解码技术 2 4 2 环型去块效应滤波器 由于h 2 6 4 采用了基于块的残差整数变换和运动补偿算法，解码器反变换量化后 的图像会因块与块之间的亮度、色度不连续而产生方块效应。这是因为，各个宏块的 变换系数进行量化后，因量化步长不同而导致原本很接近的像素值重构后变换系数产 生了较大的差异，从而造成在图像边界上的视觉不连续。解码图像就会出现似马赛克 的效果，如图2 5 ( a ) ，极人的影响了编码图像重建后的主观视觉效果。h 2 6 4 中采用 了去块滤波技术以解决1 6 x 1 6 块和4 x 4 块边缘处的像素值跳变和预测误差问题，在低 码率的情况下提高图象质量。其基本思想是根据量化步长、相邻块的编码模式以及块 边界对应象素之| 日j 的差值大小，选择不同的加权滤波。同时，去块滤波能够根据图像 内容自适应地做出判断，只对由于块效应产生的像素值跳变进行平滑，而保留了图像中 物体边缘处的不连续像素值，以免造成图像边缘模糊。与以往的去块效应滤波器不同 的是，经过滤波后的重构图像将根据需要放在缓存中作为基准来解码未来的视频帧， 而不是仪仪在输m 重建图像时用来改善主观视觉品质，这对于运动估计和补偿有一定 的增益，能产生更好的帧i 日j 预测效果。滤波后的图像效果如图2 5 ( b ) 。可以看出滤 波后的图像的方块效果明显好转。 ( a ) 没有滤波的重建图像 ( b ) 经过h 2 6 4 a v c 去块效应滤波后的图像效果 图2 5 使用环型去块效应滤波器前后图像的比较 2 4 3 整数变换及量化 常规的d c t 变换需要进行浮点数操作以及有限精度的舍入，很容易引起系统设 1 4 第二章h 2 6 4 a v c 视频编解码技术 计上的复杂度和舍入的误差。h 2 6 4 采用了4 x 4 离散余弦变换d c t ( d i s c r e t ec o s i n e t r a n s f o r m ) 的整数变换，把经过帧内预测和运动估计得到的残差( r e s i d u a l ) 从时域变 换到频域。同时，h 2 6 4 新标准还对d c t 的定义做了修改，使得变换仅用整数加减法 和移位操作即可实现，克服了浮点运算带来的复杂硬件设计，并消除了舍入误差造成