（通信与信息系统专业论文）h264模式选择新算法研究及其dsp优化.pdf

摘要h 。2 6 4 是s o 和i t u t 联合制定的最新视频编码标准f 1 】。和以往的标准相比，h 2 6 4采取的多帧参考、小分块模式选择、亚像素运动矢量搜索、整数d c t 变换、c a b a c或c a v l c 熵编码等新特性大大提高了整个编码算法的性能提高了编码质量，同时也降低了码率。然而正是这些新技术的应用却增加了编码算法本身的复杂度，使其很难在实时系统中完成编解码要求。通过设置对角滤波与其邻近子块已解码的最小率失真代价做比较，提前预测当前4 4 子块。亮度子块1 6x 1 6 模式经过h a d a m a r d 变换后最终与4x 4 子块比较选出最优的帧内模式。虽然在预判肘增加了滤波开销，但对于搜索次数却有了很大减少，实验结果也显示本文的算法p s n r 值损失在可接受的范围。对于帧间预测，统计发现s k i p 和1 6x 1 6 模式在大部分序列中占据了绝对比重，所以采取设定阂值t ，划分平缓s 区选择各子块。实验结果显示，在不同量化阶数下本文的算法在编码时间上都减少了将近一半。另一方面，目前支持h 2 6 4 编码标准的平台和解决方案可谓是百家争鸣，就连h 2 6 4 编解码的专用芯片和软件编解码器也是百花齐放。我们知道h 2 6 4 的高效性是建立在其算法的高复杂度上，t i 公司【2 1 推出的基于d a v i n c i 技术的t m s 3 2 0 d m 6 4 4 x系列的d s p 具有强大的处理能力，是目前实现数字视频的理想开发平台。本文简要介绍了该系列d s p 的内核，结合d s p 内部架构特性提出h 2 6 4 关键算法在d s p 上实现的优化方法、项目级的改进、算法级的改进、同时优化了c a c h e ，应用了d m a 搬移数据等。实验结果显示，本文提出的d s p 优化方法大大减少了c p u 运行的c l o c k ，并且减少了c a c h e 的m i s s 率，为h 2 6 4 编码算法在d s p 平台上的实现提供了可行的参考。关键词：h 2 6 4 视频编码模式选择d s p 优化d a v i n c ia b s t r a c th 2 6 4i st h en e w e s ti n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r dw h i c ha p p r o v e db yi s oa n di t u t c o m p a r e dw i t ho t h e ro l ds t a n d a r d s ，h 2 6 4o w n sa d v a n c e dt e c h n o l o g ys u c ha sm u l t i p l er e f e r e n c ep i c t u r em o t i o nc o m p e n s a t i o n 、v a r i a b l eb l o c k s i z em o t i o nc o m p e n s a t i o nw i t hs m a l lb l o c ks i z e s 、i n t e g e rt r a n s f o r mw i t hd c t 、c a b a c 、c a v l ce t c a l t h o u g hn e wt e c h n o l o g yi m p r o v e dc o d i n gc a p a b i l i t y ，t h ec o m p l e x i t ya r i t h m e t i cb l o c kp r a c t i c a l i t ya p p l i a n c e t h i sp a p e ra p p r o v e san e win t r am o d es e l e c ti o na r it h m e ti cb a s e do nc o r r e l a ti o no ff r a m sa n da p p r o v e dan e wi n t e rm o d es e l e c t i o na r i t h m e t i cb a s e do nc o r r e l a t i o no ff o r m e rf r a m s s i m u l a t i o nr e s u l t ss h o wt h a tt h e s em e t h o d sc o m p u t a t i o n a lc o s te f f e c t i v e l y o nt h eo t h e rh a n d 。n o w d a y st h e r ea r em a n yp l a t f o r m ss u s t a i nh 2 6 4i n c l u d i n gs p e c i a ls o c t it m s 3 2 0 d m 6 4 4 xp r o v i d e dw i t hp o w e r f u la b i l i t y t h i sp a p e ri n t r o d u c et h ek e r n e lo ft id s pa n d t h ek e ya r i t h m e t i co fh 2 6 4i m p l e m e n t a t i o nb a s e do nt m s 3 2 0 d m 6 4 4 xi n c l u d i n gi t e mo p t i m i z a t i o n 、a r i t h m e t i co p t i m i z a t i o n 、c a c h eo p t i m i z a t i o na n d d m at r a n s i t s i m u l a t i o nr e s u l t ss h o wt h a tt h e s em e t h o d sr e d u c ec a c h em i s s ，d e c r e a s et h ec p ut o t a lc l o c ka n dp r o v i d er e f e r e n c eo fa p p li c a t i o n sw h i c hb a s e do nh 2 6 4 k e y w o r d s ：h 2 6 4 ，v i d e oe n c o d e r ，m o d es e l e c t i o n ，d s po p t i m i z a t i o n ，d a v i n c ij ：海师范人学顺i ：学位论义论文独创性说明论文独创性声明论文独创性声明本论文是我个人在导师指导下进行的研究工作及取得的研究成果。论文中除了特别加以标注和致谢的地方外，不包含其他人或机构已经发表或撰写过的研究成果。其他同志对本研究的启发和所做的贡献均已在论文中做了明确的声明并表示了谢意。储撇极充垆隔御m 移论文使用授权声明本人完全了解上海师范大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部分内容，可以采用影印、缩印或其它手段保存论文。保密的论文在解密后遵守此规定。6 2螂燧矽如嗍哪刀上海师范大学硕士学位论文第一章绪论第1 章绪论1 1 引言目前最新的视频编码标准是h 2 6 4 a v c ，它是i t u - t 的v c e g ( 视频编码专家组)和i s o i e c 的m p e g ( 运动图像编码专家组) 的j v t ( 联合视频组) 共同开发的一个新的视频编码标准口1 。它既是i t u - t 的h 2 6 4 ，又是i s o i e c 的m p e g - 4 的第1 0 部分。其中多参考帧的应用、亚像素搜索、小分块尺寸、整数d c t 变换、高效的熵编码1等算法都大大改进了图像质量。虽然在算法上h 2 6 4 有着无可比拟的优势，但是在具体实现过程中却遇到了复杂度高、资源消耗大等阻碍。既要发挥h 2 6 4 在整个视频算法中的优势又要降低复杂度已经是一个急需解决的课题之一。经过实际测试发现，模式选择是制约整个编码算法实时性应用的一个重要瓶颈，同时也是影响图像质量的关键因素之一。由于同一帧内的空白j 像素有着很强的纹理相关性，同时相邻帧在预先进行统计分类的前提下也有可优化的空间。为此本文提出种根据纹理复杂度来优先判决的帧内模式选择新算法，改进了帧内模式1 6 x1 6 分块的四种预测方式和4 4 分块的九种预测方式，并且优化了多帧参考。同时提出基于统计分析的帧间模式选择新算法，对帧间模式选择本着够用就好的原则提出不同区域提前搜索的策略，尤其是提前预判s k i p 模式和1 6 1 6 分块模式，都取得了一定效果。实验结果显示，本文的新算法在几乎不影响p s n r 值的前提下，显著提高了编码运行效率。在视频媒体终端的实现方面，不仅需要稳定的实时的处理器而且需要适合通信的协议标准。随着数字信号处理器的高速发展，为实现高效的视频处理提供了可能。因此把h 2 6 4 算法移植到d s p 平台上实现具有一定的现实意义和价值。然而高效的视频算法是以非线性增长的复杂度为代价换来的，在嵌入式实时系统中，由于片上资源有限，如果把原算法按部就班地移植到平台上几乎是不可能实现实时编解码的。因此本文针对以上矛盾从两方面着手，首先改进了帧内模式和帧间模式选择的策略，提高算法本身的效率。其次，从实现平台d s p 着手，使算法符合实际平台的架构，以此达到优化目的。本文提出的改进算法和优化策略具有定的工程意义和市场价值。i ：海师范人学硕i j 学位论文第一章绪论1 2 视频编码与d s p 实现概述经过十年多演变，音视频编码技术本身和产业应用背景都发生了明显变化，后起之秀辈出。目前最新的数字视频编码标准是h 2 6 4 ，同时它也一直都是d v d 、d v b 、3 g p p 等工业化组织共同推进的视频编码国际标准，可以想见，在众多行业巨擘的推动下，h 2 6 4 技术的应用必将迅速进入到视频服务、媒体制作、固定及移动运营网络、平台开发、设备终端制造、芯片开发等多个领域。除h 2 6 4 外，目前应用较广泛的标准还有以下几种：1 ) m p e g - 2 主要针对数字电视应用，支持逐行扫描和隔行扫描。2 ) h 2 6 3 是由h 2 6 1 发展而来，更多的应用于可视电话和视频会议。3 ) m p e g - 4 它引入了1 4 像素插值和全局运动补偿技术，更好的支持低码率畸1 下的视频应用。4 ) a v s 它是我国自主研发的音视频标准，目的是指定面向多媒体通信，广播等应用的国家标准。其中的a v s - m 部分是针对移动视频应用。a v s l 0 部分是针对广播和d v d 的应用，并且支持隔行和逐行扫描模式。另一方面，应用于视频实现的系统需要强大的信号处理能力。嵌入式系统实现视频应用方案有着极大的优势。目前主流方案有：1 p c 机实现2 a s i c 实现3 d s p实现。采用p c 机实现可以实现灵活的代码移植，由于p c 有着丰富的内部逻辑单元与运算单元，对于软件丌发，网络协议互联性等都有着得天独厚的优势。但是在很多实际应用场合，成本太高，体积庞大成为它的致命弱点。采用a s i c 实现解决了以上费用和体积问题，a s i c 是专为某一特定应用而制造的芯片，但它同时也带来了更新与升级的烦恼。所以目前广为应用的视频实现方案是d s p 实现。d s p 有着自己独特的性能，介于p c 与a s i c 之间，采用哈佛总线结构，内部有硬件乘法器，采用多级流水结构并行处理数据，特别适合视频编码中大量的d c t 运算等。1 3 本文内容及创新点本文主要从两个方面着手，目的就是图像质量在可接受范围的前提下，优化h 2 6 4 视频编码算法使其能在d s p 系统上做到实时编解码的应用。本文首先分析了h 2 6 4 的算法复杂度。众所周之，模式选择是编码标准中复杂度较高的内容之一，也是算法从理论到实际应用阻碍较大的部分。通过研究模式选择现状，提出并验证上海师范火学硕：i ：学位论文第一章绪论了新的帧内模式选择算法和帧间模式选择算法。优化后的算法在p s n r 基本不损失，码率增加不多的前提下编码时间有了很大的减少。另一方面，本文介绍了t m s 3 2 0 d m 6 4 x 系列d s p 的内核结构3 。从项目级，算法级分别对h 2 6 4 算法进行了优化。实验结果显示，无论采用d m a 搬移数据还是c a c h e的优化最终都减少了c p u 的负担，减少了c a c h e 的m i s s 率，达到了预期效果。本文的主要创新点如下：1 ) 对于帧内模式选择。拆分了亮度信号和色度信号的判断步骤。同时在计算率失真代价函数前根据帧内纹理相关性，预先设置了三个滤波门限。理论上与原始算法5 9 2 次的运算次数相比，搜索次数减少了将近一半。同时经过仿真实验验证，没有明显的图像质量失真( 实验结果见本文3 3 节) 。2 ) 对于帧间模式选择经过统计分析发现，不同平滑度的序列帧间模式的选择也有一定规律。s k i p 模式和1 6 1 6 模式被选中的概率是最大的。为此提前设定阈值，并且把分块尺寸划分成不同的区域。仿真实验显示，在大部分情况下降低了算法复杂度，平均编码时间减少约4 9 8 ( 实验结果见本文3 3 节) ，并且码率和p s n r 值都在可接受的范围。3 ) 对于d s p 平台针对d s p 平台的架构，优化了h 2 6 4 算法关键代码。其中包括设计符合d s p 流水线体系架构的算法。在空间和时间复杂度上，权衡c p u 消耗的时钟周期束取代空间复杂度等。此外c a c h e 的优化和d m a 的使用也取得了一定的优化效果，c p ut o t a lc l o c k 有不同程度的减少( 实验结果见本文4 4 节) 。3f ：海师范人学顾1 ：学位论文第2 章h 2 6 4 视频编码标准分析第2 章h 2 6 4 视频编码标准分析h 2 6 4 不仅比h 2 6 3 和m p e g - 4 节约了5 0 的码率口1 ，而且对网络传输具有更好的支持功能。它引入了面向i p 包的编码机制，有利于网络中的分组传输，支持网络中视频的流媒体传输。具有较强的抗误码特性，可适应丢包率高、干扰严重的无线信道中的视频传输，支持不同网络资源下的分级编码传输，从而获得平稳的图像质量。为进一步提高鲁棒性，整个系统被划分为视频编码层和网络抽象层。视频会议或i p 通信等就是放在网络抽象层中去考虑。这样的分层设计结构更有利于应用层的线程调度。视频编码层主要描述要传输的视频数据所承载的视频内容。此外h 2 6 4加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处理，应用目标范围较宽，可以满足不同速率、不同解析度以及不同传输( 存储)场合的需求。与此同时h 2 6 4 在提高图像传输的容错性方面也做了大量工作，重新划分了适用于图像的结构。在编码时，每一帧的各个部分被划分到多个s l i c e 结构中去，每个s l i c e 都可以被独立解码不受其它部分的影响。s l i c e 由图像最基本的结构宏块所组成，每个宏块包含一个1 6 1 6 的亮度块和两个8 8 的色度块，对于亮度信号更进一步可分为1 6 8 ，8 1 6 ，8 8 ，4 4 等子宏块。和以前的标准一样，它也是d p c m 加变换编码的混合编码模式，但采用了“回归基本 的简洁设计，不用众多的选项，获得比m e p g 一4 好得多的压缩性能。以运动矢量代表图像序列各帧的运动内容，使用前面已解码的帧对当前帧进行运动估计( m e ) 和运动补偿( m c ) ，以及使用帧内预测( i n t r ap r e d i c t i o n ) 技术，所得的图像残差要经过d c t 变换、量化、熵编码( e n t r o p ye n c o d e ) 等处理。2 1h 2 6 4 编码标准简介及复杂度分析2 1 1h 2 6 4 编码框架简介h 2 6 4 之前的视频编码标准无论是h 2 6 3 ，m p e g 2 还是m p e g 4 等均是以提高压缩比为主要目的，这些标准在规范标准时并未考虑到传输信道的特性。但是近年来，随着基于i p 网络和无线网络的多媒体应用需求不断出现和扩大，h 2 6 3 和m p e g 4 等标准越来越无法有效的保障视频信息在网络上的传输质量，暴露出了其网络适应性4上海师范大学硕十学位论文第2 章h 2 6 4 视频编码标准分析差的先天不足。h 2 6 4 在设计之初，就充分考虑到了这个问题，在体系上可以分为两层，其中视频编码算法的视频编码v c l 层( v i d e oc o d i n gl a y e r ) 负责高效的视频内容表示，对视频内容进行有效的描述。而网络传输规范的网络适配n a l 层( n e t w o r ka b s t r a c t i o nl a y e r ) 负责以网络所要求的恰当的方式对数据进行打包和传送，完成在不同网络上视频数据的打包传输。在v c l 和n a l 之间定义了一个基于分组方式的接口，打包和相应的信令属于n a l 的一部分。这样，高编码效率和网络友好性的任务分别由v c l 和n a l 来完成，如图2 1 所示。桃额蝙娼层捌鳃锄苏联i 晴鳓嚣h 。奎卅睨鞭籀礴i 壤解妈澄。一1ri v k 驴h 拨u|f黼簇蔫：璎m 删搠烙抽聪l 税嚣篱嚣昭n 从弼攘口j in a l 钟鹳麓口rl 托3 加l | m 聊p e g - 2l | 托3 鲋m | | 巍们们p | | 勰f i f ef 一 r 二nf龙蛾弼蠕j静蟪吲蜂i图2 1v c l 层与n a l 层h 2 6 4 的编码框架与h 2 6 3 及m p e g - 1 2 4 并无显著区别，它也是基于混合编码的方案。但是它有许多部分技术方案的改进及新算法的应用提升了整体性能，核心技术将在本文下一节2 1 2 节中介绍。与以往的标准一样，h 2 6 4 草案也没有指定c o d e c ，其编码方式如图2 2 所示。f n 为当前待编码的帧，这一帧被划分成1 6 1 6像素的宏块进行预测。每一个宏块都将采用帧内( i n t r a ) 或者帧间( i n t e r ) 模式中的一种模式进行编码。无论发生哪种情况，预测宏块p 都将是先前重建的帧，是与当前宏块相减得到的残差量，从而得到量化系数的一个子集。如果采用的是帧内模式，p 就是当前宏块f n 与前一已编码，译码和重建宏块u f n 的差值( u f n 未经过滤波) 。如果采用的是帧间模式，那么p 是经过运动估计呻( m e ) 和运动补偿( m c ) 得到的差值。为了提高预测精度，在帧间预测时的参考帧f n - i 可能是已编码的前一帧，可能是前几帧中的一帧，也可能是后几帧中的一帧。这些系数通过重排序与熵编码最后通过n a l ( 网络抽象层) 传输或者暂时储存。j ：海师范人学硕i j 学位论文第2 章h 2 6 4 视频编码标准分析其中预测帧p 所包含的信息至关重要，运动矢量信息描述了宏块是怎样运动补偿的，解码端必须知道此信息。除此之外，解码端还必须知道熵编码的系数，量化步长的尺寸，以及宏块预测模式等信息。本文所研究的算法针对图像时间和空间的相关性，提出基于纹理复杂度的帧内模式选择新算法。同时对运动估计和补偿做前期评估，在基于统计的基础上提出改进的帧间模式选择策略，使其尽可能保证图像质量前提下减少编码码率和编码时间。此部分新算法将在3 2 1 节和3 2 2 节中做详细介绍。改进后的算法为本文第4 章的d s p 实现做了有力的理论保障。h 2 6 4 编码标准分成三个档次：b a s e l i n e ，m a i n以及高级档次，分别代表了针对不同应用的算法集及技术限定。为了便于实际应用，本课题中选用参考代码是基本档次b a s e l i n e 。图2 。2i - i 2 6 4 编码框图2 1 2t t 2 6 4 核心技术分析与先前的一些编码标准相比h 2 6 4 标准继承了h 2 6 3 和m p e g - 1 到m p e g 一4 标准的优点，主要模块内部使用了一些先进技术，提高了编码效率阳3 。此外如前文说诉，h 2 6 4 “网络友好”的结构和语法，有利于对误码和丢包的处理。应用目标范围较宽，满足了不同速率、不同解析度以及不同传输( 存储) 场合的需求，并且它的基本系统是丌放的，使用无需版权。这些无疑保证了视频编解码选择方案的天平倾向了6上海师范大学硕十学位论文第2 章h 2 6 4 视频编码标准分析h 2 6 4 。虽然h 2 6 4 表现出了压缩率高，网络亲和性好，视频质量优越，运算精度高且不益出，削弱了块效应等优点。但它同时所付出的代价是增加了算法复杂度，其中模式选择和运动估计是增加编码器复杂度的一个非常重要的因素，这些算法本身的复杂度分析将在本文2 1 3 节中做更详细的介绍。以下对h 2 6 4 核心技术做简要介绍：( 1 ) 多种模式预测，更小尺寸划分传统的视频压缩标准中是将单帧空间信息直接变换，其中隐含了许多相关的冗余量。h 2 6 4 则增加了单帧帧内预测模式选择编码，利用前帧已解码重构后的空间形状，纹理等信息来预测当前帧。如图2 3 所示，当前帧宏块c 的预测值，就是根据前一帧已解码正上方的a 块及左边的b 块共同预测得到的。这样充分利用了连续图像之间的空间相关性，减少了编码比特率。8 口田目田图2 3 参考块图2 4 分块尺寸此外，h 2 6 4 对图像也做了精确度更高的划分。如图2 4 所示意，对i 帧作帧内预测时将宏块分割为3 种。分别对静止图像，缓慢变换图像和剧烈运动图像做了不同大小的尺寸划分。从1 6 1 6 宏块预测模式，到8 8 宏块预测模式再到4 4块预测模式，每一种预测模式又提供多种方向的空间预测方法。对于帧内模式选择提了9 种4 4 亮度块、4 种1 6 1 6 亮度宏块和4 种8 8 色度宏块( 包含u ，v 两个相等的色度宏块，每个色度宏块有6 4 个被预测像素) 共1 7 种帧内空间预测方法。而对于帧内预测，之前还要对当前块左上边邻近的解码重构块，根据r d o 和s a e 进行最佳模式分类和选择，使预测帧内属于不同位移物体的像素数减少，在空域内更加贴近原始帧。这种多尺寸宏块和多方向预测，也提高了编码的空域压缩率。本文的2 2节将更详细的讨论h 2 6 4 模式选择的方法。( 2 ) 多帧运动估计，亚像素运动估计与以前视频压缩标准中使用的单帧运动估计技术相比，h 2 6 4 使用的多帧运动估计具有更高的效率，更强的差错稳健性。如图2 5 所示，当前帧运动矢量可以参：海师范人学硕l ：学位论文第2 章h 2 6 4 视频编码标准分析考前一帧，或者前几帧，同时h 2 6 4 标准也允许当前帧参考后一帧或者后几帧的运动矢量。这样可以防止因某个帧出现错误而影响到后面的帧，并且提高了运动估计的准确度。但是，这样的估计需要更大的内存单元，需要更多的运算逻辑单元以及带来了更高的运算复杂度。在本文的3 2 节将讨论如何更有效的对帧间模式进行估计，4 3 节将介绍在实际d s p 系统中像这样多帧运动估计具有高消耗算法的改进策略。图2 5 多帧参考运动矢量的值可以是整数，也可以是非整数的。如果是非整数，那么此时的运动补偿被称为亚像素精度的运动补偿。这是通过对参考帧像素值进行亚像素级插值，而后进行运动补偿做到的。最简单的亚像素精度运动补偿使用半像素精度。在h 2 6 4中，运动估计的精度由h 2 6 3 中的半像素提高到了1 4 像素，并且把像素作为可选项。如图2 6 所示，像素a a 就是像素a 和像素b 内插得到的半像素点，而像素j就是半像素点再经过内插所得到的1 4 像素点。值得一提的是，在图中还有如e ，g这样的像素点，这些点是h 2 6 4 所特有的，目的是为色度信号做1 8 内插而预留的。与半像素精度的运动估计一样，1 4 像素精度的运动估计也使用内插得到，更高的亚像素精度虽然可以提高运动补偿的精确度，但是大量的插值操作大大增加了计算复杂度。庆幸的是，d s p 与一般的处理器相比更适合做此类算法，并行流水线实现将大大缩短预测时问。本文的4 3 5 节着重讨论此类算法的流水线设计。8上海师范大学硕士学位论文第2 章h 2 6 4 视频编码标准分析园团园圃国图囤国囹囤图口团囡回囹园图国图团囹团回囵团图2 6 亚像素预测( 3 ) 整数d c t 变换传统的d c t 量化时需对系数进行四舍五入，产生参考帧的偏移，直接影响到重建图像的质量。h 2 6 4 标准中则避开了这种损失，改用4 4 的整数d c t 变换作为残差宏块的基本变换。在整个变换和量化的过程中，只执行两字节的整数算法和一次乘法操作。在变换中由于d s p 实现乘法均可由移位运算代替，因此，复杂度降低的同时，也解决了精度问题。( 4 ) 可变量化步长在量化步骤中，h 2 6 4 采用和以往定步长量化不同的可变步长量化。此方法主要是按等比例分级实现，进一步增强在一定失真条件下的码率控制能力。变换系数矩阵先与量化矩阵进行元素相乘，再对量化起点值修正后进行量化。正向量化公式如下：z ij = r o u n d ( y ij q s t e p )反向量化公式如下：y i j = z i j q s t e p ，其中z i j 为量化后的系数，r o u n d 为取整，y i j 为变换后的像素系数，q s t e p 为量化步长。每个宏块的量化步长由5 2 个量化参数q p 值决定，色度分量步长比亮度分量略小，以提高彩色的逼真度。5 2 个量化矩阵含有量化步长信息和量化校j 下信息，帧内预测时校正值为2 q 3 ，帧间预测时为2 q 6 。控制能力为q p 值每加1 ，q s t e p 变化幅度增9口口团团囤口口囹囹固圉囹囫囹 ：海师范人学硕i ：学位沦义第2 章h 2 6 4 视频编码标准分析加1 2 5 ，q p 每加6 ，q s t e p 加倍。由于量化后的系数要取整，减小了量化精度，但同时它有效地降低了数据量。h 2 6 4 将变换系数幅度的归一化放在反量化过程中处理，这样整数变换和量化有机融合在一起进行可以进一步降低变换量化计算的复杂度。同时h 2 6 4 在量化过程中有机结合变换系数矩阵和调整的量化参数，分级实现高精度量化和低精度量化，大大提高了压缩图像的质量和编码效率。( 5 ) 高效的熵编码h 2 6 4 建议同时采用了两种熵编码模式m 1 ：基于上下文的二进制算术编码c a b a c ，以及可变长编码v i 。c 。v l c 编码又包括基于上下文的自适应可变长编码c a v l c 。c a b a c 方式利用了算术编码的方法，一个符号可以用少于l b i t 来表示。根据无误码的假设条件下的试验所得的数据可知，在所有码率下，c a b a c 的表现都强于c a v l c 。但是c a v l c 的抗误码性要强于c a b a c ，且运算的复杂度也远远低于c a b a c 。因此，h 2 6 4规定在b a s e l i n ep r o f i l e 中采用c a v l c ，而在m a i np r o f i l e 中采用c a b a c 进行熵编码( 6 ) 网络抽象层( n a l ) 无缝集成n a l 是h 2 6 4 内建的一个网际网络通信协议适配层，并用存取层接口的概念来描述和区分v c l 层高效压缩和n a l 层无缝集成的功能。n a l 定义了视频编解码与外部网络之问的接口，以便将v c l 层视频流进行协议封装后，通过n a l 无缝集成到传输层。解码时n a l 对v c l 的承载过程相反。n a l 层引人将编码与信道隔离，大大提高了h 2 6 4 适应复杂信道的能力，对目前现存或未来的各种不同网络都有很强的网络友好性1 。( 7 ) 使用参数集提高视频传输健壮性以前的视频编码标准通常在开始传递每个片，图像，图像组，和图像序列之前都要先传递与它们对应的头信息。这些头信息包的丢失往往使那些与之有关的数据变成无效。h 2 6 4 克服了这个缺点，使在一个实时多媒体环境下同步传递的包变得相互独立，即每个包不依赖其它包能够独立重建。所有高层的信息依赖于系统，而不依赖具体内容，因此可以异步传输。它将那些经常变化的参数放入层。而将其他参数集中起来构成参数集。可见h 2 6 4 采用可变块n 羽尺寸可以灵活地选择块的大小，运用1 4 像素精度的运动估计进一步减少了帧间预测的误差，多参考帧运动估计大大提高编码效率，去l o上海师范大学硕士学位论文第2 章h 2 6 4 视频编码标准分析块滤波消除了预测和变换过程中引入的块效应以及采用加权预测允许编码器以一定的系数对运动补偿预测值进行加权等。这一系列的优秀算法，改进了压缩率同时也提高了图像质量。2 1 3h 2 6 4 编码复杂度分析衡量编码质量的好坏最直接的方法就是人眼去辨别，在很多情况下最终解码成像后的图像是为人眼所服务。人们为了获取更多的信息量，对图像，视频的分辨率提出了更高的要求。然而对于实际编码系统而言，要考虑成本，也要考虑实现的可行性，总是会在质量和代价这一对矛盾中寻求一个平衡点。于是人们提出了衡量编码质量更客观的标准，如峰值信噪比( p s n r ) ，编码时间，编码传输所需的带宽等。与此同时，工程师们为了尽可能的提高编码质量，总是会从时间和空间上提出他们聪明的改进想法，提出满足实际系统要求的但又确保图像质量在可接受范围的方案。本文的4 3 6 节将着重讨论在d s p 中实现h 2 6 4 模式选择相关的空问与时间复杂度权衡，而本节主要来探讨一下h 2 6 4 视频编码算法本身的复杂度及其对实现的影响。我们知道，在h 2 6 4 标准草案中并未对编码的流程做规定，而只是提出了码流的格式。为了实现编码层强大的性能，h 2 6 4 官方参考代码j m 系列中都尽可能多的使用了新特性，虽然在图像质量上带来了新的突破，但是同时也带来了编解码运算复杂度的提高。有数据显示，h 2 6 4 编码的运算量大约是m p e g 一2 的直到十倍，解码运算量也在两倍以上n 驯。本文采用的参考代码j m i o 2 主要结构与图2 2 基本吻合，其中d c t 运算，帧内图像预测，帧间运动估计以及率失真代价函数的计算对编码复杂度的影响是最明显的。由于在h 2 6 4 中图像分割尺寸最小可到4 4 的像素，这样对每一个宏块进行分割，计算各个子块的代价函数是非常耗时的。更糟糕的是亚像素搜索一方面提高了运动估计的准确度，但对于一个d s p 系统具体实现它同时带来了浮点运算，这导致了c p u 的运算c l o c k 直线上升。本文选取了前后背景差异较大纹理复杂度不同最具代表性的五个序列：f o r e m a n ，n e w s ，s a l e s m a n ，m o n i t o r ，s i l e n t 序列，分别对其进行测试，得到编码复杂度比列，如图2 7 所示。i ：海师范人学顺l ：学位论义第2 章h 2 6 4 视频编码标准分析序列、复杂度( 之) d c t 运算帧内预测运动估计其他f o r e m a n6 2 37 2 67 9 s 07 0 1n e w s6 0 18 3 58 0 1 45 5s a l e s m a n5 6 58 2 18 3 7 12 3 7m o n i t o r7 5 28 9 07 8 1 b5 8 8s i l e n5 2 57 3 98 1 2 26 1j 图2 7 编码模式复杂度分析由以上测试结果可知，编码中运动估计与帧内预测所花费的时间是占整个编码的绝大部分，如果不对其进行优化，是很难在实际系统中应用的。在c i f ( 3 5 2 x 2 8 8 )格式编码中，j m 每秒约编五至六帧，人们很难忍受如此漫长的等待。目前实际产品中用的较多的是2 6 4 参考代码，该代码每秒约编3 0 帧左右。然而不幸的是，x2 6 4删除了j m 中能体现h 2 6 4 高性能的许多特性，在搜索策略上粗略的跳过多种预测，从而导致在要求较高像素的应用中很难推广。本文主要以理论推导为主，首先应满足图像质量的前提下再对d s p 实现进行优化，所以在评估模式选择算法时采用的是j m 模型。2 。2 模式选择简介与m p e g 系列相比，h 。2 6 4 编码效率和图像质量具有优势的原因是采用了更复杂的技术。为了保证搜索的准确性，其中一个重要的技术就是多尺寸模块的划分( 1 61 6 ，1 6 8 ，8 1 6 ，8 8 ，8 4 ，4 8 ，4 4 ) ，。在编码时将遍历每个模式，对每个模式作变换量化，反变换，量化，反量化，重建，以及和原始图像作s s d ，进行熵编码以获得实际b i t ，那么如何在如此多的模式中选出一种最准确的分块以此来进行编码，正是本节所要讨论的。如何选取一个最优的评价标准，即反映编码效率的两个方面：码率和图像质量。遗憾的是鱼和熊掌不能兼得，这时候就有必要做个代价评估，计算一个开销，根据开销来选择模式。2 2 1 帧内模式选择算法帧内预测的好坏直接影响了帧内模式选择是否准确。h 2 6 4 帧内预测算法充分利用图像的空间相关性，用图像块周围的像素来进行帧内预测，提高了编码效率，上海师范大学硕士学位论文第2 章h 2 6 4 视频编码标准分析从而减少了编码输出的码率，是h 2 6 4 的关键技术之一。然而，高效的帧内预测算法也大大增加了编码器的运算复杂度，很难适应实时性的要求。在通常情况下还不能满足实际应用的要求，所以在不改变h 2 6 4 标准码流结构，找到简单可行的算法，提高其编码速度就成为当前的研究热点之。如果块或宏块选择帧内模式，那么预测块是根据先前已编码和重建的块来形成的。对于亮度样本，预测块p 有4 4 和1 6 x1 6 两种尺寸。其中4 4 亮度样本有九种预测模式如图2 8 所示。预测时将计算这九种模式下各自的s a e ( s u mo fa b s o l u t ee r r o r s ) 值，其中s a e 最小的那种模式就是当前4 x 4 i 5 k ：所应该选择的模式。在帧内( i n t r a ) 4x4 预测模式下，将一个宏块分割成1 6 个4x4 子块进行预测。每个4 4 块中的像素可通过相邻块中已经解码的1 7 个像素来进行预测，如图2 8 中的最上面和最左面的像素( a - h ，m - l ) 。帧内预测模式中的模式2 为直流( d c ) 预测，代表着该宏块内所有像素值都相等，也就是a d 与i l 的像素平均值。0l 犍曛娩l1 阳妣狲蝤n2f t x ：3 ( d i e , r e a l 幽姗神4i d e a lo o a n - r 奄h t 酽酽f 黟s f v e 吨c 幽1 9 嘴酽f 磬图2 84 x 4 亮度样本预测模式帧内1 6 1 6 亮度样本有四种预测模式，如图2 9 n 示。模式0 为垂直预测，模式l为水平预测，模式2 为直流预测，模式4 为平面预测。与4x4 亮度样本的预测类似，1 6 x1 6 亮度样本也是通过计算这四种模式的预测块和当前块的各 f l s a e 值，选择最小值。图2 91 6x1 6 亮度样本预测模式，卜海帅- y j l 土p - 人学坝i ：学位论文第2 章h 2 6 4 视频编码标准分析而8 8 色度样本与1 6 1 6 亮度样本的预测模式相同，也有四种，只是顺序不同。h 2 6 4 通过采用这种预测模式的方法来编码，对于减少编码的比特数是非常有用的。因为如果对帧内预测的所有9 种预钡0 模式直接传输就需要用四个比特。而引入预测方式后，只需要传送3 个比特，再加1 个比特的矢量信息。也就是说直接传输预测模式始终都要占用4 个比特，而使用预测方式，则可能是使用4 个比特也可能更少。由于实际预测模式与预测模式的预测值不相同，所以也可能出现只使用1 - f 比特的现象。因此采用对预测模式进行预测的方案的实际效率是由使用比特和使用比特的概率来决定的，如果使用比特的概率在视频编码过程中占绝大多数，那么这样的预测模式编码方案可能得不偿失，即不但没有显著减小编码比特数，反而增加了一定的编码复杂度。h 2 6 4 的参考软件j m l 0 2 采用全搜索来进行帧内预测的模式选择，判断依据也不仅仅局限于s a d 值，它引入了率失真代价函数：j ( s ，c ，m o d elq p ，入帅d e )= s s d ( s ，c ，m o d eiq p ) + 入舯f i e r ( s ，c ，m o d eiq p )( 1 )其中q p 是宏块的量化因子，入舭是拉格朗日乘子( = 0 8 5 2 。1 2 3 ) ，m o d e 是预测模式中的一种模式。s s d 是原始亮度样本s 和重建亮度样本c 的平方差总和，它反应了编码质量的好坏。r ( s ，c ，m o d elq p ) 则是选择m o d e 时所需要的比特数，它反应了编码后数据的比特率的大小。为了叙述方便，本文把( 1 ) 式简记为r d 。全搜索首先进行四种色度模式的外循环，再进行亮度模式的选择，参考软件中给出的亮度块帧内模式选择步骤如下：1 把预灏块翔分或1 6 个4 4 子块。对第一个4 4 子块分期进行九种模式下的髓计算。选最小值记为r d ，o2 ，翻余的1 5 个4x4 子块如同步骤l 也i t 第z d i y , 把这1 6 个r d 值相加记为r d 4 忡3 把整个预灏块季- f i e s 个1 6 1 6 的宏块。分勋计算1 6 1 6 宏块的匹1 种模式下的髓值，选最小值记为r d l 6 螂o4 如果( r d i ； r d , 。) 或立则编码方式选择4 4 。最优模式就是i 6 个r d 中最小的那个模式。否则编码方式在1 6 x1 6 中选择最小的那个模式，帧内预测的模式选定后，当前宏块与其预测值的残差被变换、量化及编码。h 2 6 4的这种预测性能与以往的标准相比有了很大的提高，但由以上步骤可见，完成一次1 4上海师范大学硕士学位论文第2 章h 2 6 4 视频编码标准分析帧内模式的选择理论上要进行4 ( 1 6 9 + 4 ) = 5 9 2 次运算，运算复杂度还相当高，不利于实时视频编解码的应用。因此，采用有效的优化算法来降低h 2 6 4 算法本身的复杂度是十分必要的。2 2 2 帧间模式选择算法在帧间预测编码过程中，h 2 6 4 采用多种模式和多参考帧进行精确的运动估计，使用穷举搜索模式选择算法获取最佳模式，从而提高了h 2 6 4 的率失真性能。帧间预测技术就是预先估计当前编码块最可能采用的块模式。可利用已处理的预测块信息及图像纹理特性等合理调整预测方向和及时跳出预测过程，以减少运算复杂度。我们知道，每一种预测块模式在视频编码过程中并非平均分配，一般而言选择1 6 1 6 与8 8 分块模式的概率较大，其他预测块模式占的比例相对较小。采用4 4 ，84 和4 8 亚块分割模式的编码图像块只占一小部分编码块，而编码处理时间却相当多。因此，在进行模式选择时根据已有信息对模式进行筛选，排除那些不可能入选的模式，缩小模式搜索范围，从而可提高模式选择速度已成为很多研究者正在考虑的课题n 劓。虽然h 2 6 4 是基于1 6 1 6 宏块进行编码的，但对于帧间预测编码，它对宏块进行了分割，采用了7 种不同的块尺寸用于运动估计和运动补偿。宏块内的这些划分和亚宏块的划分大大提高了宏块中子块组合的可能性，每个子块都有一个运动矢量。显然宏块划分越细，那么预测就越准确，对残差编码所需的位数也越少。但同时又有更多的运动矢量需要进行编码，这又会增加宏块编码所需的位数。在实际编码中，需要根据运动估计后的残差值大小和运动矢量编码代价两方面来优化选择宏块的编码模式。一般来说，选择帧间编码模式的效率要高于选择帧内编码模式，但复杂度也随之上升。图2 1 0 是帧间编码的示意图。当前帧图像五伍与预测图像、t 阮相减后的帧误差e 。伍y 夕，经量化器量化后输出一。伍y j 传送到信道。预测图像一f 阮与。伍y 夕相加，得f t & ，y ) ，当不计量化失真时，7 。伍，j ，)就是当前的，。& ，y 夕。把当前帧，。伍，y ) 与帧存储器输出的前一帧厂h & ，y )同时输入运动参数估值器，经搜索、比较得到运动矢量m v 。此m v 输入运动补偿预测器，得到预测图像一t 伍力。预测图像夕。伍一不可能完全等同于当前图像，。1 5i 海师范人学倾+ 学位论生第2 章h2 6 4 视频编码标准分析a ，j ，无论预测得如何精确，总存在帧误差e ，c x , ，j 。如何减小帧差和更精确预测当前像素是提高帧间压缩编码效率的关键之处。幽21 0 帧间编码示意幽幽21 1f o r e m a n 第l 畸幽21 2f o r e m a n 第二崎幽2 1 3f o r e m a n 第三帧在h2 6 4 中应用的多帧参考的一个例子如图21 l 至2 1 3 分别为标准q c i f ( 1 7 6x 1 4 4 ) f o r e m a n 测试序列的前三帧所示。由图可知，在缓慢运动的测试序列中时间相关性的冗余量足很丰富的。h 2 6 4 标准中允许当前帧参考前后帧，也允许跳跃式参考前后多帧，返在很大程度上改进了搜索算法本身的精确度。以往的标准中只允许参考之前己编码的帧，以此f o r e m a n 测试序列的前三帧为例，第二帧只允许参考第一帧，这势必会导致在眼睛部位残差过大( 第一帧中眼睛是开的，第二帧中眼睛是闭的) 。而h 2 6 4 在运动估计时第二帧的参考帧可以选择第三帧，提高了预测精度，减少了编码贱差所需的码率。此外，帧问编码宏块中的每个分割块都要从参考图像中去搜索同样大小的区域进行预测。这两个平面的距离即为运动矢量，对于亮度信号可以四分之一的像素精度预测而对于色度分量为八分之一的像素精度。亮度分量和色度分量的采样值在参考图像中并不存在，所以必须利用子像素的像素值进行内插得到。以4 x 4 亮度信号上海师范大学硕士学位论文第2 章h 2 6 4 视频编码标准分析0 o00 0 000 0 谚0。薰e誊。蚕。量。彗00o 气) 冬气簟g 笼害罨6 冬巴5 孳j ：海师范人学顾i ：学位论文第2 章h 2 6 4 视频编码标准分析对于色度信号的预测值，h 2 6 4 标准中建议总是采用双线性插补得到，对于决策而言，亮度信号比色度信号更具有决