（信息与通信工程专业论文）h264编码器关键算法的实现和优化研究.pdf

浙江大学硕：l ：学位论文 摘要 h 2 6 4 a v c 是视频编码专家组l t u t 和运动图像专家组m p e g 共同制定的视频编码标 准。与现有的标准相比，h 2 6 4 获得了更高的压缩性能，同时具有更好的网络适应性。但这 些优势的取得都是以增加运算开销为代价的。对硬件的存储空间和处理能力提出了更高的要 求。因此如何设计高性能的编解码器成为学术领域和工业领域研究的重点问题。 在h 2 6 4 编码器中运动估计是其关键的一项技术，通过运动估计能很好的消除帧间的相 关性，由于h 2 6 4 采用了多种块划分模式和l 4 像素精度的运动估计，这极大的提高了运动 估计模块的计算复杂度，其计算时间占整个编码器的6 0 ( 单帧参考) 到8 0 ( 5 帧参考) ， 为了降低快速运动估计的计算复杂度，同时避免采用小菱形搜索算法可能带来的局部最优点 问题，本文提出了自适应搜索模板的估计算法。本算法在搜索时根据s a d ( s u mo fa b s o l u t e d i f f e r e n c e s ) 值的变化快慢和相邻帧之间时间相关性自适应选择搜索模板。实验表明，使用 本算法编码，码流人小与使用菱形搜索算法和六边形搜索算法差距为士o 6 ，搜索点数为菱 形算法的7 2 - 7 7 ，六边形算法的8 3 - 8 6 ，在减少搜索点数的情况下有效地避免了局部 最优点问题。 在h 2 6 4 的编码器中每个块的编码都离不开量化，变换，反量化，反变换，1 21 4 像素 插值，滤波和s a d 求值的过程，且在这些计算中大量的过程可以并行处理，于是本文利用 m d 6 4 的“位和1 2 8 位的s i m d 指令进行算法的优化并提出了利用1 2 8 位s i m d ( s i n g l e i n s t r u c t i o nm u l t i p l ed a t a ) 指令并行处理2 个4 x 4 块变换的算法，同时提出了利于并行处理的 滤波算法，该算法通过增加单个滤波计算的计算量换取了利于并行处理的计算形式，有利于 采用s i m d 指令编程处理，从而在通过s i m d 指令优化后提升了滤波速度。这些算法使得以 往h 2 6 4 编码中耗时很大的模块的速度得到3 8 倍的提升从而大大提高了编码速度。 最后，本文对基于m d 6 4 的h 2 6 4 编码器的存储结构优化作了研究，在一个基于d s p 的软件编码器中数据的访问量是很大的，如何安排这些数据的存储结构直接影响了数据的访 问速度，所以存储结构设计成为了编码器设计的重要组成部分，合理的存储结构设计不但利 于提高数据的访问速度同时利于不同平台的移植。本文考虑了m d 6 4 的片内存储空间的大 小问题同时考虑到其d m a 带来的数据传输和数据计算并行化的可能性，提出了一种精简的 片上存储空问的分配方法，利用m d 6 4 的d m a 实现了片上与片外间数据的调度和d s p 上 数据的处理完全并行化。 关键词：h 2 6 4 ，运动补偿，m d 6 4 ，s i m d 指令，存储结构优化 浙江大学硕士学位论文 a b s t r a c t h 2 6 4 a v ci sav i d e oc o d i n gs t a n d a r dd e v e l o p e db yi t u ta n dm o v i n gp i c t u r ee x p e r t s g r o u p ( m p e g ) t o g e t h e r c o m p a r i n gw i t ho t h e re x i s t i n gc o d i n gs t a n d a r d s h 2 6 4a c h i e v e sb e t t e r c o m p r e s s i o np e r f o r m a n c ea n dh a sb e t t e rn e t w o r ka d a p t a b i l i t y h o w e v e rt h e s ea d v a n t a g e sa r e o b t a i n e db yi n c r e a s i n gc o m p u t a t i o n a lc o m p l e x i t yw h i c hl e a d sm o r er e q u i r e m e n t so ns t o r a g ea n d p r o c e s s i n gc a p a b i l i t yo fh a r d w a r e d u et ot h er e a s o na b o v e h o wt od e s i g nah i g hp e r f o r m a n c e c o d e rb e c o m e sa l li m p o r t a n tp r o b l e mi na c a d e m i ca n di n d u s t r i a lf i e l d m o t i o nc o m p e n s a t i o ni sak e yc o m p o n e n to fh 2 6 4e n c o d e rt h r o u g hw h i c hr e d u n d a n c i e so f s u c c e s s i v ef r a m ec a l lb er e m o v ee f f e c t i v e l y d u et ot h eu s eo fv a r i a b l eb l o c kp a r t i t i o nm o d e sa n d q u a r t e r - p i x e la c c u r a c ym o t i o ne s t i m a t i o nt h ec o m p u t a t i o n a lc o m p l e x i t yi sh i g h l yi n c r e a s e da n di t c o n s u m e s6 0 ( 1r e f e r e n c ef r a m e ) t o8 0 ( 5r e f e r e n c ef r a m e s ) o ft h et o t a le n c o d i n gt i m eo ft h e w h o l ee n c o d i n gt i m eo fh 2 6 4e n c o d e r i no r d e rt or e d u c et h ec o m p u t a t i o n a lc o m p l e x i t yo ff a s t m o t i o ne s t i m a t i o n ，a n da v o i dt h el o c a lm i n i m u mp r o b l e mc a u s e db ys m a l ld i a m o n ds e a r c h ，a m o t i o ne s t i m a t i o na l g o r i t h mb a s e do na d a p t i v es e a r c h p a t t e mw a sp r o p o s e d t h i sa l g o r i t h m c h o o s e ss e a r c hp a t t e r na d a p t i v e l yd e p e n d i n go n 副d c h a n g i n gs p e e da n dt h et e m p o r a lr e l a t i v i t yi n v i d e os e q u e n c e e x p e r i m e n t a lr e s u l t sd e m o n s t r a t e dt h a tb yu s i n gt h i sa l g o r i t h mt h ee n c o d e d b i t - r a t ei n c r e a s e so n l y 士o 6 a n ds e a r c h i n gp o i n t si sr e d u c e dt o7 2 7 7 a n d8 3 - 8 6 w h i c ha r e c o m p a r e dw i t hd i a m o n ds e a r c ha n dh e x a g o n - b a s e ds e a r c hr e s p e c t i v e l y i nt h es i t u a t i o no f r e d u c i n gs e a r c h i n gp o i n t st h i sa l g o r i t h ma v o i d sl o c a lm i n i m u mp r o b l e m t h eh 2 6 4 e n c o d i n gp r o c e s s o fe v e r yb l o c kc o n t a i n s q u a n t i z a t i o n ，t r a n s f o r m i n v e r s e q u a n t i z a t i o n ，i n v e r s e - t r a n s f o r ma n de v a l u a t i o no fs a d l o t so ft h ep r o c e s s e si nt h o s e a l g o r i t h m sc a l lt r e a ti np a r a l l e l t h i sp a p e ru s e s6 4 - b i ta n d12 8 一b i ts i m di n s t r u c t i o n st oo p t i m i z e t h o s ea l g o r i t h m sa n db r i n gap a r a l l e la l g o r i t h mw h i c hp r o c e s st h et r a n s f o r mo ft w o4 x 4b l o c k sa t o n c e t h i sp a p e ra l s oi n t r o d u c e sa l la l g o r i t h mf o rd e b l o c k i n g ，w h i c hi s g o o df o rp a r a l l e l p r o c e s s i n g t h e s ea l g o r i t h m ss p e e du pt h es p e e do ft h o s ep r o c e s s e s3 - 8t i m e s ，t h u sh i g h l y i m p r o v et h es p e e do fe n c o d i n gp r o c e s s w es t u d yt h eo p t i m i z a t i o no fh 2 6 4e n c o d e rm e m o r yo r g a n i z a t i o n i nt h ee n c o d e rs o f t w a r e t h e r ei sl o t so fd a t aa c c e s s ，m e m o r yo r g a n i z a t i o nd i r e c t l ya f f e c t st h ed a t aa c c e s s i n gs p e e d ，s o m e m o r yo r g a n i z a t i o nb e c o m e sa ni m p o r t a n tp a r to fe n c o d i n gd e s i g n g o o dm e m o r yo r g a n i z a t i o n w i l ls p e e du pd a t aa c c e s s i n ga n dm a k et h et r a n s p l a n to nd i f f e r e n tp l a t f o r m se a s y i nt h i sp a p e rw e c o n s i d e rt h es i z eo fo n c l i pm e m o r yi nm d 6 4a n dt h ed m aw h i c hb r i n gt h ep o s s i b i l i t yo f p a r a l l e l i z i n gt h ed a t aa c c e s s i n gb e t w e e no n c l i pa n do f f - c l i pm e m o r ya n dt h ed a t ac o m p u t a t i o n a t l a s tw eb r i n gas i m p l i f i e do n - c l i pm e m o r yo r g a n i z i n gm e t h o da n dw ea l s ou s et h ed m ao fm d 6 4 t oa c h i e v ec o m p l e t ep a r a l l e l i s mb e t w e e nd a t aa c c e s sa n dt h ed a t ac o m p u t a t i o n k e yw o r d s ：h 2 6 4 ，m o t i o nc o m p e n s a t i o n ，m d 6 4 ，s i m di n s t r u c t i o n ，m e m o r yo r g a n i z a t i o n o p t i m i z a t i o n j i 浙江大学硕士学位论文 图标索引 图1 1 一般的编码器框图4 图1 2h 2 6 4 的不同档次及其对应的编码工具5 图1 3t 2 6 4 的流程图6 图2 1t s s 的搜索图11 图2 2 有几个局部最小点的s a e 分布图1 1 图2 3b b g d s 算法的一般搜索过程12 图2 4 小菱形搜索模板1 2 图2 5 菱形搜索模板12 图2 6 大菱形模板搜索时搜索路径13 图2 7 典型的d s 算法搜索路径l3 图2 8 六边形搜索模板13 图2 9s c d s 使用了搜索模板l6 图2 1 0 半径4 范围内的运动向量分布图1 6 图2 1 1u d c s 使片j 的搜索模板17 图2 1 2 新的搜索模板l8 图2 13 模板b 的4 种变形l8 图2 1 4 删k 。的自适应计算模型2 2 图3 1i n t r a l 6 x 1 6p r e d i c t i o nm o d e 下1 6 x 1 6 大小的m b 的分块示意图2 9 图3 2l 2 像素插值图3 3 图3 31 4 像素插值图3 3 图3 4 用于滤波的像素3 4 图3 5 一维整数变换的快速算法3 9 图3 6 基于一次单独处理一行数据的s i m d 指令快速算法4 3 图3 7 一维整数行( 列) 变换的s i m d 指令快速算法4 3 图3 8 基于s i m d 指令的矩阵转置4 4 图3 9s i m d 优化量化的快速算法4 4 图3 10s i m d 指令优化的s a d 求值算法4 5 图3 1 1 采用1 2 8 位s i m d 指令的单4 x 4 矩阵快速转置算法4 6 图3 12a 与b 矩阵的数据重排一4 6 图3 138 组同时滤波的顺序安排4 7 图4 1h 2 6 4 编码流程图5 2 图4 2c a b a c 对一个s e 的编码过程。5 3 图4 3c a b a c 中的r e n o r m a l i z a t i o n 5 5 图4 4c a b a c 中的e n c o d e d e c i s i o n 过程5 5 图4 5c a b a c 中的e n c o d e b y p a s s 过程5 6 图4 - 6 宏块信息的缓存构成方式5 7 图4 7 用于存储滤波前的像素值的缓存结构5 8 v 浙江大学硕：t 学位论文 图4 8h 2 6 4 编码器中m b 编码的流程6 0 图4 9 采用d m a 后的编码器中m b 编码的流程6 l 图4 1 0 改进d m a 后的编码器中m b 编码的流程6 1 表2 1 多个图像序列的运动矢量分布统计图1 0 表2 2 以f s 算法为基准，不同算法搜索点数的减少比例1 4 表2 3 以f s 算法为基准，不同算法搜索点数的减少比例1 4 表2 4 不同算法的最少，最多和平均搜索点数统计1 4 表2 5 小菱形搜索算法采用单预测向量前后的编码效果比较2 0 表2 6 小菱形搜索算法采用多预测向量和提前停止算法前后的编码效果比较2 l 表2 74 种搜索算法的性能对比2 5 表2 8 在n e w s 和s i l e n c e 测试序列中大菱形2 6 表2 9 模板a ，b ，c 在n e w s 和s i l e n c e 测试序列中的使用数2 6 表2 1 0 四种算法能搜索到最小s a d 值点的可能性2 7 表3 1h 2 6 4 的o s t e p 和( 垆的对应表31 表3 2 乘法因子m f 与q p 的关系表。3 1 表3 3 反量化因子v 与q p 的关系表3 2 表3 4 边缘强度的判断3 4 表3 5 不同b s f 的滤波计算公式3 4 表3 6m d s e m s 指令列表3 6 表3 7 修改后的滤波公式4 0 表3 8 修改后的滤波公式用的参数4 0 表3 94 x 4 的整数变换用6 4 位s i m d 指令优化前后对比4 8 表3 1 04 x 4 的整数变换用6 4 位和1 2 8 位s i m d 指令优化前后对比4 8 表3 1 l4 x 4 整数变换的量化和反量化用6 4 位s i m d 指令优化前后对比( q p = - 3 1 ) 4 8 表3 1 21 2 和1 4 像素插值s l m d 指令优化前后对比4 9 表3 1 3 宏块滤波s i m d 指令优化前后对比4 9 表3 1 4 不同大小矩阵的s a d 求值优化前后速度对比4 9 表3 1 5q c i f 下单l 帧的s i m d 指令优化前后速度对比5 0 表3 1 6q c i f 下单p 帧的s i m d 指令优化前后速度对比5 0 表4 1单个宏块的存储需求。5 7 表4 2c i f 格式图像改进后邻近宏块存储缓存需求。5 8 表4 3编码器中其他数据的片上空间需求5 9 表4 4 单i 帧的d m a 优化前后速度对比。6 3 表4 - 5 单p 帧的d m a 优化前后速度对比6 3 表4 6 一秒的视频d m a 优化前后速度对比6 3 浙江大学硕上学位论文 第一章绪论 随着人类进入了信息化的时代，人们对信息的获得，存储，处理和交流的巨大需求已达 到了前所未有的程度。信息的表现形式多种多样，包括听觉信息，视觉信息，嗅觉和触觉信 息。其中，视觉信息总是人类最有效和最重要的信息，占总信息量的6 0 以上【1 】。视觉信 息的重要载体，图像信号，尤其是视频图像信号在数字化后具有巨大的数据量，例如高清电 视信号，分辨率为1 9 2 0 x i 0 8 0 ，采用4 ：2 ：0 格式，帧率为3 0 帧秒，采用8 b i t 像素，其原始 速率高达1 9 2 0 x 1 0 8 0 x 1 5 x 3 0 x 8 8 = 9 3 3 1 2 m b y t e s ，如果不加以压缩，用原始数据播放，2 4 小时 的节目将有8 0 6 2 g b y t e s 的数据量。如此巨大的数据量给视频信号的处理，传输和存储等都 带来了极有吸引力的研究机遇和更高的工作目标。视频编码研究的主要目的就是发掘视频信 号本身的冗余性和人的视觉特性而对其进行高效的压缩，它是实现高品质视频通信，数字电 视和媒体存储的关键技术，已成为人们生活中不可缺的组成部分。 1 1 视频压缩的基本原理和基本思想 未经压缩的图像之所以有很大的冗余主要在于在同一图像中相邻的区域中的规则的背 景和规则的物体特性是有相关性的，这种相关性在数学上就表现为空间冗余。而在一个连续 的图像序列中，由于运动的连续性，特别是在一些背景变化不大的图像序列中，相邻的两幅 图像之间有较大的相关性，在数学上表现为时间冗余。 同时由于图像中的大量信号在频域中集中于低频部分而高频部分的信号较小，所以通过 对图像信号的频域转换，再消除高频部分的小信号只保留低频中的大信号。可以在人眼难以 判别的失真度下大幅压缩图像信号。 1 1 1 预测编码 预测编码【2 】的可行性是建立在如前所述的空间冗余和时间冗余的基础上，分为帧间预 测和帧内预测，其主要思想是通过对编码块的数据的预测得到一个预测块与编码块相减，从 而达到减少冗余的目的，这样就只需要对残差块进行编码，减少了编码后的码流大小。 1 1 2 变化编码 变化编码的目的在于改变数据的表示方式，使能量向少数系数上集中，由于人眼对高频 信号的不敏感，现在常用的变换方式都是做频域变换，然后对编码后的矩阵的不同频率的系 数除以不同的常数加以量化，这样要比直接在原始图像上量化要好得多，同时经过频域变换 后大量的能量集中于低频部分，高频部分在量化后大量的系数为0 ，这样就能够使得图像得 到很大压缩。常见的变换方式有h a d a m a r d 变换，d f t 变换( d i s c r e t ef o u r i e rt r a n s f o r m ) d c t 变换( d i s c r e t ec o s i n e t r a n s f o r m ) ，工程中主要采用了计算量比较小的d c t 变化，因为其变 化效果最接近于理论上最佳的k l 变换( k a r h u n e n - l o e v et r a n s f o r m ) 。为了避免传统的d c t 浙江人学硕士学位论文 变换和取整带来的变换偏差和计算量大的问题，在h 2 6 4 中采用了整数化的变换操作的方 法，称为整数变换，这样在大大减少了计算量的情况下避免了编解码数据的不匹配问题。 1 1 3 熵编码 熵编码【3 】实际上一种基于统计的编码，其目的是根据信源符号的概率分布特性进行的 压缩编码，实现方式是通过建立一个信源符号和编码符号的一一对应关系，这样就能实现反 向的解码过程。熵编码中的典型代表为h u f f m a n 编码，这是一种很优秀的编码方法，其编 码后的熵值与信源熵值最接近，但是它需要逐幅对编码图像信源符号做出概率统计后生成一 个对应的码表才可以使用，因此很难应用于实时的视频编码。于是在h u f f m a n 编码的基础 上出现了多种基于查找表的编码方法，其查找表是通过对大量常见的信源做出概率统计后得 到了一个经验性的码表。h 2 6 4 中引入算术编码的方法，该方法是把编码信息映射到0 与l 之间的一个实数上，编码信息量越大则对应得实数的位数越长，表示该实数所需的二进制位 数就越多，这种编码方式的好处在于能更精确的描述符号的概率。熵编码也常使用游程编码 的方法，游程编码的基础思想是如果同一符号连续出现就可以用一个符号加上连续出现的次 数来表示，这样可以大大的提高编码效率，变换系数正好符合这个特点，所以用游程编码可 极大减小码率，且可方便的和各种编码方法结合使用。 1 2 视频压缩标准的发展过程 国际电信联盟i t u t 的视频专家组v c e g ( v i d e oc o d i n ge x p e r tg r o u p ) 和国际标准化 组织i s o i e c 的运动图像专家组m p e g ( m o t i o np i c t u r ee x p e r tg r o u p ) 从2 0 世纪9 0 年代以 来陆续制定了多个视频编码的国际标准分别为1 9 9 0 年的h 2 6 1 ，1 9 9 2 年的m p e g 1 ，1 9 9 4 年 的m p e g 2 ，1 9 9 5 年的h 2 6 3 ，1 9 9 9 年的m p e g 一4 ，2 0 0 3 年的h 2 6 4 a v c ，我国近些年自主 研制的a v s ( a d v a n c e da u d i o - v i d e oc o d i n gs t a n d a r d ) 视频编码标准也于2 0 0 6 年3 月1 日 正式实施。 1 2 1h 2 6 1 1 9 9 0 年l t u t 制定的h 2 6 1 1 4 1 主要是针对可视电话和视频会议的实时编解码和低延时 要求设计的视频编码标准，它的输出码率为p x 6 4 k b i t s ，其中p 为0 到3 1 的整数，可更具 传输线路的带宽来调节图像的质量。h 2 6 1 采用的算法主要是帧间预测和二维d c t 变换的 混合编码方法。 1 2 2m p e g 一1 1 9 9 2 年i s o i e c 公布了m p e g 一1 【5 】，是基于一般地段应用的视频，音频编解码标准， 它主要针对c i f 格式( 3 5 2 x 2 8 8 ) 和每秒3 0 帧的图像质量，将视频信号和相应的伴音在可 以接受的质量要求下编码成1 5 m b p s 的数据流，视频质量与家用录像机( v h s ) 的模拟视频 质量相当。类似于h 2 6 1 标准，m p e g 1 也采用了帧间预测和二维d c t 变换，同时对直流 2 浙江大学硕士学位论文 分量进行了预测差分编码。同时m p e g 1 引入了双向预测帧( b 帧) 的新编码类型。 1 2 3m p e g 一2 1 9 9 4 年1 s o h e c 和i t u t 共同制定了m p e g 2 1 6 标准，视频编码部分就是h 2 6 2 。它 的成功之处在于提出了通用的压缩编码方法，定义了不同的档次( p r o f i l e ) 和等级( 1 e v e l ) ， 可以满足不同图像分辨率及其相应的存储成本和处理器速度的需要，同时m p e g 2 在兼容 m p e g 1 的同时增加了基于帧场的运动补偿，空间可收缩编码，时间可收缩编码，质量可 收缩编码以及容错编码等新的编码技术。m p e g 2 主要应用于d v d 数字视频和高清数字电 视广播等领域。 1 2 4h 2 6 3 1 9 9 5 年l t u t 制定了低比特率的视频编码方案h 2 6 3 1 7 ，其传输码率可低于6 4 k b p s 。 h 2 6 3 特别是用于无线网络，p s t n ( p u b l i cs w i t c h e dt e l e p h o n en e t w o r k ) 和因特网等环境下 的视频传输。h 2 6 3 在h 2 6 1 的基础上引入了半像素精度的运动估计，同时还增加了无限制 的运动矢量，基于语法的算术编码模式，先进的预测模式和p b 帧模式等四个高级选项，从 而提高了编码性能和纠错能力。继h 2 6 3 后l t u t 还制定了h 2 6 3 + 和h 2 6 3 + + 视频编码标 准，进一步扩充了编码模式，提高了编码效率，扩宽了适用范围。 1 2 5m p e g 4 1 9 9 9 年i s o h e c 制定了m p e g 4 1 8 标准，主要针对窄带传输，高画质压缩，交互式操 作以及将自然物体与人造物体相融合的表达方式，同时还特别强调广泛的适应性和可扩展 性。m p e g 4 引入了一个关键的概念：视听对象a v o ( a u d i o v i s u a lo b i e c t ) ，a v o 是m p e g 4 位支持基于内容的编码而提出的，a v o 是听觉，视觉或者视频内容的表示单元。a v o 的提 出是多媒体通信具有了高度的交互能力和很高的编码效率。但基于对象的编码技术尚有障 碍，因此该技术目前尚为得到普遍的应用。 1 2 6h 2 6 4 a v c 2 0 0 3 年i t u t 和i s o h e c 成立的联合视频专家组t ( j o i n tv i d e ot e a m ) 制定了 h 2 6 4 a v c 9 l - d 时成为了m p e g - 4 的第十部分，它采用了简洁的设计思路，不用众多的选项， 获得了比以往更高的压缩性能，在同等图像质量条件下比h 2 6 3 节省了5 0 的码率。h 2 6 4 有很好的适应时延的能力，通过不同的约束条件，h 2 6 4 可以工作在低时延模式下以适应实 时通信应用，也可以工作在无时延限制模式下以达到最佳压缩性能。同时h 2 6 4 在提高图像 传输的容错性方面做了大量的工作，提供了较强的抗误码性能，适用于丢包率高，干扰严重 的无线信道视频传输。 1 2 7a v s a v s 1 0 的8 x 8 变换与量化可以在1 6 位处理器上无失配的实现，从而克服了h 2 6 4 a v c 之前所有的视频压缩编码国际标准中采用的8 x 8 d c t 变换存在的火配问题，而h 2 6 4 a v c 3 浙江大学硕士学位论文 中4 x 4 整数变换在高分辨率对视频图像中去相关性能不及8 x g 的变换有效。a v s 中采用了 6 4 级量化，可以完全适应不同应用和业务对码率和质量的要求。在解决了1 6 位实现问题后， 目前a v s 采用的8 x 8 变换和量化方案既适合丁1 6 位d s p 的快速实现，也适合于a s i c 的实 现。 表1 1 为每个的标准带来的关键新技术 表1 1 每个的标准带来的关键新技术 名称关键新技术 h 2 6 1 1 2 d v l c ；2 j 帧和p 帧；3 d c t 变换 m p e g 1 1 b 帧；2 半像素精度的运动矢量 m p e g 一2 1 可选的帧内变长码表；2 可选的d c t 系数扫描；3 帧预测和 场预测；4 档次和级别的概念。 h 2 6 3 1 3 d - v l c ；2 无限制的运动矢量模式，4 个8 x 8 亮度块都可有 自己的运动矢量；3 b p 帧模式；4 算术编码 m p e g 4 1 a v o 的概念；2 任意形状d c t 和任意形状的运动补偿；3 1 4 像素精度的运动矢量 h 。2 6 4 | 黼c 1 可选c a v l c 和c a b a c 编码；2 帧内预测技术；3 与量化结 合的整型变换；4 环路滤波器，对块边界滤波 a v s 1 采用c a 2 d v l c ；2 帧内采用5 种8 x 8 亮度块预测模式，4 种 8 x 8 色度块预测模式；3 8 x 8 的整数变换与6 4 级量化 1 3h 2 6 4 a v c 中采用的新技术 一个典型的视频编码框图如图1 - l 所示，首先进行预测，预测方式分为帧内( i n t r a ) 和帧间( i n t e r ) 两种，帧内预测利用帧内相邻像素与当前宏块之间的相关性去除空间冗余， 帧间预测利用相邻帧像素与当前编码块之间的相关性去除时间冗余( 该步称为预测编码) ； 预测所得的残差系数经过变换进一步消除空间冗余( 该步称为变换编码) ；然后对变换域中 的残差系数进行量化，压缩图像的视觉冗余( 该步称为量化) 。 最后所有的编码信息，包括序列头参数，量化参数，编码模式，参考帧索引，运动矢量 和扫描后的残差系数，都送入熵编码器 预测编码 变换编码量化编码熵编码 输 出 码 流 图1 1 一般的编码器框图 h 2 6 4 针对不同的应用给出了三种档次( p r o f i l e ) 如图1 2 所示，每种档次的侧重点不 4 浙江人学硕士学位论文 同，各自的编码工具也不同。基本档次( b a s e l i n ep r o f i l e ) 面向复杂度低，传输延迟小的应 用对象。如可视电话，电话会议等，它实现了任意片( s l i c e ) 排序和冗余片断处理等差错恢 复功能；主要档次( m a i np r o f i l e ) 面向运动特性复杂，快速，传输延迟大的应用对象如电 视广播，视频存储等；扩展档次( e x t e n dp r o f i l e ) 主要面对无线视频服务和移动流媒体，该 档次把基本档次设计的错误恢复功能提高到了一个新的水平，提供更完善，更有针对性的错 误隐藏方法。 翻【幡d 口i 图1 2h 2 6 4 的不同档次及其对应的编码工具 在保持编码结构基本不变的情况下，h 2 6 4 之所以能比其它的压缩标准提供更好的压缩 效果主要在于它采用了如下的新技术。 ( 1 ) 帧内预测。为了有效的对j 帧进行压缩，考虑到空间相关性，h 2 6 4 使用了相邻 的宏块( m a c r ob l o c k ) 或子宏块的像素来预测当前宏块或子宏块的像素值，然后对预测误 差进行编码，和原来的标准相比大大提高了对l 帧的压缩性能。在h 2 6 4 标准中有9 种4 x 4 块的帧内预测模式和4 种1 6 x 1 6 块的帧内预测模式。 ( 2 ) 高精度的帧间预测。h 2 6 4 对1 6 x 1 6 宏块的采用了灵活的划分方式，即每个宏块 可划分为1 6 x1 6 ，1 6 x 8 ，8 x1 6 ，8 x 8 的子宏块，如果使用了8 x 8 的子宏块还可以再划分为8 x 8 ， 8 x 4 ，4 x 8 ，4 x 4 的子块。每个划分都可以有独立的运动矢量，这样可以大大提高匹配的精度， 这种划分一般是更具图像的细节进行的，细节越丰富的地方划分就越细。同时h 2 6 4 在亮度 块的运动矢量上可使用1 4 像素的精度预测，是h 2 6 3 的两倍。 ( 3 ) 基于4 x 4 块的整数变换和量化。与以往的标准一样，都是采用了基于块的变换编 码，不同的是1 采用了整数d c t 变换【1 1 】，这种变换相对于原来的d c t 变换只使用了整数 操作而没有浮点运算，因此不会在反变换时产生误差而且计算只需要移位和加法使得计算量 大大减少，同时由于变换是基于4 x 4 块进行的，由于变换块的尺寸变小了，运动物体的划 分更精确了，使得物体边缘处的衔接误差也大大减少。在量化时h 2 6 4 把变换中的尺度变换 计算并入了量化中进行，从而避免了除法计算，减少了计算的复杂度。 ( 4 ) 基于上下文自适应的熵编码算法。h 2 6 4 视频编码标准采用了两种自适应的熵编 码方法，分别是基于上下文的白适应变长编码( c a v l c ) 和基于上下文的自适应二进制算 术编码( c a b a c ) 。c a v l c 主要是通过在编码过程中根据相邻宏块以及已编码语法元素的 5 浙江大学硕一仁学位论文 信息来选择一张可变长的码表，从而达到自适应的目的。c a b a c 可得到更好的压缩性能， 主要通过如下三方面来实现【1 2 】：1 上下文建模。2 自适应概率估计。3 二进制算术编码。当 然压缩性能的增加的同时计算量也有很人的上升。 ( 5 ) 环路滤波器。基于块的视频系统因为使用了基于块的预测，补偿，变换和量化操 作不可避免的出现了块效应问题，h 2 6 4 引入的滤波系统在低码率的情况下也可以保持较好 的主观视觉效果，同时使用滤波后的帧用于后续帧的运动补偿预测，可避免虚假边界的积累， 减少预测误差。 1 4 编码器的优化 数字视频越来越多地被应用到人们的日常生活中，在很多场合都需要对视频进行实时的 编码，如何在实现高效压缩的同时降低编码器的复杂度以保证编码的实时性，实现高质量的 实时编码系统成为人们研究的一个重要课题。 图1 3t 2 6 4 的流程图 6 浙江大学硕上学位论文 1 4 1h 2 6 4 中基于算法的优化 分析h 2 6 4 中算法中不同部分的计算复杂度有利于我们研究确定优化的方向，图1 3 为 一个实际的h 2 6 4b a s e l i n e 编码器1 2 6 4 0 1 4 1 3 的程序流程图。通过i n t e lv t u n e 对该程序 的分析，发现6 8 的时间消耗在模式选择上，而模式选择中9 5 的时间消耗在帧间编码的 模式选择，帧间编码的模式选择中9 2 1 的时间消耗在运动估计中。所以提高运动估计算法 计算速度可以大大加快编码器的速度。这也是本文第二章的研究出发点 1 4 2 基于i ) s p 指令的优化 考虑到在h 2 6 4 的算法中的很多子函数的算法是相当有规律的，并行运算的可能性很 大，所以可以考虑如何利用本试验室研发的m d 6 4 上的s i m d 指令实现高速的并行运算。 研究发现通过有效的使用m d 6 4 的s i m d 指令，个别函数可以提高1 0 倍左右的计算速度， 很多大量使用的子函数可以提高2 5 倍的速度，最终编码器的实时编码的速度可以比不使用 s i m d 指令提高2 3 倍。 1 4 3 基于1 ) s p 处理器m d 6 4 的编码器存储结构优化 由于h 2 6 4 编码器中大量数据的访问的规律性，同时为了配合s i m d 指令的应用以及利 用好片上的数据空间以提高程序的运行速度，有必要对数据存储结构进行优化，合理的利用 片上的数据空间可以使得数据的存储速度更快。 同时由于编码时巨大的数据量，不可能把所有的数据都放在片上空间上，所以片上和片 外数据的调度十分重要，在这里主要是通过d m a ( 直接存贮器存取) 来提高程序的工作效 率。通过d m a ，可以在不通过m d 6 4 核的情况下完成数据的片上片外搬运，这样可以把处 理器从数据传输中解放出来。 1 5 本文的内容安排及其主要贡献 本文从h 2 6 4 a v c 的实时编码应用的角度出发，针对编码过程的主要耗时的运动矢量 搜索进行了深入的研究和分析，提出了快速的搜索算法，然后基于m d 6 4 的s i m d 指令提 出对编码器关键模块用s i m d 媒体指令的算法，最后提出了基于m d 6 4 的编码器存储结构 优化策略。 本文的章节安排如下： 第二章介绍了快速运动矢量的搜索算法的发展过程，总结了各种算法的优点和不足，提 出了对当前的算法三步改进策略，在这个基础上提出了基于自适应搜索模板的快速运动估计 算法，实验证明该算法在不降低搜索精度的情况下可以有效地降低搜索消耗的时间，降低了 编码器的运算复杂度。 第三章主要对h 2 6 4 编码其中的量化，变换，1 21 4 像素插值，滤波和s a d 求值过程 研究，由于这些算法的计算过程可以并行