（信息与通信工程专业论文）h264标准Ⅰ帧编码器的优化与dsp实现.pdf

国防科学技术大学研究生院硕士学位论文 摘要 h 2 6 4 a v c ( a d v a n c e dv i d e oc o d e ) 是m p e g ( m o v i n gp i c t u r ee x p e r t sg r o u p ) 和v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 联合开发的一个比早期研发的m p e g 4 和 h 2 6 3 性能更好的视频压缩编码标准。h 2 6 4 卓越的压缩性能和良好的网络亲和 性，使其在现有视频编码标准中处于领先地位，可能成为无线视频通信、互联网 视频应用以及数字高清电视首选的编码标准，具有广阔的应用前景，被人们称为 “新一代视频压缩标准 。但是，为达到理想的数据压缩率，h 2 6 4 编码器采用了 很多新的编码算法，这些算法极大地增加了编码器的计算复杂性，使其实时应用 受到很多限制。因此对编码器进行优化处理，研究快速的编码算法对h 2 “a c 的实用化具有非常重要的意义。 本文根据某工程项目的需求，针对h 2 6 4 标准的i 帧编码器进行优化，并最终 在d s p 上实现了d 1 ( 7 2 0 x 5 7 6 ) 图像的实时编码。论文的具体工作如下： 1 研究h 2 6 4 标准，重点分析基于i 帧编码的预测模块和熵编码模块，寻找 提高编码效率的途径。 。 2 ，在分析各种帧内预测优化算法的基础之上，对预测块类型选择和4 x 4 预测 模式选择分别给出快速算法。其中在预测块类型选择上，根据a c 系数与 图像平滑度的关系，给出了一种优化算法可以事先确定预测块的类型；在 4 x 4 预测模式选择上，根据最优模式和次优模式的相邻原则，采用三步搜 索快速算法，预先排除或提前终止某些可能性小的模式。使用这两种快 速算法，在信噪比几乎不变的前提下，使得每帧编码时间减少约1 2 。 3 针对熵编码部分提出改进。在深入分析c a v l c 部分的基础上，对其进行 程序上的简化，使得该模块的计算量减少约2 3 9 ；详细分析了c a b a c 的原理，针对j m 8 2 测试软件进行程序上的分析，并在d s p 上完成整个 c a b a c 的汇编化。 4 把算法成功移植到d s p 平台，并进行c a c h e 的优化，使得每帧编码速率提 高约2 6 9 ，最终在d s p 平台上实现了h 2 6 4 d 1 图像的实时编码器。 主题词：h 2 6 4 优化帧内预测熵编码d m 6 4 2c a c h e 第i 页 国防科学技术大学研究生院硕士学位论文 a b s t p a c t h 2 6 4 a v ci sa ni n t e r n a t i o n a ld i g i t a lv i d e oc o d es t a n d a r dd e s i g n e db ym p e ga n d v e c gw h i c hh a ss t r o n g e rp e r f o r m a n c et h e nm p e g 4a n dh 2 6 3 i tt a k et h ep r e d o m i n a n t p o s i t i o ni na l lt h ee x i s t e dv i d e oc o d es t a n d a r ds o o nb e c a u s eo fi t s e x c e l l e n t c o m p r e s s i o np e r f o r m a n c ea n dn i c en e t w o r kf r i e n d n e s s h 2 6 4m a yb e c o m et h ef i r s t s t a n d a r dt os e l e c ti nt h ew i r e l e s sv i d e oc o m m u n i c a t i o n , i n t e r n e tv i d e oa p p i l i c a t i o na n d h d t v b u ti no r d e rt og a i nh i g hc o m p r e s s i o ng o o dc o d i n gr e s u l t ，h 2 6 4a d o p t ss om a n y n e wa l g o r i t h m st h a tt h ea m o u n to fc a l c u l a t i o ni n c r e a s ed r a s t i c a l l y a sar e s u l t ，i t s r e a l - t i m ea p p i l i c a t i o ni sr e s t r i c t e d s oi ti ss i g n i f i c a n tf o rt h er e a l - t i m ea p p i l i c a t i o no f h 2 6 4t oo p t i m i z et h ee n e o d e ra n dr e s e a r c ht h ef a s te n c o d ea l g o r i t h m s b a s e do nt h ed e m a n do fa c t u a li t e m ，t h i sp a p e ri n t r o d u c eh o wt oo p t i m i z et h e h 2 6 4e n e o d e ra n di m p l e m e n tt h er e a l - t i m ee n c o d e ro nt h ed s p t h em a i nc o n t e n to f t h i sp a p e rc a nb ec o n c l u d e db yf o l l o w i n g ： 1 r e s e a r c ht h eh 2 6 4s t a r d a r d ，e s p e c i a l l yo nt h ei n t r a - p r e d i c t i o na n de n t r o p yc o d e m o d u l e ，a n dt r yt of i n dt h ew a yt oi m p r o v et h ee n c o d ee f f i c i e n c y 2 b a s e do na n a l y z i n gk i n d so fi n t r a - p r e d i c t i o no p t i m i z i n ga l g o r i t h m s ，t h i sp a p e r g i v ea l li m p r o v i n ga l g o r i t h m sb o t ho nt h es e l e c t i o no fb l o c kt y p ea n dt h em o d eo f4 x 4 p r e d i c t i o n f i r s t ，w ep r o p o s ea ns o l u t i o nw h i c hc a l lc o n f i r mt h et y p eo fp r e d i c t i o nb l o c k b e f o r e h a n db yu s i n gt h ec o n n e c t i n go fa cc o e f f i c i e n te n e r g ea n ds m o o t h n e s so fa n i m a g e s e c o n d ，m o t i v a t i e db yt h eh i g 出a yc o r r e l a t i o nb e t w e e nd i f f e r e n tp r e d i c t i o n d i r e c t i o n , w eu s et h ei m p r o v i n gt h r e e s t e pe x p l o r i n ga l g o r i t h mw h i c hc a l le f f i c i e n t l y e x p l o r e st h en e i g h b o r h o o dd i r e c t i o na r o u n dt h em i n i m u no n ea n dt h u ss k i p so t h e r u n l i k e l yo n e s t h es i m u l a t o nr e s u l ts h o w st h a tt h ep r o p o s e da l g o t i t h mc a l ls a v eu p12 o fc o m p u t a t i o nt i m eif r a m ee n c o d e rw h i c hc a nm a i n t a i nt h es i m i l a rp s n rq u a l i t yt o t h ef u l ls e a r c ha l g o r i t h m 3 i m p l e m e n to p t i m i z i n gm e t h o do ne n t r o p yc o d em o d u l e f i r s t ，b a s e do nt h ed e p t h a n a l y z i n gt h et h e o r yo fc a v l c ，t h i sp a p e rp r o p o s et h es i m p l i f ym e t h o da i m m i n ga tt h e j m 8 2t e s tp r o g r a m m e t h es i m u l a t i o nr e s u l ts h o wt h a ti tc a l ls a v eu p2 3 9 o f c o m p u t a t i o nt i m eo ft h i sm o d u l ew i t h o u tc h a n g et h ep s n ra n dt h eb i t r a t e s e c o n d ，b a s e d o nt h et h o r o u g ha n a l y z i n gt h et h e o r yo fc a b a cm o d u l ea n dj m 8 2t e s tp r o g r a m ，w e a d o p tt h eo p t i m i z i n gm e t h o d - - r e w r i t et h ec a b a c i na s s e m b l yl a n g u a g e 4 t r a n s p l a n tt h ea l g o r i t h mi n t od s pp l a t f o r m ，o p t i m i z et h ec a c h ee f f i c i e n c e ，a n d s a v eu p2 6 9 o fa l l if r a m ee n c o d e r f i n a l l y ，i m p l e m e m tr e a l - t i m eh 2 6 4if r a m e e n c o d e rs u c c e s s f u l l yw h i c hb a s e do nd 1f o r m a ti m a g e k e yw o r d ：h 2 6 4o p t i m i z ei n t r a p r e d i c t i o ne n t r o p y - c o d e d m 6 4 2 c a c h e 第i i 页 国防科学技术大学研究生院硕+ 学位论文 图1 1 图2 1 图2 2 图2 3 图2 4 图2 5 图2 6 图2 7 图2 8 图2 9 图2 1 0 图2 1 1 图3 1 图3 2 图3 3 图3 4 图3 5 图3 6 图3 7 图3 8 图3 9 图4 1 图4 2 图4 3 图4 4 图4 5 图4 6 图4 7 图4 8 图目录 帧的类型3 邻近像素间的相关性8 预测编码8 h 2 6 4 帧内预测块类型选择流程1 2 各种情况下阈值对应的正确率1 4 帧内预测的三个相邻宏块1 6 4 4 子块及相邻像素1 6 4 x 4 亮度块预测模式17 4 x 4 子块亮度预测模式方向1 9 三步搜索法的算法流程图1 9 边缘宏块分布2 0 e ，f ，g ，h 不可用的情况2 l c a j c 编码流程2 4 4 x 4 子块在宏块中的坐标2 8 一个完整宏块中各子块的坐标2 9 算术编码流程31 c a b a c 框架结构图3 2 c a b a c 概率估计与刷新模型3 4 c a b a c 核心编码流程3 6 h 2 6 4 的c a b a c 核心算法流程3 8 n a l 内部为防止与起始码竞争插入“0 x 0 3 3 9 d m 6 4 2 评估板模块图4 3 d m 6 4 2 评估板实物图4 4 t m s 3 2 0 d m 6 4 2 的结构框图“ c 6 4 x 的c p u 结构图4 6 c 6 4 x x 的数据通路4 6 编码器d s p 实现流程图5 l d m 6 4 2 两级c a c h e 存储器结构及访问原理5 2 c c f g 寄存器( r ：读，w ：写，- n ：重设后的值) 5 3 第1 v 页 国防科学技术大学研究生院硕士学位论文 表目录 表1 1 优化前各平均编码时间和各模块所占百分比6 表2 1 阈值为0 0 0 3 9 1 0 时选择宏块类型选择的正确率1 5 表2 2 采用预测块类型选择快速算法前后编码性能比较。1 6 表2 - 3 使用三步搜索法优化前后编码性能的比较2 1 表2 4 采用两种优化算法前后1 m 8 2 程序编码性能的比较。2 2 表2 5 采用两种优化算法前后汇编程序编码性能的比较2 2 表3 1 计算n c 的值2 5 表3 2 选择非零系数数目和拖尾系数数目的编码表格2 5 表3 3 决定增加s u f f i x l e n g t h 的域值2 6 表3 4c a v l c 熵编码优化前后编码速度比较3 0 表3 5 一元二进制表示的二进制码串3 3 表3 6c a b a c 和c a v l c 的编码性能比较4 0 表4 1l 2 m o d e 和c a c h e 对应关系5 4 表4 2c a c h e 优化前后编码速度比较5 7 表4 3c a c h e 优化后的l 1 d 和l 1 p 缺失和命中情况5 7 表5 1 总体优化前后几个主要函数运行时间比较5 9 表5 2 总体优化前后编码性能比较6 0 第1 l i 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目：鲢：2 ! 捶壅! 丝编塑墨鲍盆丝塑旦曼里塞煎 学位论文作者签名：猛王啦 日期： 斛 if 月 竹日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书。) 学位论文题目： 望：2 ! 握准! 幢编塑墨鲍佐丝塑q 里塞理 学位论文作者签名：墓挚l 旦盔 日期：劬朋弭11 月【牛日 作者指导教师签名：奎壑羔里日期：砌8 年i - 月f 唯日 国防科学技术大学研究生院硕士学位论文 第一章绪论 1 1 引言 当今社会，数字视频正在成为娱乐、计算、广播和通信工业的一个普遍而且 重要的组成部分。近到d v d 、广播电视、h d t v ( 高清电视) ，远到电视会议、 视频电话等，人们的日常生活已经离不开数字视频技术。 众所周知，视频信息具有一系列优点，如直观性、确切性、高效性、广泛性 等等。但是视频信息量太大，要使视频得到有效的应用，必须首先解决视频压缩 编码问题，其次解决压缩后视频质量保证的问题。但是这两者往往是相互矛盾的， 我们的任务是既要有较大的压缩比，又要保证一定的视频质量。 2 0 0 3 年3 月，i t u t i s o 正式公布了h 2 6 4 视频压缩标准，由于其相比以 往标准的出色的性能，被人们称为新一代视频编码标准。具体讲【l 】【2 】，与h 2 6 3 或 m p e g - 4 相比，在同样质量下，码率能降低一半左右；或者说在同样码率下，其 信噪比明显提高。h 2 6 4 a v c 卓越的压缩效率、友好的网络适应性，使其在现有 视频编码标准中处于领先地位，可能成为无线视频通信、互联网视频应用以及数 字高清电视首选的编码标准，具有广阔的应用前景。目前h 2 6 4 a v c 己被多个重 要的应用领域采用，如欧洲的数字视频广播标准d v b ( d i g i t a lv i d e ob r o a d c a s t ) 、 面向第三代移动通信的3 g p p 和3 g p p 2 规范等。 h 2 6 4 的编码效率超强，但其计算复杂度也大的惊人，这就严重阻碍了其应用 的广泛性，特别是对于无线通信环境，由于移动终端计算能力、内存容量、电池 能量以及无线信道的局限性，要求在保证编码效率的条件下尽可能降低编码复杂 度。对于其它实时性要求较强的场合，如视频会议、网络视频监控等，现有的算 法很难进行实时编码。因此对编码器进行优化处理，研究快速的编码算法对 h 2 6 4 a v c 的实用化具有非常重要的意义。 1 2 视频编码标准的发展过程 数字视频编码的发展其实不算久远，但其发展的速度却很惊人，下面以几个 代表性的标准为例，简述其发展过程【3 】【4 】： 1 9 8 4 年c c i t t 第1 5 研究组发布了数字基群电视会议编码标准h 1 2 0 建议。 1 9 8 8 年c c i t t 通过了 p x 6 4 k b p s ( p = 1 , 2 ，3 ，4 ，5 ，3 0 ) ”视像编码标准h 2 6 1 建议， 被称为视频压缩编码的一个里程碑。 1 9 8 6 年，i s o 和c c i t t 成立了联合图像专家组( j p e g ，j o i n tp h o t o g r a p h i c 第1 页 国防科学技术大学研究生院硕士学位论文 e x p e r t sg r o u p ) ，研究连续色调静止图像压缩算法国际标准，1 9 9 2 年7 月通过了 j p e g 标准。 1 9 8 8 年i s o i e c 信息技术联合委员会成立了活动图像专家组( m p e g ， m o v i n gp i c t u r e e x p e r tg r o u p ) 。1 9 9 1 年公布了m p e g 1 视频编码标准，码率为 1 5 m b p s ，主要应用于家用v c d 的视频压缩；1 9 9 4 年1 1 月，公布了m p e g 一2 标 准，用于数字视频广播( d v b ) 、家用d v d 的视频压缩及高清晰度电视( h d t v ) 。 码率从4 m b p s 、1 5 m b p s 直至1 0 0m b p s 分别用于不同档次和不同级别的视频 压缩中。 1 9 9 5 年，i t u t 推出h 2 6 3 标准，用于低于6 4k b p s 的低码率视频传输， 如p s t n 信道中可视会议、多媒体通信等。1 9 8 4 年和2 0 0 0 年又分别公布了 h 2 6 3 + 、h 2 6 3 + + 等标准。 1 9 9 9 年1 2 月份，i s o i e c 通过了“视听对象的编码标准，_ - m p e g 4 ，它除 了定义视频压缩编码标准外，还强调了多媒体通信的交互性和灵活性。 2 0 0 3 年3 月，i t u - t 和i s o i e c 正式公布了h 2 6 4 视频压缩标准，不仅显 著提高了压缩比，而且具有良好的网络亲和性，加强了对口网、移动网的误码和 丢包的处理。因此有人将h 2 6 4 称为新一代的视频编码标准。 1 3 1 基本概念 1 3h 2 6 4 标准简介 为了更好的说明h 2 6 4 的原理，在此有必要先对一些相关名词做解释【5 j 。 1 帧，宏块 视频的一帧可用来产生一个编码图像。h 2 6 4 a v c 定义了5 种类型的帧，包 括类似以前标准的i 帧、p 帧和b 帧，如图1 1 所示，以及用于在不同码率的码流 之间实现切换的s i 帧和s p 帧。 i 帧：帧内( i n t r a ) 帧，完全采用帧内编码方式，不参考其它帧的信息独立进 行编码。 p 帧：预测( p r e d i c t i v e ) 帧，采用帧间帧内联合编码方式，参考前面已经编码 过的i 帧或者p 帧进行编码。 b 帧：双向预测( b i - d i r e c t i o n a l l yp r e d i c t i v e ) 帧，采用帧间帧内联合编码 方式，既可以参考前面，也可以参考后面已经编码过的i 帧或者p 帧进行编码。 s p 帧和s i 帧：用以实现不同传输速率、不同图像质量码流间的快速转换以及 信息丢失的快速恢复等功能。 在我们的应用中就只涉及到i 帧编码的相关内容。 第2 页 国防科学技术大学研究生院硕士学位论文 双向预测 差三 = ( 琶委三：0 5 ：；0 兰4 三o 0 9 8i i - r l j + l 1 6 c b 1 4 804 3 9 1 1g 128(-1-olo；jl二128 ， ii _ l - 0 - 0 2 9 1 1 +i ( 1 ) l d jlo 4 3 9 一o 3 6 8jlj 第3 页 国防科学技术大学研究生院硕士学位论文 3 档次和级别 h 2 6 4 规定了三种档次，每个档次支持一组特定的编码功能，并支持一类特 定的应用。 1 基本档次：利用i 片和p 片支持帧内和帧间编码，支持利用基于上下文的 自适应的变长编码进行的熵编码( c a v l c ) 。主要用于可视电话、会议电 视、无线通信等实时视频通信； 2 主要档次：支持隔行视频，采用b 片的帧间编码和采用加权预测的帧内编 码；支持利用基于上下文的自适应的算术编码( c a b a c ) 。主要用于数 字广播电视与数字视频存储； 3 扩展档次：支持码流之间有效的切换( s p 和s i 片) 、改进误码性能( 数 据分割) ，但不支持隔行视频和c a b a c 。 1 3 2h 2 6 4 编解码策略 h 2 6 4 并不明确地规定一个编解码器如何实现，而是规定了一个编码后的视 频比特流的句法，和该比特流的解码方法，各个厂商的编码器和解码器在此框架 下应能够互通，在实现上具有较大灵活性，而且有利于相互竞争。 h 2 6 4 编码器和解码器的功能组成【6 】【7 】分别如图1 2 和图1 3 。 图1 2h 2 6 4 编码器 第4 页 国防科学技术大学研究生院硕士学位论文 f f 1 i 圈 参考帧 孽 h 2 6 4 编码器 h 2 6 4 编码器采用的仍是变换和预测混合的编码法。 1 前向路径 由图1 2 所示，在编码端，f n 表示当前输入帧。帧以宏块为单位进行处理。 每个宏块都按帧内或帧间模式进行编码。在任何一种情况下，都由重建帧得到一 个预测宏块p 。在帧内模式下，p 是由当前帧第n 帧中已进行编码和重建的采样 点构建的( 如图1 2 中用“u f n 表示，使用未滤波的采样点构建p ) 。在帧间模式 下，预测宏块p 由一个或多个参考帧通过运动补偿预测进行构建。在图中参考帧 是作为已编码的帧f n 1 出现的。每个宏块可由一个或多个已经进行编码和重构的 前帧或后帧( 以时间为顺序) 预测得到。 将预测宏块p 从当前宏块中减去，得到一个残差宏块d n 并对它进行变换、量 化，得到一组量化后的变换系数x ，再经熵编码，与解码所需的一些边信息( 如 预测模式、量化参数、运动矢量等) 一起组成一个压缩后的码流，经n a l ( 网络 提取层) 供传输和存储用。 2 重建路径 正如上述，为了提供进一步预测用的参考图像，编码器必须有重建图像的功 第5 页 国防科学技术大学研究生院硕士学位论文 能。因此必须使残差图像经反量化、反变换后得到的d n 。它与原来的残差宏块 d n 已经不同，量化的过程带来了精度上的损失，所以d a 较d n 有失真。d 1 1 与 预测值p 相加，得到t t f n ( 未经滤波的帧) 。为了去除编码解码环路中产生的噪 声，为了提高参考帧的图像质量，从而提高压缩图像性能，设置了一个环路滤波 器，滤波后的输出f n 即重建图像可用作参考图像。 h 2 6 4 解码器 由图1 2 可知，由编码器的n a l 输出一个压缩后的h 2 6 4 压缩比特流。再 如图1 3 ，压缩后的比特流经熵解码得到量化后的一组变换系数x ，再经反量化、 反变换，得到残差d n 。利用从该比特流中解码出的头信息，解码器就产生一个预 测块p r e d ( 图中用p 表示) ，它和编码器中的原始p r e d 是相同的。当该解码 器产生的p r e d 与残差d n 相加后，就产生u f u ，再经滤波后，最后就得到滤波 后的f n ，这个f n 就是最后的解码输出图像。由此可知，h 2 6 4 的解码相对编码 来说要简单的多，因为解码的大部分工作已经包含在编码中了。编码器中的重建 路径是为了确保编码器与解码器使用相同的参考帧构建预测宏块p ，否则，编、解 码器中的预测宏块p 将会不同，从而导致编解码器之间的误差累积“漂移现象。 1 4 论文主要工作和内容安排 本论文的项目背景是为某型飞机研制一种采用h 2 6 4 数字图像压缩编码标准 的高压缩、高图像质量的机载数字音视频记录系统。考虑到芯片的性能，本项目 的目标是在两片d s p 上( d m 6 4 2 和c 6 4 1 6 ) 实现h 2 6 4m a i n 档次d 1 图像的i 帧编码器。作为项目参与者之一，我负责算法的优化和d s p 的移植，至于硬件的 设计与制作及两片d s p 之间的通信等，则由本项目小组其它同学负责。 基于上述目的，本论文以i t u t 成立的视频编码专家组v c e g 和m p e g 联合 组成的联合视频小组t 公布的h 2 6 4 视频压缩编码标准为基础，以j m 8 2 软件 为范本，对h 2 6 4 视频压缩编码器的优化实现展开研究。 本文工作建立在教研室杜谋辉等师兄已经对整个i 帧编码器做汇编化的基础 之i - t s l ，在对其进行优化前，在d s p 开发环境c c s 上对多种q c i f 视频序列进行 软仿测试，测得其平均编码时间和各模块的计算量如表1 1 所示： 表1 1 优化前各平均编码时间和各模块所占百分比 模块一帧预测b i n d c t ，量化 c a v l c 时间( c y c l e s ) 4 7 5 1 6 2 51 4 3 7 6 3 67 9 1 4 4 02 2 9 5 1 9 5 百分比 3 0 2 1 6 6 4 8 3 从表中数据可以看出，以帧率为2 5 来计算，每帧编码的计算量约是1 1 8 m i p s ， 第6 页 国防科学技术大学研究生院硕士学位论文 而d l 图像的大小比q c i f 大1 6 倍多，就是说其每帧编码的计算量估计达 1 8 8 8 m i p s ，这种速度是无法在两片d s p ( 计算能力为1 2 0 0 m i p s ) 上达到实时要 求的，所以要对其进行优化和改进。而且，d c t 量化部分h 2 6 4 已经采用优化的 方法，且程序的并行性高，不好再做优化，因此本文不再对其进行研究，而是把 优化的重点放在预测和熵编码部分。 论文的具体工作如下： 1 研究h 2 6 4 标准，重点分析基于i 帧编码的预测模块和熵编码模块，寻找 提高编码效率的途径。 2 在分析各种帧内预测优化算法的基础之上，对预测块类型选择和4 x 4 预测 模式选择分别给出优化算法。其中在预测块类型选择上，根据a c 系数与 图像平滑度的关系，给出了一种优化算法可以事先确定预测块的类型；在 4 x 4 预测模式选择上，根据最优模式和次优模式的相邻原则，采用三步搜 索快速算法，预先排除或提前终止某些可能性小的模式。使用这两种快速 算法，在信噪比几乎不变的前提下，使得每帧编码时间减少约1 2 。 3 针对熵编码部分提出改进。在深入分析c a v l c 部分的基础上，对其进行 程序上的简化，使得该模块编码速度提高约2 3 9 ；详细分析了c a b a c 的原理，针对j m 8 2 测试软件进行程序上的分析，并在d m 6 4 2 上完成整个 c a b a c 的汇编化。 4 把算法成功移植到d s p 平台，并通过c a c h e 的优化，使得每帧编码速度提 高约2 6 7 。最终在d s p 平台上实现了d 1 图像的实时编码器。 后续章节与内容安排： 第二章帧内编码预测算法的优化。详细介绍预测模块的原理，在宏块预测 类型选择和4 x 4 预测模式选择上给出快速算法，并对优化结果做分析。 第三章熵编码的优化。详细介绍了h 2 6 4 的两种熵编码方法的原理，针对 c a v l c 繁杂程序提出简化方法；而对c a b a c 采用手工汇编的优化方法，介绍了 c a b a c 编码流程及汇编化中的注意事项。 第四章h 2 6 4 编码器的d s p 实现。介绍硬件开发环境、软件开发环境，汇 编优化方法以及如何在d s p 平台上进行c a c h e 的优化。 第五章总结与展望。 第7 页 国防科学技术大学研究生院硕士学位论文 第二章帧内预测算法的优化 2 1 预测编码的基本原理 预测法是最简单和实用的视频压缩编码方法，这时压缩编码后传输的并不是 像素本身的取样幅值，而是该取样的预测值和实际值之差。 为什么取像素预测值与实际值之差作为传输的信号? 因为大量统计表明，同 一幅图像的邻近像素之间有着相关性，或者说这些像素值相似。邻近像素之间发 生突变或“很不相似”概率很小。人们可以利用这些性质进行视频压缩编码。 cbdef ooooo ax oo 图2 1 邻近像素间的相关性 例如，如图2 1 ，同一帧内邻近像素，当前像素为x ，其左邻近像素为a ，上 邻近像素为b ，左上邻近像素为c 等。显然与x 之间的距离近的像素，如a 和 b 与x 的相关性强，愈远相关性愈弱，如c 、d 、e 、f 等像素。按与x 的距离 不同，给不同的x 邻近样点以不同的权值，考虑到解码端没有原始数据，因此取 这些像素的重构值加权和，作为x 的预测值，记为p ，与实际值相减，得到差值d 。 由于临近像素之间相关性强，d 值非常小，进而实现压缩编码的目的。 接收端把差值d 与预测值p 相加，恢复原始值x 。 编码端：x p = d 解码端：d + p = x 按以上原理可得预测编码框图网，如图2 2 所示。这种预测编码也称为差分脉 冲编码( d p c m ) ( b ) 图2 2 预测编码 其中，x ( n ) 为当前像素的实际值，p ( n ) 为其预测值，d ( n ) 为差值或残差值。该 第8 页 国防科学技术大学研究生院硕士学位论文 差值经量化后得到残差量化值q ( n ) 。预测值p ( n ) 经预测器得到，预测器输入为已存 储在预测器内前面的各像素，和当前值，它们的加权和即为下一个预测器输出。 由图可见，解码输出x ( 岣与原始信号x ( n ) 之间有个因量化而产生的量化误差。 2 2 h 2 6 4 帧内预测快速算法的研究现状 h 2 6 4 标准的帧内预测编码充分利用了图像的空间相关性，使用当前块的相邻 块中已解码重建的像素作外推来实现对当前块残差的编码，以消除单帧图像内的 空域冗余。尤其是在变化平坦的区域，利用帧内预测可以取得很好的效果，大大 的提高编码效率。然而，高编码效率的帧内预测算法也大大增加了编码器的计算 复杂度。因为在h 2 6 4 标准中，无论是预测帧( p 帧或b 帧) ，还是帧内帧( i 帧) ，都 需要在编码时进行帧内预测。并且h 2 6 4 支持的帧内预测编码模式也很多，共有 三类：用于4 x 4 亮度块编码的i n t r a 4 x 4 ，有9 种预测模式，其中包括8 种方向性预 测模式和1 种均值预测模式，由于块尺寸较小，适合于图像细节丰富的区域；用 于1 6 x 1 6 亮度宏块编码的i n t r a l 6 x 1 6 ，有4 种预测模式，适合于图像中的平坦区域； 用于8 x 8 色度块编码i n t r a 8 x 8 ，除预测模式顺序不同外，与i n t r a l 6 x 1 6 相同。此外， 当使用r d o ( 率失真优化) 模型时，帧内预测的编码时间还将成倍增加。因此，为 了满足实时视频通信的要求，必须提高帧内预测编码的速度。 一般来说减少帧内预测复杂度的方法大体上可分为两类； 第一类简化代价函数。该方法主要对r dc o s t 算法本身进行优化以提高计算 速度，常用的算法是通过分析算法本身特点，采用适合于r d 计算的新技术，_cost 如s i m d ( 单一指令多数据流) 技术，该技术可由单条指令完成多条操作，这种并 行技术可以大大提高帧内编码速度。该类算法的优点是对编码图像的质量没有任 何影响，不足之处就是没有充分利用到相邻宏块及图像本身的信息。由于我们的 编码器没有采用r d o p t ( 率失真优化) 技术，因此就不能采用这类方法。 第二类缩小预测模式选择的范围。对于第二类方法，主要是利用当前块及其 周围像素的某些特征，预先排除某些可能性很小的预测模式，或提前终止某些可 能性小的模式的代价计算，从而降低帧内预测的复杂度，该类算法正是目前研究 的热点。 近几年很多文章提出了h 2 6 4 帧内预测的快速算法，现简要归纳如下： 1 基于空间域的快速算法 根据一般自然图像的内容均具有不同程度的相关性可知，除了极个别变化特 别剧烈的图像，各个块的最优模式值具有一定的相关性，即对于即将预测的块而 言其最优模式值与其上边及左边的两个块的模式值有较强的相关性。为了提高编 码效率，此种快速算法利用了相邻块预测模式之间的相关性。对于当前要预测的 第9 页 国防科学技术大学研究生院硕士学位论文 4 x 4 块，可以把已知的相邻4 x 4 块( 左边或上边) 的预测模式作为候选预测模式。 当前很多帧内预测模式快速算法【1 1 】【1 2 】采用了这种方法。该方法在图像相邻块相关 性很强的情况下，能够较大幅度的减少预测模式选择的消耗，然而当对于出现多 种物体边界时，此种方法就会频繁出现预测模式误判情况。 2 基于纹理方向的快速算法 帧内预测是用邻近块的参考像素( 当前块的左边和上边宏块的边缘像素) 作参 考来实现对当前块的预测，其思想是基于以下两个前提： a ) 对于4 x 4 的块而言，由于待处理的块很小，块内纹理的变化一般不会 过于剧烈： b ) 当前图像块与其邻域的像素点在纹理上具有很强的相似性，因而可以 利用相邻块的纹理特性来判断当前块的预测模式，使其预测模式范围 大为缩小。 亮度编码4 x 4 块的9 种预测模式和1 6 x1 6 块的4 种预测模式以及色度色差编 码8 x 8 模式的4 种预测模式中，除了d c 模式表示无明显的纹理方向以外，其余 模式都代表某个方向上的明显纹理方向。因此，通过某些方法来计算当前宏块中 的纹理方向就可以大致推断出该宏块中最佳预测模式。 p a nf e n g 提出了一种基于像素的帧内编码快速算法【1 3 】。对于输入图像，首先 利用s o b e l 算予计算每个像素的边缘信息，并得到每个像素对应的斜率和梯度信 息。将4 x 4 块中斜率在同一范围内的所有点的梯度值相加，只计算梯度和较大的 几个模式，以减少模式计算数量，从而降低复杂性。文献【1 4 1 又对p a n 的算法进行 了改进，只提取宏块边缘像素的梯度分量作边缘直方图，用直方图中具有较大值 的模式作为最佳候选预测模式，速度有进一步的提高。这种方法通过对原始图像 进行预处理，可以在一定程度上达到降低复杂性的目的，但是预处理工作是基于 像素进行的，这又引入了新的计算量。 文献【】把一个4 x 4 宏块分成四个2 x 2 子宏块，通过对子宏块的像素值进行求 和，相减，相除推断出该宏块的大致纹理方向，该算法通过计水平梯度和垂直梯 度的大小和比值，排除一些与纹理方向相差很大的预测模式，降低了5 0 的帧内 计算复杂度，码率增加却很小，平均只降低0 0 2 d b 。然而当q p 值比较大时，其 码率增加却很大。 3 基于变换域的快速算法 目前各类h 2 6 4 算法中，宏块与预测宏块的误差有三种计算公式： 公式l ：c o s t = s s d 0 d 。x r a t e ，其中s s d 就是宏块与预测值的残差平方和。该 计算公式能选择出最优预测模式，使得峰值信噪比( p s n r ) 最小，但计算复杂度较 高，一般不用于实时处理。 第1 0 页 国防科学技术大学研究生院硕士学位论文 公式2 ：c o s t = s a d + k o d 。x r a t e ，其中s a d 是宏块与预测值的残差绝对值和。它 是公式1 的简化方式，计算速度快，但没有公式1 准确。 公式3 ：c o s t = s a t d 如m o d e x r a t e ，其中s a t d ( s u mo fa b s ol u t e t r a n s f o r m e d d i f f e r e n c e ) 是宏块与预测值的残差经过h a d a m a r d 变换再进行绝对值求和。公式1 和公式2 都是反应时域里的残差，而公式3 则反应频域里的误差，在一定程度上 可以反映生成码流的大小，计算速度位于公式1 和公式2 之间。 文献【1 2 】计算4 x 4 宏块的s a d 和s a t d 值，把空间域和变换域结合起来，根据 它们的直方图混合特征，发现最佳模式大部分位于( s a d ，s a t d ) 3x 3 范围内，而不在 这个3 x 3 范围内的r d o 最佳模式有6 0 是d c 模式。因此，该算法通过s a t d 和 s a d 阈值去除大部分预测模式，再加上d c 模式选出最佳预测模式。该算法的特 点是对p s n r 和码率的影响很小，编码速度提高3 0 左右。 文献【l6 j 则通过计算宏块的s a t d 和绝对梯度和( s a g ) ，以4 x 4 宏块中s a t d 较小同时s a g 较大的预测方向作为最佳模式，减少4 x 4 宏块的预测模式数目，从 而提高模式预测的速度，其中绝对梯度和( s a g ) 类似p a n 的s o b e l 算子法。但该快 速算法的缺点很明显，码率平均增大1 0 以上。 文献【1 7 】则对4 4 宏块进行抽样计算s a t d 值，与相邻宏块的预测模式相结合， 提高了最佳预测模式的精度，而且每隔4 个宏块就进行全搜索，从而防止非最佳 预测模式对下边和右边宏块预测模式影响的扩散。该算法在计算s