（通信与信息系统专业论文）h264h263标准间码率转码研究与实现.pdf

摘要 摘要 视频压缩是视频处理的核心技术之一，有关国际标准组织已经推出了一系列视 频压缩标准，如h 2 6 3 、h 2 6 4 、m p e g 4 等。但是，由于不同终端的数据处理能 力差别以及不同标准的应用领域不同，这就要求标准内或标准间的视频可以进行 实时转换，由此，视频转码成为了一个热门的研究领域。 本文主要研究h 2 6 4 到h 2 6 3 不同标准间码率转码的问题。针对h 2 6 4 到h 2 6 3 的全解全编的像素域级联转码计算复杂度高的问题，本文提出了相应的高效转码 的框架，并将实现高效转码的途径归结为三个方面：h 2 6 3 码率控制算法的优化、 h 2 6 4 分数像素插值优化以及高效模式判决。对于码率控制模块，引入了i ( 帧内) 帧起始量化参数的预估方法，使用了借用比特数的方法对起始的几帧进行码流平 滑，提高了整体的p s n r ( 峰值信噪比) 性能；对于分数像素插值模块，提出了“按 需插值”的分数像素现插值的算法，并使用m m x ( 多媒体扩展指令集) 技术对代 码进行了优化，极大的提升了代码的性能；对于模式判决模块，采用了高效的模 式判决算法，引入了运动矢量的重估计方法，避免了复杂度较高的运动估计，使 转码器的编码侧获得一定的简化，并且保持p s n r 的下降在可以接受的范围内。 最后实验结果表明与级联转码相比，本文实现的高效转码可提高2 0 左右的 转码速度，同时恢复视频质量的p s n r 下降不超过1 4 d b ，且主观质量良好。 关键词：h 2 6 3h 2 6 4 视频转码码率控制分数像素插值 a b s t r a c t a b s t r a c t v i d e oc o m p r e s s i o ni so n eo ft h ec o r et e c h n o l o g i e so fv i d e op r o c e s s i n g t h e i n t e r n a t i o n a ls t a n d a r d so r g a n i z a t i o nh a sl a u n c h e do u tan u m b e ro fv i d e oc o m p r e s s i o n s t a n d a r d s 。s u c ha sh 2 6 3 、h 2 6 4 、m p e g - 4 ，a n ds oo n e a c hs t a n d a r dh a si t ss p e c i f i c a p p l i c a t i o nf i e l d d i f f e r e n tt e r m i n a l s ，w h i c hs u p p o r td i f f e r e n ts t a n d a r d ，m a yb ei n d i f f i c u l t yw h e nt h e yc o m m u n i c a t i o n sw i t he a c ho t h e r v i d e ot r a n s c o d i n ga t t r a c t sm o r e a n dm o r er e s e a r c hi n t e r e s t st os l o v et h ep r o b l e m t h i sp a p e rf o c u so nt h ei s s u ea b o u tb i t r a t er e d u c t i o nv i d e ot r a n s c o d i n gf r o mh 2 6 4 t 0h 2 6 3 b e c a u s eo fi t sh i g hc o m p l e x i t y , c a s c a d ep i x e l - d o m a i nt r a n s c o d e rc a n tb e a p p l i e di nr e a l t i m ep r o j e c td i r e c t l y i no r d e rt os o l v et h i sp r o b l e m ，t h r e ea s p e c to fk e y t e c h n o l o g i e sr e l a t e dt oh i g he f f i c i e n c yt r a n s c o d e ri sf o c u s e di nt h i sp a p e r , i n c l u d i n gt h e r a t e c o n t r o lo p t i m i z a t i o no fh 2 6 3 、t h ef r a c t i o n - p i x e li n t e r p o l a t i o no p t i m i z a t i o no fh 2 6 4 a n de f f i c i e n tm o d ed e c i s i o n f i r s t l y , am e t h o do fp r e e s t i m a t i n gt h ei n i t i a lq u a n t i z a t i o n p a r a m e t e ro fif r a m e ( i n t r af r a m e ) i si n t r o d u c e di n t or a t e c o n t r 0 1 a n d am e t h o do f b o r r o w i n gb i t sf r o ms u b s e q u e n tf r a m e st os m o o t ht h eb i ts t r e a m si sa d o p t e d ，a n dt h e s e m e a s u r e si m p r o v et h ep e r f o r m a n c eo ft h ep s n r ( p e a ks i g n a l t o n o i s er a t i o ) s e c o n d l y , an e wa l g o r i t h mb a s e do nt h ei d e ao f “o n - d e m a n di n t e r p o l a t i o n i sp r o p o s e df o r i n t e r p o l a t i o n ，a n dt h ec o r r e s p o n d i n gc o d ei sf u l l yo p t i m i z e du s i n gm m x ( m u l t i m e d i a e x t e n s i o n ) i n s t r u c t i o n s t h i r d l y , ae f f i c i e n tm o d ed e c i s i o na l g o r i t h mi sa d o p t e di n h 2 6 4 t o - h 2 6 3t r a n s c o d i n g ，w h i c hi n t r o d u c e sm o t i o nv e c t o rr e - e s t i m a t et oa v o i dh i g h c a l c u l a t e dc o m p l e x i t y , t h i sm e t h o dc a ng r e a t l ys i m p l i f yt h ee n c o d e ro ft r a n s c o d i n g s y s t e ma n dg u a r a n t e et h ea c c e p t a b l ed e g r a d a t i o no fp s n r a tt h es a m et i m e f i n a l l y , t h e t h r e em o d u l e sa b o v ea r et e s t e dr e s p e c t i v e l y c o m p a r i s o no ft h et i m ea n dp s n r p e r f o r m a n c eb e t w e e nt h ec a s c a d et r a n s c o d e ra n dt h ee f f i c i e n tt r a n s c o d e rs h o w st h a tt h e p r o p o s e de f f i c i e n tt r a n s c o d e rc a np r o m o t et h es p e e do ft r a n s c o d i n gb ya b o u t2 0 ，a s w e l la s r e d u c ep s n rl e s st h a n1 4d b ，a n ds u b j e c t i v eq u a l i t yi sg o o d k e y w o r d ：h 2 6 3 h 2 6 4v i d e o t r a n s c o d i n g r a t ec o n t r o l s u b - p i x e l i n t e r p o l a t i o n 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导 师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注 和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果； 也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明 并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：j 日期立型阻 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保留 送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容， 可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后结合 学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文 本人签名： 导师签名： 年解密后适用本授权书。 日期 日期 第一章绪论 第一章绪论 1 1 视频压缩技术的发展趋势 随着计算机技术与通信技术的日益融合和发展，人类已经全面进入了网络时 代，并开始享受网络化带来的全新感受。传统的语音业务已经不能满足网络时代 的信息爆炸式增长，正是在这样的背景下，视频通信技术逐渐成长起来，并迅速 成为下一代网络及3 g 业务的主流技术。 由于视频数据量大，存贮和传输都需要很大的空间和时间，所以必须考虑对数 据进行压缩，因此，视频压缩技术成为视频通信技术的核心技术之一。这里，需 要介绍两个重要的视频标准开发组织，一是m p e g ( m o t i o np i c t u r ee x p e f lg r o u p ) ， 一是v c e g ( v i d e oc o d i n ge x p e r tg r o u p ) 。m p e g 组织是国际标准化组织i s o i e c 的动态视频压缩编码标准组织，v c e g 是i t u t ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o n u n i o n t e l e c o m m u n i c a t i o n ) 的视频编码专家组。表1 1 给出了主要的视频编码标 准的发展时间。 表1 1 视频编码发展简史 时间组织事件 1 9 8 4 年i t u t 发布h 1 2 0 建议 1 9 8 6 年i s o 和i t u t 成立联合图像专家组j p e g 1 9 8 8 年i t u th 2 6 l 建议 1 9 8 8 焦i s o i e c 成立活动图像专家组m p e g 1 9 9 1 年m p e g公布m p e g 一1 标准 1 9 9 2 笠j p e g通过j p e g 标准 1 9 9 4 年11 月 i s o 和i t u t 公布m p e g 2 标准，也称为h 2 6 2 1 9 9 5 年i t u t推出h 2 6 3 标准 1 9 9 8 年i t u t 补充h 2 6 3 + 1 9 9 9 年 m p e g 通过m p e g 4 2 0 0 0 年i t u t补充h 2 6 3 + + 2 0 0 3 年i t u t 和i s o i e c 公布h 2 6 4 。并作为m p e g - 4 的第1 0 部分 从表1 1 可以看出，视频压缩标准的发展是在两个标准组织的推动下由独 立发展到相互联合的过程【。 为了对视频压缩标准的发展有更加具体的认识，下面将简要介绍主要的视 频压缩标准的主要内容： 2 h 2 6 4 h 2 6 3 标准间码率转码研究与实现 h 2 6 3 2 】是为低码率视频通信系统的视频压缩编码提出的，它提供了四种 可选的编码算法：无限制运动矢量模式，基于语义的算术预测模式，先进预 测模式，和p b 帧模式。 m p e g 4 l3 】的目标是提出一种新的方式来传输、访问和操作数字视听数据。 m p e g 4 计划为多种通信规范提供一种普遍的技术解决方案，最终消除它们 之间的差别。m p e g 4 不同于过去的m p e g 2 或h 2 6 x 系列标准，其压缩方 法不再是限定某种算法，而是可以根据不同的应用，进行系统裁剪，选取不 同的算法。 h 2 6 4 t 4 】是近几年发展起来的较新的视频编码标准，作为新一代的视频压 缩算法，h 2 6 4 吸收了以往各种编码方案、特别是m p e g 2 【5 】和h 2 6 3 + 6 】的优 点，并在语法结构、编码预测算法、数据变换输出方式等方面进行了很多改 进，性能得到了很大的提高。 从视频编码标准采用的编码方法的原理上来看，视频压缩技术大致可以分 为两代，第一代是基于像素块的压缩编码方法，如m p e g 1 【7 1 、m p e g 2 、 h 2 6 1 引、h 2 6 3 等，第二代是基于对象内容的压缩编码方法，要求充分利用 人类视觉系统和心理特征以及信源各种性质的要求，如m p e g 4 、m p e g 7 t 9 1 、 h 2 6 4 等。 本文的研究主要涉及的是h 2 6 3 和h 2 6 4 压缩标准，在接下来的章节中， 对这两个标准还有较为详细的阐述。 1 2 视频转码的意义和用途 h 2 6 4 a v c 视频编码标准是i t u 和i s o 联合研究制定的编码效率高、网络适 应性强的最新视频编码国际标准，由于它可交互式和非交互式应用，适合各种媒 体的传输和存储，因此它必将成为新一代的视频编码标准。但是由于目前h 2 6 3 标准的广泛应用，在一定时期内，二者必然同时存在。因此有必要对两个标准之 间的转码技术进行研究。 转码主要分为两大类【lo 】：一类是同种标准内的转码，主要是改变视频信号的参 数，例如图像时间分辨率和空间分辨率的改变、码率的改变、隔行扫描与逐行扫 描的变换等。这种转码不涉及到视频编码标准的改变，主要是为了满足不同的带 宽和显示的要求。另一类是不同标准之间的转码。为了满足不同设备的不同需求， 如掌上电脑、个人数字助理( p d a s ) 、机项盒、智能手机等，视频信息通常采用不 同的编码标准进行压缩，如果这些设备之间相互通信，就需要进行不同编码标准 之间的转换。 转码的用途】主要有：一、调节输入视频流的比特率使之满足带宽的限制；二、 第一章绪论 在压缩的视频流中插入公司的l o g o 、水印以及错误恢复特征；三、支持录像机的特 技模式，例如视频点播中的快放、后退等。 1 3 本文工作与章节安排 本文主要研究了h 2 6 4 到h 2 6 3 的标准间码率转码，在建立h 2 6 4 到h 2 6 3 的全解全编级联转码框架的基础上，借助对其耗时性能的分析，讨论了实现 其对应的高效转码的途径，并通过对几个主要模块的优化具体实现了该高效 转码，本文所做的研究主要涉及h 2 6 3 的码率控制、h 2 6 4 分数像素插值及高 效模式判决算法，现将各章节的安排和主要内容做如下的陈述。 第一章简要介绍了数字视频压缩技术兴起的背景和发展的趋势，简要介 绍了转码的意义和用途，安排了本文的工作。 第二章简要介绍了h 2 6 3 与h 2 6 4 视频压缩协议的主要内容，简要分析 了频域转码和像素域转码及其存在的问题，提出了本文主要考虑的像素域转 码框架，对该系统进行耗时性能测试分析，分析了其高效转码实现的途径。 第三章研究了h 2 6 3 的经典码率控制模型t m n 8 ，提出了本文改进的码 率控制算法，平滑了起始几帧的码流，提高了h 2 6 3 的编码器的p s n r 性能。 第四章对h 2 6 4 的解码侧的分数像素插值部分进行了优化，首先介绍分 数像素插值的原理和优化的原理，提出了一种按需进行插值的新方式，随后 简单介绍m m x 及s s e 等多媒体指令优化代码性能的原理，并将此前提出的 改进算法用多媒体指令改写，给出了优化前后的性能测试结果。本节最后还 将优化的方法推广到其他的平台，如t i 系列的d s p ，并给出部分性能测试结 果。 第五章介绍了快速的模式判决算法，主要是介绍了模式判决中的运动估 计过程，随后在转码中引入快速的模式判决算法一一运动矢量重估计。将全 解全编的级联转码系统与快速转码系统进行对比测试，分析本文的研究工作 的成果。 第六章总结全文的工作，并对今后的工作进行展望。 第二章h 2 6 3 与h 2 6 4 转码概述 第二章h 2 6 3 与h 2 6 4 转码概述 2 1h 2 6 3 与h 2 6 4 协议简介 2 1 1h 2 6 3 简介 首先给出基于h 2 6 3 的编码器原理框图【2 】，如图2 1 所示，然后对照框图讲解 主要部分的原理和作用。 视频 输入 图2 1h 2 6 3 的编码器原理框图 编码器的主要环节是预测、运动估计与运动补偿、块变换和量化。下面分别介 绍： 预测 在采用时间预测方式中，编码模式称之为i n t e r ；若未采用任何时间预测方 式，则编码模式称之为i n t r a 。也就是说，i n t r a ：对预测而言，该图像不具有 任何参考图像( 也称i 图像) ；i n t e r ：该图像使用时间域过去的参考图像( 也称 p 图像) 。 运动估计与运动补偿 运动估计【1 2 1 ( m e ，m o t i o ne s t m a t i o n ) ，在参考帧上搜寻最匹配的方块，求出 6 h 2 6 4 h 2 6 3 标准间码率转码研究与实现 相对于待编码块位移的坐标，即运动矢量的过程叫做m e 。 运动补偿( m c ，m o t i o nc o m p e n s a t i o n ) ，将目前待压缩的块和找到的参考块相 减，记录它们之间的差值，以便在解码时能够补上这个差值，这个过程叫做m c 。 运动估计及运动补偿的基本原理就是利用帧间运动估计得到的待编码图像块 的一个参考块，然后利用这个参考块进行运动补偿，将补偿后的残差进行d c t 变 换和可变长编码。运动估计的过程参考图2 2 。对于某个特定的宏块，有可能在前 一帧中找不到匹配较好的区域，这时，编码器应灵活决定对该宏块采用帧内编码。 n 1 帧 r - - 说明：箭头 所指即为运 动矢量的位 移。一般用 水平和垂直 方向的坐标 来描述 图2 2 还动估计时过程不葸图 h 2 6 3 的运动估计技术主要采用块匹配法。h 2 6 3 引入了半像素插值，运动搜 索可以精确到半像素精度。半像素插值的过程如图2 3 所示。 a 困圈口 整像素精度位置 o o 半像素精度位置 圈回 a - - a ， b = ( a + b + i ) 2 ， c = ( a + c + 1 ) 2 ， d = ( a + b + c + d + 2 m 图2 3 半像素插值原理 块变换( d c t 与i d c t ) h 2 6 3 推荐采用的变换方式是离散余弦变换( d c t ) ，d c t 不是对整幅图像一 次进行变换编码，而是将图像分割成8 8 的子块分别处理，原因是：小块图像变 换的计算容易：距离较远的像素之间相关性比距离较近的像素之间的相关性小。 第二章h 2 6 3 与h 2 6 4 转码概述 7 n 点一维实数信号序列 置，i = o ，1 ，一l 的d c t 定义如下： 脚) - c 、丙- 缶n - i 删 学 u - - 0 , 1 , , n - 1 ( 2 - i ) 其中，c ( u ) = 1 2 ，当“= 0 时；c ( u ) = 1 ，当“= 1 ，2 ，n l 时。 i d c t 是d c t 的逆变换，是编码端重建帧和解码时用到的关键算法。 在图像编码中，进行d c t 时的输入数据是一系列8 8 像素值的矩阵，矩阵的 每个元素是8 b i t 精度。二维d c t 变换就是指将此空间域的8 8 像素值矩阵变换 为与其相应的频域的8 8 的d c t 系数矩阵。 二维d c t 的定义为：设空间域像素值的取值范围为：z = 0 ，1 ，n 一1 ； y = 0 ，l ，一l 。频域系数的取值范围为：u = 0 ，1 ，n - 1 ：1 ，= o ，1 ，n - 1 。 二维d c t 的变换公式如下： f m ) ：三c ( v ) y n - i y n - i i 他ys 业c o s 唑i ( 2 - 2 ) c c o f ( “，v ) 2j 号c ( “) ( v ) i 厂( x ，y s 警警l x = 0y = 0 i 厶t厶 l 二维d c t 的逆变换公式如下： 厂ky 1 ：一2n - i n - i icu ) c ( v ) ，“v ) c 0 s ( 2 x + 1 ) u v rc o s 堕兰巫l ( 2 - 3 ) 1 v - 1 j v - i 厂( 五y ) = 万乙乙i c ) c ( v ) ，( “，v ) c 0 s 1 万一等l u = o v = o v i厶v厶l 其中，以上两式中，当“，v = 0 时，c ( “) ，c ( v ) = 1 2 ；当“，1 ，= 1 ，2 ，n 一1 时， c ( u ) ，c ( v ) = 1 。 在d c t 系数矩阵中，( 0 ，0 ) 处的系数称为低频系数，也称直流系数( d c ) ， 代表水平和垂直的频率分量都为0 。d c 系数与块的平均值成正比，在图像编码中， 相邻两个块的像素值的平均值差别很小，所以可能通过相邻块的d c 值进行d c 预 测编码，进一步压缩d c 系数。其它的系数都成为交流系数( a c ) 。h 2 6 3 所采用 的d c t 公式为： 8 8 二维d c t 的变换公式： 和) = 百icc列厂x,y)cos学cosx=o学l ( 2 4 ) t r = 0 l uv l 8 8 二维逆d c t 的变换公式： 7 r ( 训) ：一ia - i 掣fcu ) c ( ，) f c o s ( 2 x + i ) u ：rs 唑i ( 2 - 5 ) ( x ，y ) = 一4 ) = o ic)c(v)矿s半lv=o f u , v ) c o cou=0v = o k l v l 另外，d c t 有很多的快速算法可供利用，可以进一步提高编码器的性能。 量化与反量化 量化参数q p 可能取值是 1 ，3 1 1 之间的整数。量化步长大小为2 x q p 。 c o f待量化的变换系数 h 2 6 4 h 2 6 3 标准间码率转码研究与实现 l e v e l已量化系数的绝对值 c o f 变换系数的重建值 量化： i n t r a ： i n t e r ： l e v e l = c o f i ( 2 x q p ) l e v e l = ：( i c o f i - q p 2 ) ( 2 x q p ) 除1 n t r a d c 系数外，所有系数将限制在【- 1 2 7 ，1 2 7 1 之间。 反量化： i c o f i = o ， i f l e v e l = o l c o f i = 2 x q p x l e v e l + q p ， i f l e v e l o ，q p i so d d i c o f = 2 x q p x l e v e l + q p - 1 ，i f l e v e l o ，q p i s e v e n ( 2 - 6 ) ( 2 - 7 ) ( 2 - 8 ) ( 2 - 9 ) ( 2 一l o ) 将c o f 的符号加入得到c o f7 ：c o f7 = s i g n ( c o f ) x ic o f7 i 在进行i d c t 之前，将c o f7 限制在 - 2 0 4 8 ，2 0 4 7 之间。 i n t r a 块的d c 系数量化和反量化过程如下，使用了8 b i t s ： 量化： l e v e l = a 凹8 ( 2 - 1 1 ) 反量化： c o f = l e v e l x8 ( 2 - 1 2 ) 编码控制 编码控制可以通过改变若干参数来控制编码视频数据生成的速率。这些包括源 编码器之前的处理、量化器、块重要性判决和时域子采样。 视频数据熵编码 该部分为编码生成2 6 3 码流的关键部分，如图2 1 所示，编码器传输至该部分 的各参数和信息，大致分为头信息比特和d c t 系数比特。该部分对包括运动矢量 ( m v ) 在内的头信息使用v l c 进行编码，而对d c t 系数使用游程编码进行压缩。 2 1 2h 2 6 4 简介 h 2 6 4 标准的编码框架 h 2 6 4 a v c 是目前算法复杂度最高、性能最好的基于混合编码框架的视频编码 标准【1 3 1 。h 2 6 4 的编码过程( 图2 4 ) 【1 4 】主要分为以下部分： 1 ) 将图像分成子图象块( 宏块) ，以子图象块作为编码单元。 2 ) 当采用帧内模式编码时，对图象块进行变换和量化，消除图象的空间冗余。 帧内模式中还增加了帧内预测模式。 第一章h 2 6 3 与h2 6 4 转码概述 3 ) 当采用帧间模式编码时，对帧间图象采用运动估计和补偿方法，只对图象 序列中的变化部分编码，从而去除时间冗余。 4 ) 变换量化系数最后经重排序和熵编码输出到网络适配层n a t a n e t w o r k a b s t r a c t i o nl a y e r ) 。 图2 4 h2 6 4 编码器基本结构 o h2 6 4 标准采用的编码新技术 与以前的视频压缩标准h2 6 1 、h2 6 3 、m p e g - 1 、m p e g 一2 、m p e g 一4 类似， h2 6 4 也是采用帧间预测和帧内变换的混合编码方法来消除或减少图像中的信息 冗余。但是，h 2 6 4 采用了许多新技术以提高压缩效率，其主要技术特点包括： 4 4 块d c t 整数变换以及相应的量化方法； 灵活的运动补偿：采用1 6 1 6 、1 6 8 、8 1 6 、8 8 、8 4 、4 8 以及45 z m ( 3 - 1 2 )= f ”7 。一 ( 3 【w z m ， o t h e r w i s e 其中，z 的默认值为0 1 ，w 是编码缓冲区中的比特数，a 很小，反馈了缓冲区矽 的状态。如果矿比最大值m 大了1 0 ，则目标比特率要稍微下降；否则，b 稍微 增加。整个视频序列中b 变化是很小的。由于编码视频的复杂度可能是时变的， 因此编码后视频的质量是有波动的。然而，在低比特率情况下目标比特率恒定是 很实用的，因为b 的较大波动将引起缓冲区较大波动，这样很容易产生跳帧或者 下溢。 ( 2 ) 吒的选取 嘶2 2 去( h h ， 1 ， b oa n d 文 1 ( 3 - 2 5 ) a r p 7 此式表明，新算法可以平滑起始帧码流之间的波动幅度。 另外，原h 2 6 3 编码器的起始i 帧的q p 都是预先设置的，这就造成了如果q p 设置过高而目标码率偏高，则参考帧视频质量太低，并持续积累造成整个视频的 质量偏低；如果q p 设置过低而目标码率偏低，则参考帧的视频质量波动很大，码 流的平稳性很差，因此，本文提出一种方法为不同层次的目标码率预估一个较合 适的起始q p ，算法原理描述如下： 在t m n 一8 的宏块级码率控制算法中有一种根据宏块的失真权重和标准偏差来 估计第一个宏块q p 值的方法，本文利用其简化形式来计算方法来估算i 帧的起始 q p ，具体计算公式如下，其中，k 预置为0 5 。 q 卜( 3 - 2 6 ) 该方法可以区别不同的目标比特率和帧率设置下的编码起始q p ，这样，就可 以改善由于固定一个起始q p 而无法同时满足高码率和低码率的图像稳定性情况。 3 3 实验结果与性能分析 本节的实验是测试改进的码率控制算法与原码率控制算法的性能。测试序列选 择c i f 格式的f o r e m a n 、帧数3 0 0 ，h 2 6 3 编码器的配置为帧率2 5 f p s 、i 帧间隔2 5 0 第三章h 2 6 3 码率控制改进与优化 等，其他采用h 2 6 3 编码器的默认配置选项。 本文所有实验均使用峰值信噪比( p s n r ，单位：d b ) 作为衡量恢复图像客观 质量的测度，p s n r 计算公式如下： 1 0 l g m , n 朋等鲁、 ( 3 2 7 ) 式中的m n 为图像大小，o m , n 和厶。分别代表原始图像和解码恢复图像值。 如表3 2 所示，给出了不同目标码率下的两种算法的平均p s n r 性能和实际输 出码率。 表3 2 对比测试结果 目标比特率本文的算法 原算法 性能比较 ( k b p s ) p s n ry 实际码率 p s n ry 实际码率 p s n ry ( d b ) ( k b p s ) ( d b ) ( k b p s )增量( d b ) 1 2 8 2 9 5 51 5 6 0 52 9 7 71 3 6 0 3 o 2 2 3 8 43 3 3 84 0 1 2 53 3 6 43 9 8 5 2 o 2 6 5 1 23 4 5 25 2 4 2 93 4 7 65 3 2 2 9 o 2 4 7 6 8 3 6 1 07 9 1 4 33 6 1 47 7 7 2 6 0 0 4 1 0 2 43 7 0 69 9 0 9 83 7 2 29 8 9 9 l o 1 6 图3 1 是目标码率为5 1 2 k b p s 时，连续多帧的p s n r 情况。图3 2 是对应的每 帧的生成的比特数。 h 2 6 4 h 2 6 3 标准间码率转码研究与实现 图3 1 改进的r c 算法的1 0 0 帧的p s n r 性能( 目标码率5 1 2 k b p s ) 图3 2 改进的r c 算法的1 0 0 帧生成比特数( 目标码率5 1 2 k b p s ) 表3 2 对比的是改进算法和原算法有效的对应帧的p s n r 均值和实际输出码 率，从结果看，改进算法相比原算法的p s n r 下降都在0 3 d b 之内，除部分甚低比 特率外，码流未出现激增的情况。这说明本文改进的算法在不跳帧的情况下达到 了和原算法相当的性能。 第三章h 2 6 3 码率控制改进与优化 选取编码目标比特率为5 1 2 k b p s 来分析连续帧的p s n r 性能和生成的比特数情 况，由图3 1 可知，改进算法的连续帧的p s n r 未出现大幅的波动，并且改进算法 的最低一帧的p s n r 要高于原算法的最低一帧的p s n r 将近0 5 d b ，说明改进算法 的视频恶化程度要低于原算法。由图3 2 可知，改进算法的连续帧生成的比特数情 况良好，未出现码流急剧波动或激增的情况。 3 4 小结 本章详细分析了h 2 6 3 的经典码率控制模型t m n 8 的实现原理和技术细节， 也简单分析了该模型的缺点和改进的方向。接着，提出了本文使用的码率控制的 部分改进，给出了本文的码率控制算法和原码率控制算法的对比实验测试和分析 结果。 第四章h 2 6 4 分数像素现插值的实现与优化 第四章h 2 6 4 分数像素现插值的实现与优化 前面是关注的如何提高h 2 6 3 编码侧的p s n r 性能，本章将对h 2 6 4 解码侧做 部分优化，基本思想就是分数像素的现插值。 4 1 分数像素插值的原理 h 2 6 4 支持精细子像素精度的运动矢量( 亮度成分是1 4 像素精度) 。当运动矢量 指向一个整数采样位置时，预测信号由参考图像的相应采样点组成，否则预测值 将通过内插法产生非整数位置而达到。半像素位置的采样信号的预测值是通过应 用一维的水平和垂直六阶有限冲击响应滤波器得到的f 2 。四分之一像素位置的采 样信号的预测值是通过将整像素和半像素位置的像素值取平均得到的【2 2 】。 下文的图4 1 说明了采样点a k 、n r 的分数采样内插方法。 半像素点b 和h 处的像素值的获得方法如下： b = r o u n d ( e 一5 f + 2 0 g + 2 0 h 一5 ，+ j 3 2 ( 4 - 1 ) h = r o u n d ( ( a 一5 c + 2 0 g + 2 0 m 一5 r + r ) 3 2 ) ( 4 - 2 ) 类似的，可以得到c c ，d d ，e e ，m ，厩其中，r o u n d ( x ) 返回等于或小于x 的最大 整数值。 在半像素点j 处的像素值是通过下式得到的： j = r o u n d ( ( e e 一5 烈+ 2 0 h + 2 0 m 一5 p p + ) 3 2 ) ( 4 - 3 ) 位于水平或垂直半像素或者整像素位置旁边的四分之一像素点a ，c ，d ，力， f ，k ，q 的像素值是通过相邻像素的像素线性插补得到的。 a = r o u n d ( ( g + b ) 2 ) ( 4 - 4 ) 四分之一像素点e ，g ，p ，的像素值是通过相邻的对角线位置的最近的两个 半像素位置的像素进行线性插补得到的。 e - - r o u n d ( ( b + h ) 2 ) ( 4 - 5 ) h 2 6 4 h 2 6 3 标准间码率转码研究与实现 口口囡日回口口 口口围困回口口 回 曰 因 囡 曰 回 gabch defg h kml j npqr msn 田 日 回 团 曰 囤 口口因曰图口口 口口囡田回口口 图4 1 运动补偿分数采样点的滤波 色度分量的预测值通常是通过双向线性内插得到的。因为色度信号的采样分辨 率比亮度分量低，色度信号位移质量的精度是八分之一像素。 4 2 分数像素现插值 目前的h 2 6 4 的解码侧的分数像素插值的实现方式为：首先，在第一个参考帧 创建之后，对参考帧整帧的每个整像素点进行半像素插值，形成包括水平方向、 垂直方向和对角线方向的3 个半像素帧平面；其次，在进行下一帧的运动补偿时， 根据m v 确定运动补偿时的像素点的实际位置，再确定是否需要进行半像素插值 或1 4 像素插值；如果是只需进行半像素插值的话，此处可以直接将前面计算得到 的半像素帧平面对应块拷贝到需要的位置；如果需要进行1 4 像素插值，则要继续 对已计算出的半像素帧平面进行线性插补得出1 4 像素帧平面。 本文提出的分数像素的现插值，其意义是根据解码所得的运动矢量信息，在运 动补偿时可以即时地选择是否进行半像素插值和1 4 像素插值。下文将先阐述优化 的思路，然后具体给出优化方法，最后进行实验验证和分析。 4 2 1 优化思路 由分数像素插值原理可以看出，每个整像素点是否需要半像素插值或1 4 像素 第四章h 2 6 4 分数像素现插值的实现与优化 插值是由图像的运动特性决定的，即由运动矢量决定的，也就是说运动矢量决定 了运动补偿过程中的点是整像素单位搬移还是以亚像素单位搬移。可以推断出的 是，运动补偿过程中有部分点是以整像素单位直接搬移的，而不需要进行半像素 插值，这样的话，原算法所进行的整帧的半像素插值就进行了部分多余的计算， 而分数像素现插值的目的就是将这部分多余的计算去除，以达到优化的目的。下 面将会统计f o r e m a n 序列的3 0 0 帧图像经h 2 6 4 编码器后生成的m v 的类型分布情 况，以初步验证本文前面所阐述的优化思路，如下表4 1 所示。 表4 1 不同精度类型的m v 的分布情况 m v 类型m v 数目 m v 比例 备注 整像素精度直接拷贝参考帧 ( 对应位置g ) 2 32 2 31 0 0 9 的像素点，不需 要j 仁像素插值 半像素精度4 0 0 2 41 7 3 9 只需要一个方向 ( 对应位置b 、h 、_ ，) 上的半像素插值 1 4 像素精度 6 2 4 7 62 7 1 5 只需要一个方向 ( 对应位置a 、c 、d 、一)上的? 卜像素插值 1 4 像素精度需要两个方向上 ( 对应位置p 、 g 、i 、k 、p 、 1 0 4 4 2 74 5 3 7 的t 像素插值 q 、，) 总计2 3 01 5 01 0 0 0 0 由于只是大概估计一下新算法的优化效果，不妨假定所有的运动补偿块的大小 都是1 6 1 6 大小，这样，可以计算原算法所需要计算出的半像素点的个数：1 6 1 6 2 3 01 5 0 3 = 1 7 67 5 52 0 0 ，而按表4 1 所示，计算出本文提出的算法所需计算 的半像素插值的点数为：1 6 x1 6 x ( 4 00 2 4 x1 + 6 24 7 6 x1 + 1 0 44 2 7 2 ) = 7 97 0 6 6 2 4 。比较两次的计算量： z 竺! q 丝兰4 5 0 9 1 7 6 7 5 5 2 2 0 由比较结果可知，新算法所提出的优化是很可行的。所以，接下来就可以详细的 阐述优化的方法。 4 2 2 优化方法 分数像素现插值的具体优化方法描述如下，将包括g 在内的a 、b 、c 、d 、p 、 厂、g 、h 、i 、_ ，、k 、刀、p 、q 、，等1 6 个可能位置的点都以0 1 5 的索引号依 次标记，对每个点单独进行位置判断和计算，例如，索引号为0 的位置直接拷贝； h 2 6 4 h 2 6 3 标准间码率转码研究与实现 索引号为2 、8 、1 0 的半像素点位置需进行半像素插值；其余索引号的位置，先进 行半像素插值再进行1 4 像素插值。 计算索引号的公式： i n d e x = ( m y , & 3 ) 木4 + ( 所屹& 3 ) ( 4 - 6 ) 其中，( 肌u ，m v ，) 是宏块的运动矢量，以1 4 像素大小为单位。& 3 是与0 x 0 0 1 1 按位相与，即保留后两位，用来判断运动矢量移动的是以整像素为单位还是半像 素，或是1 4 像素为单位。乘4 是为了表示一行的像素点的个数。 宏块的偏移： 伽= 等w i d t h + 孕( 4 - 7 ) “ 44 其中，偏移o f f s e t 表示宏块在运动补偿中与原整像素点相比需移动的内存单元 数，乘以1 4 是将1 4 像素点的运动矢量转化为整像素点的运动矢量，用来表示整 像素点的运动。 具体计算过程如下表： 表4 2 独立处理宏块的插值情况表 索引号操作内容 n d e x 0直接从g 位置开始拷贝宏块 l 对g 先做水平半像素插值得到b 位置， 再利用位置g 和b 做1 4 插值 2 对g 做水平半像素插值得到b 位置 3 对g 先做水平半像素插值得到b 位置， 再利用位置b 和疗做1 4 插值 4 对g 先做垂直半像素插值得到h 位置， 再利用位置g 和h 做l 4 插值 5 对g 先做水平和垂直半像素插值得到b 和h 位置， 再利用位置b 和h 做1 4 插值 6 对g 先做水平和垂直半像素插值得到b 和_ ，位置， 再利用位置b 和做l 4 插值 7 对g 先做水平半像素插值得到b 位置和对日做垂直半像素插值得 到 n 位置，再利用位置b 和m 做l 4 插值 8 对g 做垂直半像素插值得到h 位置 9 先对g 做垂直和对角线半像素插值得到 和_ ，位置， 再利用位置h 和，做l 4 插值 第四章h 2 6 4 分数像素现插值的实现与优化 3 l 1 0 对g 做对角线半像素插值得到j 位置 l l 先对日做垂直半像素插值得到m 位置和g 做对角线半像素插 值得到位置，再利用位置r n 和做1 4 插值 1 2 先对g 做垂直半像素插值得到h 位置， 再利用位置h 和m 做1 4 插值 1 3 先对g 做垂直半像素插值得到h 位置和对m 做水平插值得到j 位 置，再利用位置h 和s 做1