（通信与信息系统专业论文）h264avc空间分辨率转码研究与实现.pdf

摘要 随着网络和多媒体通信技术的发展，移动终端如手机，p d a s ( 个人数字助理) 等的广泛应用，人们对移动网络服务提出了越来越高的要求。移动终端具有一些 共同的特点如：显示分辨率低，芯片处理能力弱等，而移动网络则受网络带宽的 制约。在移动多媒体通信中，为了适应移动终端的要求以及网络的传输特性，需 将已压缩的视频码流转换编码，从而实现资源共享。新一代视频压缩标准 h 2 6 4 a v c 具有比以往编码标准高得多的编码效率，其应用范围也将越来越广阔。 针对移动终端的特点，本文重点研究h 2 6 4 a v c 标准内空间分辨率转换编码技术。 首先，为了保证分辨率下采样后的图像质量，本文采用了双立方内插法实现 分辨率转码中的图像缩放功能。为了提高图像缩放算法的执行速度，利用 m m x s s e 2 对程序进行了汇编优化，在保证图像质量的同时，取得了比较满意 的加速效果。 其次，由于h 2 6 4 a v c 编码的计算复杂度很高，本文对转换编码过程进行了 优化。提出一种新的快速模式判决算法，降低h 2 6 4 a v c 运动估计中的多模式预 测的计算复杂度。在转换编码中，根据解码信息以及实验统计结果，通过适当的 模式合并和分解操作，快速判决当前宏块的编码模式。实验结果表明，该快速算 法能够显著提高转换编码的速度，极大的提高转码器的转码能力，同时该快速算 法具有稳定的率失真性能，保证了视频主客观质量。 关键词：视频转换编码空间分辨率转码模式判决h 2 6 4 1 a v c a b s t r a c t w i t ht h ed e v e l o p m e n to fn e t w o r ka n dm u l t i m e d i ac o m m u n i c a t i o nt e c h n o l o g y , a n d t h ew i d eu s eo ft h em o b i l et e r m i n a ld e v i c e ss u c ha sm o b i l ep h o n e s ，p d a s ，e t c ，p e o p l e r e q u i r em o r ef o rt h es e r v i c eg i v e nb yt h em o b i l en e t w o r k a sw ek n o w , t e r m i n a l d e v i c e sh a v es o m ec o m m o nc h a r a c t e r i s t i e sl i k es m a l ld i s p l a ys c r e e n ，1 0 w c o m p u t a t i o n a lc a p a b i l i t y a tt h es a m et i m et h em o b i l en e t w o r ki s l i m i t e db yt h e c h a n n e lb a n d w i d t h c o m p r e s s e dv i d e ob i t s t r e a mi so f t e nc o n v e r t e df r o mo n ef o r m a tt o a n o t h e rt om e e tt h ec o n s t r a i n e dt r a n s m i s s i o nb a n d w i d t ha n dt e r m i n a lc a p a b i l i t i e s t h e n e wg e n e r a t i o nv i d e oc o d i n gs t a n d a r dh 2 6 4 a v ch a sh i g h e rc o d i n ge f f i c i e n c yt h a n t h ep r e v i o u ss t a n d a r d s i th a sb e e nw i d e l yu s e db e c a u s eo fi t se x c e l l e n tp e r f o r m a n c e a i m i n ga tt h ec h a r a c t e r i s t i c so fm o b i l ev i d e ot e r m i n a l s ，t h i st h e s i sf o c u s e so nt h e s p a t i a lr e s o l u t i o nt r a n s c o d i n gf o rh 2 6 4 a v c f i r s t ，i no r d e rt oo b t a i nab e t t e rv i d e oq u a l i t y , b i c u b i ci n t e r p o l a t i o ni su s e dt o a c h i e v ei m a g es c a l i n gi ns p a t i a lr e s o l u t i o nt r a n s c o d i n g a n di no r d e rt oi n c r e a s et h e s p e e do fs p a t i a lr e s o l u t i o nt r a n s c o d i n g ，t h ep r o g r a mh a sb e e nf u l l yo p t i m i z e db yu s i n g m m x s s e 2i n s t r u c t i o n s ，w h i c hn o to n l yg u a r a n t e e st h eq u a l i t yo ft h ei m a g eb u ta l s o g r e a t l yi m p r o v e st h ec o m p u t a t i o ne f f i c i e n c y s e c o n d ，af a s tm o d ed e c i s i o na l g o r i t h mi sp r o p o s e dt od e c r e a s ec o m p u t a t i o n a l c o m p l e x i t yd u r i n gt r a n s c o d i n g t h ec o m p u t a t i o nc o m p l e x i t y i s v e r yh i g h i n h 2 6 4 a v c ，b e c a u s eh 2 6 4 a v ca d o p t sm a n y m o d e sf o rm o t i o ne s t i m a t i o n t or e d u c e t h ec o m p l e x i t yo ft r a n s c o d i n g ，w ea n a l y z et h ed e c o d e di n f o r m a t i o na n de x p e r i m e n t a l r e s u l tt h e nd i r e c t l yf i n dt h eb e s tm o t i o ne s t i m a t i o nm o d eb yu s i n gp r o p e rm e r g ea n d s p l i to p e r a t i o n sd u r i n gm o t i o ne s t i m a t i o np r o c e s s e x p e r i m e n t a lr e s u l t ss h o wt h a to u r p r o p o s e da l g o r i t h mc a ns i g n i f i c a n t l yi n c r e a s et h es p e e d o ft r a n s c o d i n g ，m e a n w h i l e ，o u r a l g o r i t h mh a sas t e a d yr a t e d i s t o r t i o np e r f o r m a n c ea n dc a ng u a r a n t e et h es u b j e c t i v e a n do b j e c t i v ev i d e oq u a l i t y k e y w o r d ：v i d e ot r a n s c o d i n gs p a t i a lr e s o l u t i o nt r a n s c o d i n g m o d ed e c i s i o n h 。2 6 4 斟c 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指导下 进行的研究工作及取得的研究成果。尽我所知，除了文中特另l j ) j n 以标注和致谢中所罗列的内 容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技 大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料著有不实之处，本人承担一切的法律责任。 本人签名：盔童哮 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读 学位期间论文工作的知识产权单位属两安电子科技大学。学校有权保留送交论文的复印件， 允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其 它复制手段保存论文。同时本人保证，毕业后结合学位论文研究课题再攥写的文章一律署名 单位为两安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在年解密后适用本授权书。 本人签名： 导师签名： 皇迅 嗍牡 日期趟：! ：? 第一章绪论 第一章绪论 1 1 研究背景和意义 随着多媒体技术的不断发展，图像压缩及处理技术得到了深入研究并日趋成 熟，相关的编码标准在学术界与工业界的共同推动下，进入商业应用并取得前所 未有的成功。国际标准组织根据应用场合的不同设立了一系列视频编码标准，如 针对多媒体数据存储及数字电视应用制定的m p e g t l 】【2 】【3 】系列标准；针对视频会议 以及视频电话制定的h 2 6 x 4 】【5 】【6 】【7 】【8 1 标准等。这些编码标准除语法格式不同外， 在压缩效率、码率、压缩格式上都有所不同。它们分别针对特定的应用场合和不 同的网络环境，相应的解码器性能或显示器显示能力也都有所区别。例如，h 2 6 3 用于可视电话和视频会议等场合；m p e g 2 用于数字视频广播、高清晰度数字电 视h d t v 和d v d 等场合；m p e g 4 用于i n t e r n e t 的流式视频应用。为了实现异构 网络、不同的接入设备以及不同的多媒体压缩数据格式之间的无缝连接，通常要 求视频数据能够在这些不同标准的编码格式之间实现动态实时转换，即将视频信 息由一种编码格式转换成另一种编码格式，这就是视频转码。视频转码已经成为 网上多媒体传输的核心技术之一。 目前国内外视频转码技术的研究基本上都是基于m c + d c t ( 运动补偿+ 离散 余弦变换) 模式的各种编码标准，如m p e g 1 ，m p e g 2 ，m p e g 4 和h 2 6 3 等标准 内的转码或标准之间的转码。这些编码标准都是以运动补偿m c 和d c t 变换为 基础的，称作为m c + d c t 编码模式，包含运动估计、帧间预测，d c t ，i d c t ，量 化和反量化等关键模块。国内外许多学者在这些方面做了很多研究，也取得了不 少研究成果，各有其优缺点。 2 0 0 3 年，i t u - t 的v c e g 和i s o i e c 的m p e g 组织联合制定了最新的视频 压缩编码标准h 2 6 4 a v c t 9 l 。该编码标准在以往基于m c + d c t 模式的各种视频编 码标准的基础上，采用了许多新技术，具有能够降低5 0 或更多带宽的能力，能 以少于1 m b p s 的码率传输基于互联网协议( i p ) 的广播质量级的视频内容。这是目 前版本的m p e g x 等编解码方案根本所不能比拟的【1 0 】。因而，h 2 6 4 a v c 标准的 出现无疑将对所有要求高压缩率、高质量的视频应用领域产生深远的影响。 作为最新的一种视频压缩标准，h 2 6 4 a v c 虽然推出的时间不长，却已经成 为当前视频编码研究领域的热点，其良好的应用前景又使得它必将成为一个主流 的应用标准。随着h 2 6 4 儿w c 标准的大力推广和普及，大量基于h 2 6 4 a v c 编码 的视频流开始出现，h 2 6 4 a v c 视频编码标准内转码技术，包括h 2 6 4 a v c 标准 2 h 2 6 4 a v c 空间分辨率转码研究与实现 内的码率转码和分辨率转码尤其是分辨率转码目前还存在大量技术问题亟需解 决。 跟以前的编码标准相比，h 2 6 4 a v c 引入了很多新的特点，如多种块大小的 运动补偿，1 4 像素的运动矢量搜索，多帧参考的运动补偿，帧内预测等。这些 特点使得h 2 6 4 a v c 取得更高的编码效率，但同时又以更高的计算复杂度为代价。 例如，帧内预测中的i n t r a1 6 x 1 6 和i n t r a4 x 4 模式还分别对应着4 种和9 种方向 性预测选择，所以在h 2 6 4 a v c 的编码转换中，对宏块模式的选择往往要耗费大 量的时间。如果能够发现宏块各种模式之间的关系，找到模式决策中的规律，进 而加快模式决策这一环节，将对转码的速度有很大提高，在实时转码中的意义不 可估量。 鉴于当前对h 2 6 4 a v c 视频转码技术的研究具有现实上的必要性和技术上的 困难性，本文将对h 2 6 4 a v c 标准内空间分辨率转码及其中涉及的一些关键技术 问题进行研究，另外基于转码应用实时性的要求，本文将研究如何在保证视频转 码质量的前提下，尽可能的提高转码速度。 1 2 主要内容和章节结构 视频转码本质上还是研究视频编码，解码技术。但它与编码和解码过程又有 所不同，转码的输入和输出都是压缩编码后的码流，它们在视频流格式、比特率、 帧率、空间分辨率以及所遵循的压缩编码标准等方面都有可能不同，而编码和解 码的输入和输出只有一端为压缩视频流。尽管如此，视频编解码中的许多优化技 术仍可应用于转码过程中，提高转码速度。 转码过程中可以获彳导许多输入码流信息，如视频序列头信息、宏块编码模式 信息、运动矢量信息、频域的压缩系数等。因此在设计转码器时，可以利用原始 码流中的信息来简化转码结构，降低转码运算复杂度。 转码算法的优劣主要表现在两个方面：( 1 ) 转码性能，即转码过程中引入的图 像失真度；( 2 ) 算法的运算复杂度。实际应用中转码器一方面要求运算复杂度低， 另一方面实现成本足够低，所以处理运算时要尽量避免复杂的运算瓶颈，同时要 保持视频质量、降低硬件要求和延迟。 根据上述要求，本文以h 2 6 4 a v c 为研究对象，对h 2 6 4 a v c 标准内空问分 辨率转码所面临的问题展开分析和研究。文章组织结构如下： 第一章主要介绍本文的研究背景和研究意义，概括地描述了基于h 2 6 4 a v c 视 频转换编码急需解决的问题和面临的技术难点，为本文的后续研究指明了 方向。接着概述了本文的章节结构和主要内容。 第二章首先介绍了h 2 6 4 a v c 视频标准，然后对困扰视频转码的漂移误差问题 第一章绪论 3 进行了详细的分析，并提出了消除漂移误差的方法，接下来回顾了国内外 转码技术研究的现状，深入剖析了视频转换编码中的关键技术，最后对 h 2 6 4 a v c 转码中涉及到的问题进行了详细分析，为本文后续基于 h 2 6 4 a v c 视频转码技术的研究提供了必要的知识准备。 第三章对图像缩放技术进行了简单介绍，利用双立方内插法实现了图像缩放，最 后使用m m x s s e 技术对算法进行了代码优化，极大的提高了图像缩放的 运算速度。 第四章重点研究h 2 6 4 a v c 标准内分辨率转码中快速模式判决算法，首先对 h 2 6 4 a v c 标准内空间分辨率转码时的宏块模式判决算法进行了回顾总 结，然后提出了自顶而下和自底而上的宏块模式快速判决算法，同时为进 一步提高转码速度，本文还提出了s k i p 快速预判和大块模式算法，进一 步提高了转码速度。 第五章总结了本文所做的工作，给出了相关结论，并对将来的研究工作进行展望。 第二章视频转码技术研究现状 第二章视频转码技术研究现状 2 1 引言 视频转换编码是一种处理过程，它对输入的压缩码流进行端到端的处理，使 得转码后的压缩码流更能适应传输信道带宽及终端的需要。它包括对视频码流压 缩标准、比特率、空间分辨率、帧率的转换以及在视频码流中嵌入图标、水印信 息、差错控制数据等操作【1 1 】【12 1 ，如图2 1 所示。 图标、水印 输入码流：矿 v 输出码流：g o 比特率：b r l 一码卜 比特率：b r 2 帧率：f r l帧率：f r 2 空问分辨率：s r l 空间分辨率：s r 2 压缩标准：a l l 压缩标准：a l 2 图2 1 视频转换编码 视频转码分为同类视频转码和异类视频转码。同类视频转码是指在不改变压 缩标准的前提下，对比特率，空间分辨率和帧率等进行转换。异类视频转换编码 是在不同压缩标准之间进行的，是为解决跨越不同网络平台、采用不同视频编码 标准引起的不兼容问题而提出的解决方案。异类视频转换编码是在充分分析不同 标准之间异同的基础上，采用类似于同类视频转换编码的结构和算法来设计视频 转码结构的，但是由于涉及不同的编码标准转换，所以要考虑标准间的语法转换 问题，并且要考虑不同标准之间的兼容性。 图2 2 所示为转码所能实现的功能及其分类。 转码功能 异类视频转码 场编码，帧编码ll 仅格式转换li 同类视频转码i 差错控制 附加功能 插入图标或 水印 比特率 转码 竺到型刨匕竺 图2 2 各种转码功能和转码分类 6 h 2 6 4 a v c 空间分辨率转码研究与实现 视频转码中存在两种形式的误差，它们导致了转码视频质量的下降，因此视 频转码时要消除或者最大程度的减小误差的影响，提高转码后码流的解码恢复质 量。另外转码过程中还要考虑对转码结构进行简化，对转码模块进行优化，以降 低转码运算复杂度，提高转码应用的实时性。 接下来的内容，我们对h 2 6 4 a v c 视频压缩标准做一简单介绍，然后对困扰 视频转码的误差做一详细的分析，为后续研究提供理论支持。其次对视频转码的 研究现状做一简单回顾，重点阐述空间分辨率转码相关技术，最后对h 2 6 4 a v c 转码相关问题做一简单介绍。 2 2h 2 6 4 a v c 视频压缩标准 随着数字视频技术和编码技术的不断发展，视频数据传输和存储应用的要求 日益提高，针对各种不同应用领域的诸多国际压缩编码标准不断产生。它们的提 出与制定，加速了编码技术的商品化和产业化，从v c d 到d v d ，从会议电视到 可视电话，从数字电视到机顶盒、数字广播和高清晰度电视，这些日新月异、层 出不穷的高科技产品将不断激励视频压缩与通信领域继续发展前行。 标准化是产业活动成功的前提，因而一些国际组织会在不同的应用时期，针 对当前技术的发展和对未来技术的展望，制定出一系列的国际标准以满足技术产 业化的要求。h 2 6 4 a v c 是由i t u t 和1 s o i e c 的联合开发组共同开发的最新国 际视频编码标准。在i s o i e 中该标准命名为a v c ( a d v a n c e dv i d e oc o d i n g ) ，作为 m p e g 4 标准的第1 0 部分，在i t u t 中币式命名为h 2 6 4 a 、，c 标准。 相对于早期的视频压缩标准，h 2 6 4 a v c 在编码框架上还是沿用以往的 m c d c t 结构，即运动补偿加变换编码的混合结构，因此它保留了一些先前标准 的特点。h 2 6 4 a v c 还引入了很多先进的技术，包括4 x 4 整数变换、空域内的帧 内预测、1 4 像素精度的运动估计、多参考帧与多种尺寸块的帧问预测技术等。 新技术带来了较高的压缩比，在相同的重建图像质量下，h 2 6 4 a v c 比h 2 6 3 + 和 m p e g 4 简单档次( s i m p l ep r o f i l e ) 减小5 0 码率，但同时算法复杂度也有所增加。 下面具体介绍一下h 2 6 4 a v c 的技术特点。 4 x 4 整数变换 h 2 6 4 a v c 将整幅图像分成4 x 4 像素大小的块进行编码。与以往编码标准中 d c t 变换不同的是h 2 6 4 a v c 使用一种整数变换，其基本编码特性与4 x 4 的二 维d c t 变换相似，将二维整数变换分解为一维整数，变换先进行行整数变换再进 行列整数变换。在变换过程中系数均为整数保证了编解码端的数据可以精确匹配， 整数变换是和量化紧密结合在一起的，在整数变换过程中所有的系数都会扩大相 应的倍数，结合量化可以减少复杂度和提高量化精度。 第二章视频转码技术研究现状 7 基于空域的帧内预测技术 视频编码是通过去除图像的空间与时间相关性来达到压缩的目的。空间相关 性通过有效的变换来去除，如d c t 变换、h 2 6 4 a v c 的整数变换；时间相关性则 通过帧间预测来去除。这里所说的变换去除空间相关性，仅仅局限在所变换的块 内，如8 x 8 或者4 x 4 块，并没有块与块之间的处理。h 2 6 3 + 与m p e g 4 引入了帧 内预测技术，在变换域中根据相邻块对当前块的某些系数做预测。h 2 6 4 a v c 则 是在空域中，利用当前块的相邻像素直接对每个系数做预测，更有效地去除相邻 块之间的相关性，极大地提高了帧内编码的效率。h 2 6 4 a v c 基本部分的帧内预 测包括9 种4 x 4 亮度块的预测( i n t r a4 x 4 ) ，4 种1 6 x 1 6 亮度块的预测 ( i n t r a1 6 x 1 6 ) 和4 种色度块( i n t r a8 x 8 ) 的预测。i n t r a4 x 4 模式由于块尺寸 较小，比较适合于编码细节丰富的图像，且能获得较小的差值，但同时若采用较 多i n t r a4 x 4 的模式，则会增加帧内编码复杂度。i n t r a1 6 x 1 6 比较适用于编 码图像中的平滑区域。 运动估计 h 2 6 4 a v c 的运动估计具有3 个新的特点1 4 像素精度的运动估计；7 种大 小不同的块进行帧间预测；前向与后向多帧参考。h 2 6 4 a v c 的帧间预测中，一 个宏块( 1 6 x 1 6 ) 可以被分为1 6 x 8 、8 x 1 6 、8 x 8 的块，而8 x 8 的块又可以分为8 x 4 、 4 x 8 、4 x 4 的块。总体而言，共有7 种大小不同的块做运动估计，以找出编码效率 最高的预测模式。与以往标准的p 帧、b 帧不同，h 2 6 4 a v c 采用了前向与后向 多个参考帧的预测。半像素精度的运动估计比整像素运动估计有效地提高了压缩 比，而1 4 像素精度的运动估计可带来更好的压缩效果。 编码器中运用多种大小不同的块进行运动估计，可节省1 5 以上的比特率( 相 对于只有1 6 1 6 的块) 。运用1 4 像素精度的运动估计，可以节省2 0 的码率( 相 对于整像素预测) 。多参考帧预测方面，假设用5 个参考帧预测，相对于一个参考 帧，可降低5 0 o , - , 1 0 的码率。以上百分比都是统计数据，不同视频因其细节特征 与运动情况而有所差异。 帧编码和场编码自适应方式选择 对于运动量较小的图像序列，帧编码邻行之间空间相关性大，故采用帧编码 模式；对于运动量大的，场编码邻行间的时间相关性大，故采用场编码模式。有 时同一帧中有部分内容运动量大，有一部分内容运动量小，则可在帧编码中进 一步分成图像自适应帧场( p a f f ) 和宏块自适应帧场( m b a f f ) 等模式。 熵编码自适应技术 在h 2 6 4 a v c 中采用了两种自适应的熵编码：上下文自适应变长编码 ( c o n t e x t - a d a p t i v ev a r i a b l e 1 e n g t hc o d i n gc a v l c ) 和上下文自适应二进制算术编码 ( c o n t e x t a d a p t i v eb i n a r ya r i t h m a t i cc o d i n gc a b a c ) ，它们都利用待编码视频信息邻 h 2 6 4 a v c 空间分辨率转码研究与实现 近己编码像素的统计特性，因而码率压缩比( 编码效率) 进一步提高，而后者编码 效率更高，但计算更加复杂些。 去块效应滤波器 h 2 6 4 a v c 标准引入了去块效应滤波器，对块的边界进行滤波，滤波强度与 块的编码模式、运动矢量及块的系数有关。去块效应滤波器在提高压缩效率的同 时，改善了图像的主观效果。 h 2 6 4 a v c 中率失真优化技术 不同于以往的编码标准，在h 2 6 4 a v c 标准中采用了率失真优化技术( r a t e d i s t o r t i o no p t i m i z a t i o n r d o ) 。h 2 6 4 a v c 的运动估计与模式选择算法有低复杂 度模式和高复杂度模式之分。在参考软件实现中由r d o 选项来设定：当r d o 设 置为o f f 时，为低复杂模式，设置为o i l 时，则为高复杂模式；低复杂度模式虽然 能加快h 2 6 4 a v c 的编码速度，但其编码效率远不如高复杂度模式，而h 2 6 4 a v c 的强大优势恰恰在于其高压缩的编码效率方面。 2 3 漂移误差 视频转码中存在两种类型的误差：一是由于量化系数改变所带入的再量化误 差；二是转码过程中所积累的漂移误差。下面结合图2 3 所示的一个完整视频转 换编码系统对视频转码中的漂移问题进行分析。图中转码器由转码器解码侧和转 码器编码侧构成，它们是一个统一的整体，而转码系统中头端编码器生成转码输 入码流，末端解码器对转码器输出码流进行解码恢复。 l 头端编码器l _ 互 l 纂翟蒿 一 羹翟盖 ，上兰一末端解码器i 转码器 图2 3 完整的视频转换编码系统 再量化误差是指转码过程中为了达到降低码率目的，转码器编码侧再量化时 采用了比头端编码器中更大的量化步长时所引入的误差。再量化误差是转码器所 固有的，不可避免也无法消除。 漂移误型1 3 ( d r i f te r r o r ) 是指由于转码器头端编码器和末端解码器重构帧的失 配引起的累加误差，若不消除漂移误差，它会导致解码恢复图像质量在一个g o p 间隔内逐步恶化。接下来我们对漂移误差形成原因进行分析并提出消除方法。 根据运动补偿算法，解码恢复后的图像应该满足如下条件： 砰= 巧，n = 0 ，1 ，- 1 ( 2 1 ) 其中掣，芹和分别代表解码器、编码器中的重构帧和一个g o p 图像组长 第二章视频转码技术研究现状 9 度。 其中对于i 帧有： p ：= p ：，n = 0 ( 2 2 ) 对于p 帧有： g = 牟= 巳+ m c ( 碟1 ) ，1 s 刀n - 1( 2 3 ) 式中指当前帧与参考帧之间的残差值，m c ( p a 。_ 。) 指对当前帧的参考帧进行 运动补偿，得到当前帧的预测值。式( 2 - 2 ) 和式( 2 3 ) 表明，对于i 帧，解码重构 图像等于编码重构图像，对于p 帧，解码重构图像等于残差值与预测值之和。若 预测值和残差值都不存在任何偏差，则解码过程不会带入额外的漂移误差。而当 其中任何一个出现误差必定会使解码恢复图像出现偏差，如果解码恢复图像同时 又作为下一帧的参考图像，则误差将会传递并积累下去，而产生漂移误差。 图2 4 描述了一个无漂移误差的级联全解码全编码转码器基本框图。为了便 于分析，这里假设转码过程中不改变再量化系数，不同时进行码率转码( 则此时不 存在量化误差) 以及假定d c t 、i d c t 和m c 操作是线性运算。在此基础上，我们 结合图2 5 开环转码器对漂移误差的形成进行分析。 r 礴西氟 结合图2 4 有 图2 4 级联全解码全编码转码器 砰- e ；占+ m c ( 礞。) = 砰一m c ( p 。r _ 。) ( 2 4 ) ( 2 5 ) l o h 2 6 4 a v c 空间分辨率转码研究与实现 群= d 一( 一。t ) = d c t ( 砰一m c ( p 。r _ 。) ) = d c t ( e s + m c ( 攀。) - m c ( p 。r _ 。) ) ( 2 6 ) = d c t ( 。s ) + d c t ( m c ( 硭。) 一m c ( ，) ) = 群( n ) + d c t ( a m c ) 式中 a m c = ( m c ( e s 。) 一m c ( 一 ，) ) ( 2 - 7 ) 对于图2 5 所示的开环转码器，输入码流使用的量化系数为q ，输出码流采 用量化系数q ，进行再量化，从图2 5 知： 研( n ) = 霹( ，1 ) ( 2 培) 对比式( 2 6 ) 和式( 2 8 ) ，漂移误差矗，( ，1 ) 可表示为： 群( 胛) = 辟( n ) + d c t ( a m c ) ( 2 9 ) d 。( 以) = 霹( n ) 一耳( n ) = d c t ( a m c ) ( 2 - 1 0 ) ( n ) ( n ) 图2 5 开环转码器 在转码过程中，式( 2 1 0 ) 中的漂移误差如果不加以补偿，就会在一个g o p 期间造成转码误差的传递与积累，导致图像质量逐步恶化，因此必须对漂移误差 进行消除。 图2 。4 中的无漂移操作是通过在编码侧使用反馈环补偿差错实现的，因而基 于转码质量的考虑，转码结构应使用反馈环对误差进行补偿以消除漂移误差。 视频转码器的设计目标是消除转码中的漂移误差影响，提高解码恢复图像质 量，降低转码运算复杂度，在转码质量和转码复杂度之间达到最佳的折衷，因此 设计转码器时要优先考虑采用反馈环补偿差错以消除漂移误差。 第二章视频转码技术研究现状 2 4 视频转码技术研究 2 4 1 比特率转码 最早的视频转码研究主要集中在降低输入视频码流的比特率以满足网络的传 输带宽或者使其与特定的编码类级相兼容。全解全编结构是实现比特率降低的最 直观最简单的转码框架，但是，由于重新编码过程需要复杂度很高的运动估计和 模式选择过程，这种直接的架构很难达到实时的视频转码要求，这就极大的限制 了比特率降低视频转码器的使用。因为在很多情况下，这种类型的视频转码器都 配置在服务器端( s e r v e r ) 或者代理端( p r o x y ) ，它们需要根据实际需求实时的完成码 流的转换。因此，比特率降低的视频转码研究，关键在于在保持一定图像质量的 前提下，有效的利用原始码流中的编码信息来降低重新编码的复杂度。 r h 一碎码端一。一。 v l c ：变长编码 v l d ：变长解码 d c t ：离散余弦变换 i d c t , 反d c t 变换 r ：参考帧 m e t 运动估计 m c ：运动补偿 q 一：输入流反量化 g ：目标码流量化 岛+ ! 目标码流反量化 k 一 频域+ k 一 守域习 图2 6 全解全编级联转码器 对比特率转码的研究主要集中在有效转码结构的探讨上，这些结构主要分为 两大类：开环转码结构和闭环转码结构。 在开环结构的视频转码器中，通过可变长解码和反量化后，直接按照新的码 率进行重新量化和编码，因此其运算复杂度低，转码速度快，而且转码结构简单， 容易实现。但是因为在转码过程中存在漂移误差会导致转码后图像有很大的损失。 为了克服这种漂移误差带来的较大图像失真，又引入了闭环结构的视频转码器， 闭环结构转码器在编码部分引入了闭合回路补偿差错来消除漂移误差的影响。 闭环转码结构又可以分为像素域的级联转码结构和频域转码结构。 1 2 h 2 6 4 a v c 空间分辨率转码研究与实现 r 礴面磊一一一； k 一频域_ 牛一空域一 图2 7 像素域转码结构 像素域的级联转码结构与全解全编的级联转码结构相比，部分编码不做运动 估计，而是将解码出的运动矢量直接映射到编码器中，但是它需要将原始数据解 码到像素域对漂移误差进行补偿。 在像素域的转码结构中，有两个功能模块：时间空间分辨率下降( s t r ) 模块 和运动矢量复用及精细化( m v c r ) 模块。s t r 允许该转码结构进行时间和空间 分辨率调整操作：而m v c r 功能块则是在时间和空间分辨率发生变化时对运动矢 量进行相应的调整。如果该转码结构不进行时空分辨率的转换，则可以进一步简 化为下图2 8 所示转码结构。 ：1 解码端 f 二二二赢i 一二二二二二二j f 二二至獗二二二习 图2 8 简化的像素域转码结构 第二章视频转码技术研究现状 为进一步简化计算，在假设d c t 、i d c t 和m c 是线性运算的基础上，通过 对上图的分析，我们可以得到一个功能相同但结构更加简化的频域的转码结构 【1 4 】【1 5 】【1 6 】【1 7 ，如图2 9 所示。 一。一一一。一。一一一一。一一一一一一一。i 解码端 一至一一一_ 一i i 一歹 图2 9 频域转码结构 在这个转码结构中，解码端只是进行了变长解码和反量化得到宏块d c t 值。 在编码端，运动补偿残差通过重新量化和变长编码得到目标码流。编码端缓存里 存放反量化后的d c t 值，然后此值被反馈到频域运动补偿模块从而对漂移误差进 行补偿，此结构即为频域转码结构。 与简化的像素域转码结构相比，它省掉了d c t i d c t 操作。在此结构中，频 域的运动补偿是最耗时的操作，其目标是从参考帧的交叠块中计算出与当前帧的 宏块对应的目标宏块的d c t 系数。 有关频域运动补偿的信息可以在文献【i 8 】中得到。针对频域的运动补偿操作的 计算量简化，目前已提出一些方法【1 9 】。例如，利用d c t 块的能量集中在低频部 分的特点进行简化、矩阵分解或者将二维的m c 视为2 个一维的操作。 频域的转码结构需要的运算量较小，但是由于一些非线性的操作，比如子像 素的运动补偿，d c t 系数限幅( c l i p ) 等会导致一些漂移误差的存在，并且它的灵活 性不是很强，例如当要求改变运动矢量、改变帧编码类型时，就很难采用这种体 系结构，频域结构的空间分辨率转码则会导致视频质量的大幅下降，因此频域转 码主要应用于比特率转码中。 1 4 h 2 6 4 a v c 空间分辨率转码研究与实现 2 。4 2 分辨率转码 随着无线通信技术的发展，使用手机、个人数字助理等终端移动设备访问视 频内容变得越来越普及。由于移动设备的显示能力和网络带宽的限制，需要对视 频内容的空问分辨率和时间分辨率进行调整。 时间分辨率转码也就是帧率变换，其主要研究的是：帧率调整策略和调整后 帧格式的转换问题，参考帧丢失后受影响的运动矢量重新估计问题。然而，有时 即使经过时间分辨率下采样，还是不能满足网络带宽的要求，此时要求进一步进 行空间分辨率转码。 空间分辨率转码是目前视频转码技术中特别是视频码流从有线网络传输到无 线网络上时的一个研究热点，它不仅能满足相应设备显示分辨率的要求，也大大 地降低了比特率，节省了传输带宽。 空间分辨率降低转码涉及的主要技术有：转码结构设计、图像缩放技术，运 动矢量复用技术、输出宏块编码模式判决技术等，下面将简单介绍一下。 2 4 2 1 空间分辨率转码器基本结构 视频空间分辨率转码是指通过改变输入码流中图像的空间分辨率，将图像从 一种分辨率缩小为另一种分辨率以满足视频终端显示和网络带宽要求的过程。 视频空间分辨率转码主要有以下三种转码结构：开环转码器，像素域级联转 码器、像素域高效转码器。每种转码器各有优缺点，是权衡视频质量和算法复杂 度的结果，适合于不同的环境和要求。下面分别介绍这几种转码器结构。 a 开环转码器 开环转码结构如前文所述，实现结构简单，直观，但是由于其会引入漂移误 差而无法消除，从而导致解码恢复图像质量显著的下降，因此在空间分辨率转码 中，很少使用开环转码结构。 b 像素域级联转码器 最简单的空间分辨率转码实现方式是将输入码流完全解码到像素域，对解码 数据进行下采样，然后再重新进行运动估计、d c t 变换、熵编码等编码操作，最 终得到目标码流，即采用全解全编的级联转码结构，如图2 1 0 所示： 第二章视频转码技术研究现状 f 二二二荔i 。二二二二二j f 二。两i 。二二习 图2 1 0 像素域级联转码器 图中s r ( s p a t i a lr e s o l u t i o nr e d u c t i o n ) 指视频转码中的空间分辨率降低模块。 这种全解全编的像素域级联转码结构，其解码部分、图像缩放模块、再编码 部分相互独立，转码结构灵活，转码后解码恢复图像质量高，但是由于它要重新 进行运动估计、宏块编码模式判决等编码操作，运算量大，不能适应实时转码要 求，因而它仅适用于对转码质量要求高而实时性要求不太高的场合。 c 像素域高效转码器 全解全编的级联转码结构计算复杂度高，实用的转码器一般是在上述结构的 基础上采取了许多优化措施，譬如，在解码环路中利用输入码流中如视频序列头 信息、宏块编码模式信息、运动矢量信息、频域压缩信息等，在保持视频质量下 降不大的条件下，尽可能降低转码运算复杂度。 像素域高效转码器是在全解全编级联转码器的基础上，通过复用输入码流中 的图像头信息、运动矢量、宏块编码类型、预测残差等信息，简化编码端模式判 决、运动估计等操作以降低转码运算复杂度，同时在转码框架中保留了反馈环， 对漂移误差进行补偿，保证了转码视频质量。其转码结构如下图2 1 l 所示。 1 6 h 2 6 4 a v c 空间分辨率转码研究与实现 碡西磊一! 图2 1 1 像素域高效转码器 图中m v c r ( m vc o m p o s i t i o na n dr e f i n e m e n t ) 指转码操作时因进行空间分辨率 降低而对m v 的合成和细化处理，其具体算法在后续章节介绍。 高效转码器与像素域级联转码器结构类似，都在编码部分使用了反馈环补偿 差错消除漂移误差。 与像素域级联转码器相比，高效转码器充分利用输入码流信息，省略了复杂 的运动估计过程，降低了转码器的运算复杂度，提高了转码应用的实时性。 综上所述，高效转码器在保证转码质量的前提下，降低了转码运算的复杂度， 提高了转码应用的实时性，是一种较优的转码方案。 2 4 2 2 空间分辨率转码关键技术 a 宏块模式预测技术 将视频码流转码生成一个较低空间分辨率时，要将原视频中的多个候选宏块 下采样后变为一个宏块。在候选宏块中可能既有i n t r a 宏块又有i n t e r 宏块，如何 从原始码流中相关宏块的编码模式中估计低分辨率下新宏块的编码模式的映射， 即低分辨率下宏块编码模式的判决是一个很重要的问题。 图像分辨率转码前后宏块不是一一对应，宏块信息不能简单的复用。但是由 于输入输出码流只是图像大小发生变化，因此它们之间具有一定的相似性，利用 这种相似性，根据输入宏块编码模式，可以确定新宏块编码模式，从而简化转码 中的模式判决部分，降低转码运算复杂度。 b 运动矢量复用技术 第二章视频转码技术研究现状 1 7 空间分辨率转码前后的宏块不再是一一对应的关系，因而原始码流中的运动 矢量不再有效，需要重新映射新宏块的运动矢量。 运动矢量复用分为两个过程：首先根据输入运动矢量通过合适的运动矢量合 成算法合成下采样宏块的运动矢量；其次在合成运动矢量的基础上，对其进行一 个小范围的搜索，找出较优的运动矢量。若合成得到的新运动矢量比较精确，则 运动搜索时搜索步长可以设置的较小一点，反之则要加大搜索步长，以期得到精 确的运动矢量。 在过去几年中，运动矢量合成算法得到了深入研究，比较常见的算法有平均 值法、加权平均法、中值法等。下面以图像2 ：1 下采样时为例介绍几种运动矢量 合成技术。 1 ) 平均值法 当原始视频帧中相邻宏块的运动状态较一致时，即它们水平、垂直方向运动 分量都比较接近，一个简单的运动矢量合成方法是取四个相邻宏块的运动矢量的 平均值，即分辨率下采样后宏块的运动矢量可以通过下式求得： m v ：土y 聊u ( 2 1 1 ) a _ j ri = l 而当遇到四个运动矢量比较分散或者其中某一个宏块的运动矢量明显不同于 其余三个时，这种求平均的方法会产生很大的误差2 0 1 2 1 ，导致转码视频质量下降。 2 ) 加权平均法 平均值法，直接对输入运动矢量求平均值，并没有考虑输入宏块不同贡献程 度，而实际上这四个宏块可能有不同的活动性，文献2