（通信与信息系统专业论文）mpeg4标准内视频编码转换研究与实现.pdf

摘要 随着多媒体应用的发展，越来越多的场合要求视频数据能在不同格式、不同 标准间进行交互。为了使异构网络之间、不同种类的终端设备之间能够无缝连接， 压缩视频流的编码转换成为视频通信的研究热点之一。 早期转码技术主要关注于降低比特率以适应信道传输带宽的要求，而随着时 间的推移，移动视频应用得到越来越广泛的应用，其终端设备显示尺寸、功耗等 资源有限，使得帧率转码和图像分辨率转码也成为研究的重点。 本文基于m p e g 4 视频编码标准，重点研究标准内的高效转码技术。首先简 要介绍了视频转码的基本概念和m p e g 4 的编解码流程，研究并分析了m p e g 4 标准内级联转码器的性能，以用作高效转码器的参考。然后，对于比特率降低转 码，分别针对i - v o p 和p v o p 给出了实现方案，在复用宏块模式和运动矢量的基 础上，提出了帧间宏块的快速判决策略；对于分辨率降低转码，分别对2 ：l 比例 和任意比例分辨率转码提出了相应的运动矢量合成、细化，以及分辨率变换后宏 块模式的快速判决等方法；对于帧率降低转码，详细研究转码中的关键技术，包 括丢帧策略、运动矢量的重建和宏块模式的快速判决等，提出并实现了高效的帧 率转码方法。 最后的实验结果表明，与级联转码器相比，在相同转码参数配置下，使用高 效转码器可以大大降低运算复杂度，恢复视频质量良好，且算法可用于实际视频 转码系统中。 关键词：m p e g - 4 标准内转码比特率降低分辨率降低帧率降低 a b s t r a c t w i t ht h ed e v e l o p m e n to fm u l t i m e d i aa p p l i c a t i o n s ，a n i n c r e a s i n gn u m b e ro f o c c a s i o n sr e q u i r ev i d e od a t af o ri n t e r a c t i o na m o n gd i f f e r e n tf o r m a t sa n ds t a n d a r d s t o r e a l i z es e a m l e s sc o n n e c t i o ni nh e t e r o g e n e o u sn e t w o r kb e t w e e nd i f f e r e n tt y p e so fa c c e s s d e v i c e s ，t h et r a n s c o d i n go fc o m p r e s s e dv i d e os t r e a mh a sb e c o m ear e s e a r c hh o t s p o to f v i d e oc o m m u n i c a t i o n e a r l yv i d e ot r a n s c o d i n gm a i n l yc o n c e r n e di nr e d u c i n gb i t - r a t et om e e lt h e b a n d w i d t hr e q u i r e m e n t so ft r a n s m i s s i o nc h a n n e l n o w a d a y s ，m o b i l ev i d e oa p p l i c a t i o n s a r eb e i n gw i d e l yu s e d f o rt h el i m i t e dd i s p l a ys i z eo ft e r m i n a le q u i p m e n t sa n dl i m i t e d p o w e rr e s o u r c e s ，f r a m er a t et r a n s c o d i n ga n di m a g er e s o l u t i o nt r a n s c o d i n gh a sb e c o m e t h ef o c u so ft h es t u d ya l s o t h i sp a p e ri sb a s e do nm p e g - 4s t a n d a r d ，m a i n l yf o c u s i n go nh o wt oa c h i e v eh i g h e f f i c i e n th o m o g e n e o u st r a n s c o d i n g f i r s to fa l l ，w e b r i e f l yi n t r o d u c et h eb a s i cc o n c e p t s o fv i d e ot r a n s c o d i n ga n dt h em p e g - 4v i d e oc o d e c w es t u d ya n da n a l y z et h e p e r f o r m a n c eo fc a s c a d e dh o m o g e n e o u st r a n s c o d i n gw h i c hi st ob eu s e da st h er e f e r e n c e o f h i g he f f i c i e n th o m o g e n e o u st r a n s c o d i n g f o rt h eb i t - r a t er e d u c t i o n , w ef i r s t l yp r o p o s e t h er e a l i z a t i o nm e t h o d sf o ri - v o pa n dp v o pr e s p e c t i v e l y , a n dt h e np r e s e n taf a s t d e c i s i o no fi n t e r - f r a m em a c r o b l o c ko nt h eb a s i so f r e u s i n gm a c r o b l o e km o d e i n f o r m a t i o na n dm o t i o nv e c t o r s f o rt h er e s o l u t i o nr e d u c t i o n ，w ep r o p o s ed i f f e r e n t m e t h o d sf o r2 ：1r a t i or e s o l u t i o nr e d u c t i o na n da r b i t r a r yr a t i or e s o l u t i o nr e d u c t i o n ， i n c l u d i n gc o r r e s p o n d i n gm o t i o nv e c t o rs y n t h e s i sa n dr e f i n e m e n ta sw e l la sf a s td e c i s i o n o fm a c r o b l o c km o d ea f t e rr e s o l u t i o nt r a n s f o r m a t i o n f o rt h ef r a m er a t er e d u c t i o n ，w e r e s e a r c hs o m ek e yt e c h n o l o g i e si nd e t a i l ，s u c ha sf r a m es k i p p i n gs t r a t e g y , m o t i o nv e c t o r r e c o n s t r u c t i o na n dr e f i n e m e n t ，f a s td e c i s i o no fm a c r o b l o c km o d e ，a n di m p l e m e n tt h e h i g he f f i c i e n tf r a m er a t er e d u c t i o nt r a n s c o d i n g c o m p a r e dw i t h t h ec a s c a d e dt r a n s c o d i n ga n du n d e rt h es a m et r a n s c o d i n g c o n f i g u r a t i o np a r a m e t e r s ，t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h eh i g he f f i c i e n t t r a n s e o d i n gc a ns i g n i f i c a n t l yr e d u c et h ec o m p u t i n gc o m p l e x i t ya n dr e s t o r et h eg o o d q u a l i t yo fv i d e o ，a n dc a nb eu s e di nt h ea c t u a lv i d e ot r a n s c o d i n gs y s t e m k e y w o r d ：m p e g - 4h o m o g e n e o u st r a n s e o d i n gb i t - r a t er e d u c t i o n r e s o l u t i o nr e d u c t i o nf r a m er a t er e d u c t i o n 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学分和优良的科学道德，本人声明所呈交的论文是我个人在导 师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注 和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果； 也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明 并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：鲧在! ! j日期2 2 颦。互血 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保留 送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容， 可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后结合 学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 第一章绪论 第一章绪论 1 1 研究背景 视频压缩编码是一种适用于许多应用领域的开放性技术，广泛应用于国际互 联网上的视频传送以及视频编辑存储等各个方面。不同的应用对视频编解码器、 视频数据存储格式、网络传输设备等都有不同的要求。为了适应不同的应用，国 际组织制定了一系列的视频压缩编码标准【1 】【2 】【3 】，如：h 2 6 x 用于可视电话和视频 会议等场合；m p e g 1 主要适用于数字视频存储( v c d ) ；m p e g 2 标准面向数字 视频广播、高清晰数字电视( h d ) 和d v d ；m p e g 4 标准采用基于对象的编 码，提供了更高的编码效率，它的甚低码率编码更适用于移动视频终端以及因特 网上的流媒体等应用。 随着多媒体应用的发展，越来越多的场合要求视频压缩数据能够在不同格式、 不同标准间进行交换【4 】【5 】【6 】【7 】。为了使得异构网络之间、不同种类的接入设备之间 以及不同媒体数据格式之间能够无缝连接，压缩视频流之间的转换编码成为新的 研究方向。如图1 1 所示。 巍2 5 6 k b p s 国i i 、l 2 5 帧秒l k c l f 大小、l u 网络4 ： 4 m b p s 2 5 帧秒 c i f 大小 m p e g 2 标准 多媒体网络 视频服务器 0 图1 1 异构网络中的视频转码 网络2 ： 6 4 k b p s 2 0 帧秒 q c i f 大小 m p e g - 4 标准 网络3 ： 9 6 k b p s 2 5 帧秒 q c t f 大小 h 2 6 3 标准 如前所述，针对不同应用环境，国际标准化组织已经制订出许多国际视频压 缩编码标准。这些标准在编码框架、码流构成等方面既有区别，又有共同点，部 分标准文本还相互引用，这就使得不同标准间的兼容和转换具有可行性。为促进 电信、计算机、电视三网以及不同载体间资源共享，迫切需要研究音视频编码标 准相关的转换技术。 卣1歹 q 2m p e g - 4 标准内视频编码转换研究与实现 不同用户终端( 可以是视频工作站、家用电脑、移动电脑或是手机等通信设 备) ，通过不同的网络( 如：局域网( u ，l o c a la r e an e t w o r k ) 、无线局域网 ( w i r e l e s sb ) 、综合业务数字网( i s d n ) 或是电话线拨号上网等) ，透明地请 求和接收各种各样的视频服务( 包括视频广播、视频会议、视频点播、交互视频、 视频监控等) ，从而实现通用多媒体访问( u m a ，u n i v e r s a lm u l t i m e d i aa c c e s s ) 的 功能。不同终端的处理能力、存储能力和显示能力各不相同，终端的视频解码器 类型也各有差异。这些异构网络除带宽不同外，在误码比特率和数据包丢失率等 方面也不同。另外，由于各种编码标准的存在，使得大量的视频数据按照不同的 标准和格式压缩编码，分布存储在不同的设备上。 国外对转换编码器的研究最早是通过频率截去的方法实现视频流码率的变 换。此后，对转换编码器的结构和码率控制算法的研究广泛展开，其中许多方法 虽然具有好的效果，但考虑到实时性以及复杂程度的要求，这些算法无法实用化。 随着多媒体应用的发展，仅降低比特率的转码已不能满足需要，其后陆续有对图 像分辨率转码、帧率转码和不同标准间转码的研究。转码中的关键问题成为研究 的热点，包括不同标准间对应数据的映射；新的运动矢量映射问题；像素域转换 时纹理数据的处理；以及相关的压缩域图像视频处理算法和编码器性能优化等研 究。 综上所述，随着多媒体应用的发展，越来越多的场合要求视频数据能在不同 格式、不同标准间进行交换。为了使得异构网络之问、不同种类的接入设备之间 能够无缝连接，需要研究压缩视频流之间的转码。不同时期、不同用途的多媒体 终端使用多种不同的视频编码标准，要实现它们之间的互连互通，也必须研究视 频编码转换算法。 1 2 视频转码的基本内容 视频转换编码( v i d e ot r a n s c o d i n g ) 是一种处理过程，它对输入的压缩码流进行 端到端的处理，使得转码后的压缩码流更能适应传输信道带宽及终端的需要。它 包括对视频压缩标准、比特率、空间分辨率、帧率的转换以及在视频流中嵌入图 标、水印信息、差错控制数据等操作，如图1 2 所示。 压缩视频流l 码率：r i 帧率：f 1 分辨率，s i 编码标准；c l 图标、水印 图1 2 视频转换编码 压缩视频流2 码 率：r 2 帧率：f 2 分辨率：s 2 编码标准：c 2 第一章绪论 视频转码的目的是通过研究各种视频转码算法，将压缩视频流变换成适合于 各种网络传输要求、各种视频设备，以及各种用户终端的形式，以实现不同应用 环境中使用不同编码标准的数字视频系统之间的兼容性，实现不同格式多媒体资 源间的透明使用。转码的基本原则是在环境和处理能力受限的情况下，在码流转 换的质量和复杂性之间取得最佳折衷。实现的关键是对压缩视频码流中的压缩数 据进行复用，避免重新编码中的复杂运算。 要实现压缩码流转换，最直接的方法就是把一个解码器和一个编码器以级联 的方式组合到一起，对输入的码流完全解码到像素域，然后对这些数据作相应的 操作，最后再用新的编码器对处理后的像素域数据编码，生成转换后的压缩码流。 这种方法，解码和编码都是相对完整和独立的，所以在视频转码时有很大的灵活 性，它可以在不同的比特率、不同的帧速率、不同的图像分辨率、不同的编码模 式和不同的编码标准间进行转码，且图像质量高。现在一些公司推出的具有转码 功能的设备，就是基于这种全解码重新编码方式实现的。但是，这种方法包含了 一次完整的解码和编码过程，重编码时运动矢量的重新估计的耗时，以及编、解 码中各自重构参考帧环路的存在，使得这种框架的转码效率极其低下，普通的终 端难以靠纯软件实现实时的转码操作。综上所述，转码后的质量、转码算法的复 杂度、转码的灵活等构成了转码研究中相互制约的几个方面，必须综合考虑，如 图1 3 所示。 质量 运算 复杂度 图1 3 视频转码的多维问题 通常可以把转码分为两大类： ( 1 ) 同类视频转码，主要研究同一种编码标准下的压缩视频流的转码，即把 同一种编码标准的视频数据流从适合于某一传输环境的压缩形式转换成适合于另 一传输环境的压缩形式。主要技术包括码率转码、分辨率转码、帧率转码，运动 矢量重用以及压缩域转码等。 ( 2 ) 为提供不同压缩编码标准视频系统间的互操作性，需要将压缩视频码流 从某一种压缩编码标准转码成为另一种视频压缩编码标准的码流，称为不同种类 视频转码。这种转码可以为不同网络技术间提供透明连接，一般用于具有相似压 缩算法的标准间的转换，如均为基于帧间运动补偿、帧内d c t 变换( d i s c r e t ec o s i n e t r a n s f o r m ) 、量化( q u a n t i z a t i o n ) 的多种编码标准之间的转码，包括m j p e g ，h 2 6 x ， 4 m p e g - 4 标准内视频编码转换研究与实现 m p e g 1 2 4 等。 国内外对转换编码最早的研究是从同类视频转码开始的，包括码率转换、分 辨率转换( 如高清晰度电视到标准清晰度电视) 、帧率转换( 如视频监控) 等。而 不同种类的视频转码目前也在研究中，例如m p e g 2 到h 2 6 3 的转码，m p e g 2 到m p e g 4 的转码，h 2 6 3 到m p e g - 4 的转码等等。不同种类的视频转码往往也 提供同类视频转码的功能，因此有些同类视频转码的技术同样能应用在不同种类 视频转码中。 1 3 本文内容和结构安排 本文对m p e g 4 标准内的高效转码做了大量的研究和实验。在介绍了视频转 码的基本内容和m p e g 4 编码标准的基础上，首先实现了m p e g - 4 级联转码器。 其次，通过分析级联转码器的性能提出了利用复用输入码流解码后得到的宏块 模式信息和运动矢量实现高效转码的方法，为高效转码的实现提供了参考依据。 接下来，分别针对标准内转码涉及的码率降低转码、图像分辨率降低转码和帧率 降低转码提出了各自的高效转码实现方案，并对其中涉及到的宏块模式判决、运 动矢量复用等关键技术进行了详细研究。实验结果表明，在相同转码参数配置下， 高效转码器相比级联转码器大大降低了复杂度，恢复视频质量良好。 论文结构安排如下： 第一章主要介绍了视频转码的背景和意义，视频转码的基本内容。 第二章介绍了m p e g 4 视频压缩标准以及m p e g - 4 的编解码流程，还给出了 m p e g - 4 级联转码框架的实现。 第三章研究并实现了基于m p e g 4 的比特率高效转码方法，给出了实验结果 及其性能分析。 第四章研究并实现了基于m p e g 4 的分辨率高效转码方法，其中包括2 ：l 比 例分辨率下采样和任意比例分辨率下采样转码，给出了实验结果及其性能分析。 第五章研究并实现了基于m p e g 4 的帧率高效转码方法，给出了实验结果及 其性能分析。 第六章对全文进行了总结，并指出今后的研究方向。 第二章m p e g - 4 标准与级联转码的实现 第二章m p e g 4 标准与级联转码的实现 2 1m p e g 4 视频编码标准 m p e g 4 标准为综合多媒体应用提供解决方案，服务范围扩展到移动电话、专 业视频编辑、网络交互点播和视频通信等诸多领域。m p e g - 4 定义着眼于下述两个 方面：( 1 ) 极低比特率下的多媒体通信；( 2 ) 多媒体技术的融合。即在提高压缩 效率的同时，增强音频和视频对象的交互功能。为了实现视觉目标的交互性， m p e g 4 编码采用了基于目标的编码算法，目标中的像素被看成不可分割的整体， 具体到视频的每一帧，编码过程中都可以被分解成任意形状的v o p ( v i d e oo b j e c t p l a n e ，视频对象平面) ，且编码对象不仅可以作用于整个矩形区域，也可作用在某 一特定对象v o p 上。 2 1 1m p e g 4 视频压缩算法 m p e g - 4 标准以h 2 6 3 标准的基本框架的语法和算法为基础，所有符合 m p e g 4 标准的解码器应该能够正确解码符合h 2 6 3 基本框架的码流。在h 2 6 3 基 础上，m p e g 4 标准将一些h 2 6 3 附录中的编码算法集成在一起，并加入了其它编 码方法，形成了m p e g 4 的简单框架。新加入的算法在提高压缩比、增强抗嗓性 能以及增强码流的扩展性方面表现出明显的优越性。 m p e g 2 使用了视觉量化矩阵，对不同的d c t 交流( a c ) 系数使用了的不同的 量化步长，而h 2 6 3 对所有a c 系数使用了相同的量化步长。m p e g 4 中融合了 h 2 6 3 和m p e g 2 的量化方法，编码器可以选择使用m p e g 2 类型或h 2 6 3 类型的 量化方法。此外，m p e g 4 为直流( d c ) d c t 系数提供了一种非线性预测方式，同 时为帧内宏块设计了专用的数据扫描顺序和v l c 码表，这种方法与h 2 6 3 的附录 i 相似，可以明显提高帧内宏块数据的压缩比。m p e g 4 的简单框架中，运动补偿 数据块的尺寸为1 6 x 1 6 或者8 x 8 ，运动矢量的精度为半像素，半像素图像由整像素 图像数据进行双线性插值得到。m p e g 4 允许运动矢量指向图像的外部，图像边缘 之外的数据使用图像的边缘数据填充。为了降低d c t 变换的块效应，m p e g 4 解 码器在重构解码图像后，对重构图像进行去块效应滤波。这种滤波处理与h 2 6 3 标准的附录j 不同，附录j 中的去块效应滤波器存在于编码器和解码器的运动补偿 环路中，对用于运动估计脾i 、偿的参考图像进行滤波，并将滤波后的图像作为后续 编码的参考图像。通常，h 2 6 3 标准的附录j 的滤波方法称为环路滤波，而m p e g 4 6 m p e g - 4 标准内视频编码转换研究与实现 中采用的滤波方法称为后处理滤波。 在m p e g 4 的先进简单框架中，运动矢量的精度被扩展到l 4 像素精度，半像 素图像使用8 阶滤波器对原始图像进行滤波得到，然后再使用双线性插值得到1 4 像素精度的图像数据。同时，先进框架中加入了隔行扫描序列的专用编码算法， 全局运动估计算法，精细可分级编碉j ( f g s ) 和双向预n ( b 帧) 等技术。 除上述基于宏块的编码技术( m p e g 4 中称为纹理编码) 外，m p e g 4 标准的 其它框架中还提出了基于音视频对象的编码算法，人脸编码模型等其他技术。但 实用中的m p e g 4 系统主要还是使用了简单框架和先进简单框架中的编码技术。 2 1 2m p e g 4 视频编码流程 图2 1 给出m p e g 4 的编码框图： 图2 1m p e g - 4 视频编码框图 以编码c i f ( c o m m o ni n t e r m e d i a t ef o r m a t ，公共中间格式) 大小视频序列为 例，输入为y u v 4 2 0 格式，每个模块的功能介绍如下： ( 1 ) 从视频序列中读取一帧图像的数据，大小为3 5 2 2 8 8 1 5 字节，包含了 亮度信号和色度信号。编码是按宏块进行的，对一帧图像中所有宏块编码完成， 也就完成了对当前帧的编码。从当前原始图像中取出一个宏块用于编码，对该宏 块进行运动估计。所谓运动估计就是从上一帧图像中找出一个同当前宏块的数据 最接近的宏块，称为当前宏块的参考宏块。参考宏块同当前宏块的位置的相对值 被称为运动矢量，它也将进行v l c ( 变长编码) 编码，再写到码流中。解码器根 据运动矢量就可以找到当前宏块的参考宏块。 ( 2 ) 接下来按块进行编码( 一个宏块包含四个亮度块和两个色度块) ，按照 宏块中块排列的顺序进行。首先将当前宏块同参考宏块作差值，然后再对差值进 第二章m p e g - 4 标准与级联转码的实现 7 行编码。 ( 3 ) 对当前编码块( 或者经过运动补偿的差值) 进行d c t ( 离散余弦变换) 。 d c t 变换的主要目的是使得能量主要集中在低频部分。对高频部分，可以不编码， 或者花较小的代价进行编码。 ( 4 ) 量化模块就是对d c t 变换后的系数进行量化，也就是给它除以一个固 定值，这样使得高频部分很多很小的系数变成0 ，也使得其它系数变小，可以用较 少的比特编码。 ( 5 ) 反量化模块是量化模块的逆过程。 ( 6 ) 反d c t 模块是d c t 模块的逆过程。 ( 7 ) a c d c ( 交流系数直流系数) 预测是对当前块的第一行或者第一列系数 同它周围的某一块做一个差分值，进一步减少系数值，同样可以降低比特率，只 用于帧内编码宏块。 ( 8 ) 反d c t 后的宏块还需要做一个运动补偿得到一个当前宏块的重构值， 称为重构宏块。重构宏块的值同原始宏块的值之间有一定的误差。运动估计是为 当前宏块在前一个重构帧中寻找一个最佳匹配宏块，这样做的目的是为了使编解 码端的重构帧一致，避免“漂移 误差。 ( 9 ) 输出比特流模块。码流是由一个码流头开始的，然后才是具体的帧。因 此，在具体编码之前，输出比特流模块首先向输出流中写入码流头信息，然后写 入第一帧的内容，每一帧开始也有一个帧头信息。接下来就是具体的帧数据，帧 数据是按照宏块组织的。宏块内容包含当前宏块的编码信息，接着是运动矢量的 数据，最后是具体的宏块的数据。当前帧所有宏块的信息都写入到输出流后，紧 接着是下一个帧的数据，直到所有帧编码完成。 2 1 3m p e g 4 视频解码流程 纹理 i 图2 2m p e g - 4 视频解码框图 m p e g 4 标准内视频编码转换研究与实现 如图2 2 所示，给出了m p e g 4 视频基本的解码流程。下面按照解码顺序，进 行简单介绍： ( 1 ) 码流解析就是从码流中得到头信息，并把纹理数据送交纹理信息解码过 程，运动数据送交运动矢量解码过程。 ( 2 ) 虚线框所示为纹理解码过程。纹理数据经过v l d ( 变长解码) ，反扫描， 反a c d c 预测，反量化，反d c t 变换后，与通过运动矢量得到的参考块做运动 补偿，从而得到最终的解码输出图像。 ( 3 ) 在v l d 中纹理数据经过反游程解码后，需要进行反扫描。有三种反扫 描方式，水平交替扫描，垂直交替扫描，锯齿形扫描。对于帧间宏块，使用锯齿 形扫描。对于帧内宏块，如果头信息中的码字a cp r e df l a g 为0 ，则对宏块中的所 有块使用锯齿形扫描；反之，d c 预测方向决定了块的扫描方式。举例说明，如果 d c 预测参考水平相邻块，那么使用垂直交替扫描；反之，如果d c 预测参考垂直 相邻块，那么使用水平交替扫描。 ( 4 ) 对于帧内宏块，必须要做d c 预测，是否做a c 预测由a cp r e df l a g 决 定，当a cp r e df l a g 等于1 时，需要做a c 预测，反之不需要做。先前编码块的第 一行系数或第- n 系数都用来预测当前块的系数。在同一个块的基准下，d c 系数 预测的最佳方向也作为a c 系数的最佳预测方向。因此在一个宏块内，预测每一个 块可以使用的方式是独立的。经过a c d c 预测得到的量化系数要被限制在 - 2 0 4 8 ， 2 0 4 7 的范围之内。 ( 5 ) 通过逆量化从而产生重建d c t 系数，这个过程的本质是乘以量化步长。 量化步长有两种变化机制：一种是通过权矩阵改变一个块的量化步长，另一种使 用尺度因子在很少几个比特( 和编码整个权矩阵相比) 的花费下改变量化步长。 有两种量化方式，m p e g 量化方式和h 2 6 3 量化方式。 ( 6 ) 运动补偿解码过程包括，根据从码流中解析到的运动矢量的数据得到当 前宏块的运动矢量( 可能不止一个) ，然后根据当前宏块的运动矢量，从参考帧中 找到相应的参考宏块。如果运动矢量不是整数像素值，还需要通过内插来获得参 考宏块。 2 2m p e g 4 级联转码的实现 全解码再编码的级联方法是一种有着高复杂度的转码技术，对输入视频流进 行了两次分离操作，即完全解码和再编码过程，从而视频帧头和m b 头被重新编 码改变。由于只需将解码器和编码器串联，故全解全编级联转码器的配置比较灵 活。 第一二章m p e g - 4 标准与级联转码的实现 9 2 2 1i - v o p 级联转码实现 本文所研究的m p e g 一4 输入码流的图像类型只考虑i - v o p 和p v o p 两种，除 特别声明外不涉及双向参考帧( b v o p ) ，故本文将针对这两种图像类型分别采取 不同的转码方案。m p e g 4 标准内全解全编级联转码器i - v o p 转码框图如下所示： i 一塑攀墼卜_ 一- 。 i 量函侧主涠 jl 整像素扩边 t 反d c t 反量化 反a c d c 预测 t v l d 图2 3 级联全解全编转码器i - v o p 转码框图 左侧为级联转码器的解码器部分，左下端v l d ( 变长解码) 模块为码流输入 端口；右侧为级联转码器的编码器部分，右下端v l c ( 变长编码) 模块为码流输 出端口。分辨率转码和帧率转码都在像素域进行，即位于解码器和编码器之间； 比特率转码在编码侧通过速率控制模块来实现。 输入的已编码m p e g 4 码流经过v l d ，反a c d c 预测，反量化，反d c t ， 整像素扩边( 使运动矢量可以指向边界外) 等操作得到解码侧重构帧；然后在像 素域对得到的数据进行时间分辨率和空间分辨率变换，从而得到编码侧的原始输 入数据；然后再进行相应的编码操作，从而得到目标码流，其中速率控制模块用 于确定新的量化步长，在编码过程中的解码环路用于重构当前i - v o p 以用作下一 帧的参考。 2 2 2p v o p 级联转码实现 p v o p 全解全编的级联转码实现结构与i - v o p 是类似的，如图2 4 所示。 罱 1 0m p e g - 4 标准内视频编码转换研究与实现 图2 4 级联全解全编转码器p - v o p 转码框图 解码端对m p e g 4 输入码流进行v l d 、反量化、反d c t 得到像素域残差系数， 并通过运动补偿算法得到预测宏块系数，然后将预测宏块系数与残差系数相加并 对输出值进行整像素扩边，从而得到解码端重构图像；在像素域对输出数据进行 时空分辨率变换；编码端通过运动估计和运动补偿操作获得最佳的宏块判决模式 和相应的运动矢量，当前块减去预测块后得到的残差被进行d c t 、量化、v l c 后 输出，从而得到输出目标码流，其间重构编码侧的当前编码帧用作下一帧的参考。 2 3 级联转码的耗时分析 级联转码器结构虽然可以获得较好的转换编码质量，但转码效率过低，系统 过于复杂。为了提高转换编码的效率，并获得与级联转码差别不大的视频质量， 为高效转码提供时间性能改善的参考，需要对级联全解全编转码的各个功能模块 的耗时进行统计，针对某些耗时长的模块进行优化，尽可能得重用输入编码流中 的各种数据信息，以节约时间，降低复杂度。 由于m p e g 4 解码侧的后置滤波器非常耗时，且对视频质量的改善比较小， 所以一般将后置滤波器作为转码器的可选项。本文所做的所有转码实验除特别声 第二章m p e g - 4 标准与级联转码的实现 明外，都默认关闭滤波选项。 m p e g 4 标准内全解全编级联转码器耗时统计如下，测试条件为，输入码流： g o p 为2 5 0 ，码率7 6 8 k b p s ，帧率2 5 f p s ，分辨率c 1 f 的f o r e m a n 编码码流；转码 后的目标码流：g o p 为2 5 0 ，码率7 6 8 k b p s ，帧率2 5 f p s ，分辨率c i f 。 表2 1m p e g - 4 级联转码中解码和编码耗时比例 功能块名称所用耗时( 微秒)占总耗时比例( ) 解码总耗时 4 7 7 ，5 2 5 1 6 4 6 编码总耗时 2 ，2 3 8 ，1 3 5 7 7 1 5 其它 1 8 5 ，4 1 4 6 3 9 总耗时合计 2 ，9 0 1 ，0 7 4 1 0 0 o o 表2 2m p e g - 4 级联转码中解码主要模块耗时表 功能块名称所用耗时( 微秒)占总耗时比例( ) 整像素扩边 9 ，1 7 1 1 9 2 反d c t 5 5 ，2 7 0 1 1 5 7 反量化 4 4 ，8 9 5 9 4 0 反a c d c 预测 2 8 5 0 0 6 v l d 1 9 8 ，3 8 5 4 1 5 4 运动补偿 1 3 0 ，0 2 5 2 7 2 3 其它 3 9 ，4 9 4 8 2 7 总耗时合计 4 7 7 ，5 2 5 1 0 0 o o 表2 3m p e g - 4 级联转码中编码主要模块耗时表 功能块名称所用耗时( 微秒)占总耗时比例( ) 模式判决m v - s e a r c h 1 ，4 7 4 ，5 9 4 6 5 8 8 m c ( 运动补偿) 1 3 6 , 4 4 2 6 。l o 整像素扩边8 ，6 7 2 o 3 9 d c t + 量化+ 反量化 2 4 8 ，9 7 0 1 1 1 2 d c a c 预测 1 , 2 2 3 o 0 5 反d c t 5 7 ，4 3 4 2 5 7 v l c 1 6 1 ，8 3 2 7 2 3 其它 1 4 8 ，9 6 8 6 6 6 总耗时合计 2 ，2 3 8 ，i3 5 1 0 0 0 1 2 m p e g - 4 标准内视频编码转换研究与实现 由表2 1 的统计可知，级联全解全编转码器的耗时主要在编码侧，为了尽可能 地重用输入编码码流中的数据信息，解码侧许多模块不能省略。另外由于解码侧 耗时比例较小，即使做进一步优化对整个转码器复杂度的降低也没有太多贡献， 因此需要将主要精力放在编码侧的优化上。 由表2 3 可以看到，编码侧的模式判决与运动搜索部分，占到编码模块耗时的 6 5 8 8 ，而占到整个转码器耗时的5 0 8 3 ，如果能省略掉将大大降低转码器复杂 度。因此，在下面设计m p e g - 4 标准内高效转码器时，可以考虑采用运动矢量重 用，即省略掉编码侧的模式判决与运动搜索部分，重新复用输入码流中的运动矢 量和宏块模式信息。 为了更详尽得说明去掉模式判决与运动搜索部分可以大大降低转码复杂度， 下面进行进一步的统计测试，分别测试了f o r e m a n 、m o b i l e 两组码流，其中输入 码流：分辨率c i f ，帧率2 5 f p s ，码率2 0 2 4 k b p s 的编码码流；转码后目标码流：分 辨率c i f ，帧率2 5 f p s ，码率分别为2 0 2 4 k b p s 、7 6 8 k b p s 、6 4 k b p s 。测试了转码器各 模块( 主要是针对编码部分) 耗时比例，如表2 4 所示。 表2 4m p e g 4 级联转码各模块的耗时比例统计 输入码目标码解码编码耗时比例( ： 流 率 耗时模式运动d c t +反v l c其它 ( k b p s 比例判决补偿量化+d c t模块 )( )m v 反量 搜索化 f o r e m a n2 0 2 42 3 。1 94 8 5 25 1 66 0 12 5 09 5 75 0 4 7 6 82 5 3 05 2 2 74 8 56 2 41 6 04 7 84 9 7 6 42 8 4 55 4 6 43 8 26 5 3o 3 11 9 94 2 7 m o b i l e2 0 2 42 2 3 34 9 6 84 7 06 0 92 6 29 8 24 7 6 7 6 82 6 0 9 5 0 7 64 4 46 5 01 9 5 5 3 l 4 9 6 6 42 7 8 05 2 0 34 1 26 9 51 1 93 1 54 7 5 由表2 4 可看到，模式判决与运动搜索模块占到了转码总耗时的近一半左右， 另外随着转码目标码率的降低，该模块的转码耗时也随着增大，因此在高效转码 中省略该模块可以大大降低转码复杂度。 下面将以级联转码的实现为基础，分别针对比特率、分辨率和帧率研究各自 的高效转码实现，通过与级联转码器性能的对比，来验证高效转码方法的性能。 第三章m p e g - 4 的比特率降低转码 第三章m p e g 4 的比特率降低转码 最基本的转换编码器由解码器和编码器级联构成，如果需要进行异类转换编 码，则需根据源编码流格式和目标码流格式选择相应的解码器和编码器。这种解 码编码级联( d e c o d e e n c o d ec a s c a d e dt r a n s e o d e r ) 结构是完整的先解码、再编码的 过程。在解码后、重编码前，可以根据目标码流的要求，设定编码标准、编码比 特率，完成空间、时间分辨率下变换等数据转换处理。由于解码、编码过程及可 能进行的数据格式转换过程相互独立，这种转换编码方法可以方便地更改图像数 据和编码参数，满足需求。但是，解码编码级联结构需对所有的数据和参数( 包括 运动矢量、预测残差等数据) 进行重计算和编码，计算量和所需的存储空间非常大， 虽然可以获得较好的转换编码质量，由于转码效率过低和系统过于复杂，实际中 很少使用。 为了提高转换编码的效率，并获得较好的转码质量。转换编码技术研究的重 点为如何简化转换编码器的结构、尽可能重用输入编码流中的各种数据信息，寻 求转码复杂度和转码质量的一个均衡解决方案。 3 1 比特率降低的转码方法 人们对转码最早的研究就是从降低原始压缩码流的比特率开始的，它的目的 是在不改变时间和空间分辨率的前提下，降低编码速率。主要的实现方法包括： 对解码得到的d c t 系数采用再编码时增加量化步长进行编码【8 】【9 1 。或通过丢弃一 些压缩码流中的高频d c t 系数实现【1o 】( 1 1 1 。 下面介绍四种比特率降低的实现方法。 ( 1 ) 级联全解码再编码方法 级联的全解码再编码方法，是对输入码流进行完全解码，再根据输出码流要 求，对解码数据进行重新编码，如图3 1 所示错误! 未找到引用源。 这种方法由于进行再编码时要重新进行运动估计操作，因此具有最高的复杂 度，但是其视频质量好。因此而这种方法只适合于对视频转码质量要求高，而实 时性要求不高的应用。 1 4 m p e g 4 标准内视频编码转换研究与实现 f = = = 二二荔矿二二二二二j f 二。搦。二二习 图3 1 级联全解码全编码转码器 = 王 i 、 刊兰兰卜一竺l 第三章m p e g - 4 的比特率降低转码 图3 3 运动数据复用的转换编码 相比于级联的全解码再编码转码方案，这种方法由于复用了输入码流中的 m v ，因此不需要重新进行运动估计操作，降低了转码运算复杂度。然而由于再编 码部分只是简单的直接复用输入码流的m v ，而输入的m v 可能不是最适合重新 量化后的重构帧，因此可能会引起视频质量的下降。考虑这个问题可以对输入的 m v 进行细化提高m v 的精确性进而提高转码视频质量。 ( 4 ) 采用运动细化的转换编码方法 图3 4 有运动细化的转换编码 运动数据复用算法产生了非最优的m v ，会导致图像质量下降，而级联的全解 码再编码算法对输入的数据进行全范围的运动重新估计操作，在付出很高的复杂 度代价下才提高了转码质量，综合以上两点可知，对m v 进行细化是必要的，但 是若进行全范围的运动重新估计运算，则会带来较高的运算复杂度。因此考虑对 m v 进行一个小范围( 士l 、2 、3 、4 像素) 的运动细化，如图3 。4 所示。 该方法与简单的重新量化和运动数据复用方法相比，带来了一定的复杂性， 但比采用级联的全解码再编码方法的复杂度低，并且有适中的处理时间、功耗和 时延。当运动细化窗口继续增加时，其复杂度和因此而产生的处理时延也增加。 综合上面四种比特率降低转码方法，有如下结论： 算法复杂度( 包括引入时延) 排序：重新量化 运动数据复用 运动数 据细化 级联全解码再编码。 转码算法对编码质量影响排序：级联全解码再编码 运动数据细化 1 6 m p e g - 4 标准内视频编码转换研究与实现 运动数据复用 重新量化。 3 2 高效比特率降低转码的实现方案 本节主要研究仅有码率下降请求的情况下如何实现高效转码，不考虑时