（通信与信息系统专业论文）高效视频转码的关键技术.pdf

独创性( 或创新性) 声明 r l l l li i l l t l l r li ri l l l lii y 17 5 8 0 0 7 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中 含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 任何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：塑3 坠日期：丝z q ：主羔 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权 保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅 警和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印 7 、或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 1 j 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密 论文注释：本学位论文不属于保密范围，适用本授权书。 本人签名：塑翌 导师签名： 日期：麴坦：呈芏 日期：团应。丕。l 工 hl父 北京邮电火学硕十学位论文 高效视频转码的关键技术 摘要 随着社会的不断信息化，多媒体通信成为人们日常信息交流的一 种重要手段。由于多媒体信息尤其是视频信息数据庞大，因此对多媒 体信息进行数据压缩是实现多媒体通信应用的必要环节。压缩后的视 频数据具有固定的码率、分辨率、帧率和数据格式，然而随着通信技 术的发展，网络和多媒体终端的类型越来越丰富，这导致已压缩数据 和传输网络及终端之间的不匹配问题。为了解决这类问题，研究多媒 体数据在异质网络之间、不同的接入设备之间以及不同压缩数据格式 之间的无缝连接技术成为多媒体通信的一项关键技术。视频转码技术 正是能够实现这种无缝连接的一种技术。 所谓视频转码是指将某种编码格式的压缩码流转换成另一种编 码格式的压缩码流。视频转码技术对压缩视频进行端到端的处理，即 转码器的输入和输出都是压缩数据，转码后的压缩码流能更好的适应 传输带宽以及接收端的要求。由于视频转码不需要增加终端用户的更 新成本，而且工程实现相对廉价，因此具有很高的实用价值，成为视 频压缩领域的一个研究热点。本文主要研究和实现高效的 h 2 6 3 4 + m p e g 4 视频转码系统，具体完成了如下工作： 本文在实验室已有视频转码框架基础上，完善并实现了一个 h 2 6 3 4 - m p e g - 4 的视频转码框架，并设计了高效的软件转码流程。 本文亦对视频转码的关键技术进行了算法改进与优化，其中包括本 。文改进了前向主参考宏块选择算法，使其更好的适用于本文提出的转 、。- 码器框架；本文对不同比例的空间分辨率转换进行了大量的实验比 较，在此基础上设计了多种分辨率转换机制，基本保证了在转码质量 稳定的前提下，转码时间节省3 0 。在标c 实现的转码器基础上， 本文还研究了i n t e l 平台上的单指令多数据( s i m d ) 技术，尤其是 m m x 、s s e 和s s e 2 指令集，为部分关键模块编写汇编代码，使得 转码器的速度获得了更进一步的提升，相比标c 转码器有5 0 一7 0 0 , o 的 北京邮电大学硕十学位论文 时间节省。 关键i ：瓦- - - ：h 2 6 3m p e g 一4 视频转码单指令多数据运动矢量映射 ：- 、 。 h a v ef i x e db i tr a t e ，r e s o l u t i o n ，f r a m er a t ea n dd a t af o r m a t b u tw i t ht h e d e v e l o p m e n to fc o m m u n i c a t i o nt e c h n o l o g y , t h e r ea r em o r ea n dm o r e k i n d so fn e t w o r da n dm u l t i m e d i at e r m i n a l s ，t h e s em a k et h ec o m p r e s s e d d a t a , t r a n s m i s s i o nn e t w o r da n dt e r m i n a l su n m a t c h e d i no r d e rt os o l v e t h e s ek i n d so fp r o b l e m ，i tb e c o m e sak e yt e c h n o l o g yo fm u l t i m e d i a c o m m u n i c a t i o nt or e s e a r c h 也es e a m l e s sc o n n e c t i o no fm u l t i m e d i ad a t a b e t w e e nh e t e r o g e n e o u sn e t w o r k s ，d i f f e r e n ta c c e s sd e v i c e sa n dd i f f e r e n t c o m p r e s s i n gf o r m a t v i d e ot r a n s c o d i n gi sj u s ts u c hk i n do f at e c h n o l o g y t oa c h i e v et h i ss e a m l e s sc o n n e c t i o n v i d e ot r a n s c o d i n gr e f e r st ot r a n s f o r mt h ec o m p r e s s e ds t r e a mo fo n e e n c o d i n gf o r m a tt oa n o t h e rc o m p r e s s e db i ts t r e a m v i d e ot r a n s c o d i n g t e c h n o l o g yd e a l sw i t he n d - t o - e n dc o m p r e s s e dv i d e od a t a ，t h a ti s ，t h ei n p u t a n do u t p u td a t aa r eb o t hc o m p r e s s e d ，t h et r a n s c o d e db i t s t r e a mc a nb e b e t t e ra d a p t e dt ot h et r a n s m i s s i o nb a n d w i d t h a sw e l la st h er e q u i r e m e n t s o ft h er e c e i v i n ge n d b e c a u s ev i d e ot r a n s c o d i n gd o e s n ti n c r e a s et h e u p d a t i n g c o s to ft h ee n du s e r sa n da r e i n e x p e n s i v ef o re n g i n e e r i n g i m p l e m e n t a t i o n ，i th a sg r e a tv a l u ef o rp r a t i c a lu s ea n db e c o m e s ar e s e a r c h h o t s p o ti nt h ef i e l do fv i d e oc o m p r e s s i o n t h i sp a p e rm a i n l yr e s e a r c ha n d i i i 北京邮电大学硕上学位论文 i m p l e m e n tah i g h l ye f f e c t i v eh 2 6 3 专m p e g 一4v i d e ot r a n s c o d i n gs y s t e m a n d a c c o m p l i s h st h ef o l l o w i n gw o r k ： o nt h eb a s eo ft h ec u r r e n tv i d e ot r a n s c o d i n gf r a m e w o r ko ft h e l a b o r a t o r y ，t h i sp a p e ri m p r o v ea n dr e a l i z et h eh 2 6 3 + - m p e g - 4v i d e o t r a n s c o d i n gf r a m e w o r ka n da l s od e s i g nah i g h l ye f f e c t i v es o f t w a r e t r a n s c o d i n gf l o w t h i sp a p e ra l s oi m p r o v ea n do p t i m i z es o m ek e y t e c h n o l o g yo fv i d e ot r a n s c o d i n g ，i n c l u d et h ef o l l o w i n g s ：q t h i sp a p e r i m p r o v et h ef o r w a r dd o m i n a n tv e c t o rs e l e c t i o na l g o r i t h mt om a k ei t b e t t e ra p p l i e df o rt h et r a n s c o d i n gf r a m e w o r ki nt h i sp a p e r ；t h i sp a p e r m a d em a n ye x p e r i m e n t so ns p a t i a lr e s o l u t i o nt r a n s f o r mw i t hd i f f e r e n t r a t i o s ，a n dd e s i g hd i f f e r e n tk i n d ss t r a t e g yo fs p a t i a lr e s o l u t i o nt r a n s f o r m ， a n db a s i c a l l yg e t3 0 s p e e du p g r a d eo nt h ep r o m i s s i o no fs t e a d y t r a n s c o d i n gq u a l i t y o nt h eb a s eo ft h et r a n s c o d e ri m p l e m e n t e du s i n g s t a n d a r dcl a n g u a g e ，t h i sp a p e ra l s or e s e a r c ht h es i n g l ei n s t r u c t i o n m u l t i p l ed a t a ( s i m d ) t e c h n o l o g yi nt h ei n t e lc p u ，e s p e c i a l l yt h e m m x ，s s ea n ds s e 2i n s t r u c t i o ns e t ，a n du s et h ea s s e m b l yl a n g u a g e t ow r i t es o m ek e ym o d u l eo ft h et r a n s c o d e rt og e tm o r et r a n s c o d i n g s p e e di m p r o v e m e n ta n df i n a l l yg e t5 0 - 7 0 s p e e du pc o m p a r e dw i t h t h es t a n d a r dct r a n s c o d e r k e yw o r d s ：h 2 6 3m p e g - 4v i d e ot r a n s c o d i n gs i m d i v o 北京邮电人学硕士学位论文 目录 摘要i a b s t r a c t i i i 第一章绪论1 1 1 视频转码的研究背景和研究意义l 1 2 国内外相关研究进展3 1 3 本人的研究工作和论文安排5 第二章视频转码器软件结构设计和关键技术分析7 2 1 视频转码技术介绍7 2 2 视频转码器框架介绍8 2 2 1 完整的像素域级联视频转码框架8 2 2 2 简化的级联像素域转码框架9 2 2 3d c t 域级联视频转码框架1 0 2 3 视频转码中的关键技术1 2 2 3 1 转码速率控制1 2 2 3 2 图像下采样滤波1 3 2 3 3 运动矢量再利用13 2 3 4 宏块类型转换1 4 2 4h 2 6 3 , t - - ) m p e g - 4 视频转码器软件设计15 2 4 1 转码框架设计l5 2 4 2 转码器软件结构1 7 第三章h 2 6 3 , t - m p e g - 4 转码策略。2l 3 1 语义转码2 l 3 1 1h 2 6 3 和m p e g - 4 标准的异同2 l 3 1 2h 2 6 3 到m p e g - 4 语义转码2 5 3 1 3m p e g - 4 到h 2 6 3 语义转码2 5 3 2 码率转码2 6 3 2 1 帧级q p 计算2 6 3 2 2 宏块级q p 计算2 7 3 2 3 实验结果2 8 3 3 帧率转码二2 8 3 3 1 原始帧率至目标帧率的转换2 9 3 3 2 运动矢量映射3l 3 3 3 实验结果3 3 3 4 分辨率转码3 6 3 5 转码性能分析4 l 3 5 1 测试结果4 1 3 5 2 转码图像质量下降分析4 3 3 5 3 转码速度下降分析5 0 v 北京邮电大学硕卜学位论文 。 第四章视频转码中的汇编优化技术5 3 4 1 单指令多数据技术。5 3 4 1 1m m x 指令介绍5 4 4 1 2s s e 和s s e 2 指令介绍5 6 4 2 汇编优化流程5 8 4 2 1 检测c p u 对s i m d 的支持5 8 4 2 2 转换为汇编代码6 1 4 3 关键模块的汇编优化分析6 4 4 3 1s a d 值计算6 4 4 3 2 图像内插和内存拷贝6 6 4 4 实验结果7 0 第五章总结与展望7 3 5 1 论文总结7 3 5 2 工作展望7 3 参考文献7 5 致谢7 8 攻读硕士学位期间发表论文。7 9 v i 第一章绪论 第一章绪论 1 1 视频转码的研究背景和研究意义 2 0 世纪9 0 年代以来，伴随着数字信息技术和网络通信技术的发展，人们已 经进入一个信息化时代。便捷的固定网络和移动网络使得人与人之间可以随时随 地的方便、灵活、快捷的直接进行通信。传统的数据和语音通信技术已经越来越 不能满足人们的要求。图像和视频内容丰富，更容易给人直观、生动的形象，因 此，人们越来越希望能够直接进行图像或视频通信。图像和视频的传输也越来越 被人关注，成为研究的热点。在可视电话、视频会议、视频点播、移动电视、远 程视频教学和视频监控等领域，人们对图像和视频的传输进行了广泛而深入的研 究，给人们的日常生活和工作带来了极大的便利。 但是，数字化的视频数据量大得惊人，以常见的p a l 制式电视信号为例， 每秒钟传输2 5 帧图像，每一帧图像在水平和垂直方向的样本数量分别为7 2 0 和 5 7 6 ，每一个样本需要红、绿、蓝三种颜色来表示，每种颜色以8b i t 量化，那么 每一个样本需要2 4b i t ，一秒钟内需要传输的数据量为7 2 0 x 5 7 6 x 2 4 x 2 5 = 2 4 9 m b ， 一部两小时的影片总数据量为2 4 9 x 6 0 x 6 0 x 2 = 1 7 9 1 g b ，8b i t 为1 b y t e ( 字节) ， 则为2 2 4 g b 。如此大的数据量，无论从传输还是存储的角度来看都是不实际的， 尽管近年来网络的传输带宽、网络节点处理能力和终端存储器容量都在不断增 长，但仍然无法满足这么高的要求，所以对视频数据进行压缩成了解决上述问题 的唯一途径【l j 。 数字视频压缩技术的研究已有几十年的历史。从基本原理上看，压缩技术可 以分为两大类，第一类是基于像素的压缩编码方法，第二类是基于内容的压缩编 码方法。在第一类方法中，视频图像序列用空间和时间上离散的像素值来表示， 然后采用l 般的信号分析方法来消除数据中的冗余度。这类方法主要是利用信源 的统计特性，而不关心视频图像的具体内容和人眼的视觉特性。第二类方法很大 程度上依赖于对人类视觉特性的研究，其核心思想是力图发现人眼根据哪些关键 特性来识别图像或图像序列，然后根据这些特性来构造图像模型。这类方法的研 究起始于上世纪八十年代，但目前还不是很成熟。因此，目前已有的视频压缩标 准多采用第一类压缩方法。 目前，视频压缩标准主要由两个国际组织制定，一个是国际标准化组织国 第一章绪论 际运动图像编码专家组i s o m p e g ( i n t e m a t i o n n a l o r g a n i z a t i o n f o r s t a n d a r d i z a t i o n m o t i o np i c t u r eg r o u p ) ，该组织制定的标准有m p e g 1 ，m p e g 2 ， m p e g 4 等，另一个是国际电信联盟电信标准化部门( i n t e r n a t i o n a l t e l e c o m m u n i c a t i o nu n i o nt e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r ，i t u t ) ，该组 织制定的标准有h 2 6 1 ，h 2 6 3 ，h 2 6 3 + ，h 2 6 4 等。多个国际标准为不同的厂家 和视频提供者奠定了一个共同的工作基础，使得厂家可以根据标准制作兼容的编 码器和解码器。 然而，如图1 1 所示，不同的终端可能采用不同的方式接入i n t e r a c t ，包括 局域网、数字用户环路、电缆、拨号以及小型家庭局域网等，这些不同的网络拥 有不同的网络传输带宽和网络结构。另外，随着移动网络特别是3 g 技术以及嵌 入式技术的发展，智能手机、个人数字助理( p d a ) 、笔记本电脑等正在取代传 统的个人电脑、服务器等成为主要的接入终端，这些不同的终端拥有不同的处理 能力和显示性能，在上面又运行着不同的视频处理程序，支持不同的视频编码标 准。为了使得视频可以在不同的网络和终端之间能够灵活顺利的传输，适应各种 环境的需要，可以采用几种不同的方法。 图1 - 1 视频转码必要性示意图 第一种方法就是将数字视频源压缩成满足各种码率、分辨率和格式的码流， 具体应用时根据实际的网络和终端条件来选择合适的码流【3 1 。这种方法看似很 好，能适应各种不同的应用，但是实际上是不可行的，因为网络带宽和终端能力 具有不可预知性，所以无法预先根据这些条件来压缩视频。另外，压缩和存储具 2 第一章绪论 有多种码流、分辨率、帧率和格式的视频码流，需要耗费极大的处理和存储资源。 第二种方法就是分层编码，它也是一种预先编码的方式，只不过要比前一种 方法灵活一些，因为它把视频数据分成了不重叠的基本层和增强层，基本层可以 满足较低的需求，要满足高要求的话，只需再加上增强层信息即可【4 1 。但是分层 编码需要发送端和接收端采用相同压缩标准的视频编解码器，为了正确解码，用 户需购置额外的解码设备，对于老用户将增加较大的成本开销，这制约了分层编 码的广泛使用。另外，分层编码在空间分辨率上分层压缩效率不高以及运算复杂 度过高也是制约其发展和应用的一个原因。 第三种方法就是采用视频转码，将已有的压缩视频转换成满足当前网络条 件、终端能力和用户需求的另一种压缩视频。因为视频转码非常灵活，可以满足 各种不同的需求，而且视频转码技术用于媒体网关，不需要终端用户增加额外的 开销，所以视频转码技术具有很高的研究价值和良好的市场前景。 在各种压缩标准中h 2 6 3 和m p e g - 4 应用非常广泛。h 2 6 3 为视频电话会议 应用而制定，而m p e g - 4 标准具有很强的抗噪能力，主要针对移动无线或卫星 网络系统应用而制定。作为一种最具有应用前景的先进的压缩编码标准， m p e g - 4 很快在视频传输、存储和剪辑等许多领域中得到广泛应用。m p e g - 4 在 低码率时比h 2 6 3 有着更高的编码效率，以及无线通信环境中更强的抗误码性。 视频电话会议到无线网络转换有着广阔的前景，因而h 2 6 3 到m p e g - 4 的高性能。 视频转码是一项尤其迫切的研究课题。 1 2 国内外相关研究进展 视频转码的目的是把输入的压缩视频码流转换为满足实际应用需求的压缩 视频码流，而且要求处理时间尽可能短，转码之后图象质量的下降尽可能小。传 统的视频转码技术可以分为三大类：比特率转换、分辨率转换和语法转换。比特 率转换用以适应带宽的不足从而顺利地传输码流，如再量化降低比特率。分辨率 转换有利于在低带宽的条件下工作，但是它主要用于解决用户设备，比如处理器 能力、显示器分辨率的限制或者内存容量等问题，如下采样减小空间分辨率。语 法转换能够保持发送方和接收方的兼容性和透明性，确保混合网络的自适应性。 这三种视频转码技术通常并不独立存在而是结合在一起的【5 1 。 目前视频转码的研究内容主要集中在转码器的逻辑框架、转码速率控制、分 辨率下采样、运动矢量重用、d c t 域运动补偿以及各种宏块编码模式转换等问 3 第一章绪论 。 题上【7 1 。 针对不同的实际转码需求设计不同的转码框架是为了更好的利用原始压缩 码流中信息，尽最大可能实现质量好、速率快的高性能转码。一般在设计框架时， 根据视频流的结构可以有开环和闭环的选择；根据图像处理域的不同又可以分为 像素域转码和d c t 域转码【8 l 。此外还可以根据转码的一些特殊需求，对复杂的 框架进行简化，或者将不同的关键技术进行合理的分配和结合，这样就可以从最 基本的框架上合理的设计转码器，从而达到最好的转码性能。常用的转码框架主 要有两种类型，一种是像素域的转码框架，把输入压缩码流完全解码到像素域， 再按照新的比特率、分辨率或格式要求进行编码；还有一种是d c t 域的转码框 架，这种框架只需要解码出d c t 系数，所有的转换工作在d c t 域进行。像素域 转码框架因为需要进行d c t 和i d c t 运算，所以转码速度受到限制，很难满足 实时性要求高的应用，但是这种框架具有较高的灵活性，很容易实现不同的转换 要求。d c t 域的转码框架由于不需要进行d c t 和i d c t 变换，运算复杂度比较 低，所以受到了比较广泛的关注，出现了很多这方面的研究成果，如d c t 域的 运动补偿、下采样等。但是d c t 域转码框架可能在灵活性上要低于像素域框架， 因为某些运算无法在d c t 域实现，或者实现复杂度很高。 在视频传输中，原始的压缩视频为了保证质量往往码率也比较高，当信道状 况无法满足码率需求时就需要对原始的视频码流按照新的更低目标码率进行重 新压缩，这时在视频转码中就涉及到速率控制问题。在目前对速率控制的研究中 仍然会参考已经提出的多种成熟的编码速率控制方法，典型如h 2 6 3 的t m n 8 9 1 、 m p e g - 4 的v m l 8 等等，但是在视频转码中可以得到很多原始视频流的信息，这 就为更简单更准确的进行转码速率控制提供了可能性。此外，当信道带宽非常小， 仅靠单纯的码率控制已经无法满足要求时，就需要通过降低帧率或空间分辨率来 进一步降低码率，从而达到信道要求。另外，经典的码率控制方法大多是针对编 码环节而言，经常会出现码率分配不稳定或者不均匀的情况，而设计良好的码率 控制算法应用于转码时，通常可以达到较好的码率控制效果，这就容易导致转码 结果的比特率更接近于目标要求但是却低于全解全编的码率分配，从而在数据测 量上表现为转码质量偏低，这是在衡量转码效果时必须注意的一个问题。 无论是在速率控制还是分辨率下采样的转码中，都不可避免的会涉及到运动 矢量再利用问题，这不仅关系到转码速度，而且矢量再利用的准确与否还会大大 影响到转码图像质量。运动矢量的再使用技术( m v r ) ：按照某种规则从一个或 几个输入宏块的运动矢量( m v ) 中求出一个输出宏块的运动矢量( m v ) 的技 4 架，使其可以适应这种转码需求。其次，在这个转码框架基础上，必须安排各个 计算环节和流程，避免重复计算。另外，还必须解决转码器的质量评价问题，否 则无法对转码器的质量做出全面客观的分析。 在d c t 域转码框架中主要涉及到d c t 域的运动补偿、空间下采样等关键技 术【1 2 】f 13 1 。在d c t 域的各种图像操作快速算法中，目前主流的思想主要有两种： 一种是基于矩阵拆分的软件算法上的改进，另一种是整数二进制拆分的方法从硬 件上提高计算速度。在实际应用时，往往将两者有机结合进一步提高转码速度。f d c t 域的运动补偿技术( m c d c t ) ：约占整个视频转码时间的3 0 。m c d c t 快速算法的基本思想是利用d c t 系数的稀疏性、叠加性以及对称性。虽然人们 已经研究了量化技术和d c t 方法的融合以及在下采样技术与m c 技术的融合方 案中找最优的m c 方案，但m c 与下采样及量化的快速融合算法，还没有理想 的结果。 1 3 本人的研究工作和论文安排 本论文的主要研究内容是高效的像素域级联视频转码技术，在经典的视频转 码框架基础上，设计并完善了使用标准c 语言开发的h 2 6 3 h m p e g 4 视频转码 系统，针对h 2 6 3 - + m p e g 4 视频转码的特点，设计了相应的转码策略，实现两 者标准内和标准间的码率转码、帧率转码、分辨率转码、语义转码及相关转码的 组合，并确保在大部分情况下与全解全编转码相比图像质量下降不超过o 5 d b 的 第一章绪论 前提下，获得3 0 以上的时间节省。在标准c 的转码系统基础上，使用i n t e l 平 台上提供的m m x 和s s e 2 汇编指令，对视频转码器的部分大计算量模块进行汇 编优化，提供高并行度的计算，使得转码器在支持相关指令的平台上可以达到更 快的速度，达到了5 0 7 0 的时间节省。 论文的具体内容安排如下： 第一章绪论简单介绍了视频转码的研究背景和研究意义以及国内外的相关 研究进展，并简要介绍了本人的主要研究工作和本论文的结构安排。 第二章简单介绍了视频转码的基本框架以及其中的一些关键技术，并介绍了 本文主要关注的高效像素域级联h 2 6 3 h m p e g - 4 视频转码器的软件结构设计。 第三章主要介绍了本文的h 2 6 3 h m p e g 4 视频转码器在做标准内和标准间 转码时对语义转码、帧率转码、分辨率转码、码率转码的相关转码策略，分析了 帧率转换的方法和运动矢量映射算法，设计了一些特殊路径的下采样处理策略， 并对转码器做了详尽的测试，分析了部分数据指标下降的原因。 第四章介绍了i n t e l 平台上的m m x 和s s e 2 指令集的技术特点，并对视频转 码中的主要计算模块，比如运动估计、内插、内存拷贝等等做了分析，介绍了相 应的汇编指令加速方法，并给出了数据比较。 第五章对全文的内容做了总结，并对后续工作提出了一些展望和建议。 6 第二章视频转码器软件结构设计和关键技术分析 第二章视频转码器软件结构设计和关键技术分析 2 1 视频转码技术介绍 视频转码技术就是对压缩视频进行端到端的处理，将输入的压缩视频码流进 行解码，得到原始的图像数据和一些编码信息，再对图像数据进行编码得到符合 目标要求( 比特率、帧率、分辨率、压缩标准等) 的压缩视频码流，转码后的压 缩码流更能适应传输带宽以及接收端的要求。如图2 1 所示。 灏始艇赡 i j 绷渲v s ： 目拓纸络髭颁0 茳v t i 乏缛率勰l 绻知孝豫2 鞍碜f i l l a 税额转褐磊 a 4 囊率f r 2 分辨率姝j 叫 1 “”1 分鲫j - s t c 2 鹰缘钚准a l l 琢缨钚终认l 2 图2 - 1 视频转码器功能 第二章视频转码器软件结构设计和关键技术分析 码计算过程，通常会引入一些误差，导致图像质量的下降，因此在信息再利用时 通常需要对信息加以矫正，使图像质量的下降控制在可以接受的范围。 2 2 视频转码器框架介绍 2 2 1 完整的像素域级联视频转码框架 像素域编解码器完整级联转码框架，如图2 2 所示，它将输入的压缩码流进 行完全解码，得到原始的视频序列数据，再送入编码器重新进行编码成满足指定 码率、帧率、分辨率和标准格式的码流。 图2 - 2 像素域级联视频转码框架 由于是标准解码器和标准编码器的级联，所以这个转码框架不会引起误差漂 移，影响视频质量的只有再编码时的量化过程，由目标码率和所采用的速率控制 策略决定。 一 图2 2 所示的转码框架可以用于三种编码图像类型( i 帧，p 帧，b 帧) 的 比特流的转码。其中，b 帧使用了该视频转码框架的所有部分，p 帧只使用了反 馈环路两个帧缓存中的一个，而i 帧完全没有使用反馈环路。 输入为i 帧时，转码器通常只调整i 帧的q p 值，一般情况下，它在编码部 分进行的再量化的量化系数q 2 - - q 1 。i 帧整体存在以下3 个方面的失真：输入 8 第二章视频转码器软件结构设计和关键技术分析 中某些非零的系数经过再量化变为零；量化误差；再量化误差。虽然前两个是 所周知导致失真的因素，但是最后一个导致的失真并不是特别明显。在某些具 情况下，再量化会导致一个附加的误差，如果编码部分采用原来解码时一样的 化参数这种附加的误差就不会存在。由于第一个量化( q 1 ) 独立于接下来的 量化( q 2 ) ，所以再量化误差就不能避免。 输入为p 帧时，p 帧使用到了在解码器端和编码器端的两个运动补偿环路， 于解码和编码后来的帧；输入为b 帧时，其转码的方法与p 帧转码类似。唯 的差别在于b 帧的运动补偿与前向参考帧和后向参考帧两个参考帧相关，而p 的运动补偿只与前向参考帧一个参考帧相关。b 帧转码时使用了两个帧缓存， 一个分别用于一个参考帧。 此转码框架非常灵活，因为解码器完全重构了所有图像，所以在重新编码之 可以按照要求进行图像预处理，例如任意的空间分辨率转换、帧率转换，也可 在重新编码时任意地选择帧编码类型，采用灵活的速率控制方法来约束输出码 流的速率。高度的灵活性是该转码框架的最大优点。 但是由于它包括了完整的解码器和编码器，解码器中的i d c t 变换、编码器 中的d c t 和i d c t 变换、运动估计都是运算很大的模块，所以此转码框架的运 算复杂度非常高。另外，它在解码器端需要三帧的缓存，分别用于两个参考帧和 当前帧，在编码器端还需要两帧缓存用于保存参考帧，所以总共需要五帧的缓存 量，对存储量的需求也很高。很多的视频压缩标准中都采用了双向预测的帧类型， 在压缩码流中，其后向的参考帧必须先出现，所以解码后图像需要重新排列才能 恢复原来的显示顺序，编码时又会根据新的图像类型重排，所以存在两次重排延 迟，连续的双向预测帧数量越多，延迟就会越大。 对于像素域完整级联转码框架，可以做一些改进来减小运算量和帧重排延 迟。方法就是保持帧编码类型不变，在编码器端完全采用原来的编码类型，这样 在编解码器端都无需进行帧重排。保持帧编码类型不变也可以利用原来的运动矢 量，可以省去编码器中运算复杂度最高的运动估计这一步，大大提高了转码速度。 2 2 2 简化的级联像素域转码框架 对于简单的码率转换，可以重新利用原来的帧类型、运动矢量等信息，据此 将上述级联像素域转码框架进行一步简化，得到如图2 3 所示的框架。 此转码框架也是通过再量化来降低比特率，它采用了一个反馈环对再量化误 9 第二章视频转码器软件结构设计和关键技术分析 差进行了补偿，与级联像素域转码器是一样的。与级联像素域转码器相比，它省 略了解码器端的i d c t 变换和运动补偿，以及编码器端对i 帧的d c t 变换，也 无需进行运动估计，所以节省了相当大的运算量，而且得到了质量相当的视频图 像。它只针对简单和码率转换和编码模式完全兼容的格式转换。 此外，此转码框架虽然通过引进一个反馈环对在量化误差进行了补偿，但是 当i d c t 得到的像素值饱和时，该框架则无法对其进行剪裁，由此肯定导致产生 错误，如果内部编码帧之间的时间很长的话，也会累积相当大的误差，导致图像 质量严重下降。 图2 - 3 简化的像素域转码框架 2 2 3d c t 域级联视频转码框架 根据转码器中是否进行了d c t 和i d c t 变换，可以分为像素域的转码框架 和d c t 域的转码框架。所谓d c t 转码框架，是指所有的操作都是对d c t 系数 进行的。其实前面介绍的所有转码框架都可以在d c t 域操作，只要把d c t 变换 和i d c t 模块去掉，在d c t 域进行运动补偿即可。例如下图2 - 4 给出的就是d c t 域完整级联转码框架的框图。 i o d c t 域转码框架和像素域转码框架的最大区别就在于运算复杂度，前者无 需进行d c t 和i d c t 变换，所以从这点上要优于后者，但是d c t 域的运动补偿 运算复杂度可能要高于像素域，这取决于视频图像的性质。对于运动较剧烈的视 频序列，由于很多宏块的参考块并不与编码时划分的宏块对齐，所以运动补偿会 比像素域的运动补偿复杂得多，有可能总体的复杂度要高于像素域操作。另外， d c t 域操作的灵活性比较低，因为在视频编码标准中有一些图像预处理和后处 理算法都是在像素域进行的，例如参考图像边界扩展、去块效应滤波等，而在 d c t 域进行这些操作是很不方便的。因此，在实际的应用中，应该根据具体的 需求和条件选择最合适的转码框架。 从上面的分析可以看出，d c t 域转码框架能否取代像素域转码框架主要取 决于各种具体实现方法在d c t 域能否找到足够理想的快速算法，目前仍有许多 学者致力于这方面的研究，例如对于比特率转码，能否找到合适的d c t 域运动 补偿快速算法就是非常棘手的问题。 总的来讲，像素域的完整级联与简化后的框架和d c t 域的转码框架各有优 缺点。像素域完整级联转码框架非常灵活，无误差漂移，但是复杂度较高，缓存 需求大，适用于对缓存无太大限制，需要实现各种功能的情况的场合。简化的像 素域级联转码框架简单，计算量小，缓存需求小，然而存在误差漂移，适用于对 误差漂移不敏感的情况。而d c t 域级联转码计算量最少，不过灵活性比较低， 适用于重视速度，功能要求不是很多的情况。另外，在一些特定的转码条件下， 第二章视频转码器软件结构设计和关键技术分析 有一些更简单的转码框架可供选取，比如仅适用于码率转码的简单开环转码框 架，该框架运算复杂度非常低，转码延迟小，但是误差漂移现象比较严重；还有 专门用于图像分辨率下采样的开环转码框架、低分辨率补偿转码框架、源分辨率 补偿转码框架、内部刷新转码框架等。总之需要根据具体的转码器设计要求和应 用场合选择最合适的转码框架。 2 3 视频转码中的关键技术 视频转码领域的关键技术主要包括d c t i d c t 变换、运动补偿技术、运动 矢量再利用、码率控制、空间下采样、汇编优化等。根据用户的实际需求，综合 考虑转码质量和转码速度等性能要求，这些关键技术既可以独立使用启发式方法 来确定，也可以联合使用率失真方法来优化。在本节中主要对速率控制、宏块类 型转换与运动矢量映射以及空间分辨率下采样等关键技术作简要介绍。 2 3 1 转码速率控制 视频序列的速率控制常常需要考虑信道的带宽、终端的限制、网络的限制、 存储空间或者用户的偏爱。一般来说，如果不进行控制，转码器所产生的码流的 数据率是变化的，而在视频传输时总是希望以稳定的速率进行发送，于是就有必 要在转码器和信道之间设置一个缓存器。当码流的速率高于信道的传输速率时， 缓存器会越来越满；而码率低于信道速率时缓存器则越来越空。为了防止缓存器 上溢下溢，就需要对转码的速率进行控制。为了降低转码视频流的速率，主要的 方法有：降低时域分辨率；降低空间分辨率；或者将这两种方法结合使用。 在我们的视频转码系统中，需要集中考虑如何使编码码流的比特率降低。特 别地，在我们的视频转码系统中考虑能够将压缩的视频序列通过采用更大的量化 参数使其转换为另一个具有更低码率的视频压缩序列流输出，同时使重建序列的 失真最小、系统的计算复杂度低。转码速率控制与一般的视频编码速率控制有些 不同，因为通过解码可以获知视频序列的一些统计特性，这对于速率控制很有利 的。一般的速率控制算法思想都是基于率失真模型和缓存反馈控制，采用率失真 模型的目的就在于通过建立速率- 失真模型以便在速率一定的情况下尽可能减小 编码失真，也就是说去逼近视频信源的率失真曲线。由于编码视频序列的率失真 曲线是未知的，所以我们只能通过对大量视频序列的实验统计结果来假设和推导 率失真模型，假设的这种模型越接近实际的模型，那么这种速率控制算法的效果 就越好。 1 2 第二章视频转码器软件结构设计和关键技术分析 在转码速率控制中，除了可以利用编码器一般使用的率失真模型外，考虑在 解码时已经得到了很多关于图像原始编码的信息，相当于有过一次预编码的过 程，在此基础上就可以使用另一类速率控制方法：即利用编码d c t 系数所需比 特数与量化后的非零系数比例存在的线性关系来进行速率控制。 2 3 2 图像下采样滤波 在许多多媒体应用中，人们常常希望同一视频内容可以有不同空间分辨率的 压缩版本。例如，希望相同的图像可以在不同带宽的信道上，以不同的空间分辨 率进行传输；又如浏览视频数据库时，希望可以先检索低分辨率图像，如果感兴 趣再浏览高分辨率图像等等。而从高分辨率的图像获得低分辨率地图像则需要进 行空间下采样，对于已压缩视频进行图像下采样又可以分为空间域下采样和 d c t 域下采样。空间域下采样技术就是将已压缩视频数据先解压缩，再下采样， 然后重新进行压缩，生成低分辨率的码流。而d c t 域下采样技术理论上不需要 完全解码，而是在d c t 域直接进行下