（通信与信息系统专业论文）mpeg2到h264的基于像素域优化的转码设计及实现.pdf

北京邮电大学硕上论文 摘要 视频转换编码技术是数字多媒体应用中的一项关键技术，近年来 已成为国际上的研究热点。转换编码就是将多媒体内容的原始格式转 换成另一种需要格式的处理技术，也就是对已经压缩编码的比特流进 行再处理，使经过处理后的数据满足传输信道或解码器对编码比特流 的特殊要求。新一代视频压缩标准h 2 c 具有编码效率高、网 络适应性强和抗误码能力好等优点。对h 2 6 乱w c 与m p e g 2 系统 节目资源共享的迫切需求使得研究两个标准之间的转换编码成为该 领域一个引人关注的新课题。 论文较为全面地介绍了转换编码技术，并详细讨论了它的分类。 针对其中的视频转换编码技术及其当前研究进展进行了系统探讨。论 文着重研究了从m p e g 2 到h 2 6 4 格式转换中的问题。尽管两者在运 动补偿块类型、变换块大小和运动搜索范围上存在显著差别，仍可以 从m p e g 2 比特流中提取运动矢量和宏块模式等有用信息，利用 h 2 6 4 编码器编码，以改善转码质量并减少计算复杂度。 不同视频编码标准的共存以及不断涌现的新应用中对多分辨率和 帧率的要求，需要高效的转码。转码器将从简单的解码再编码设备发展 到更复杂的综合性系统，重用输入比特流的信息，利用变换域处理技术 获得更好的性能。 关键词：视频转换编码、m p e g 2 、h 2 6 4 a v c 、运动矢量合成、宏 块模式、帧内编码、帧间编码 北京邮电大学硕上论文 a b s t r a c t v i d e ot r a n s c o d i n gi sak e yt e c h n o l o g yi na p p l i c a t i o n so fd i l g i t a lm u l t i m e d i a r e c e n t l y , i th a sb e c o m eas t u d yf o c u si n t e r n a t i o n a l l y t r a n s c o d i n gi sap r o c e s s i n g t e c h n o l o g yf o rc o n v e r t i n gm u l t i m e d i ac o n t e n tf r o mi t so r i g i n a lf o r m a tt oa n o t h e r s u i t a b l ef o r m a t ，t h a ti s ，t or e - p r o c e s st h ec o m p r e s s e ds t r e a mt om e e tt h es p e c i f i cn e e d s o ft r a n s m i s s i o nc h a n n e la n d o rt a r g e td e c o d e r h 2 6 4 f 划cj i ：san e wg e n e r a t i o nv i d e o c o m p r e s s i n gs t a n d a r d w h i c hf e a t u r e sm g hc o d i n ge f f i c i e n c y ,f l e x i b l en e t w o r k a d a p t a t i o n , r o b u s te r r o rr e s i l i e n c e 、a n d 的o i lt h e r e f o r e , h2 诅| 斟cc a nb eb r o a d l y u s e di nf i e l d ss u c ha sm o b i l ev i d e ot r a n s m i s s i o n , i n t e r a c t i v ev i d e os e i c ea n d1 1 t r a n s m i s s i o n 1 1 l eg r e a tn e e do fs h a r i n gp r o g r a m sb 炯嗍h 2 硎a v ca n dm p e g - 2 s y s t e m sh a st h er e s e a r c ho nm p e g 2 h 2 6 4a v ct r a n s c o d i n gb e c o m i n gan e w a t t r a c t i v et o p i ci nt h i sa r e a t h ed i s s e r t a t i o nm a k e ,ac o m p r e h e n s i v es u m m a r i z a t i o no ft r a n s c o d i n g t e c h n o l o g ya n dd i s c u s s e si t sc l a s s i f i c a t i o ni nd e t a i l t m sa r t i c l ep r i m a r i l yf o c u s e so n t h ei s s u e sa n dc h a l l e n g e sa s s o c i a t e dw i t hf o r m a tt r a n s c o d i n gf r o mm p e g 2t oh 2 6 4 a l t h o u g ht h e r ea r es i g n i f i c a n td i f f e r e n c e sb e t w e e nm p e g 2a n dh 2 6 4 i n c l u d i n g b l o c ks h a p e sf o rm o t i o nc o m p e n s a t i o n , b l o c ks i z e sf o rt r a n s f o r m a t i o na n dm o t i o n s e a r c hr a n g e s t h e r ei ss t i l lu s e f u li n f o r m a t i o na v a i l a b l ei nt h ei n p u tm p e g 一2b i t s t r e a mt h a tc a nb ee x p l o i t e db yt h eh 2 6 4e n c o d e rt oi m p r o v et r a n s c o d i n gq u a l i t ya n d r e d u c ec o m p u t a t i o n a lc o m p l e x i t y i n f o r m a t i o ns u c ha sm o t i o nv e c t o rv a l u e , a n d c o d i n gm o d ed e c i s i o n sc a nb er e u s e dt or e d u c ec o m p l e x i t yo ft r a n s c o d i n g c o e x i s t e n c eo fv a r i o u sc o d i n gs t a n d a r d s ，a n dt h er e q u i r e m e n tf o rm u l t i p l e r e s o l u t i o n sa n df r a m er a t e sf o rn e we m e r g i n ga p p l i c a t i o n s ，w i l ld r i v et h en e e df o r e f f i c i e n t ，h i g h - d e n s i t yt r a n s c o d i n g t r a n s c o d e r sa r ee x p e c t e dt op r o g r e s sf r o ms i m p l e d e c o d e r e - e n c o d ed e v i c e st om o r ec o m p l e xi n t e g r a t e ds y s t e m st h a tr e u s ei n f o r m a t i o n i nt h ei n p u tb i ts t r e a ma n da c h i e v eh i g h e rd e n s i t yb ye m p l o y i n gs e l e c t i v et r a n s f o r m d o m a i np r o c e s s i n gt e c h n i q u e , k e yw o r d s v i d e ot r a n s c o d i n g , m p e g - 2 ，h 2 6 4 a v c ，m o t i o nv e c t o r 北京邮电大学硕上论文 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所 知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢 意。 申请学位论 本人签名： 处，本人承担一切相关责任。 日期：2 煎：三：篮 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文 的规定，即：研究生在校攻读学位期间论文工作的知识产权单位 属北京邮电大学。学校有权保留并向国家有关部门或机构送交论 文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以公布 学位论文的全部或部分内容，可以允许采用影印、缩印或其它复 制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此 规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学 本人签名 导师签名 适用本授权书。 日期：墨蝼。至：独 日期：捌l l 竺生一 北京邮电大学硕士论文 1 1 课题选题背景 第一章绪论 近年来，电视领域里发生了一系列巨大的变化，会议电视、v c d 、d v d 、 数字电视以及高清晰度电视( h d t v ) 等新技术和新系统正迅速走进我们的生活。 与传统的模拟电视相比，这些新系统的突出特点是采用了全数字的图像声音处 理技术。随着这些数字电视系统的日益成熟和不断发展，针对不同的应用领域， 一系列相应的数字视频音频编码标准也迅速地推出并不断得到完善和广泛应用， 其中包括：应用于会议电视及可视电话的h 2 6 1 ，用于静止图像压缩的j p e g ， 用于v c d 的m p e g 1 和用于广播电视、d v d 以及h d t v 的m p e g 2 ，用于无 线和移动网络、i n t e r n e t 网络的m p e g - 4 。与此同时，迅猛发展的互联网和日益 普及的宽带无线通信技术为世人提供了方便快捷的大规模信息服务，逐渐成为人 们交流、娱乐和工作的重要工具。 视频编比特流的转换编码可以理解为一种视频压缩格式到另一种视频压缩 格式的转换。这里所说的格式包括比特流的句法和比特流中的格式参数如编码比 特率、图像空间格式等。需要对已编码视频信号进行转换编码的原因归纳起来主 要有以下几点： 1 多种视频压缩编码国际标准的存在和它们在不同领域的广泛应用。如h 2 6 1 、 h 2 6 3 在电信领域；m p e g 2 在数字电视领域；m p e g - 4 在移动无线网络和 i n t e m e t 领域；最新的h 2 6 4 a 、，c 标准预期可以应用于电视广播、数字存储、无 线和移动网络通信等多个领域。然而随着数字技术的广泛发展和应用，将出现电 信业、广播传媒业和计算机业相互融合的趋势，它们之间不可避免地会通过网络 相互交换节目，此时至少需要在不同的视频编码标准间进行句法的转换。 2 复杂多变的网络环境。由于不同的网络以不同的带宽运行，有时会出现编码 比特流与传输信道不匹配的情况。例如在视频点播系统中，节目经过高质量的压 缩编码后，储存在视频服务器上，用户可以通过不同的网络进行访问，还可以根 据节目的内容和自己的喜好来选择不同的质量等级，这就要求系统具有比特率转 换的能力。 3 解码器资源的限制，包括解码器的运算速度、比特流缓存器容量和参考帧存 储器的大小等。实际硬件实现时，解码器的设计通常由具体的应用环境来决定， 为了使解码器具有较高的性价比，要尽量避免解码器的资源浪费，因此解码器资 源是有限的。这就造成一个解码器通常只能对指定的分解力和一定比特率的比特 北京邮电大学硕士论文 流进行有效解码，从而需要对已解码比特流进行比特率和分解力转换。 4 显示格式的不同。目前在广播电视、计算机以及电信界存在着多种不同的图 像格式，图像显示格式的转换可以在解码后处理阶段完成，但从节省传输带宽和 运算资源角度看，对视频编码比特流进行处理比在解码后处理有优越性。 5 特殊应用的需要。例如p v r 在节目录制时，可以在记录正常节目的同时， 对输入比特流进行处理，产生另外一个低质量、低比特率的附加比特流，用于快 进、快退等特技模式。 综上所述，随着图像压缩编码技术、宽带数字通信技术和多媒体网络技术的 发展，数字视频技术已经在广播电视、计算机和通信领域获得了广泛的应用，视 频转换编码作为多种应用标准之间的桥梁在系统中扮演着不可或缺的角色。 在数据压缩和适应网络环境多变的抗误码性以及网络接口的多样性方面具 备高效性的h 2 6 4 a v c 标准与先前的标准类似，也是基于预测变换和混合编码 框架，但在预测、变换、量化和熵编码等细节方面都有了一些改变，这些改变构 成了h 2 6 4 a v c 的主要技术特性，提高了压缩比并且更适合于网络传输。与先 前标准相比，它的优越性可以归纳如下： 1 比特率低。和m p e g 2 等压缩技术相比，在同等图像质量下，采用h 2 6 4 a v c 技术压缩后的数据量只有m p e g 2 的1 2 1 3 。显然，h 2 6 4 a v c 压缩技术的采 用将大大节省用户的下载时间和数据流量。 2 图像质量高。h 2 6 4 a v c 能提供连续、流畅的高质量图像。 3 容错能力强。h 2 6 4 a v c 提供了必要的工具，可以解决在不稳定网络环境下 容易发生的丢包问题。 4 网络适应性强。h 2 6 4 a v c 提供了网络抽象层，使h 2 6 4 a v c 的文件能方便 地在不同网络间传输。 目前，m p e g 2 标准在数字电视和d v d 等消费电子领域已经得到了广泛应 用，节目资源最为丰富。随着无线视频和网络流媒体技术的发展，必定会有更多 得的应用系统采用更高效的h 2 6 4 a v c 标准。因此，与m p e g 2 系统的节目资 源共享会成为迫切需求。从另一方面考虑，目前大量使用的符合m p e g 2 标准的 数字电视机顶盒( s t b s e t t o pb o x ) 及数字个人视频记录器( p v r p e r s o n a lv i d e o r e c o r d e r ) 尚不能支持h 2 6 4 a v c 格式，这就限制了用户观看通过网络传输的符 合h 2 6 4 a v c 标准的视频内容。因此，研究m p e g 2 与h 2 6 4 a v c 标准之间的 转换具有重要的实用内容。 1 2 论文的主要研究内容 本文的研究目标是在保证图像质量相对于m p e g 2 压缩的码流在主观上没有 北京邮电大学硕士论文 大的降低的情况下实现编码格式到h 2 6 4 a v c 的转换。首先介绍了转码技术的发 展和研究方向以及视频压缩的基本原理，然后分析了m p e g 2 和h 2 6 4 a v c 视频 压缩标准的基本结构和流程，并详细介绍h 2 6 4 a v c 协议的先进技术，通过介绍 这些特点分析转码的复杂性。 m p e g 2 到h 2 6 4 最直接的转换编码就是像素域级联形式的转换编码。也就是 先由m p e g 2 的解码器先解码到像素域，然后再由h 2 6 4 a v c 的编码器进行编码。 中间解码的每帧的像素域数据可以存储在一个缓冲空间内。论文中给出了这种级 联形式的转换编码的示意图，其他改进的转换编码方案都应以这种级联转换编码 为评价标准。 像素域级联的m p e g 2 至i j h 2 6 4 的转换编码器实际上回避了两种不同标准之 间的不同，是效率最低的一种转换编码方式。本文所提出的转换编码器在基于帧 内预测编码和帧间预测编码两个重要方面进行了改进，在细致的分析了m p e g 2 解码器和h 2 6 4 a v c 编码器后，使用了重用m p e g 2 中的m v 和q p 值的转码算法， 通过此算法保证转码后图像的整体质量并控制码率平衡。 1 3 论文内容安排 第1 章介绍转换编码的由来和发展，对视频转换编码技术及其进展现状进行 研究分析和综述，详细给出了转换编码的分类和各类技术的要点。 第2 章简单介绍了m p e g 2 的编码结构和主要技术。 第3 章对新兴的国际标准h 2 6 4 a v c 做了详细阐述。 第4 章介绍了三种经典的转码体系，包括基于像素域的级联转码结构、基于 像素域的快速级联转码结构以及基于d c t 域的转码结构。 第5 章讨论了目前广泛使用的m p e g 2 标准与h 2 6 4 a v c 新标准的异同；同 时，在此基础上研究了m p e g 2 至i j h 2 6 4 a v c 标准的转换编码结构和实现方法， 详细介绍了本文转码需要在m p e g 2 中得到的数据，比如恢复的运动矢量、量化 参数、宏块类型等，在h 2 6 4 编码端，介绍了对m p e g 2 中得到的数据如何处理， 比如运动矢量的修正和重构、量化参数的映射算法等。最后实现了对m p e g 2 中i 、 p 帧类型的转换，并得出了本文转码和直接级联模式的性能比较以及本文转码结 果相对直接级联的视频图像主观感觉的比较。 最后，在结束语中归纳了本文的主要工作，并对在本论文基础上进一步工作 提出了一些建议。 北京邮电大学硕士论文 第二章转换编码技术综述 2 1 转换编码研究介绍及现状 总的来说，转换编码就是将多媒体内容的原始格式转换成另一种需要格式的 处理技术，亦即对已经压缩编码的比特流进行再处理，使经过处理后的数据满足 传输信道或解码器对编码比特流的特殊要求。广义地说，转换编码包括媒体类型 内的转换和媒体类型间的转换，前者如一种编码标准的图像转换成另一种编码标 准的图像；后者如语音转换成文字、文字转换成三维图像等。 视频转换编码主要分为三种类型：比特流的比特率变换、分辨率变换和不同 标准间的句法转换。在最早的转换编码工作中，主要的兴趣集中在降低比特率以 适应可用的信道容量。另外，研究人员还对固定比特率( c b r ) 和可变比特率 ( v b r ) 之问的转换进行了研究，以对视频进行更加有效的传输。后来，出现了 显示能力和处理能力受限的移动设备，用于降低空间分辨率以及时间分辨率的转 换编码也得到了研究。而随着通过移动访问网络传输的分组无线业务的出现，为 了提高原始数据流对传输错误的抗御能力，近来抗误码的视频转换编码非常受重 视。本文对转换编码的类型和一些关键技术进行讨论，探讨转换编码在视频处理 和网络通信中的应用及下一步的发展方向。比较而言，单纯的句法转换从技术实 现的角度来看比较简单，所以重点分析比特率变换和分辨率变换。 2 2 比特率变换 视频编码比特流的比特率变换目的有两个，一是为有效传输节目和节省带 宽；二是为了与特定型级的编码相兼容。在电视广播和i n t e r a c t 流式应用时需要 这种转换。例如现有一个比特率是4 m b p s 的m p e g 2 编码比特流，要通过一个 容量是2 m b p s 的视频点播信道传播，就需要将编码比特流的比特率降为2 m b p s 。 实现编码视频比特流变换的最直接方法是将标准解码器与标准编码器级联，即先 对输入编码比特流解码，再按新的目标比特率对解码重建图像再进行编码。 国外对视频编码比特流的比特率变换技术的研究可以追溯到1 9 9 4 年，在 i e e e 第一届图像处理国际会议( i c i p 9 4 ) 上，对采用数据划分工具的m p e g 2 分层编码方法进行了研究，采用了拉格朗日方法对d c t 系数的截取进行率失真优 化，这可以看成是对采用频率截除方式来实现m p e g 2 编码视频流比特率变换的 研究。此后，对转换编码器的结构和比特率控制算法的研究广泛地展开，比较有 代表性的如下：在i c i p 9 5 会议上，a e l e f i h e r i a d i s 和d a n a s t a s s i o u 提出的频率截 北京邮电人学硕士论文 除方式的编码视频流比特率变换算法进行了改进；r j s a f r a n e k 等率先明确提出 单运动补偿预测环路的视频编码比特流比特率变换器结构；1 9 9 6 年，h u i f a n gs u n 等提出了对m p e g 2 编码视频流的比特率变换进行了比较全面的研究，归纳了四 种可能的比特率变换结构，即截除高频系数；加大量化步长；用比特流中 原有的运动矢量和宏块模式进行重新编码；用比特流中原有的运动矢量和重新 判断的宏块模式进行编码；2 0 0 2 年m j ( ；h e n 等人在假定m p e g 2 中的运动补偿是 一种线性运算的条件下，对m e s s e r s c h m i t t 等提出的双运动补偿预测环路结构进行 了分析，对编码视频流比特率变换器由双预测环结构到单预测环结构的演变进行 了详细的推导。双预测环结构实际上就是解码器与编码器级联构成的比特率变换 结构，在这种结构中解码部分和重新编码部分各有一个运动补偿预测环路，如图 2 - 1 所示。单预测环结构是对双环结构的简化，将运动补偿预测环由两个减少为 一个，如图2 - 2 所示。 已编码 已编码 图2 1 双预测环视频编码比特流比特率变换结构的框图 图2 2 单预测环视频编码比特流比特率变换结构的框图 级联的比特率转换编码器对每个宏块重新计算了运动矢量和编码模式，可以 达到最好的转换效果。尽管如此，如果可以通过利用原始输入比特流中包含的信 息，在保持可以接受的图像质量的同时显著减少复杂性，考虑构造简化的结构， 将运动补偿在频率域直接进行，也是值得研究的课题。简单的开环结构( 图2 - 3 ) 是将输入编码比特流经过变长解码( v l d ) 和反量化得到包括运动矢量和d c t 出 北京邮电大学硕士论文 变换系数的宏块级信息，然后直接通过重新量化或滤波处理，把编码比特流的比 特率调整到新的目标值上，最后将重新量化后的系数和储存的宏块级信息进行可 变长编码( v l c ) 。另一种更简单的开环结构是直接截除每个宏块的高频数据。 将高频数据去掉不再进行变长编码，对宏块进行编码时去掉与高频系数相对应的 部分码表，使目标比特率满足需要。 比特率变换一般是指由较高比特率尺- 向较低比特率r z 转换，转换时对d c t 变换系数先用量化步长9 解量化，然后再用新量化步长值q 2 进行再量化，显然 q 2 必须大于q - 。f e a m s t c r 等提出了两种方法来选取新量化步长值9 。一种是根 据m s e ( m e a ns q u a r e de r r o r ) 函数的量化，另一种是根据m a p ( m a x i m u ma p o s t c d o f i ) 函数的量化。m s e 是根据使原始值与量化值的均方误差最小来选择新 量化值；m a p 是根据使原始d c t 值落入新区间的后验概率最大来选取新量化值。 这两种方法都是基于适当的d c t 系数分布模型。因此，估计参数分布是再量化 的一个重要问题。 开环转码器在转码结构中不包含用作补偿漂移误差的反馈环。它们旨在达到 最小的转码复杂度，因此通过重新量化的开环结构虽能达到较高的编码效率，但 会引起漂移。开环结构如下图所示： 图2 - 3 再量化方案下的开环转码器 在预测编码中，编码预测帧从其他帧预测得到，且仅预测误差被编码。为方 便解码器工作，重构并存储在解码预测器中的视频帧必须与编码预测器中的帧完 全相同。如果解码器中的预测帧与编码器中的预测帧不同，将在重构帧中引入误 差。这个误差是由于编码器解码器的预测不匹配造成的。随着时间的推移，这 种不匹配会逐渐累积，造成漂移误差，重构帧的质量严重下降。 闭环转码器在转码结构中包括一个反馈环，以通过补偿转码器中的漂移来纠 正转码失真。级联型像素转换结构与这种简化方案在结构上的主要差别是：在级 联结构下，参考帧重构是在空间域进行的，因此需要两个重构环路，进行一次 d c t 和i d c t 运算；在简化结构下，只需要一个重构环路，进行一次d c t 和一 次i d c t 运算。采用简化的结构会引入一些由于重构环路的非线性特性造成的计 算偏差，但这种近似对图像质量仅有轻微的影响。除了这种细小的偏差外，该结 北京邮电人学硕士论文 构与级联结构在运算效果上相当。总的来说，与开环结构想比，因为预测分量和 残差分量均得到了补偿，所以漂移误差被消除了。 图2 4 闭环结构 目前比特率变换研究需要解决的主要问题是如何改善由于再量化误差和漂 移造成的图像质量下降和部分地减小解码的复杂性。 2 3 分辨率转换编码 分辨率变换可分为空间分辨率变换和时间分辨率变换两种，其目的除了实现 有效传输、节省带宽和与特定的编码类级兼容外，还为了使比特流可以解码显 示在低分辨率屏幕上以及为满足终端的处理需求而减少帧率。 2 3 1 空间分辨率转换编码 现在，越来越多的移动设备能够访问因特网。这些设备不仅可以移动，还有 一个特点是尺寸较小。所以，这些设备的分辨率通常较低。对于这些设备来说， 接收高分辨率的视频可能不能正确显示，至少也是某种浪费。由于当前大多数视 频数据都是经过不同标准和格式压缩编码的码流，为了使低分辨率的用户终端能 够接收高分辨率的视频码流，必须对视频图像分辨率进行下采样转码。 国外对视频编码比特流的分辨率转换编码的工作开展较晚。直到1 9 9 8 年， 在对基于h 2 6 3 标准的视频编码比特流的转换编码的研究中，才第一次涉及到视 频编码比特流的空间分辨率转换技术。最初的工作重点仅在运动矢量的缩放上， 对低分辨率图像重新编码使用的运动矢量，只是简单地从4 个相关高密度运动矢 量中选择一个，然后除以2 ，因此帧间预测的效果较差。 北京邮电大学硕士论文 对视频编码比特流的空间分辨率下变换，传统的方法是对输入编码先解码， 在像素域进行下取样，再进行编码，从而达到降低分辨率的目的。如图2 - 5 所示： 图2 5 像素域空间分辨率下变换结构框图 由于运动估计的计算量至少占整个编码运算量的6 0 ，这种转换编码方法的 计算量很大。因此开始出现许多在频域直接进行空间分辨率下变换的研究工作。 在频域直接进行空间分辨率下变换的关键问题是寻找低分辨率图像编码所需的 运动矢量场。得到它的最直接而准确的方法就是在一定大小的搜索窗内重新进行 运动估计。由于在实际应用系统中，需要实时的编码视频流分辨率转换编码，要 求分辨率转换系统的运算量尽可能地低。这促使人们寻找一种可以比较简便地获 取低分辨率图像运动矢量场的新途径，这就是充分利用输入比特流的信息，对运 动矢量场进行抽样。 m p e g 2 、h 2 6 1 、h 2 6 3 和h 2 6 4 a v c 编码均由帧内编码和帧间编码组成， 帧内编码不包含运动信息，因此只需要对帧间图像进行运动矢量抽样。对如 h 2 6 3 和m p e g - 4 这样的压缩编码标准而言，每个8 x 8 块有一个运动矢量，这 样，原分辨率下的1 6 x1 6 宏块运动矢量简单除以2 就得到下变换图像下的一个 8 x 8 块的运动矢量。但编码4 个运动矢量需要更多比特，会降低编码效率，所以 还需要对运动矢量进行抽样。 在前向预测编码帧中，四个宏块经分辨率下变换后合成为一个宏块。在分辨 率下变换之前，四个宏块均有一个最佳运动矢量，在分辨率下变换后，宏块的运 动矢量变成了图像子块8 x 8 的运动矢量，即分辨率下变换后，每个宏块有4 个 输入待选运动矢量。实现运动矢量二分之一抽样最直接的方法是对四个输入的运 动矢量求平均，然后将结果除以2 。如果相邻四个宏块的运动矢量大小、方向相 似，那么采用上述求平均再除以2 的方法比较合适。但是，如果其中某个宏块的 运动矢量明显不同于其他三个，如大小或者方向上，这种求平均的方法会产生很 大的误差，效果较差。 因此在对输入的四个运动矢量进行二分之一抽样时，不仅要考虑其中每个运 北京邮电大学硕士论文 动矢量的数值，还要考虑在图像分辨率下变换前用该运动矢量做运动补偿预测的 效果。前人在这方面提出了多种方法将多个运动矢量合成为单个运动矢量。比如 文献1 提出取运动矢量的权重平均，权重由空间活动性表示。而在t m 5 中一个 宏块的量化参数与它的空间活动性成比例，量化参数可以代表宏块活动性，所以 每个运动矢量的权重由宏块的量化参数来测度。文献归，采用加权平均的方法来实 现运动矢量的二分之一抽样。文献n 们提出了另一种获取分解力下变换后运动矢量 的方法，称为最大平均相关法( m a c ) 。从输入比特流的4 个运动矢量中选取具 有最大加权平均相关的一个作为新矢量，可以进一步减少计算量。 当将视频数据在小型设备上显示时，对图像进行过多的分辨率下变换会使图 像中的信息难于识别。文献n q 提出了基于感觉的图像转换编码，即不仅单纯地减 小显示，而是对主要对象显示，以改善小尺寸显示屏的效果。 对空间分辨率减小的图像进行重编码，除了要解决运动矢量的更新问题外， 还需要重新确定图像编码时的宏块模式。高质量原始比特流获得的选择模式对于 使用再量化以减小速率的再编码并非最佳。最坏情况下，宏块可能会以错误模式 编码。例如，一个在转码器的编码端应该被跳过的宏块，由于进行较大步长的再 量化，使得大多数系数为零，因为在发送端编码为帧间宏块，于是它有可能按帧 间模式被编码。在m p e g 编码中，空间相邻的4 个宏块的编码模式可能各不相 同。当对图像进行空间分辨率减半转换后，会造成输出宏块的各子块编码模式不 同，如果既有帧内模式( i n t r a m o d e ) 又有帧间模式( i n t e r m o d e ) ，在m p e g 1 、2 视 频编码标准中还是不允许的。那么就应根据原始比特流中4 个相关宏块的编码模 式确定输出宏块应采用的编码模式。如果采用帧内编码，则编码输出的比特数将 大大增加；如果采用帧间编码，则需要寻找新的运动矢量。 对这个问题文献n 2 1 中列出了3 种解决方案。第1 种方法称为z e r o o u t ，即 把所有混合宏块的宏块模型都修改成帧间模式，由帧内宏块转换得到的帧间宏块 的运动矢量和d c t 系数均置为0 。通过这种方式，转换后的输入宏块用参考帧 中相应块的数据复制。第2 种方法称为i n t r a i n t e r ，把所有的宏块映射为帧间模 式，但是对原帧内宏块的运动矢量需要重新预测。这个预测可以依据邻近块中的 数据，这些数据包括编码模式和运动信息。作为另外一种选择，可以依据哪种产 生较少的残差简单地把运动矢量设定为0 。在编码器中，模式判决通常根据残差 块的平均绝对差，这里可以采用相同的法则。根据预测的运动矢量，必须计算一 个修改后宏块新的残差。第3 种方法称为i n t e r - i n t r a ，也就是把宏块模式全部修 改成帧内模式。在这种情况下，所有与运动矢量相关的数据重置为0 ，以帧内宏 块的d c t 系数代替帧间编码宏块的d c t 系数，完成帧间宏块到帧内宏块的转换。 值得注意的是，为了实现i n t r a - i n t e r 和i n t c r - i n t r a 模式，需要一个解码环来重构 北京邮电大学硕士论文 全分解力的图像。重构的数据用来作为i n t r a - i n t e r 或i n t e r - i n t r a 时重新计算输出 宏块的残差数据即d c t 系数的参考。对于一个有较少运动和较少细节的帧序列 来说，可以采用低复杂度的策略z 盯0 o u t 。否则，要采用i n t r a - i n t e r 或 i n t e r - i n t r a 。i n t e r - i n t r a 比i n t r a - i n t e r 效果好一些，因为i n t e r - i n t r a 可以阻止在帧内 块转换为帧间块时的漂移传播。 2 3 2 时间分辨率转换编码 另一种形式的分辨率变换是时间分辨率变换，即帧率变换，实际上就是指帧 的丢弃。帧率的减少可以节省比特，用来在剩下的帧中为每帧保持可接受的整体 图像质量。另外，当终端系统仅支持低帧率时，需要进行帧率变换。因为丢弃帧 的关系，原比特流部分运动矢量由于其所指向帧在新比特流中被丢弃而变得无 效，需要对运动矢量进行修正。因此帧率变换的关键问题在于运动矢量的更新， 寻找既能利用原运动矢量信息又不致引入明显的图像质量降低的方案。近几年来 围绕这个问题展开了许多研究，归纳起来主要有以下几种方法： 一种是运动矢量做双线性内插。根据跳帧数和运动矢量累积幅度确定搜索范 围，在此范围内搜索得到更新运动矢量。把内插得到的运动矢量的新位置作为新 的搜索中心，因此减少了搜索范围。另一种方法是由y o u n 和s u n 提出的前向主 控矢量选择( f d v s ) 羽，如图2 - 6 所示，从四个相邻宏块中选择一个主控运动矢 量( 主控运动矢量是主控宏块的运动矢量，主控宏块指在输入运动矢量所指向的 块中，具有最大重叠部分的那个宏块) 。发生帧丢弃时，当前宏块的运动矢量指 向的最佳匹配区域与丢弃帧的最多四个宏块重叠。选择具有最大重叠部分宏块的 运动矢量，并与当前运动矢量相加。每丢弃一个帧就重复一次该过程，直到丢弃 帧后第一个编码帧的新的运动矢量形成。由于丢弃帧，当前帧与之前基础帧间的 距离越来越大，提取的宏块类型可能未必合适。后人在此基础上提出了改进的主 控运动矢量选择方法( a d v s ) 。利用反映宏块活动性的宏块运动信息即非零d c t 系数的绝对值之和来决定运动矢量选择。 北京邮电大学硕士论文 ( d r o p p e d )( d r o p p e d ) f r a m e ( n 。3 )f r a m e ( n - 2 )f r a m e ( n 一1 ) f r a m e ( n 1 图2 6f d v s 矢量合成方法 还有一种方法称为伸缩矢量构成法( t v c ) ，把所有丢弃帧中与当前宏块位置 相对应的宏块运动矢量累加起来，并把得到的运动矢量与当前宏块的运动矢量叠 加。 上述方法中，双线性的缺陷在于，由于插值需要将第一个丢弃的帧到最后一 个丢弃的帧都进行处理，这就要求所有丢弃帧的运动矢量都存储记录下来，对于 连续丢弃的帧，就意味着需要多个存储器。f d v s 方法比双线性内插在较少计算 量的同时达到更好的性能。f d v s 较之双线性内插的另一优点是当丢弃多个帧 时，可以按前向顺序处理，排除了存储所有丢弃帧的输入运动矢量所需的多个存 储器的必要。t v c 的计算量比f d v s 少，而它的图像质量仅比f d v s 稍低甚至 差不多。大多数情况下，f d v s 和a d v s 会选择相同的运动矢量。a d v s 优于 f d v s ，尤其对高速运动情况，但较之f d v s 更复杂些。 2 4 异类比特流间的转换编码 除对同类比特流的转换编码开展了较多的研究外，对异类比特流间的转换编 码的研究也已经开始，其部分动力来源于一种解码器( 如h 2 6 3 ) 希望接收其它 比特流格式( 如m p e g 2 ) ；以及低带宽、恶劣环境下传输视频数据的需要，比 如移动网络、i n t e r n e t 等环境。对同类标准间的转换编码，源图像和目标图像的 很多特性相同，如图像编码类型、参数定义和编码技术等，参数的再利用简单一 些；相比之下对不同标准的转换编码，源图像和目标图像的很多特性是不同的， 因此源图像中包含的信息不能直接利用。转换编码器需要分析并提取有用信息使 转换编码处理更有效。同时由于不同标准在语法上有一定的区别，除完成分辨率 和比特率转换外，还要进行语法转换。 图2 7 给了一个通用的异类转码器。该结构中，需要语义转换( s c ) 将源视 频语义转化为目标视频的语义。一个更高分辨率的解码器解码输入比特流。提取 的m v 根据所需的输出编码结构进行后处理，如果需要的话，这些m v 按适当 北京邮电大学硕士论文 比例缩小到适合较低空域一时域分辨率编码器的大小。若后处理不够，精化提取 的m v 以改善编码效率。解码图像相应地在空域或时域下取样，经过下取样的图 像用新的m v 编码。因为重新使用了输入的m v ，而其他编码模式，诸如宏块类 型，从输入的比特流中可提取出，该转码器的结构进一步得到简化。 该结构中，输入比特流的m v 在流出比特流中使用，提取的m v 必须通过 转化以与输出比特流的编码性质一致。注意提取的m v 的性质和它们的使用取决 于图像类型。文献n 钔中提出的算法假设图像间的运动一致，这样前向和相反的 m v 是其各自的镜像，或者帧间m v 是更大图像距离的比例版本。如果找不到 m v ，可用一个( 0 ，0 ) 的m v ，或者最坏情况下的帧内编码模式的基本宏块。在 文献n 们中，m p e g 1 2 的编码格式首先转码成h 2 6 1 h 2 6 3 ，算法采用一个高达 3 帧的子g o p 的输入运动参数为输出图像生成几个参考m v 。然后比较所有估计 的m v ，选择编码误的绝对差值和( s a d ) 最小的那个m v 。最佳m v 通过半像素 ( 或者整像素) 运动估计精化生成近似最佳结果。第二，从h 2 6 1 h 2 6 3 的编 码格式到h 2 6 3 的p 、b 帧转码。p 帧和b 帧的新m v 以与第一种情况下相近的 方式计算。得到新的m v 后，执行空域或时域的减少操作，异类转码器中的编码 器根据新格式的图像类型编码每幅图。 图2 7 异类视频转码器 图2 - 7 中，9 - 表示源码流的反量化器；s c 表示标准间的语义转换；m v c r 表示运动矢量合成及精细化模块；s t r 表示空域时域分辨率减少模块；q r 表 示目标码流量化器；9 q 表示目标码流的反量化器；f 表示帧缓存器：m c 表示 运动补偿。 目前，h 2 6 3 、m p e g - i 2 、m p e g - 4 标准都在不同的领域得到了广泛的应用， 因此研究这几种标准间的转换编码成为必然趋势。文献n 钉中对用于异类多媒体网 北京邮电大学硕士论文 络信息交互的m p e g - 4 与h 2 6 3 的转换编码进行了研究，指出了这两种标准在 语法结构、帧内编码宏块的交流系数、帧内编码宏块的运动矢量映射等方面的区 别。文献n 6 h 刀详细分析了m p e g 1 2 与h 2 6 1 h 2 6 3 间不同图像格式、不同时间 与空间分辨率下的转换编码策略。针对h 2 6 3 的转换编码研究的重点仍是运动 矢量的提取问题。在h 2 6 3 标准中，一个宏块中4 个8 x 8 块可各有一个运动矢 量或共用一个1 6 x1 6 运动矢量。在空间分辨率下变换中，对前者，高分辨率输 入比特流的运动矢量可直接用于下变换后的每个8 x 8 块，无需进一步的处理； 对后者，需要从4 个输入运动矢量中导出一个新矢量用于下变换后的宏块。计算 新矢量可采用简单平均法、中间值法、加权平均法等。当图像序列有较大复杂的 运动细节时，需要对新运动矢量进行细化。 在m p e g - 4 增补的视频流应用框架中提出了精细可缩放编码( f g s ) n 砌，一 个f g s 编码器将原始视频序列压缩成两个子流，即基本层比特流和精细粒度增 强层比特流。f g s 的出现引起了对它与单层视频之间转换编码的需求。文献n 钔 提出了一种有效的把f g s 视频转到单层视频的结构。文献啪1 指出，在同样的比 特率下，从f g s 到单层视频的转换编码比简单地截短f g s 数据流有更好的视 频质量。文献乜研究了从单层视频到f g s 比特流的采用开环结构以及闭环结构 的各种转换编码方法。 对基于对象转换编码仍然存在诸如引入重定义对象大小的功能、寻找更多的 转换编码线索以提高比特率分配效率等需要解决的问题。 新的h 2 6 4 本质上与之前的m p e g 和i t u 标准不同，它是m p e g 和i t u 合 作下第一个版本在2 0 0 3 年5 月的最后定案，旨在以包括低比特率的所有比特速 率传递更高质量的视频。它同样可在低延迟模式下操作，以适应视频会议这样的 实时通信应用；在允许较高处理延迟方面，同样适用于时间限制较少的视频存储、 基于服务器线程等。它还同样提供所需的工具来处理分组网络中的分组丢失以及 易出错无线网络中的比特错误。在h 2 6 4 中，视频压缩技术与之前视频压缩标 准不同。h 2 6 4 中用到的语义和算法区别甚大，因此通过传统的基于d c t 的标 准将压缩视频转码到h 2 6 4 面临许多困难，尤其是在频域实现转码。下列课题 在h 2 6 4 相关转码上值得研究。 h 2 6 4 使用4 4 整数变换，与其他标准中使用的8 8d c t 不同。因此， 以其他标准编码的源视频中的d c t 系数不能不经过任何转换就输入 h 2 6 4 编码器进行再量化。 h 2 6 4 中的预测块结构和m v 预测编码算法与之前标准不同。因此，从 以其他标准编码的源视频中提取的运动矢量不适用于h 2