（通信与信息系统专业论文）mpeg2到h264转码算法研究.pdf

中文摘要中文摘要随着数字音视频及多媒体技术的发展，适应于不同领域的h 2 6 1 、m p e g 1 、m p e g 一2 、h 2 6 3 、m p e g - 4 、h 2 6 4 等国际视频编码标准应运而生。而多种视频图像压缩标准的存在，导致视频设备问的兼容问题，视频转码是有效解决这种兼容问题的一种技术。由于目前很多的压缩视频码流是采用m p e g 2 标准压缩的，而h 2 6 4 作为新一代视频编解码标准，周以往标准相比，同样图像质量下具有更高的编码效率，同时还有良好的网络适应性和抗误码性，因此被普遍看好为下一代的视频编码标准，与现行标准间的转换成为必然要求，由m p e g - 2 到h 2 6 4 的视频转换是很有必要的。本文的研究工作就是围绕视频转码技术展开的。本文介绍了视频转码的目的、研究现状和发展方向，分析h 2 6 4 视频压缩标准的基本结构和流程，重点介绍了h 2 6 4 视频编码层的关键技术。在对比分析m p e ( 3 - 2 和h ，2 6 4 的异同、讨论现有视频转码结构的基础上，研究d c t 域i 帧转码的实现、d c t 域开环转码的实现和像素域级联转码的优化。在细致分析8 x 8 d c t 到4 x 4 整数d c t 的转换方法和h 2 6 4 像素域帧内预测原理后，详细介绍了d c t 域i 帧转码的实现过程，并分析d c t 域帧内预测的计算复杂度。在m p e g 一2 到h 2 6 4 转码的实现上，讨论两种算法：d c t 域开环转码算法和像素域级联转码的优化算法。d c t 域开环转码算法采用8 x 8d c t 到4 x4 整数d c t转换，避免了整数d c t 变换。像素域级联转码的优化算法根据残差能量进行块模式选择，所得的分块比例和各模式遍历所得的分块比例近似，并且重用m p e g - 2的运动矢量，设置一个较小的搜索范围。仿真结果表明，该算法可以达到和直接级联算法相近的图像质量。关键词：转码，m p e g - 2 ，h 2 6 4 ，d c t ，残差能量，运动矢量重用a b s t r a e ta b s t r a c ta 1 0 n gw i ld i g i t a la va n dm u l t i m e d i at e c h n o l o g yd e v e l o p i n g ，t h ei n t e m a t i o n a lv i d e oc o d i n gs t a n d a r d s 。s u c ha sh 2 6 1 m p e g 1 ，m p e g - 2 ，h 2 6 3 ，m p e g - 4 ，h 2 6 4 ，h a v eb e e ne s t a b l i s h e da n da p p l i e dt od i f f e r e n ta p p l i c a t o na r e a s a st h e r ee x i s t e dm a n yk i n d so fv i d e oc o d i n gs t a n d a r d s ，t h ei n t e r o p e r a b i l i t yb e t w e e nd i f f e r e mv i d e oe q u i p m e n t si sb e c o m i n gm o t ea n dm o 豫i m p o r t a n t v i d e ot m n s e o d i n gi so n eo f t h ek e ye n a b l i n gt e c h n o l o g i e sf o rm u l t i m e d i ai n t e r o p e m b i l i t y m p e g 2i st h em o s tc o l - n t l o nv i d e oc o d i n gs t a n d a r d sa d o p t e di nt h em u l t i m e d i ai n d u s t r y c o m p a r e dw i t ht h ep r e v i o u sv i d e oc o d i n gs t a n d a r d s ，u n d e rt h es a m ev i d e oq u a l i t y , h 2 6 4h a sb e t t e re n c o d i n ge f f i c i e n c ya sw e l la sb e t t e ri n t e r n e ta d a p t a b i l i t ya n de r r o rr o b u s t n e s s t h e r e f o r ei ti sc o n s i d e r e dw i l d l ya st h en e x t - g e n e r a t i o nv i d e oc o d i n gs t a n d a r d s i no r d e rt oa d a p td i f i e r e n ta p p l i c a t i o ne n v i r o n m e n t , t h et r a n s e o d i n gb e t w e e nm p e g - 2a n dh 2 “i sav i t a li s s u e 了1 1 i st h e s i sf o c u s p sa t t e n t i o no nt h er e s e a r c ho ft h i st h e s i sh a si n t r o d u c e dt h eg o a la n dt h ed e v e l o p m e n to fv i d e ot r a n s e o d i n g ，p r o v i d e dab r i e fo v e r v i e wo ft h es t r u c t u r ea n dt h ef l o wo ft h eh 2 6 4 ，e s p e c i a l l yi n t r o d u c e dt h ek e yt e c h n o l o g i e so fv c lu s e db yh 2 6 4 b a s e do na n a l y s i n gt h es i m i l a r i t i e sa n dd i f f e r e n c e sb e t w e e n 口e g 2a n dh 2 6 4a n ds t u d i n gt h ee x i s t e dv i d e ot r a n s e o d i n ga r c h i t e c t u r e s ，t h e ns o m er e s e a r c hh a sb e e nd o n eo nt h ei m p l e m e n t a t i o no ft r a n s c o d i n go fif r a m e si nd c i - d o m a i n t h ei m p l e m e n t a t i o no fo p e n - l o o pt r a n s c o d i n ga l g o r i t h mi nd c t - d o m a i n , a n dt h eo p t i m i z a t i o no f c p dt a f t e ra n a l y s i n gt h et h e o r i e so f c o n v e r t i n gt h e8 8d c tb l o c k si n t oh 2 6 44 x 4d c tb l o c k si nd c t - d o m a i na n di n t r a - f r a m ep r e d i c t i o ni np i x e l d o m m n t h i st h e s i sh a si n t r o d u c e dt h ei m p l e m e n t a t i o no ft r a n s e o d i n gif l a m e si nd c t - d o m a i ni nd e t a i la n da n a l y s e dt h ec o m p u t a t i o n a lc o m p l e x i t y d u r i n gt r a n s e o d i n gm p e g 2t oh 2 6 4 f i r s td i s c u s s e dt h eo p e n - l o o pt r a n s e o d i n ga l g o r i t h mi nd c t - d o m a i n c o n v e r t i n gt h e8 8d c tb l o c k si n t oh 2 6 44 x 4d c tb l o c k si nd c t - d o m a i nc a l lr e d u c et h ec o m p u t a t i o no fh 2 6 4i n t e g r a ld c tt r a i l s f o 肌s e c o n di n t r o d u c e dam e t h o dt oo p t i m i z et h ec p d ta l g o r i t h m , u s i n gt h ee n e r g yo fr e s i d u a lm bo fm p e 0 - 2t od e t e r m i n et h eb l o c km o d ec a na c h i e v es i m i l a rb l o c kp r o p o r t i o n 、i t i lt h em e t l l o do fc h e c k i n ga l lb l o c km o d e b yr e u s i n gt h em o t i o ni n f o r m a t i o nf r o mm p e g 2 w ec a ns e tas m a l ls e a r c hr a n g e s i m u l a t i o nr e s u l t sd e m o n s t r a t et h a tt h eo p t i m i z a t e da l g o r i t h mc a na c h i e v es i m i l a ri m a g eq u a l i t yw i t hc p d t k e y w o r d s ：t r a n s e o d i n g ，m p e g - 2 ，h 2 6 4 ，d c t , r e s i d u a la l a 唱y ，v l vr e u s e玎图目录图目录图1 - 1 级联像素域转码。2图2 - 1 常用y c b c r 采样格式( 逐行) 9图2 - 2 n a l 单元序列图2 3h 2 6 4 的分层结构图2 - 4 h 2 6 4 编码器图2 5h 2 6 4 解码器图3 1 级联像素域转码结构图2 3图3 - 2 简化像素域转码结构图图3 3d c t 域视频转码结构图。2 42 5图3 - 4d c t 域i 帧转码结构图2 6图3 5p b 帧d c t 域开环转码结构图图3 - 6 像素域级联转码的优化结构图。2 72 7图4 - l 全搜索算法运动矢量图2 9图4 2 二维对数搜索法3 0图4 3 二维对数搜索法运动矢量图3 0图4 - 4 菱形搜索模板3 0图4 - 5 菱形搜索算法举例3 l图4 - 6 宏块内部的子分块传输顺序图4 78 x 8 块转换为4 x 4 块图4 8 下采样图示。图4 - 9 下采样结果对比3 23 53 73 9图5 14 x 4 亮度预测4 2图5 - 21 6 x 1 6 亮度预测图5 3m p e g - 2 默认量化矩阵5 2图5 - 4d c t 域i 帧转码和像素域级联i 帧转码的峰值信噪比对比图5 3图5 5d c t 域开环转码结构5 4图5 - 6d c t 域开环转码和像素域级联转码峰值信噪比对比图5 5图5 7f o r e m a n 序列第9 帧d c t 域开环转码和像素域级联转码对比图5 6v i 堪堪图目录图5 - 8a k i y o 序列第9 帧d c t 域开环转码和像素域级联转码对比图5 7图5 - 9 宏块能量示意图5 9图5 - 1 01 6 x 1 6 模式的搜索方法6 l图5 - 1 1 直接级联和本文算法比较6 3图5 1 2f o r e m a n 序列第9 帧比较结果6 4图5 - 1 3a k i y o 序列第9 帧比较结果i6 4表目录表2 - 1 视频帧格式表目录表2 - 2 主观评价分数标准表2 - 3h 2 6 4 和m p e g 2 视频编码算法比较表5 14 x 4 预测模式4 3表5 21 6 x 1 6 预测模式。表5 - 31 6 1 6 亮度块d c t 域转换所需运算次数5 0表5 _ 44 x 4 帧内预测模式所需运算次数5 l表5 51 6 x 1 6 帧内预测模式所需运算次数5 l表5 - 67 种块模式和4 种块模式性能对比v i l i缩略词表英文缩写英文全称a ca m l斟c a 8 a c缩略词表a l t e r n a t i n gc u r r e n ta d a p t i v em o t i o nv e c t o rr e s a m p l i n ga t l d i o v i d e oc o n t e x t - b a s e d a d a p t i v eb i n a r y a r i t h m e t i cc o d i n gc a v l cc o n t e x t - b a s e d a d a p t i v ev a r i a b l el e n g t hc o d i n gc c i rc o n s u r a t i v ec o m m i t t e eo f i n t e m a f i o n a lr a d i oc l fc o m m o ni n t e r m e d l a t ef o r m a tc m y kc y a nm a g e n t ay e l l o wb l o c kc p d td cd c td p c md sd v df sg o bh d t vh v si d c ti e ci s oi t ui t u ttm a dm cm em p e gm s em vc a s c a d 甜p i x e ld o m a i nt r a n s c o d i n gd i r e e tc u r r e l i td i s c r e t ec o s i n et r a m f o 九nd i f f e r e n t i a p u l s ec o d em o d u l a t i o nd i a m o n ds e a r c hd i 2 i t a lv e r s a t i l ed i s ef u l ls e a r c hg r o u po f b l o c kh i 功d e f i n i t i o nt e l e v i s i o nh u m a nv i s i o ns y s t e mi n v e r s ed i s c r e t ec o s i n et r a n s f o r mi n t e r n a t i o n a le l e e t r o t e c h n i c a lc o m m i s s i o ni n t e m e t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o ni n t e m a t i o n a lt e l e e o m m t m i c a t i o nu n i o n1 1 u1 b l e e o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o rj o i n tv i d e ot e x a nm i n i m u ma b s o l u t ed j 赍b r e n c em o r i o nc o m p e n s a t i o nm o t i o ne s t i m a t i o nm o v i n gp i c t u r ee x p e r t sg r o u pm e a r ls q u a r ee r r o rm o t i o nv e c t o ri x中文释义交流自适应运动矢量再取样音频，视频基于上下文的自适应二进制算术编码基于上下文的自适应变长编码国际无线电咨询委员会通用中间格式用青色、深红色、黄色和黑色做基色的彩色坐标，常用于彩色打印级联像素域转码直流离散余弦变换差分脉冲编码调制菱形搜索高密度数字通用光盘全局搜索块组高清晰度电视人类视觉系统离散余弦逆变换国际电工委员会国际标准化组织国际电信联盟国际电信联盟电信部联合视频组最小绝对差运动补偿运动估计活动图像专家组均方误差运动矢量缩略词表n a ln i s d nn t s c队lp s n rp s l nq c i fq pr b s pr d or g bs a ds a t ds i fs n rs s dt d l sv b s 匝v c e gv c lv l cv l dy c b c ry u vn e t w o r k a b s t r a c t i o nl a y e rn a r r o w b a n di n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r kn a t i o n a lt e l e v i s i o ns y s t e mc o m m i t t e ep h a s e a l t c m a t i o nl i n eb yl i n ep e a ks i g n a lt on o i s er a t i op u b l i cs w i t c h e dt e l e p h o n en e t w o r kq t r o t t e rc o r f l m o ni n t e r m e d i a t ef o r m a tq u a n t i z a t i o np a r a m e t e rr a wb y t es e q u e n c ep a y l o a dr a t ed i s t o r t i o no p t i m i z e dr v dg r e e nb l u es u mo f a b s o l u t ed i f f e r e n e es u mo f a b s o l u mt r a n s f o r m e dd i f f e r e n c 2s o u r c el n p u tf o r m a ts i g n a l 4 0 - n o i s er a t i os u mo f s q u a r e dd i f r e m n t w o - d i m v n s i o n a ll o g a r i t h m i cs e a r c hv a r i a b l eb l o c k - s i z em o r i o ne s t i m a r i o nv i d e oc o d i n ge x p e r t sg r o u pv i d e oc o d i n gl a y e rv a r i a b l el e n g t hc o d i n gv a r i a b l el e n g t hd e c o d i n gx网络提取层窄带综合业务数字网大多数北美国家采用的模拟电视制式大多数西欧国家采用的模拟电视制式峰值信噪比公用电话交换网1 4 通用中间格式量化参数原始字节序列负载率失真优化用红、绿、蓝做基色的彩色坐标绝对误差和绝对变换误差和信源输入格式信噪比误差平方和二维对数搜索可变块大小运动估计视频编码专家组视频编码层变长编码变长解码大多数数字视频格式的彩色坐标，包含一个亮度( 和两个色差( c b 和c r ) 分量视频格式的一种坐标，主要用于优化彩色视频信号的传输，向后兼容老式黑白电视。独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名；筮笪主i ：日期：矽吵年j 月2 1 日关于论文使用授权的说明本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解密后应遵守此规定)签名：i 孤垄篁煎：导师签名：缱乙土日期：9 年j 月 ) e t第一章绪论1 1引言第一章绪论人类获取信息的7 0 以上来自于视觉，因此视觉信息在人类获取信息中占有重要地位【”。但是，视频信息数据量巨大，经压缩处理后的视频质量高低是决定多媒体服务质量的关键因素。因此数字视频技术是多媒体应用的核心技术，对视频编码的研究已成为信息技术领域的热门话题。视频图像的冗余信息主要表现在：图像的空间冗余、图像的彩色光谱空间冗余、视频图像信号在时间上的冗余和图像的视觉心理冗余【l l 。图像压缩系统的目的就是去除图像的各种冗余和不需要的信息，在不降低图像视觉质量的情况下，减少图像的数据量和存储空间，提高图像的传输速掣”。传统压缩编码建立在香g 女( s h a n n o n ) 信息论i l 】基础之上，以经典集合论为工具，用概率统计模型来描述信源，其压缩思想基于数据统计，因此只能去除数据冗余，属于低层压缩编码的范畴。伴随视频编码相关学科及新兴学科的迅速发展，新一代数据压缩技术不断诞生并日益成熟，其编码思想是基于像素块或基于内容，突破了香农信息论框架的束缚，充分考虑了人眼视觉特性及信源特性，通过去除内容冗余来实现数据压缩。块编码体系：视频序列按时间先后分为一系列帧，每一帧图像又分成( 宏) 块进行运动估计和运动补偿，得到运动矢量和残差。对运动矢量进行差分编码，对残差进行变换、量化、z i g z a g 扫描、熵编码，从而得到最终的压缩码流。去除冗余主要在如下几个模块：r g b 转y c b c r 减少视觉冗余、帧内预测减少空域冗余、运动估计l i b 偿减少时域冗余、熵编码减少码间冗余、变换量化则保证了在有限的码流下包含最大的信息量。该编码体系规则简单、高效，便于软硬件实现，被大多数视频编码标准( t - i 2 6 1 、m p e g 1 、m p e g 2 、h 2 6 3 和h 2 6 4 等) 所采纳。对象编码体系：对运动图像中的内容进行编码，其具体的编码对象就是图像中的音频和视频，称为“a v 对象( a u d i o v i d e oo b j e c t ) ”。m p e g - 4 标准就是围绕a v 对象的编码、存储、传输和组合而制定【2 】。电子科技大学硕士学位论文由于多种视频图像压缩标准的存在，导致视频设备间的兼容问题，视频转码是解决这种兼容问题的一种有效技术。1 2 视频转码研究现状转换编码就是将多媒体内容的原始格式转换成另外一种所需格式的处理技术，亦即对经压缩编码的码流进行再处理，使经过处理后的数据满足传输信道或解码器对编码码流的特殊要求【3 】。需要对已编码视频信号进行转换编码的原因归纳起来主要有以下几点：( 1 ) 多种视频压缩编码国际标准的存在和它们在不同领域的广泛应用：( 2 ) 复杂多变的网络环境，不同的网络以不同的带宽运行；( 3 ) 解码器资源的限制，包括解码器的运算速度、码流缓冲器的容量和参考恢存储器的大小等；( 4 ) 显示格式的不同。最简单的视频转码实现方法是先完全解码视频数据，得到解码后的像素值，然后再用新的编码标准重新编码，这种转码方法称为级联像素域转码( c a s c a d e dp i x e ld o m a i nt r a a s c o d i n g ， 1 p c p d t ) t 4 ，具体结构如图1 1 所示。这种方法的优点是重建图像质量高、失真小、转码器结构简单，缺点是计算量大、延迟大，难以达到实时转码的要求。输入码流广= = 1 数据r 二- = = 1 输出码流叫完全解码卜_ 叫重新编码卜二卜图1 - 1 级联像素域转码当前国内外对转码的研究主要集中在再量化偏差的减小、d c t 系数转化、码率控制、运动矢量的重新估计、编码类型的选择这几个方面。再量化偏差是指再一次量化引入新的量化噪声，现在主要的研究方向是估计输入码流中d c t 系数的概率分布参数，有效的减少第一次和第二次量化引入的噪声之和。文献【5 】在假定图像d c t 系数满足拉普拉斯分布的前提下，提出视频转码中再量化器的设计，文献【7 】提出了量化步长转换规则，把m p e g 2 的d c t 系数转化到h 2 6 4 的d c t 系数，在峰值信噪比提高0 1 0 5 d b 的同时计算量减少5 1 1 。第一章绪论d c t 系数转化是在两种不同d c t 规则之间d c t 系数的转化。当前主要的研究方向是8 x 8 d c t 转换为h 2 6 4 的4 x 4 整数d c t 。文献【6 】和文献 7 】分别提出了8 x 8 d c t 转换为4 x 4 整数d c t 的方法，文献 6 】提出方法的峰值信噪比相对于先逆d c t 变换再整数d c t 变换平均提高了0 2 d b 左右。码率控制是在满足目标码率的前提下，使编码失真最小，目前主要集中在码率控制算法研究。文献【8 】提出根据帧的类型来分配编码比特数的方法，文献【9 】提出一种m p e g - 2 到h 2 6 4 转码中的码率控制算法，在相同码率下峰值信噪比提高0 2 5 1 o d b 左右。在视频转码中，由于运动估计( m e ，m o t i o n e s t i m a t i o n ) 的计算复杂度比较高，为了提高运算速度通常需要重新利用解码的运动矢量【1 0 1 。运动矢量重新估计主要研究如何使得估计后的运动矢量更为准确，文献 1 0 】【1 1 】【1 2 】中均对这一问题提出了不同的方法重用m p e g - 2 的运动矢量，运算复杂度降低1 5 左右，峰值信噪比变化0 1 0 3 d b 左右。编码类型的选择当前主要研究如何选择宏块的类型和帧的类型，文献 1 1 1 3 分别提出了根据临近块的模式，残差块信息等进行模式选择韵方法，在保持图像质量基本不变的情况下，分别节约1 5 和2 2 左右的计算量。从应用类型上来说当前视频转码主要分为码率转换、分辨率转换和异类码流之间的转换。下面简单介绍各种应用的研究现状。1 2 1码率转换码率转换的目的主要是实现有效传输、节省带宽和与特定的编码类级相兼容。实现码率转换的直接方法是标准解码器与标准编码器的级联，即先对编码码流解码，然后按新的目标码率对解码重建图像进行编码嘲。实现压缩视频码流的码流转换的主要方法有两种【4 】：第一种是频率截断法，这种方法简单，但是丢弃每个块的高频d c t 系数会产生严重的偏差，而且不易于控制产生的码率；第二种是重新量化法，通过改变量化值的方法把编码码流的码率调整到新的目标值上，这种方法能够补偿再量化引起的转换偏差，现在的码率转换方法多用这种方法。文献 1 4 】分析了引入再量化误差的原因，提出了可用于固定码率和可变码率转换编码的可选择量化方法。在码率转换过程中，前期的研究工作主要集中于视频编码流码率转换器结构3电子科技大学硕士学位论文设计”l 【1 6 1 ，后来考虑到运动补偿可以在频率域直接进行，出现了各种实现d c t 域运动补偿的算法【1 7 1 ，再量化偏差减少【5 】【7 1 和码率控制算法1 9 1 。目前码率转换的主要研究问题是如何改善由于再量化误差和漂移造成的图像质量下降和减少解码的复杂性。1 2 2 分辨率转换分辨率转换分为空间分辨率转换和时间分辨率转换，其目的除了实现有效传输、节省带宽和与特定的编码类级兼容外，还为了使码流可以解码在低分辨率屏幕，满足终端减少帧率的要求1 3 1 。对视频编码流的空间分辨率转换，传统的方法是对输入编码流先解码，在像素域下采样，再进行编码。由于这种转换的计算量很大，随之就出现了许多在频域直接进行空间分辨率下变换的研究工作。在频域进行空间分辨率转换的关键问题是寻找低分辨率图像编码所需要的运动矢量，使得图像残差最小。对视频码流的时间分辨率转换，主要研究的是帧率的转换，实际上就是指帧的丢弃。最简单的帧率下变换办法就是丢弃b 帧，由于此时被丢弃帧不用做其它帧的参考帧，因此对解码器恢复的图像质量并没有影响 3 1 。当丢弃帧并不仅限于b帧时，原码流的部分运动矢量由于其所指向的帧在新码流中被丢弃而变的无效，需要对运动矢量进行修正。因此时间分辨率转换的关键问题也归为寻找新的运动矢量，使得图像残差最小。对于空间分辨率转换和时间分辨率转换来说，得到的新运动矢量一般都偏离最优的运动矢量，为了得到接近最优运动矢量的运动矢量，需要进行运动矢量优化。具体的方法就是以新的运动矢量为中心，设定一个较小的运动搜索范围来进一步搜索图像残差更小的运动矢量【】8 1 。目前对分辨率转换的主要研究问题是如何重用原运动矢量信息，避免运动矢量的再估计，尽可能减少计算量，在提高实时性的同时减少图像质量的下降。1 2 3 异类码流间转换在很多视频应用中，前端视频服务器中存储的码流是一种压缩格式，而不同的接收端能支持的压缩格式可能各不相同。为了满足一种解码器( 如h 2 6 3 ) 希望接收其它码流格式( 如m p e g - 2 ) ，以及在低带宽、恶劣环境下传输视频数据的需要，4第一章绪论需要在异类码流之间做转换编码。对同类标准间的转换编码，源图像和目标图像的很多特性相同，如图像编码类型、参数定义和编码技术等，参数的再利用要简单一些。而不同标准的转换编码，源图像和目标图像的很多特性是不同的，因此源图像包含的信息不能直接利用，转换编码器要重新分析并提取有用信息使转换编码更有效。同时由于不同的标准在语法上有一定的区别，除完成分辨率和码率转换外，还要进行语法转换i ”。目前国际上通用的压缩标准包括m p e g - 1 、m p e g 2 、h 2 6 3 、m p e g 4 、h 2 6 4等，这些标准在编码框架、码流构成等方面既有区别，又有共同点，部分标准文本还互相引用，这就使得不同格式、标准间的兼容和转换具有可行性。不同种类视频转码可以为不同网络技术问提供透明连接，一般用于具有相似压缩算法的标准间转换，如均为基于帧间运动估计和补偿、d c t 变换和量化的编码标准之间的转码【3 】。异类码流转换关心的主要问题是如何有效地改变压缩视频码流的语法结构，使其能符合目标压缩标准的语法要求，从而能在支持目标压缩标准的解码器中解码显示。由于目前很多的压缩视频码流是采用m p e g - 2 标准压缩的，所以更多的研究集中在如何将m p e g 2 的码流转换为其它码流格式。随着新的视频压缩标准h 2 6 4的推出，由于h 2 6 4 具有更高的编码效率和很强的抗干扰性，适合网络传输，因此将在各个领域得到广泛应用，与现行标准间的转换成为必然的要求。目前异类码流转换编码的主要研究问题集中在如何将其它标准的码流转换为h 2 6 4 的码流。1 3 研究目标及工作内容1 3 1 研究目标本课题的研究目标是实现d c t 域i 帧转码，讨论d c t 域开环转码结构和像素域级联转码的优化算法，在和直接级联转码图像质量相差不多的情况下实现m p e g 2 到h 2 6 4 的转码。1 3 2 工作内容本文的工作内容主要有以下三个方面：5电子科技大学硕士学位论文l 、实现d c t 域i 帧转码；2 、实现d c t 域开环转码：3 、像素域级联转码结构优化，优化块模式选择和运动矢量。1 3 3 论文安排本文的主要任务是实现d c t 域i 帧转码，实现d c t 域开环转码，像素域级联转码结构优化时根据m p e g 2 的残差能量信息进行块模式选择以及重用m p e g - 2的运动矢量，比较m p e g 2 到h 2 6 4 的d c t 域开环转码结构、优化的像素域级联转码结构同直接级联结构的峰值信噪比。下面是本文的结构安排：第一章主要介绍国内外转码的研究现状和主要的研究方向，包括码率转换、分辨率转换和异类码流转换，并介绍了本文的研究目标、工作内容以及论文安捧。第二章主要介绍了数字视频和视频图像编码标准，重点介绍了h 2 6 4 视频压缩标准，并比较m p e g 2 和h 2 6 4 视频压缩标准。第三章主要介绍了一些经典的转码结构，包括像素域直接级联转码、简化像素域转码和d c t 域转码结构，在分析以上结构的基础上提出本文采用的转码结构。第四章主要介绍了转码的关键技术，包括运动估计、8 x 8 d c t 块转化为h 2 6 4整数d c t 块、图像分辨率转换等技术。第五章介绍m p e g 2 到h 2 6 4 转码实现，详细介绍了d c t 域i 帧转码的实现，对比分析d c t 域和像素域帧内预测的运算量。本章还进一步实现了d c t 域开环转码和像素域级联转码结构的优化，像素域级联转码优化时根据m p e g - 2 残差块能量信息进行块模式选择以及重用m p e g - 2 的运动矢量到h 2 6 4 中，并比较两种转码方法和直接级联法的峰值信噪比。第六章概括总结了本文所做的工作，并对未来研究工作的方向作了展望。1 4 小结本章介绍了国内外视频转码的研究现状和研究方向，包括码率转换、分辨率转换和异类码流转换等，并介绍了本文的研究目标、工作内容和论文安排。6第二章数字视频及视频图像编码标准简介第二章数字视频及视频图像编码标准简介数字信号除了提供牢靠的形式外，数字表示和传输手段的主要优点是在于它很容易在同一网络上提供各种各样的服务。下面简要介绍数字视频和视频图像编码标准。2 1数字视频的基本概念数字视频是经过时间和空间采样后的自然场景的视觉表现。如今，尽管有各种各样的描述视频的方法，但它们都和r g b 有一定的算术关系，最常用的数字信号是r g b 和v c b c r 【1 9 1 。2 1 1颜色空间颜色空间是一系列颜色的数学表示形式，三种最流行的颜色模型是r g b ( 用于计算机图形) 、w v 或y c b c r ( 用于视频系统) 和c m y k ( 用于彩色打印) ，所有的颜色空闻都能由照相机和扫描仪等仪器所提供的r g b 信息得到【1 9 j 。2 1 1 1r g b 和y c b c r ( y u v )r g b 颜色空间在计算机图形中使用最为普遍，因为彩色显示器使用r g b 来产生所需的颜色。所以，选用r g b 颜色空间简化了系统的构建和设计。而且，由于r g b 颜色空间使用了好多年，所以可以利用大部分现有的软件程序模块【1 9 1 。然而，r g b 颜色空间在处理“现实”图像时，它的效率并不是很高。要产生r g b 颜色立方体内的任意颜色，所有的r g b 三基色都必须有相同的带宽。这就直接导致了每个r g b 基色需要像素深度( p i x e ld e p t h ) 和显示分辨力相同的帧存储器。而且，在r g b 颜色空间内处理一幅图像通常也不是最有效的方式。举个例子，要改变一个像素点的亮度和色度，就必须从帧缓冲器中读出所有的r g b 颜色值，然后计算亮度和色度，然后对它们进行相应的更改，计算出新的r g b 值，写回帧缓冲器。如果系统访问的是直接以亮度和色度存储的图像，一些处理步骤就会更快了【1 9 1 。7电子科技大学硕士学位论文人类视觉系统( h v s ，h u m a nv i s i o ns y s t e m ) 对亮度比色度更敏感，因此可以使亮度信息具有高的清晰度，而彩色信息的清晰度较低些，可显著压缩彩色信息的带宽，实现视频压缩的一部分。对于普通观察者，r g b 图像与降低c b 和c r 分辨率的y c b c r 图像没有什么区别闭。很多的视频标准使用亮度和两个色度信号，其中最为普遍的是y c b c r ( y u v ) 颜色空间，y c b c r 由y 1 j v 颜色空间缩放和偏移得到，y 的标称范围为1 62 3 5 ，c b 和c r 的标称范围为1 6 - 2 4 0 1 1 9 1 。标称范围为1 6 2 3 5 的8 比特数字r g b ( 消费类产品1 和y c b c r 的基本转换方程式为：】，= 0 2 9 9 月+ 0 5 8 7 g + 0 1 1 4 口1c b = - 0 1 7 2 r - 0 3 3 9 g + o 5 1 1 b + 1 2 8 ( 2 - 1 )c r = 0 5 1 1 r 一0 4 2 8 g 一0 0 8 3 b + 1 2 8jr = y + 1 3 7 1 ( c r - 1 2 8 )ig = y - 0 6 9 8 ( c r - 1 2 8 ) - 0 3 3 6 ( c b - 1 2 8 ) ( 2 2 )b = y + i 7 3 2 ( c b 一1 2 8 )iy c b c r 转换为r g b 时，r g b 的标称范围是1 6 2 3 5 ，由于y 和c b 、c r 可能偶然超出1 6 - 2 3 5 和1 6 2 4 0 范围( 视频处理和噪声的缘故) ，此时r g b 可能偏移到0 - 1 5 和2 3 6 2 5 5 范围内。对于标称范围为0 - 2 5 5 的数字r g b ( 计算机系统) 和y c b c r 的转换通常使用下面的方程：y = o 2 5 7 r + o 5 0 4 g + o 0 9 8 b + 1 61c b = - 0 1 4 8 r - 0 2 9 1 g + 0 4 3 9 b + 1 2 8 ( 2 - 3 )c r = 0 4 3 9 r 一0 3 6 8 g 一0 0 7 1 b + 1 2 8jr = 1 1 6 4 ( y - 1 6 ) + 1 5 9 6 ( c r - 1 2 8 )ig = 1 1 6 4 ( y 1 6 ) 一0 8 1 3 ( c r - 1 2 8 ) - 0 3 9 1 ( c b - 1 2 8 ) ( 2 - 4 )b = 1 1 6 4 ( y - 1 6 ) + 2 0 1 8 ( c b - 1 2 8 )i对于8 比特的r g b 和y c b c r 数字数据，为了避免上溢和下溢，它们的数值不能超出0 - 2 5 5 的范围。8第二章数字视频及视频图像编码标准简介2 1 1 2y c b c r 的采样格式常用的y c b c r 的采样格式为4 ：4 ：4 、4 ：2 ：2 和4 ：2 ：0 ，如图2 - 1 所示。烹，q 。嗡。譬。譬o2 。嗡嗡嗡吣嗡0 皤0o 。o 万。万o：嗡0 噜02 。譬。譬。嗡嗡嗡嗡：号：争0 00。号：嗡噜。一( b ) 4 ：2 ：2 取样亨。o oo 。o yc rc b( c ) 4 ：2 ：0 取样图2 1 常用y c b c r 采样格式( 逐行)( 1 ) 4 ：4 ：4 ，y 、c b 和c r 具有同样的水平和垂直清晰度，在每一个像素位置，都有y 、c b 和c r 分量，即不论水平方向还是垂直方向，每4 个亮度像素相应的有4 个c b 和4 个c r 色度像素。( 2 ) 4 ：2 ：2 ，这时彩色分量和亮度分量具有同样的垂直清晰度，但水平清晰度彩色分量是亮度分量的一半。水平方向上，每4 个亮度像素具有2 个c b和2 个c r 。该采样格式广泛用于高质量彩色视频。( 3 ) 4 ：2 ：0 ，在水平和垂直清晰度方面，c b 和c r 都是y 的一半。该采样格式广泛用于数字电视、会议电视和d v d 等。4 ：2 ：0 的彩色分量最少，对人的彩色感觉来说，这种格式与其它两种类似，最适合数字压缩【2 】。2 1 2视频格式通常在压缩和传输之前，需要捕捉或者转换成特定的视频格式口o l 。表2 1 中列出了常用视频格式。表2 - 1 视频帧格式格式亮度分辨率( 水平x 垂直)每帧比特数s u b q c i f1 2 8 9 61 4 74 5 6q i l a l t e l c i f ( q c i f )1 7 6 1 4 43 0 4 1 2 8c l f3 5 2 2 8 8l2 1 65 1 24 c i f7 0 4 x 5 7 648 6 60 4 89电子科技大学硕士学位论文图像分辨率的选择是由应用、存储和传输的能力决定，比如，4 c i f 适合标清电视和d v d c i f 和q c i f ( q u a r t e l c i f ) 常用于视频会议；q c i f 或s q c i f ( s u b - q c i f )适用于显示分辨率、码率受限的移动多媒体。表2 1 还列出了在每个格式下显示一幅未压缩的帧所需要的比特数( 假定4 ：2 ：0 采样，8 比特采样深度) 1 2 0 1 。2 1 3图像质量评价标准对压缩后的视频质量估计是一件困难的工作。大体上，可分为主观视频质量评定和客观视频质量评定两种估计方法【习。2 1 3 1主观视频质量评估人眼对视频的感觉受空间( 图像的局部有多么清晰，或有没有明显的失真) 、时间( 运动是否自然) 、注意程度( 注意图像中一连串的点还是浏览整个图像) 、“最近效应”( 最近看过的影片比以前看过的影片