（通信与信息系统专业论文）mpeg2到mpeg4视频转码.pdf

北京邮电大学硕士学位论文 m p e g - 2 到m p e g 4 视频转码 摘要 随着多媒体网络通信的发展，网络将承载越来越多的多媒体业 务。这些具有不同码率、分辨率、满足不同标准的多媒体数据在经 过各种异质网络、不同的接入设备，到达能力各异的接收终端时， 经常会遇到数据速率和网络带宽不匹配的问题。为了解决这种问题， 往往需要使用视频转码技术。为了使得异质网络之间、不同的接入 设备之间以及不同多媒体数据格式之间能够无缝连接，视频转码技 术就显得尤为重要。 用于不同目的将某种编码格式的压缩码流转换成另一种编码格 式的压缩码流称为视频转码( v i d e ot r a n s c o d i n g ) ，这里编码格式是 指比特率、帧率、分辨率、编码句法以及视频内容等。视频转码已 经成为当前的研究热点。视频转码可以在像素域进行，也可以在d c t 域上实现。直接在d c t 域上进行各种率的转换，不需要费时的运动 估值、d c t 及逆d c t 的运算，计算复杂性较低，并且能较好地保 持图像质量。所以d c t 域的视频转码方法受到人们的普遍欢迎。 本文重点讨论了d c t 域上m p e g 2 到m p e g 4 视频转码问题， 其关键技术包括：运动矢量的再使用、d c t 域的运动补偿、d c t 域 的下采样和反交织、宏块类型的转换和速率控制等。 本文结合了m p e g 2 到m p e g 4 视频转码系统的具体开发工 作，对m p e g - 2 到m p e g - 4 视频转码的研究和实现做出了以下贡献： 1 、提出了对d c t 域的级联视频转码框架的改进，将反交织模块( 卯) 加入到视频转码的解码器端和编码器端的反馈环路中，使得参考宏 块统一为帧d c t 格式，从而简化了d c t 域运动补偿( m c d c t ) 的实现；2 、提出了对m p e g 4v m l 0 的速率控制算法的改进，这些 改进主要是在视频序列中加入了对b v o p 的速率控制的处理，包括 加入b v o p 的目标比特分配算法、加入b v o p 的联合缓存器控制 算法和加入b v o p 的基于权重的p v o p 的目标比特分配算法；3 、 将我们实验室已经实现的d c t 域的运动补偿( m c d c t ) 、下采样 北京邮电大学硕士学位论文 摘要 及反交织技术运用到m p e g 一2 到m p e g 4 的视频转码系统中；4 、实 现了我们实验室提出的基于最大最小准则的运动矢量再使用算法和 基于多数原则的宏块类型的转换，提高了视频转码的速度；5 、实现 了传统的t m 5 速率控制算法、基本的m p e g 一4v m l 0 的速率控制算 法和改进的m p e g - 4v m l 0 的速率控制算法；6 、实现了m p e g 一4 优化的一些编码方式，如：d c & a c 预测、p v o p 中帧间宏块的每 个8 x 8 块都可能有一个运动矢量和b v o p 中的直接模式等，来减小 视频转码后的码率。本文还简要地介绍了在其它方面的工作，如分 布式多媒体编辑与素材共享系统的客户端中关键帧浏览方案的改进 及其实现和m p e g 视频编解码系统中的m p e g 4 视频解码器的实 时性的实现。 关键词：m p e g 一2m p e g 一4 视频转码d c t 域 北京邮电大学硕士学位论文摘要 v ) e ot r a n s c o d i n g f r o mm p e g 一2t o 田e g 一4 a b s t r a c t i 垤如t h ed e v e l o p m e n to fm u l t i m e d i an e t w o r kc o m m u n i c a t i o n n e t w o r k sw i l lb e a rm o r ea n dm o r em u l t i m e d i as e r v i c e s a st h e m u l t i m e d i ad a t aw i t hd i f f e r e n tb i t r a t e ，d e f i n i t i o n ，a n d s t a n d a r d s t r a n s m i t t i n go v e rh e t e r o g e n o u sn e t w o r k sa n da c c e s s i n ge q u i p m e n t sa n d r e c e i v i n gb ye q u i p m e n t sw i t hd i v e r s ec a p a b i l i t y , m a n yp r o b l e m so f m i s m a t c hb e t w e e nd a t ar a t ea n db a n d w i d t hw o u l do f t e na p p e a r t os o l v e i t ，v i d e ot r a n s c o d i n gt e c h n i q u ei su s u a l l ya d o p t e d a n di no r d e rt o r e a l i z es e a m l e s s c o n n e c t i o nb e t w e e nd i s f i n c ta c c e s se q u i p m e n t sa n d b e t w e e nd i v e r s em u l t i m e d i ad a t a ，v i d e ot r a n s c o d i n gt e c h n i q u er i i i i so u t t ob em u c hm o r ei m p o r t a n t v i d e ot r a n s c o d i n gw h i c hi st h eo p e r a t i o no fc o n v e r t i n gav i d e o f r o mo n ef o r m a ti n t oa n o t h e rf o r m a tf o rd i f f e r e n tp u r p o s e s ，h a sb e e n e x t e n s i v e l ys t u d i e di nr e n c e n ty e a r s af o r m a ti sd e f i n e db ys u c h c h a r a c t e r i s t i c sa st h eb i tr a t e ，f r a m er a t e ，s p a t i a lr e s o l u t i o n ，c o d i n g s y n t a x ，a n dc o n t e n te t c g e n e r a l l y , e x s i t i n gv i d e ot r a n s c o d i n gs c h e m e s c a nb ec l a s s i f i e di n t ot w oc a t e g o r i e s ：p i x e ld o m a i nt r a n s c o d i n ga n d d i s c r e t ec o s i n et r a n s f o r m ( d c nd o m a i nt r a n s c o d i n g ，w h i c ht h el a t t e ri s p r e f e r r e d d u et o k e e p i n gh i g h - q u a n l i t yp e r f o r m a n c ea n di t s l o w c o m p u t a t i o n a lc o m p l e x i t y ：d c t _ i n v e r s ed c ta n dm o t i o ne s t i m a t i o n a r es k i p p e di nd c 一6 a s e dm e t h o d s i nt h i st h e s i s ，w ec o n c e n t r a t e0 1 1t h ep r o b l e mo f v i d e ot r a n s c o d i n g f r o mm p e g 一2t om p e g 4i n t h ed c td o m a i n i n c l u d i n g d o w n s a m p l i n g t h ek e yt e c h n i q u e s i nt h ed c td o m a i nv i d e o i i i 北京邮电大学硕士学位论文 摘要 t r a n s c o d i n gs y s t e m a r el a t e ri n t r o d u c e d ，s u c ha s ，m o t i o nv e c t o r sr e u s i n g ， m o t i o n c o m p e n s a t i o n i nt h ed c td o m a i n ，d o w n s a m p l i n ga n d d e i n t e r l a c i n gi nt h ed c td o m a i n ，m a c r o b l o c kt y p es e l e c t i o na n dr a t e c o n t r 0 1a l g o r i t h mi m p l e m e n t a t i o ne t c c o m b i n i n gm p e g 2 t om p e g 4v i d e ot r a n s c o d i n gs y s t e m , o u r m a j o rc o n t r i b u t i o n sa r el i s t e da sf o l l o w f i r s t ，i no r d e rt os i m p l i f yt h e m o t i o nc o m p e n s a t i o ni nd c td o m a i n ( m c d c t ) i m p l e m e n t a f i o n w e p r o p o s es o m ed e v e l o p m e n t so ft h ev i d e ot r a n s c o d e rf r o mt h ec a s c a d eo f d e c o d e r - e n c o d e ri n 也ed c td o m a i n w h i c ha r ea d d i n gf fi n t ot h e d e c o d e ra n dt h ef e e d b a c kl o o po ft h ee n c o d e ri nt h ev i d e ot r a n s c o d e r s e c o n d l y , w ei m p r o v et h em p e g 一4v m l 0r a t e c o n t r 0 1a l g o r i t h mb y a d d i n gb - v o pi n t ot h ev i d e os e q u e n c e ，w h i c hi n c l u d i n gn e wt a r g e tb i t a l l o c a t i o n ，i o i n tb u f f e rc o n t r o la n dt a r g e tb i ta l l o c a t i o nb a s e do n w e i g h t e dp v o r ，n l i r d i no u rm p e g 一2t om p e g 一4v i d e ot r a n s c o d e r s y s t e m , w em a k eu s eo fa l g o r i t h m so fm c d c t d o w n s a m p l i n ga n d d e i n t e r l a c i n gi n t h ed c td o r a a i nw h i c hh a v ed e v e l o p e db yo u r l a b o r a t o r y f o u r t h ，w ea c c o m p l i s hm o t i o nv e c t o r sr e u s i n ga l g o r i t h m a c c o r d i n gt om a x i m i z i n ga n dm i n i m i z i n gd i s t a n c ea n dm a c r o b l o c kt y p e s e l e c t i o na l g o r i t h mb a s e do nm a j o r i t yp r i n c i p l et oi m p r o v et h es p e e do f v i d e ot r a n s c o d e r f i f t h t h et r a d i t i o n a lt m 5r a t ec o n 仃0 1a l g o r i t h ma n d m p e g 4v m 10r a t ec o n t r 0 1a l g o r i t h ma r ec a r r i e do u ti no l rt r a n s c o d e r , w h i c ht h el a t t e ri sc o n t a i n i n gt h eo r i g i n a la n di m p r o v e da l g o r i t h m s s i x 啦 w eu s i n gs o m eo p t i m i z ec o d i n gm o d eo fm p e g 一4 f o r e x a m p l e d c a cp r e d i c t i o n a ni n t e r c o d e dm a c r o b l o c kc o m p r i s i n ge i t h e ro n e m o t i o nv e c t o rf o rt h ec o m p l e t em a c r o b l o c ko rt h e8 8b l o c ki np v o p , a n dt h ed i r e c tm o d ei nb v op t h ep a d e ra l s ob r i e f l yi n t r o d u c e so t h e r s t u d yw o r k ，f o ri n s t a n c e ，t h ei m p r o v e m e n ta n da c h i e v e m e n to ft h ek e y f l a m eb r o w s i n gs c h e m ei nt h ed i s t r i b u t e dm u l t i m e d i ae d i t i n ga n d s h a r i n gs y s t e m ，a n dt h ef u l f i l l m e n to fr e a l t i m em p e g 4v i d e od e c o d e r i nt h e i p e gv i d e oe n c o d e ra n dd e c o d e rs y s t e m k e yw o r d s ：m p e g - 2m p e g 一4 v i d e o t r a n s c o d i n g d c t d o m a i n i v 北京邮电大学硕士论文声明 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特i i j i i 以标注和致谢中所罗列的内容以外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：盏生垫日期： ! 型：! ：! f 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权 保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅 和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印 或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密 论文注释：本学位论文不属于保密范围，适用本授权书。 本人签名：立生些日期：! 型：! ：翌 导师签名：为擎白盂k日期：j b 回幺j 上l 北京邮电大学硕士学位论文 第一章绪论 第一章绪论 1 1 视频转码的研究背景和研究意义 1 1 1 视频转码的研究背景 在全球范围内实时或非实时地高质量传播视频信息将很大程度上依赖于数 字视频压缩及其标准。由国际标准化组织国际运动图像编码专家组i s o m p e g ( i l l t e m a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n m o t i o np i c t u r eg r o u p ) 和国际电 信联盟电信标准化部门( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n t e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r ，i t u t ) 制定的多个国际标准为不同 的厂家和视频提供者奠定了一个共同的工作基础。 随着互联互通的电信网、计算网和电视网等网络资源的无缝融合，通过网 络传输获得各种标准格式的多媒体数据已经成为人们日常生活中必不可少的内 容，而实现各种视频编码格式之间的转码要求越来越迫切。目前，市场上比较 流行的多媒体产品通常采用m p e g - 1 、m p e g - 2 、m p e g - 4 和h 2 6 1 、h 2 6 3 和 h 2 6 4 标准的格式存储。那么如何将现有的多媒体资源转换为能够满足用户需 求的数据流就成为一个重要问题。由于终端的显示能力、处理器能力和内容存 储量不一样，因此需要根据当前的网络条件、终端和用户的特征传送相应的视 频内容。而进行不同格式码流的转换的视频转码技术就是实现符合网络条件和 用户定制数据流传输的有效途径。视频转码技术有利于多媒体产品的最终用户 获得所需要的数据格式，因此具有良好的市场前景。 1 1 2 视频转码的研究意义 不同的终端可能采用不同的方式接入i n t e r a c t ，包括局域网( n ) 、数字 用户环路( d s l ) 、电缆和拨号。在用户终端，手持电脑、个人数字助理( p d a ) 、 机顶盒和智能蜂窝电话等将要取代个人电脑作为最重要的接入i n t e r n e t 的终端， 这些网络终端在计算性能和显示能力方面很不一样。为了灵活地传送多媒体数 据到具有不同可用资源、接入网和需求的用户，这些多媒体内容就需要动态地 适应使用环境的需要。为了战胜这一挑战，视频转码是一种关键的技术。然而， 适合多种视频转码需要的策略正在研究当中，视频转码的质量和时效性依然是 许多应用关注的重点。 在各种压缩标准中m p e g 2 和m p e g - 4 应用非常广泛。m p e g - 2 为数字视 北京邮电大学硕士学位论文 第一章绪论 频广播应用而制定，而m p e g - 4 码流具有较高的压缩比和很强的抗噪能力，主 要针对移动无线和卫星网络系统应用而制定，作为一种最具有应用前景的先进 的压缩编码标准，m p e g 一4 很快在视频传输、存储和剪辑等许多领域中得到广 泛应用。然而，目前许多视频数据都是按照m p e g - 2 标准压缩编码的。许多情 况下，m p e g 2 编码的视频流并不适用，例如，无线移动网络、p d a 和i n t e r n e t 上视频搜索系统等等，由于网络带宽的限制，都需要小尺寸视频数据，此时， m p e g 4 就是比较理想的编码方法，因为m p e g 4 具备很多优良特性，例如： 低码率时更高的编码效率，以及无线通信环境中更强的抗误码性。这些情况下， 如果能将现有的大量的m p e g - 2 视频流直接变为m p e g 一4 视频流是最有效的。 因而m p e g 一2 到m p e g 一4 的高性能视频转码是一项尤其迫切的研究课题。 1 2 国内外相关研究进展 鉴于视频转码的重要性，2 0 世纪9 0 年代，视频转码已经成为视频编码领 域中的一个新的热点，从早期简单研究不同码流格式的转换到现在研究视频转 码的各种转码算法，中间经历了许多过程。早期的视频转码应用之一是将一个 预先编码的视频流符合信道带宽的要求，例如，一个电视节目原本按很高比特 率压缩用于演播室应用，但是以后需要在一个更低比特率的信道中传输，而目 前视频转码技术已经成为多媒体处理领域研究的热点问题。 1 2 1 视频转码的分类 将某种编码格式的压缩码流转换成另一种编码格式的压缩码流称为视频转 码( v i d e ot r a n s c o d i n g ) 。视频转码按不同的标准有多种分类，常见的有以下三 种分类标准： ( 1 ) 根据实时和非实时性分类。非实时视频转码就是在视频转码代理服务 器中保存一个质量足够好的压缩视频流，当需要降低码率输出时，服务器只需 要进行部分的解码和编码就可以实现；而实时视频转码则需要根据信道条件( 如 带宽) 和用户要求( 如计算资源) 按某种准则选择适当的视频转码方法，从而 提供最好的视频转码质量。 ( 2 ) 根据同异质分类。同质视频转码是指在同一视频标准下进行转换，如 改变m p e g 一2 的空间或时间分辨率后转为m p e g 1 ；而异质视频转码是指在不 同视频标准中进行转换，如将m p e g 一2 转为m p e g 一4 。 ( 3 ) 根据视频转码框架分类。一是基于像素域的级联视频转码框架，它由 北京邮电大学硕士学位论文第一章绪论 三个部分组成：解码、下采样和再编码，三部分相互独立，视频转码很灵活， 但计算复杂性很高；二是基于d c t 域的级联视频转码框架，即直接在d c t 域 进行各种率的转换，不需要费时的运动估值、d c t 和逆d c t 运算，计算复杂 性较低，且能较好地保持图像质量。因此d c t 域的级联视频转码普遍受到人们 的欢迎和关注。 1 2 2 视频转码技术的进展 视频转码的目的是使视频转码的处理时间尽可能短，而视频转码之后图象 质量下降不大，同时也要满足实际应用的需要。传统的视频转码技术可以分为 三类：比特率转换、分辨率转换和语法转换。比特率转换用以适应带宽的不足 从而顺利地传输码流，如再量化减少比特率。分辨率转换有利于在低带宽的条 件下工作，但是它主要用于解决用户设备，比如处理器能力、显示器分辨率的 限制或者内存容量等问题，如下采样减少空间分辨率。语法转换能够让发送方 和接收方保持兼容性，确保混合网络的自适应性。这三种视频转码技术通常并 不独立存在而是结合在一起的。 由于人们对于d c t 域视频转码技术的关注，d c t 域视频转码的关键技术 已经比较成熟，如运动矢量的再使用技术、d c t 域的的运动补偿技术 ( m c d c t ) 、d c t 域的下采样技术和速率控制技术等。以下将简要分析d c t 域视频转码的关键技术的研究现状： 1 运动矢量的再使用技术( m v r ) ：按照某种规则从几个输入宏块的运动 矢量( m v ) 中求出一个输出宏块的运动矢量( m v ) 的技术。由于块的运动估 值( m e ) 占整个编码时间的6 0 以上【l 】，所以在视频转码中，m v r 受到欢迎。 目前m v r 的方法主要有三种：加权方法【2 、主m v 方法及主m v 精细方法 ( m v r m ) 3 1 。其中加权方法是将几个输入宏块m v 分别乘以各自的加权因子， 之后将这些加权的m v 相加求得下采样m v ；主m v 方法是从几个输入宏块 m v 中，按照某种准则挑选出其中一个做为下采样m v ( 称主m v ) ：主m v 精 细方法( m u 讧) 是在主m v 和其余输入m v 的简单平均所构成的搜索窗内， 求最小m s e 所对应的m v 。传统的m e 方法只注意使运动补偿预测误差最小化， 而率失真皿d ) 最佳化方法将运动补偿预测误差和产生的m v 以预测方式编码 所需的码率结合考虑，目前研究的不多。 2 d c t 域的运动补偿技术( m c d c t ) ：约占整个视频转码时间的3 0 i 】。 m c - d c t 快速算法【4 】的基本思想是利用d c t 系数的稀疏性、叠加性以及对称 性。虽然人们已经研究了量化技术和d c t 方法的融合【5 】以及在下采样技术与 北京邮电大学硕士学位论文 第一章绪论 m c 技术的融合6 1 方案中找最优的m c 方案【7 ，但m c 与下采样及量化的快速融 合算法，还没有理想的结果。 3 ，下采样技术：时域下采样是通过在码流中丢弃b 帧来实现的。b 帧使 用与它在时间上最相邻的前后两个i 帧或p 帧来预测，而自己并不作为任何其 它帧的参考图像，因此，在传输中丢弃b 帧 8 1 并不影响其它帧的质量，而仅仅 会降低帧率与比特率。 典型的d c t 域2 ：1 的下采样方法主要有三种( 基本思想是将四个块变为 个块) ：m e r h a v 提出的抗混叠滤波器( 又称双线性滤波器) 【4 、d u g a d 等人提 出的从每一个8 x8 块上截取4 4 低频率子块的方法 。】及我们实验室提出的能 较好地保持高频能量的准卷积下采样技术”j 。但是对于任意比率下采样仍缺乏 高效快速的算法。 4 速率控制：通常是依据缓存器的充满程度及块的活动性来调整帧率及选 择宏块适合的量化参数” 【”】，在尽可能保证图像质量稳定的条件下，使视频转 码码率适应恒定信道的要求。一般来讲，视频编码的速率控制算法可以用于视 频转码，如：目前t m 5 的速率控制算法已经得到广泛的应用，这主要是因为它 的计算复杂性不是很高，然而t m 5 算法不能很好地处理场景切换；m p e g 一4 v m l 0 的速率控制方法利用了率失真( r d ) 模型来控制整个图像的平均量化 参数，同时也考虑了对场景切换的处理，但是没有解决b v o p 的速率控制，同 时也没有考虑缓存器实际充满程度。 其它的速率控制的研究现状：建立d c t 系数的准确数学模型，直接影响率 失真( r d ) 优化技术进行速率控制的效率。l a m 认为视频图像d c t 系数近似 服从拉普拉斯分布1 3 】。如果图像方差是一个值，则由中心极限定理，视频图像 的d c t 系数服从高斯分布。但是对于大多数视频图像来说，视频图像块之间的 方差是变化的，目前已经证明，压缩视频数据可由所谓的一般高斯分布的r d 较好地建模【“】，但是基于模型的速率控制计算复杂度较高，难于实时应用。 目前，如何在计算复杂性及视频转码质量受限的情况下，有效地利用输入 视频流的相关参数信息进行相应的率伸缩变换，选择最佳的量化参数及宏块模 式常常是我们所期望的，这个问题目前还没有得到解决。 综上所述，可见目前在d c t 域如何根据信道条件、终端类型及用户对视频 转码的质量和有效性的不同需求，使视频转码的的视频质量最好、视频转码的 计算复杂性最低，仍面临着极大的挑战。 d 北京邮电大学硕士学位论文 第一章绪论 1 3 本人的工作和论文的安排 本人在硕士研究生期间，查阅了大量的技术资料，重点研究了视频转码的 框架及视频转码的关键技术，在此基础上，主要参与了m p e g - 2 到m p e g 4 视 频转码系统的研制和开发，并用c c + + 语言实现了这个视频转码系统。 本人还同时参与了关键帧浏览方案的改进及在分布式多媒体编辑与素材共 享系统的客户端中针对改进浏览方案的关键帧模块的实现，还参与了m p e g 视 频编解码系统中的m p e g - 4 视频解码器的实时性的实现。 由于m p e g - 2 到m p e g - 4 视频转码系统是本人研究的重点，以下将介绍在 研制和开发此系统中本人所做的具体工作： 1 改进了d c t 域的级联视频转码框架。将反交织模块( f f ) 加入到视频 转码的解码器端和编码器端的反馈环路中，使得参考宏块统一为帧d c t 格式， 避免了参考宏块为场d c t 格式的运动补偿，从而简化了d c t 域运动补偿 ( m c - d c t ) 的实现。 2 改进了m p e g - 4v m l 0 的速率控制算法，解决了m p e g - 4v m l 0 算法中 对b v o p 的速率控制问题，包括b v o p 的目标比特分配算法、b - v o p 的联合 缓存器控制算法和b v o p 的基于权重的p v o p 的目标比特率算法。并在 m p e g 2 到m p e g - 4 的视频转码系统中实现了传统的t m 5 速率控制算法、基本 的m p e g 4v m l 0 的速率控制算法( 视频序列中只包含了i p - v o p ) 和改进的 m p e g - 4v m l 0 的速率控制算法( 视频序列中包含了b v o p ) 。 3 将我们实验室已经实现的d c t 域的运动补偿( m c - d c t ) 、下采样及反 交织技术运用到m p e g 一2 到m p e g 4 的视频转码系统中。 4 将我们实验室提出的基于最大最小准则的运动矢量再使用算法实现到 m p e g - 2 到m p e g 4 视频转码系统中，相比以前实验室m p e g 2 到m p e g - l 视 频转码系统中采用的将下采样前的四个宏块中的第一个宏块的运动矢量做为下 采样宏块的运动矢量的方法更具有理论基础，得出的下采样宏块的运动矢量更 加精确，同时运动矢量再使用算法也提高了视频转码的速度。 5 实现了宏块类型的转换，采用的是基于多数原则的启发式方法，使得下 采样宏块的类型更接近于实际编码过程中根据一定的原则确定的宏块类型。 6 实现了m p e ( h 优化的一些编码方式，如：d c & a c 预测、p v o p 中 帧间宏块的每个8 8 块都可能有一个运动矢量、p v o p 中运动矢量预测器的 北京邮电大学硕士学位论文 第一章绪论 优化、色差分量的运动矢量优化和b v o p 中的直接模式，来提高视频转码的效 率。 论文的具体安排如下： 第一章首先介绍了本文的研究背景和研究意义，然后简单地描述了视频转 码的分类和进展，最后介绍了本人的工作和论文的安排。 第二章重点介绍了m p e g 一2 到m p e g 4 视频转码系统涉及到的这两个标准 的相同( 相似) 之处和不同之处。 第三章介绍了m p e g - 2 到m p e g - 4 的视频转码框架，包括像素域视频转码 框架、d c t 域视频转码框架和改进的d c t 域视频转码框架。 第四章详细介绍了d c t 域m p e g 一2 到m p e g - 4 视频转码系统采用的关键 技术，重点分析了运动矢量再使用、宏块类型的转换、速率控制、d c t 域的运 动补偿和下采样以及反交织等技术。 第五章介绍了m p e g - 2 到m p e g 4 的视频转码软件，包括视频转码的流程 图和实验结果，并提出该软件今后需要改进和研究的方向，尤其在实时性的改 进上。 第六章简要地介绍了在研究生期间其它研究工作，包括关键帧浏览方案的 改进及在分布式多媒体编辑与素材共享系统的客户端中针对改进浏览方案的关 键帧模块的实现，还有m p e g 视频编解码系统中的m p e g 一4 视频解码器的实时 性的实现。 北京邮电大学硕士学位论文第二章m p e g - 2 和m p e g - 4 编码标准 第二章m p e g - 2 和m p e g - 4 编码标准 本章主要介绍视频转码涉及到的m p e g - 2 编码标准和m p e g - 4 编码标准的 视频层内容。 2 1m p e g - 2 和m p e g - 4 标准的结构 m p e g 组织与1 9 9 4 年正式通过了m p e g - 2 标准，m p e g - 2 标准可以看成是 在m p e g 一1 标准基础上的扩展和改进，它提供了一种活动图像及其伴音的通用 压缩编码方法，在视频分辨率和传输速率方面都要高于m p e g 1 ，能广泛应用 于通过卫星、电缆、光缆、地面频道传输的数字视频广播、高清晰度数字电视 ( h d t v ) 以及d v d 等。 m p e e 2 标准共有九个部分，如下：、 1 系统( i s o i e c l 3 8 1 8 1 ) ： 2 视频( i s o i e c l 3 8 1 8 2 ) ： 3 音频( 1 s o ，c 1 3 8 1 8 3 ) ： 4 一致性测试( i s o m c l 3 8 1 8 4 ) ； 5 软件( i s o _ ，c 1 3 8 1 8 5 ) ； 6 数字存储媒体命令和控制( i s o m c l 3 8 1 8 6 ) ： 7 多声道声音编码算法标准( i s o ，c 1 3 8 1 8 7 ) ； 8 系统解码器实时接口扩展标准( i s o f l e c l 3 8 1 8 9 ) ； 9 一致性扩展测试( i s o ，i e c l 3 8 1 8 1 0 ) ： v i p e g 组织于1 9 9 8 年正式通过了m p e g 一4 标准，i s om p e g - - 4 工作组在 1 9 9 3 年成立，m p e g 一4 的初衷是制定一个通用的低码率( 6 4 k b s 以下) 标准， 而由于很多压缩编码的第二代算法仍处于研究阶段，在m p e g 一4 工作组预定时 间内( 1 9 9 7 ) 还不够成熟，因而m p e g 一4 的目标后来定为：不仅要支持极低比 特率下的多媒体应用，而且要支持侧重于对多媒体信息内容的访问的多媒体应 用，可根据不同的应用来现场配置解码器，而编码系统是开放的，可以随时加 入新的有效的算法模块。因此，可以看出m p e g 4 并不仅仅是着眼于定义不同 码流下的压缩编码标准，而是更多地强调多媒体通信的交互性和灵活性，以及多 7 北京邮电大学硕士学位论文第二章m p e g 一2 和m p e g 4 编码标准 工业领域的融合。 m p e g 4 标准共有十八个部分，如下： 1 系统( i s o 工e c l “9 6 1 ) ； 2 视频( i s o 肥c 1 4 4 9 6 2 ) ； 3 音频( i s o c 1 4 4 9 6 3 ) ； 4 一致性测试( i s o i e c l 4 4 9 6 _ 4 ) ； 5 参考软件( i s o c 1 4 4 9 6 5 ) ； 6 多媒体传输集成框架( d m ) ( i s o m c l 4 4 9 6 6 ) ； 7 优选视频参考软件( i s o m c l 4 4 9 6 7 ) ； 8 i s o 皿c1 4 4 9 6 内容通过i p 网络的输送( i s o i e c l 4 4 9 6 8 ) ； 9 参考硬件描述( i s o 门五c1 4 4 9 6 9 ) ； 1 0 高保真视频编码( i s o i e c1 4 4 9 6 1 0 ) ； 1 1 场景描述和应用引擎( i s o i e c1 4 4 9 6 1 1 ) ； 1 2 i s o 基本媒体文件格式( i s o i e c1 4 4 9 6 1 2 ) ； 1 3 知识产权管理和保护( i p m p ) 扩展( i s o i e c1 4 4 9 6 1 3 ) ； 1 4 m p 4 文件格式( i s o 1 e c1 4 4 9 6 1 4 ) ： 1 5 高级视频编码文档格式( i s o i e c1 4 4 9 6 1 5 ) ； 1 6 动画框架扩展( i s o i e c1 4 4 9 6 1 6 ) ： 1 7 字体压缩和流式传输( i s o i e c1 4 4 9 6 1 8 ) ： 1 8 合成结构流( i s o i e c1 4 4 9 6 1 9 ) ； 视频转码主要涉及到m p e g 一2 与m p e g 一4 编码标准中的视频层，这两个编 码标准的视频层都描述了数字视频的压缩编码方法及压缩后视频流必须满足的 语法格式。下面将介绍这两个编码标准的视频层内容的相同( 相似) 之处和不 同之处。 北京邮电大学硕士学位论文第二章m p e g 2 和m p e g 4 编码标准 2 2m p e g - 2 与m p e c r - 4 的相同( 相似) 之处 虽然m p e g 一2 是基于帧的，而m p e g - 4 是基于对象的，但在目前的m p e g 4 编码中由于考虑到计算复杂性的问题，一般在m p e g 4 中把一帧就看成一个矩 形帧对象，所以m p e g - 4 与m p e g - 2 在视频编码上有着很大的相似性。下面将 具体描述m p e g - 2 和m p e g - 4 编码标准中视频层内容的相同( 相似) 之处。 1 编码原理 m p e g 2 和m p b g 一4 的编码标准的视频编码都采用了运动估值、运动补偿、 d c t 变换、量化和可变长编码来去除图像在空间和时间上存在的冗余度，达到 压缩编码的目的。 运动估值主要用于帧间编码的宏块，运动估值就是按照一定的匹配算法( 如 块匹配方法) 找出当前图像中宏块的运动矢量，一般地都只是对亮度分量进行 运动估值，具体运动估值的算法详见参考文献【l5 】的第三章；对宏块进行预测时， 并不直接利用参考图像中当前宏块对应位置的宏块，因为对于运动的场景，预 测的误差会很大。必须在适当的范围内搜索一个与当前宏块最匹配的宏块作为 参考宏块进行预测，这种预测方法叫做具有运动补偿的帧间预测。当前宏块与 搜索到的最匹配参考宏块的相对位置就是运动矢量。当前宏块与参考宏块数据 之间的差值就是预测误差。运动矢量和预测误差都将被编码，这样在解码器端 只要参考宏块解码出来，利用运动矢量和预测误差就能正确解码此宏块；块是 最基本的编码单元，一个块在空间上是8 8 像素点数据的集合，块进行d c t 变换后，得到个8 8 的d c t 系数矩阵。图像经过d c t 变换后，d c t 系数 之间的相关性已经很小，、而且大部分集中在少数的系数上，只传送这部分系数 给接收端，既可以降低数据率，有不至于使图像有明显的损伤。具体的d c t 变换方法不限，到目前为止已经有很多从事算法研究的科研人员提出了各种高 效的d c t 快速算法，在此不详述，参见【1 6 】；d c t 变换后得到的系数还不能直 接编码，必须先进行量化，量化就是将得到的数据离散化，并限制到一定的范 围之内，量化是编码过程中唯一产生信息损失的地方；量化后得到的d c t 系数 矩阵是二维的，必须按照一定的顺序将它们转换到一维的数据序列中以便存储 和传输，这种读取二维矩阵到一维序列的方法就是扫描；编码过程一直进行到 扫描，除了量化进行了数据的压缩外，其它都只是在进行数据形式的变换。量 化后的d c t 系数分布很不均匀，很多高频系数都为零，加上特定的扫描方法， 得到的一维序列的特性是：在若干个零之后才有一个非零值。而且这种连零个 数及非零值的分布也是不均匀的，所以结合可变长编码( 游程编码或霍夫曼编 北京邮电大学硕士学位论文第二章m p e g - 2 和m p e g - 4 编码标准 匝巫工巫至丑二三工重妇 胁惺 g o p j 、i 编码图i 编码图f l 编码图i g o p 层 l 图像头l 条条 i i 条图像层 匿臣壁至篡 翟蚕蔓鬻叵磊正磊丑i _ 叵甬互露因 块层 图2 - 1m p e g 2 标准的视频编码层次 m p e g 一4 标准【18 】中使用的视频编码层次与m p e g 2 类似，如图2 2 所示。 最高层是视觉对象序列层( v i d e oo b j e c ts e q u e n c ev o s ) ，在v o s 序列头给出 框架和级的指示信息。v o s 序列中视觉对象( v i s u a lo b j e c tv o ) 包含视频对象 的类型：视频对象、静态纹理对象、网格对象或人脸对象。如果m p e g 一4 中把 一帧就看成一个矩形帧对象，则只包含视频对象。视觉对象( v o ) 层中的视频 对象层( v i d e o o b j e c t l a y e r v o l ) 给出了视频对象的形状( 在