（通信与信息系统专业论文）mpeg2到mpeg1转码及其实现.pdf

北京邮电大学硕士论文 摘要 m p e g 2 到m p e g l 转码及其实现 摘要 随着多媒体网络通信的发展，网络将承载越来越多的多媒体业 务。这些具有不同码率、分辨率、满足不同标准的多媒体数据在经过 各种异质网络、不同的接入设备，到达能力各异的接收终端时，经常 会遇到数据速率和网络带宽不匹配的问题。为了解决这种问题，往往 需要使用视频转码技术。为了使得异质网络之间，不同的接入设备之 间以及不同多媒体数据格式之间能够无缝连接，视频转码技术就显得 尤为重要。在视频点播系统中，视频服务器加上转码器后，人们可以 通过无线请求视频点播服务；在监控系统中，场景数据转码后就可以 通过i n t e r n e t 远程监控：在数字电视广播领域，如果想任何一种多媒体 终端都可以接收数字广播，则从码率到分辨率都必须由类似机顶盒或 视频网关的设备来完成转码工作。 视频转码技术就是对压缩视频进行端到端的处理，即转码器的 输入、输出都是压缩数据，转码后的压缩码流更能适应传输带宽以及 接收端的要求。转码可以在像素域进行，就是先把压缩视频解压缩到 像素域，进行相应的转换后再压缩；也可以在压缩域直接转码。前者 由于解压缩再压缩需要大量的运算，转换延时也很大，所以压缩域的 转码方法成为研究的热点。 要进行视频转码，首先需要了解视频标准以及视频流和音频流 北京邮电大学硕士论文 摘要 如何复用到系统层。本文介绍了m p e g 标准，特别是m p e g l 和 m p e g 2 标准涉及系统层和视频层的基本知识，据此分析如何从传送 流中提取视频转码所需的视频序列流。 视频转码的指导思想就是转码的框架。因此，采用一个合理的 框架可以大大提高转码的效率和图像质量。本文参考前人研究成果， 设计改进转码框架并且对为何要做这些改进作了解释。有了转码框 架，还需要在具体实现中采用一些技术实现频率域转码的各个功能模 块。这些关键技术分别包括：d c t 域的运动补偿和运动向量再利用、 d c t 域的下采样、反交织以及速率控制。而且为了系统实现的考虑， 这些都采用经典的算法实现，今后可以替代以更快、更新的算法，其 中也对今后系统完善提出一些改进建议。 m p e g 2 到m p e g l 视频转码系统用c 语言实现。虽然可以参考 标准的编码和解码程序，但是这两个标准程序都是以像素的思想考虑 问题的它与d c t 域思考不同。本文例举了一些像素域和d c t 域在程 序实现中的区别，希望能给大家有益的启示。本文对m p e g 2 到 m p e g l 视频转码的探索可以对其它转码系统起到有益的借鉴作用， 这些转码包括：m p e g l 2 4 和h 2 6 4 等之间的互相转换。 关键词：m p e g l ，m p e g 2 ，转码，运动补偿，下采样，d c t 域 北京邮电大学硕士论文 摘要 m p e g 2t om 咿e g1t r a n s c o d i n ga n di t s i n 口l e m e n 吼气t 1 0 n a b s t r a c t a st h ed e v e l o p m e n to fm u l t i m e d i an c t w o r kc o m m u n i c a t i o n n e t w o r k sw i l lb e a r m o e ca n dm o r em u l t i m e d i as e r v i c e s a st h em u l t i m e d i ad a t aw i 出d i f f e r e n tb i tr a t e d e f i n i t i o n ，a n ds t a n d a r d st r a n s m i t t i n go v e rh e t e r o g e n e i t yn e t w o r k sa n da c c e s s i n g e q u i p m e n t sa n dr e c e i v i n gb ye q u i p m e n t sw i t hd i v e r s ec a p a b i l i t y , m a n yp r o b l e m so f m i s m a t c hb e t w e e nd a t ar a t ea n db a n d w i d t hw o u l do f t e na p p e a r t os o l v ei t ，v i d e o t r a n s c o d j n gt e c h n i q u ei su s u a l l ya d o p t e d a n di no r d e r t or e a l i z es e a m l e s sc o d n e c t i o n b e t w e e nd i s t i n c ta c c e s s e q u i p m e n t sa n d b e t w e e nd i v e r s em u l t i m e d i ad a t a ，v i d e o t r a n s c o d i n gt e c h n i q u e r u m so u tt ob em u c hm o r ei m p o r t a n t ，i nt h ev i d e o o n - d e m a n d ( v o d ) s e r v i c e ，a v i d e os e r v e ra d d e da t r a n s c o d e r ，p e o p l ec a r tr e q u e s t t h ev o d s e r v i c e ； i nt h es u p e r v i s i o ns y s t e m ，s c e l t ed a t aa f t e rb n n gt r a n s c o d e dw i l lb eu n d e rc o n t r o lo f i n t e r a c td i s t a n c es u p e r v i s i o n ；i nt h ed i g i t a lt v b r o a d c a s t i n gf i e l d ，i fa n y m u l t i m e d i a t e r m i n a t i o nw o u l dr e c e i v ed i g i t a lb r o a d c a s t ，t h e ns t bo rv i d e og a t e w a yw i l lh a v et o d ot h et r a n s c o d i n gw o r k r e l a t i n gb i tr a t ea n d r e s o l u t i o n v i d e ot r a n s c o d i n gt e c h n i q u ei st oe n d t o e n dd e a lw i t ht h ec o m p r e s s i o nv i d e o ， i e t h ei n p u ta n do u t p u to fai t a n s c o d e ri s c o m p r e s s i o nd a t a t h et r a n s c o d e db i t s t r e a mw i l lm o r e a d a p t i v e t ot r a n s m i s s i o nb a n d w i d t ha n dt h e r e q u i r e m e n t s o f r e c e i v i n ge n d t r a n s c o d i n gc a nb ea c c o m p l i s h e di np i x e ld o m m n ，i e c o m p r e s s i o n v i d e of i r s td e c o d e di n t op i x e ld o m a i n ，a n db e i n gt r a n s c o d e da n dc o d e di n t ob i ts t r e a m ； o ro l i ec a nd ot h et r a n s c o d i n gd i r e c t l yi nf r e q u e n c yd o m a i n b e c a u s et h ef o r m e r s c h e d u l en e e dm u c hc o m p u t a t i o na n dt h et r a n s c o d i n gd e l a yi sl a r g e ，t h ef r e q u e n c y d o m a i n t r a n s c o d i n g b e c o m em u c h p o p u l a r i no r d e rt o d ov i d e o t r a n s c o d i n g ，o n ef i r s t l y n e e d st oh a v e b a c k g r o u n d k n o w l e d g ea b o u th o wc u r r e n tv i d e o a n da u d i os t a n d a r d sc o u l dm u l t i p l e xi n t ot h e s y s t e ml _ a y e r t h ep a p e r i n t r o d u c e sm - p e gs t & n d 孤d s ，e s p e c i a l l ym p e g ia a dm p e g 2 ， i i i 些型型塑些塑 塑茎 a n dh o wt oe x t r a c tt h ev i d e o s e q u e n c e ，w h i c h at r a n s c o d e r r e q u i r e s f r o ma t r a n s p o r t i n gs t r e a m ，i st h e na n a l y z e d t h eg u i d e l i n eo fv i d e ot r a n s c o d i n gi st h ef r a m e w o r k t h e r e f o r e ，u s ear a t i o n a l f r a m e w o r kc o u l dg r e a t l yi m p r o v et h et r a n s c o d i n ge f f i c i e n c ya n di m a g eq u a l i t y t h e p a p e r sw o r k i sb a s e do nf o r m e rr e s e a r c hw o r k ，t h e na l li m p r o v e dv e r s i o na n d r e a s o n s w h y t h i sc o u l d i m p r o v et h es y s t e m i sg i v e n t h ek e y t e c h n i q u e si nt h ed c t d o m a i n t r a n s c o d i n gs y s t e ma r el a t e ri n t r o d u c e d ，s u c ha s ，m o t i o nc o m p e n s a t i o ni nd c tf i e l d a n dm o t i o nv e c t o r s r e u s i n g , d o w n s a m p l i n gi n d c t f i e l d ，d e i n t e r l a c i n ga n dr a t e c o n t r o l a l g o r i t h mi m p l e m e n t a t i o n c o n s i d e r i n gs y s t e m i m p l e m e n t a t i o n ，t h e s e a l g o r i t h m su s ec l a s s i c a lm e t h o d s ，w ec a ni nt h ef u t u r er e p l a c et h e s ep a r t sb yn e w e r a n df a s t e ra l g o r i t h m s ，a n ds o m e i m p r o v e m e n ts u g g e s t i o n sa r ep r o v i d e di nt h i sp a p e r iu s et h ec l a n g u a g e t oi m p l e m e n tt h es y s t e m a l t h o u g ht h e r ea r ee n c o d i n ga n d d e c o d i n gd e m op r o g r a m ，t h e i ri d e a sa r eb a s i c a l l yi np i x e ld o m a i ni m p l e m e n t a t i o n ， w h i c hh a sm u c hd i f f e r e n c ei nt h a to f d c td o m a i n t h e p a p e rg i v e ss o m ee x a m p l e so f t h e s ed i f f e r e n c e si np r o g r a m m i n g ，h o p i n gt ob eu s e f u lt o y o u t h ee x p l o r i n go f m p e g 2t om p e g lv i d e ot r a n s c o d i n gw o u l db eu s e f u lf o ro t h e rt r a n s c o d i n gs y s t e m ， i n c l u d i n gt r a n s c o d i n g b e t w e e nm p e g l 2 4a n dh 2 6 4a n ds oo n k e y w o r d s ：m p e g l ，m p e g 2 ，t r a n s c o d i n g ，m o t i o nc o m p e n s a t i o n ， d o w n - s a m p l i n g ，d c t d o m a i n 北京邮电大学硕士论文 声明 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所 知，除了文中特别加以标注和致谢中所罗列的内容以外。论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材 料。与我同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢 意。 申请学位论文与资料若有不实之处， 本人签名墼堡叁里至 本人承担一切相关责任。 日期： 曼! 笪：垒：生 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在 校攻读学位期间论文 j 作的知识产权单位属北京邮电人学。学校有权保留并向国家有 关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以公布 学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学 位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名 导师签名乏 鼯 北京邮电大学硕士论文 第一章绪论 1 1 课题背景和研究意义 1 1 1 研究背景 第一章绪论 网络上的视频应用为人们展现了一个极具吸引力的信息交流场景，人们可以 通过网络查询广泛的视频资料，欣赏最新的电影，通过可视电话和远方的亲友交 流，在网上建立自己的电视台，还可以建立网络监控系统，实施远程监控。随着 视频压缩技术和信号处理技术以及网络建设的不断发展，基于流式技术的网络视 频应用已展现出巨大的市场前景。 隧着互联网技术的发展通过网络传输获得各种标准格式的多媒体数据已经 成为人们日常生活中必不可少的内容。目前，市场上比较流行的多媒体产品通常 采用m p e g i 、m p e g 2 、m p e g 4 和h 2 6 1 与h 2 6 3 标准的格式存储。那么如何 将现有的多媒体资源转换为能够满足用户需求的数据流就成为一个主要问题。由 于不同的网络带宽的限制，设计的网络也各有特色。同时终端的显示能力、处理 器能力和内容存储量也不一样。因此需要根据当前的网络条件、终端和用户的特 征传送一些视频内容。而转码技术进行不同格式码流的转码就是实现符合网络条 件和用户定制数据流传输的有效途径。转码技术不仅有利于多媒体产品的最终用 户获得所需要的数据格式，还可以为多媒体产品的研制人员提供工具，因此具有 良好的市场前景。 l 。1 2 研究意义 在存储和传输的视频编码中，需要假设和提供信号的特性作为编码器的编码 参数。因此，不考虑编码器产生的比特率类型是恒比特率( c b r ) 还是变比特率 ( v b r ) 时，传输这些比特流的灵活性会极大地降低。当传输信道或者用户要求 更低码率时一个c b r 的比特流需要降低通常编码视频序列使用的码率。从另一 方面讲，通过异步传输模式( a i m ) 网络传输v b r 预编码视频时要求比特流能 动态控制以便在拥塞时期最小化丢包率。在这两种情况下，一个视频转码器按照 新的带宽限制或者网络要求能对此预编码比特流进行必要的码率调整。 分层的视频原本用于解决这些问题。例如，m p e g 2 标准【i 】中定义的可扩展 模式用于支持各种传输模式。但是，如果使用预先编码的视频，这种灵活性的缺 北京邮电大学硕士论文第一章绪论 乏依然存在，因为不同预先定义的层的数目是有限的并且在传输过程中对于压缩 的视频不能做任何动态改变。而且，除非高复杂度的编码器并且使用许多环路， 对于某些可扩展模式，例如，s n r 和数据分割，只有一种扩展比特流能无漂移 地解码。当编码很长的图像组( g o p ) 时，误差积累导致的漂移可能会导致性能 急剧降低。 在通用的多媒体接入中，不同的终端可能采用不同的方式接入i n t e r n e t ，包 括局域网( l a n ) 、数字用户环路( d s l ) 、电缆和拨号。在用户终端，网络应用 将要取代个人电脑作为最重要的接入i n t c m e t 的终端，包括手持电脑、个人数字 助理( p d a ) 、机顶盒和智能蜂窝电话。这些网络终端在计算性能和显示能力方 面很不一样。为了灵活地传送多媒体数据到具有不同可用资源、接入网和兴趣的 用户，这些多媒体内容就需要动态地适应使用环境的需要。为了战胜这一挑战t 转码是一种关键的技术。转码对于在共享通信链路之上对等网络的内容适应也非 常有用。正在制定的m p e g 2 1 标准中，为了实现通用多媒体访问( l i m a ) ，转 码技术足项重要的技术。然而，适合多种转码需要的测略正在研究当中，转码 的质量和时效性依然是许多应用关注的重点。 1 2 国内外相关研究进展 目前，视频流的转码技术已经成为多媒体处理领域研究的热点问题。从早期 简单研究不同码流格式的转换到现在研究转码的各种转码算法，中间经历了许多 过程。早期的转码应用之一是将一个预先编码的视频流的比特率符合信道带宽的 要求。例如，一个电视节目可以原本按很高比特率压缩用于演播室应用，但是以 后需要在一个更低比特率的信道中传输2 1 。 1 2 1 转码技术的分类 转码的目的是处理时间尽可能短，转码之后图象质量下降不大，同时满足实 际应用的需要。传统的转码技术可以分为三类：比特率转换、分辨率转换和语法 转换。比特率转换可以弥补带宽的不足从而顺利地传输码流。分辨率转换有利于 在低带宽下工作，但是它主要用于解决用户设备，比如处理器能力、显示器分辨 率的限制或者内存容量等问题。语法转换能够让发送方和接收方保持兼容性，确 保混合网络的自适应性。这三种转码技术通常并不独立存在而是结合在一起的。 i2 2 转码技术的进展 近年来用于压缩视频比特率降低有许多技术。虽然这些技术能用于某些应 2 北京邮电大学硕士论文 第一章绪论 用，但是由于复杂度过高或者在转码图像中存在漂移，它们不能作为通用的视频 转码方法。国内对于转码技术的研究还比较少。目前，微软中国研究院已经有一 个小组正在从事转码技术的研究工作并取得了较好的研究成果。在国际上，转码 技术已经成为研究的热点问题。 论文【3 1 提出一种简化、优化的转码器。它具有完全在d c t 域运算较低的复 杂度，因而避免了进行离散余弦变换( d c t ) 和逆离散余弦变换( i d c t ) 。还提 出了一种快速实现d c t 域运动补偿( m c - d c t ) 的算法，其与像素域转码器相 比复杂度降低很多。但是，在m p e g 2 到m p e g l 转码器具体实现过程中，考虑 到简化m c d c t 的算法复杂度和后续处理的难度，我对该框架做了一些改进， 其结果可以使计算量进一步降低。 1 3 主要研究内容 本文研究的主要内容包括三个主要方面：针对经典转码框架存在的闯题，将 反交织模块( f f ) 从编码部分移到解码部分实现，从而简化了算法复杂度并且 加快运算速度；由于采用解码部分反交织将参考块统一为帧d c t 的编码格式避 免了参考块为场d c t 格式的运动补偿从而简化了运动补偿算法，而且在d c t 域 具体实现了半像素精度基于场和基于帧的运动补偿，针对帧图帧d c t 编码宏块 的下采样和反交织；在转码的速率控制方面也进行了一些尝试。整篇论文中，我 们以m p e g 2 视频流到m p e g l 视频流的转换为例进行试验研究。最后，我用c 语言实现了一个可供验证的m p e g 2 到m p e g l 的转码系统( 分别包括格式转换 和下采样两个版本) 。具体内容分为如下几章： 第一章介绍了本文的研究背景，讨论了研究意义，然后对转码的分类和进展 作了简单回顾，最后概述本文的主要内容。 第二章回顾了m p e g 视频压缩标准的发展。 第三章介绍了m p e g 2 到m p e g l 转码系统涉及到两个标准的具体内容和相 关的基本知识。然后介绍了m p e g 标准的系统层编码内容并给出了系统层拆包 提取视频序列流的算法。 第四章提出了m p e g 2 到m p e g l 的转码框架并且着重分析了它与经典框架 相比的改进之处。 第五章详细介绍了d c t 域转码系统采用的关键技术，重点分析了反交织模 块对d c t 域运动补偿算法的改进。 第六章总结实际编程遇到的一些问题以及未来需要改进和研究的方向。 北京邮电大学硕士论文 第二章m p e g 视频压缩编码标准简介 第= 章m p e g 视频压缩编码标准简介 信息的数字化是今后通信产品和消费电子产品的基础技术。在对图像和语音 等媒体上的信息进行数字化的过程中，由于数据中存在着很多冗余，所以，必须 压缩后再进行存储和传输。数据压缩的目的，就是用尽可能少的数据来表达信息， 从而节省传输和存储的开销。因此数据压缩成了多媒体研究的一个主要内容。 早在香农信息理论和p c m 编码原理提出后，就有许多科研人员在从事研究 各种信息的压缩编码方法，如预测编码、变换编码、矢量量化编码、信息熵编码、 子带编码等等。这些压缩编码算法的目的就是为了从原始数据中去除信息的时间 冗余、空间冗余、信息熵冗余等，保留有用信息，以便提高信息处理、传输和存 储效率。在信息技术发展的过程中，无论是终端之间的通信还是在通信终端的应 用，标准化变得越来越重要。只有遵循统一的标准。一种技术才更有可能取得成 功。现在国际上已经有越来越多的组织、机构重视并致力于各种标准的制定。在 多媒体方面，也制定出了很多针对不同应用的数据压缩标准。 国际标准化组织( i s o ) 于1 9 8 8 年成立了一个专门致力于制定有关运动图 像压缩编码的组织m p e g ( m o v i n g p i c t u r ee x p e r tg r o u p ) 。该组织相继制定了一系 列针对不同应用的标准，包括m p e g l 、m p e g 2 、m p e g 4 、m p e g 7 、m p e g 2 1 。 总的来说，m p e g 优于其他影像压缩缩方案的地方是：具有很好的兼容性、压缩 比最高可达2 0 0 ：l 、数据损失小。 2 1 数字声像存储压缩编码标准m p e g l m p e g l ( 标准代号 s o i e c1 1 1 7 2 ) 制定于1 9 9 1 年底，处理的是标准图像 交换格式或者称为源输入( s 1 1 。) 格式( 对于n t s c 制为3 5 2 2 4 0 ；对于p a l 制 为3 5 2 x 2 8 8 ) 的电视，是针对1 1 5m b p s 数据传输率的数字存储媒质运动图像 及其伴音编码的国际标准，这个标准主要是针对当时具有这种数据传输率的 c d r o m 和网络开发的，用于在c d r o m 上存储数字影视和在网络上传输识字 影视。 应用范围：应用m p e g l 技术最成功的产品非v c d 莫属了，v c d 作为价 格低廉的影像播放设备，得到广泛的应用和普及。m p e g l 也被用于数字电话网 络上的视频传输，如非对称数字用户线路( a d s l ) ，视频点播( v o d ) ，以及教育 网络等。 五 北京邮皂大学颤士论文 第二章m p e g 视频压缩编码标准倘介 2 2 通用视频图像压缩编码标准m p e g 2 m p e g 2 ( 标准代号i s o ，m c1 3 8 1 8 ) 标准可以说是m p e g l 的扩充，因为两 者的基本编码算法相同，只是扩充了一些功能。该标准最初是为了得到一个针对 广播电视质量的视频信号的压缩编码标准，但实际上最后得到的是一个通用的标 准，它能在很宽的范国内对不同分辨率和不同传输比特率的图像信号有效地进行 编码。因为如此，导致了原本计划制定的针对h d t v ( 高清数字电视) 的m p e g - 3 标准夭折，因为m p e g 2 标准已经完全可以满足此应用。 m p e g 2 能够提供广播级的视像和c d 级的音质。m p e g 2 的音频编码可提供 左右中及两个环绕声道，以及一个加重低音声道和多达七个伴音声道am p e g 2 的另一特点是，可提供个较广范围的可变压缩比，以适应不同的画面质量、存 储容量阱及带宽的要求。 应用范围：m p e g 2 技术就是实现d v d 的标准技术，现在d v d 播放器也开 始在家庭中普及起来了。除了作为d v d 的指定标准外，m p e g 2 还可用于为广 播、有线电视网、电缆网络以及卫星直播提供广播级的数字视频。 目前，欧、美、日在视频方面采用m p e g 2 标准，而在音频方面则采用a c 。3 标准，数字视频广播( d i n t n v i d e ob r o a d c a s t i n g ，d v b ) 标准中的视频压缩标准 也确定采用m p e g 2 ，音频压缩标准采用m p e g l 。这些标准和建议已经或将要给 工业界带来巨大的市场，其中以m p e g l 作为视音频压缩标准的v c d 在我国已 经形成了庞大的市场，同样，以m p e g 2 作为视音频压缩标准的数字卫星电视接 收机t r d 已经在欧美形成了很大市场。显然，在数字化的大趋势下，m p e g 压 缩技术的潜在市场价值是非常明显的。 2 3 低比特率音频与视频对象压缩编码标准m p e g 4 m p e g 4 ( 标准代号i s o i e c1 4 4 9 6 ) 标准主要是为视听数据的编码和交互播 放的开发提供的算法和编码，是一个数据率很低的多媒体通信标准，旨在异构网 络环境下能够高度可靠地工作，并具有很强的交互能力。它与前两个标准的主要 不同之处在于：m p e g l 和m p e g 2 是基于帧的规范，而m p e g 4 是基于媒体对象 的规范，它规定了媒体对象的描述、表达、组织等问题。 m p e g 4 引入一个关键的概念：a v 对象。a v 对象是m p e g 4 为支持基于内 容编码而提出的。在m p e g 4 中所见的视频和音频已不再是过去m p e g l ，m p e g 2 中图像帧或者帧频的概念，而是一个个视听场景( a v 场景) 。这些不同的a v 场 景由不同的a v 对象组成。a v 对象是听觉，视觉。或者视断内容的表示单元。 北京邮电大学硕士论文 第二章m p e g 视频压缩编码标准简舟 其中最基本的单元是原始a v 对象，它可以是自然的或合成的声音，图像。原始 a v 对象又可以进一步组成复合a v 对象。整个m p e g 4 就是围绕如何高效编码 a v 对象，如何有效组织，传输a v 对象而编制的。因此，a v 对象的编码是m p e g 4 的核心编码技术。a v 对象的提出，使多媒体通信具有高度的交互能力和很高的 编码效率。 m p e g 4 视频标准的目标是在多媒体环境中允许视频数据的有效存取，传输 和操作。为达到这一广泛应用目标，m p e g 4 提供了组工具与算法，通过这些 工具与算法，从而支持诸如高效压缩，视频对象伸缩性，空域和时域伸缩性，对 误码的恢复能力等功能。因此，m p e g 4 视频标准就是提供上述功能的一个标准 化”工具箱”。 m p e g 4 提供技术规范满足多媒体终端用户，多媒体服务提供者的需要。对 于技术人员，m p e g 4 提供关于数字电视，图像动画，w e b 页面相应的技术支持， 对于网络服务提供者，m p e g 4 提供台勺信息，能被翻译成各种网络所用的信令消 息。对于终端用户，m p e g 4 提供较高的交互访问能力。具体标准概括如下： ( 1 ) 提供音频，视频，或者音视频内容单元的表述形式，这种形式即a v 对象( a 、，o ) 音视频对象) ，这些a v o 可以是自然内容和合成内容，这些内容可 以用相机或麦克风记录，也可用计算机生成。 ( 2 ) 将基本a v o 对象合成为音视对象，形成音视场景。 ( 3 ) 将与a v 0 相连的数据复合，同步。 ( 4 ) 使用户端和所产生的音视场景交互。 m p e g 4 提供一个组成的场景的标准方式，允许： ( i ) 将a v o 放在给定坐标系统中的任意位置。 ( 2 ) 将a v o 重新组合成合成a v o ( c o m p o u n d a v o ) 。 ( 3 ) 为了修改a v o 属性( 例如：移动一个对象的纹理，通过发送一个动 画参数模拟一个运动的头部) ，所以将流式数据应用于a v 0 。 ( 4 ) 交互式的改变用户在场景中的视点和听点。 2 4m p e g 7 和m p e g 2 l m p e g ，7 是针对媒体内容检索而提出的多媒体内容描述接口，建立一套视听 特征的量化标准描述器、结构以及它们相互之间的关系，这被称为描述方案。 同时m p e g 7 也建立了一套标准化的语言一描述定义语言，用以说明描述方案， 保证其具有被广泛采用的扩展性和较长的生命周期。 北京邮电大学硕士论文 第二章m p e g 视频压缩编码标准简介 m p e g 2 1 标准是定义一个交互式多媒体框架，跨越大范围内不同的网络和设 备，使用户能够透明地使用多媒体资源，存取、使用并交互多媒体对象，实现多 种业务模型，包括在价值链中对版权和支付交易的自动管理，以及对内容使用者 隐私的尊重等等。 2 5 小结 由上面的介绍可以看出，其实在m p e g 系歹标准中，只有前三个标准是数 据压缩标准，所以说m p e g 的任务远远不是局限于压缩，而是涉及媒体数据的 采集、加工、存储、发行、传输、保护等一系列技术标准的建立。 除了m p e g 标准以外，还有很多其它的视音频压缩标准，如视听会议压缩 编码标准h 2 6 1 ，低比特率视听会议压缩编码标准h 2 6 3 ，以及近年来讨论较多 的主要针对网络应用的具有高压缩比的h 2 6 4 等等。 北京邮电大学硕士论文 第三章m p e g i 和m p e g 2 视频编码标准基本内容 第三章m p e g l 和m p e g 2 视频编码标准基本内容 本章介绍了视频转码涉及的m p e g l 和m p e g 2 编码标准的系统层和视频层 内容和我如何实现从m p e g 2 传送流中提取m p e g 2 视频流。 3 1m p e g l 和m p e g 2 标准的结构 m p e g 组织于1 9 9 2 年正式推出了m p e g l 草案标准，1 9 9 3 年获正式通过。 m p e g l 标准主要用于数字存储媒体上活动图像及其伴音的编码，数据码率最高 可达1 5m b p s 。1 9 9 4 年又正式通过了m p e g 2 标准，m p e g 2 标准可以看成是在 m p e g l 标准基础上的扩展和改进，它提供了一种活动图像及其伴音的通用压缩 编码方法，在视频分辨率和传输速率方面都要高于m p e g l ，能广泛应用于通过 卫星、电缆、光缆、地面频道传输的数字视频广播、高清晰度数字电视( h d t v ) 以及d v d 等。 m p e g l 标准总分为四个部分： 1 系统( i s o i e c l l1 7 2 1 1 ： 2 视频( i s o i e c l l l 7 2 2 1 ； 3 音频( i s o i e c l 117 2 、3 ) ： 4 测试和验证( i s o i e c l l 17 2 4 ) 。 m p e g 2 标准共有九个部分，如下： 1 系统( i s o 【e c l 3 9 1 8 一t ) ： 2 视频( i s o i e c l 3 8 1 8 - 2 ) ： 3 音频( 】s 伽e c l 3 8 1 8 - 3 ) ； 4 一致性测试( i s o i e c l 3 8 1 8 4 ) ： 5 软件( i s o ，i e c l 3 8 1 8 5 ) ： 6 数字存储媒体命令和控制( i s o i e c l 3 8 1 8 6 ) ： 7 多声道声音编码算法标准( i s 0 腮c 1 3 8 1 8 7 ) ： 8 系统解码器实时接口扩展标准( i s o i e c l 3 8 1 8 9 ) ： 9 一致性扩展测试( i s o i e c l 3 8 1 8 1 0 ) ； 8 北京邮电大学硕士论文 第三章m p e g i 和m p e g 2 视频编码标准基本内容 下面对这两个标准的前三个部分的内容做简单介绍。 3 1 1 系统层 这一部分内容主要是解决视频流和音频流的多路复用和同步等问题。在 m p e g l 标准的系统部分，说明了如何把一个或多个音频或视频流合并成单一流， 多个流合并为一个流后数据才适于数字存储和传送。为了能在解码器端正确地解 码，系统流必须带有时序信息。首先是系统时钟信息，规定了处于一定位置的数 据在何时进入解码器。为了实现视音频的同步，各单个流也有相应的时序信息， 指示视音频流访问单元的解码、播放时间。 为了适应不同的应用，m p e g 2 的系统部分规定了两种不同格式的系统数据 流类型，分别为节目流( p r o g r a ms t r e a m ，简写为p s ) 和传送流( t r a n s f e rs t r e a m ， 简写为t s ) 。p s 流的语法语义规定向下兼容m p e g l 的系统层。因为m p e g l 标 准主要是应用于数字视音频的存储，针对的是不易发生错误的环境，所以其系统 层的分组大小是可变的。m p e g 2 标准的应用比较广泛，如数字视频广播( d v b ) 、 高清数字电视( h d t v ) 等，这些应用都是跟数据传输有关系的，传输信道可能 是光缆、电缆、地面微波或卫星等，在某些传输环境下是很容易出错的。针对这 种情况，m p e g 2 标准规定了t s 流。t s 流可以包含一道或多道节目流，也可以 直接复合多个原始流。 312 视频层 这一部分描述了数字视频的压缩编码方法及压缩后视频流必须满足的语法 格式。经过压缩编码后的视频流数据可以被计算机处理可以存储于各种数字存 储媒体上，也能通过各种网络进行传播。 运动图像压缩的理论依据就是空间和时间上都存在冗余度，所以可以从两 方面对数据进行压缩。在时间域，采用了预测编码算法。视频流在时间上并不是 连续的，利用人眼的视觉暂留效果，每隔一定的时间播放一幅静止图像，只要闻 隔时间不超过一定限度，人就会觉得是连续的图像。时间上相邻的图像之间差别 很小，尤其是对于静止的或运动速度缓慢的物体。利用这种特性，可以把适当的 图像作为参考，其它图像则只对其与参考图像之间的差值编码，这样就大大减少 了数据量，在解码端只要知道参考图像数据就能解码其它的图像。在空间域，采 用了变换域编码的方法。一般来说图像的相邻像素点之间的差别电不会很大，从 频域来看就是能量主要集中在低频部分。m p e g 标准中采用了d c t 变换，变换 后高频分量很多都为零，结合游程编码和霍夫曼编码，就达到了数据压缩的目的。 些蔓墼旦奎兰堡主堕墨 塑三兰坚! ! 鱼! 塑鬯! 全! 望塑塑里堡垄菱查塑查 关于数据压缩理论，参见f 4 1 第三章。 m p e g l 视频中定义的编码表示能在保持较好图像质量的隋况下获得较高 压缩比，最大速率可以达到1 5m b p s 。m p e g 2 视频流可以在3 1 0m 范围内得 到高质量的压缩图像。 3 1 3 音频层 定义了音频数据的编码和解码。m p e g l 和m p e g 2 的音频编码标准类似， 使用相同的子带编码。子带编码是把声音信号划分为若干个频带，利用人耳对不 同频率的声音有不同响应的听觉心理特性，对各频带进行精度各异的编码。 m p e g l 中有四种音频模式：单信道、双信道、立体声和联合立体声。m p e g 2 定义了一种通用多通道音频系统，可以提供下列五种音频通道：左、右、中央通 道：左环绕、右环绕，还有一个可选的低频增强通道l f e 。这种多通道音频系统 能与m p e g l 前向后向兼容，后向兼容是指m p e g l 的解码器能正确解码m p e g 2 音频流中基本的包括左右两个通道的立体声信息，前向兼容是指m p e g 2 多通道 音频解码器可以正确解码m p e g i 音频比特流。与m p e g l 相比，m p e g 2 还提供 了三个附加的半采样频率：1 6k h z 、2 2 0 5k h z 和2 4k h z ，增加半采样率的目的 是为了在较低码率时获得较好的声音质量。 3 2m p e g l 和m p e g 2 的视频编码方法 在上一节已经提到过m p e g l 和m p e g 2 标准中在对视频数据压缩时如何去 除冗余度的基本思想，这一节将介绍其编码的具体步骤。因为m p e g l 和m p e g 2 的编码方法基本一样，只是后者在某些方面做了改进，所以下面先讨论通用的编 码方法，然后再对m p e g 2 中改进的地方做介绍。 3 2 1 基本概念 1 图像编码类型 按照预测方法的不同可分为三种图像类型：i 帧、p 帧、b 帧。i 帧就是帧 内编码，不使用预测而仅使用自身信息编码，它可以作为其它帧的参考帧。p 帧 为前向预测编码，利用过去的帧作为其参考帧进行有运动补偿的预测编码。b 帧 是双向预测编码，由过去和( 或) 将来的帧进行预测编码。在m p e g l 中还有一种 d 图，是种帧内编码图像，但在编码表示的d c t 系数中，只出现d c 系数， 而且它不能像其它图像编码类型那样放在同一个视频序列中。 0 北京邮电大学硕士论文 第三章m p e g i 和m p e g 2 视频编码标准基本内容 2 宏块和块 利用时间上相邻图像的相关性，采用预测编码可以得到很好的压缩效果，但 是在整幅图像中，静止的部分变化很小，运动物体部分变化较大，这样对整幅图 像进行预测往往不如把图像分割开再对不同部分进行预测的效果好。理想的方法 就是把图像分成运动部分和静止部分，但是这样的分割方法具体实现起来并不容 易，所以在m e p g l 、m p e g 2 标准中采用了把图像进行规则分块的思想。图像被 划分成大小为1 6 x1 6 的区域，称为宏块，然后对每一个宏块进行预测，这样的 预测比对整幅图像进行预测效果要好。在宏块中包含大小为8 x 8 亮度块和色差 块，亮度块总为4 个，色差块数量取决于色差格式。 3 色差格式 由于人眼对色差信号的敏感程度比对亮度信号低，利用这个特性可以适当地 去掉些表达颜色的信号而让人不察觉。这种由不同比例的亮度和色差信号组成 的图像采样方式就是色差格式。下面列举出在m p e g 标准中使用的几种色差格 式。 最普通的格式就是每个像素点都有一个亮度分量和两个色差分量