（通信与信息系统专业论文）基于mpeg的视频流转码和流媒体的编辑.pdf

摘要 目前，随着多媒体通信的发展，多媒体技术正日益成为影响人们的学习、工 作和生活的一种技术。图像的压缩技术经过半个多世纪的发展，到现在主要有 j p e g 、m p e g 1 、m p e g 2 、m p e g 4 、h 2 6 1 和h 2 6 3 等国际标准。这些技术针 对不同的应用都有其显著的优点。本论文着i 葑m p e g 1 、m p e g 2 、m p e g - 4 和h 2 6 3 视频压缩编码技术进行了比较，提出了一种可行从m p e g - 1 2 到m p e g 4 视频流转码的方案，通过部分解码、对m v 和d c t 系数等转换的办法，用软件 笪查鲨壅墨至墨堡塑圭塑壁垫：壅墅塑蔓丛墨堡塑姿查壅! 墼i 奎堡垩整曼星的图 像的质量，且转换的时延小。 基于m p e g 一4 的a s f 流格式是一种适合网络技术的发展的流媒体格式。本 -一 论文通过对a s f 数据结构的深入分析，设计了一种a s f 文件的编辑器，用软件 方式完成这种功能，并设计了简洁友好的用户操作解码，使得用户能够方便的对 文件进行编辑工作。 本文主要内容安排为：第一章对转码系统作了描述，分析了转码的可行性以 及转码的意义和应用，提出了本课题的任务。第二章对视频压缩技术作了简要的 叙述。第三章着重比较了m p e g 1 2 和m p e g - 4 的不同点，以及h 2 6 3 和m p e g 一4 的不同点。第四章阐述了用软件的方法实现转码的算法和流程。第五章介绍了基 于m p e g 4 的a s f 主要结构和用软件实现对其编辑的方法和流程。 a b s t r a c t a t p r e s e n t ，研t l lt h ed e v e l o p m e n to fm u l t i m e d i ac o m m u n i c a t i o n t h em u l t i m e d i a t e c h n o l o g yi sb e c o m i n g ak i n do f t e c h n o l o g yt h a ti n f l u e n c e sp e o p l e ss t u d y , w o r ka n d l i v e sm o r ea n dm o r e t h ec o m p r e s s i o nt e c h n o l o g yo f i m a g eu n d e r g o e so v e rh a l fa c e n t u r yo fd e v e l o p m e n t ：t h e r ea l ej p e gm p e g - 1 ，m p e g 一2 ，m p g e 4 ，h 2 6 1a n d h 2 6 3i n t e r n a t i o n a ls t a n d a r d sm a i n l yt i l ln o w t h e s et e c h n o l o g i e sh a v er e m a r k a b l e a d v a n t a g e s i nd i f f e r e n t a p p l i c a t i o n s 。t h i st h e s i sf o c u s e so nc o m p a r i n gm p e g 一1 ， m p e g 一2 ，m p e g - 4a n d h 2 6 3v i d e oc o m p r e s s i o nc o d e t e c h n o l o g i e sa n dp r o p o s e so n e f e a s i b l em e t h o d ，w h i c hc a ne n s u r et h ep i c t u r eq l l a l i t yw i t h i nas h o r td e l a y , t or e a l i z e t h ec o n v e r s i o nf r o mm p e g 一1 2t om p e g - 4v i d e ob yt h ew a yo fp a r t - d e c o d i n g ， m b l e v e la n dd c tc o e f f i c i e n tc o n v e r s i o n , e t c t h ec o n v e r s i o ni sr e a l i z e do nt h el e v e l o f s y n t a xb y s o f t w a r e a s f , w h i c h i sb a s e do nm p e g - 4 ，i sak i n do f s t r e a m i n gm e d i af o r m a ta n di ti s s u i t a b l ef o rt h en e t w o r k t h r o u g hi n d e p t ha n a l y s i so fa s fd a t as t r u c t u r e ，t h i st h e s i s h a sd e s i g n e da ne d i t o ro fa s ff i l e s t h ee d i t o ri sr e a l i z e db ys o r w a r ea n das i m p l e a n df r i e n d l yu s e r - i n t e r f a c ei sa l s op r o v i d e d 幻m a k eu s e r sc o n v e n i e n te d i tt h ea s f f i l e s t h em a i nc o n t e n to f t h i sp a p e ri sa r r a n g e da sf o l l o w s ： c h a p t e r o r ed e s c r i b e st h e s y s t e m s t r u c t u r eo f t r a n s c o d i n g , a n a l y z e s t h e f e a s i b i l i t i e sa n dt h ep u r p o s e so f t r a n s c o d i n ga n dp u t sf o r w a r dt h et a s ko f t h i ss u b j e c t c h a p t e r t w op r e s e n t sa no v e r v i e wo fv i d e oc o m p r e s s i o nt e c h n o l o g i e s c h a p t e rt h r e e c o m p a r e dt h e d i f f e r e n c e sb e t w e e nm p e g - i 2a n d m p e g - 4 ，a n dt h ed i f f e r e n c e s b e t w e e nh 2 6 3a n dm p e g _ 4 ，c h a p t e rf o u r e x p l a i n s i nd e t a i lt h e a l g o r i t h ma n d p r o c e d u r et o r e a l i z et h ec o n v e r s i o nf r o mm p e g - 1 2t om p e g - 4b yt h e w a yo f s o f t w a r e c h a p t e rf i v ei n t r o d u c e st h em a i ns t r u c t u r eo fa s fb a s e do nm p e g 一4a n d t h em e t h o da n d p r o c e d u r e t or e a l i z et h ee d i t o rb ys o t t w a r e 北京邮电大堂硕士研究生论文基于m p e g 的视频流转码和流媒体的编辑 第一章基于m p e g 的视频流转码 的总体设计 1 1 系统总体描述和转码的可行性分析 现有的视频压缩编码技术主要有j p e g 、m p e g 1 、m p e g 2 、m p e g 4 、h 。2 6 1 和f i 2 6 3 。大致分为传统的基于码流的编码方式( 如m p e g 】和m p e g 2 ) 和基 于对象的编码方式( 如m p e o 4 ) 。这些视频编码方式针对不同的应用，都各有 其显著的优点。在很长的时间内都将同时并存着。为了能实现这样不同格式的视 频数据流之间的互通，在保证一定画质的条件下实现它们之间的转换是非常有必 要的。转码的系统框图如图1 1 所示。 图1 - 1 系统框图 传统图像编码方法依据信源编码理论的框架，将图像作为随机信号，利用 其随机特性来达到压缩的目的。如h 2 6 1 、h 2 6 3 、m p e g 1 m p e g 一2 均采用了基 于矩形帧编码的传统视频编码标准。m p e g - 4 采用现代图像编码方法，利用人眼 的视觉特性，抓住图像信息传输的本质，从轮廓一纹理的思路出发，支持基于视 觉内容的交互功能。而实现基于内容交互功能的关键在于基于视频对象的编码， 为此m p e g 4 引人了视频对象平面( v o p ) 的概念。但由于现有技术和各种因素 的限制，要实现任意对象的分割还是比较困难的事。虽然现在有些公司推出了 m p e g 一4 的编解码器，但并不是采用基于内容的编码，而是仍然基于帧的。在当 北京邮电大学硕士研究生论文基于m p e g 的视频流转码和流媒体的编辑 前实现的m f e g 4 中，大多是其内核仍然采用h 2 6 3 ，然后再加上m p e g 一4 的系 统部分。矩形帧被认为是v o p 的一个特例，这时编码系统不用处理形状信息， 退化为类似于h ，2 6 1 、h 2 6 3 、m p e g i m p e g 一2 的传统编码系统，同时也实现了 与现有标准的兼容。v o p 编码器内的机制也都是基于1 6 1 6 像素的宏块 ( m a c r o b l o c k ) 来设计的，可以实现与现有标准的兼容。m p e g 一4 采用的运动补偿 和运动预测技术其原理也和h 2 6 1 、h 2 6 3 、m p e g - 1 m p e g 2 的一样。因此 m p e g 4 和h 2 6 3 的码流转换是可行的。 1 2 视频流转码的意义及应用前景 视频流转码的意义在于实现不同应用环境中不同编码标准的数字视频系统 的兼容性，实现不同编码格式的媒体资源之间的透明使用。其应用前景有： 1 对m p e g 1 2 码流中的视频图像数据不作处理，仅是将该码流转码 成符合m p e g - 4 视频部分标准语义的码流。这是视频转码研究最初 的目的，也是最简单易行的一种转码方式。如数字摄录机上，使 m p e g 1 2 码流能在支持m p e g - 4 格式的硬软件环境里使用。 2 在将m p e g 1 2 视频码流转码成符合m p e g - 4 视频部分标准语义的 码流的同时，对其中的视频图像数据进行时间或空间上的抽样，使 转码后的速率从几m b p s 降至几百k b p s 或几十k b p s ，从而适合 i n t e m e t 网或通信网的传输，以支持更多的应用。 1 3 本课题任务描述 经过阅读文献和参考相关的资料，可以知道m p e g l 、m p e g - 2 和m p e g 一4 在码流的层次结构上非常的相似，但是其语义结构上还是存在着很大的差别，为 了能使m p e g 1 ，m p e g 2 与m p e g - 4 之间能够互通，对于已存在的采用传统视 频编码的系统与m p e g 4 编码系统之间的互通上存在一个转化的必要性。本课题 的任务就是通过软件的方法实现一个不同视频编解码系统之间转化的中间件，使 得不同格式的视频流之间的透明使用成为可能。 由于m p e g 4 引入了对象的概念，但是目前对象的提取技术并不成熟，所 以本课题的转码只限于基本层和矩形v o p 的范围内，用不完全解码的方式，即 北京邮电大学硕士研究生论文基于m p e g 的视频流转码和流媒体的编辑 不进行运动估计这一步骤而使用m p e g 一1 。m p e g 2 的运动矢量，完成m p e g 1 或m p e g 2 的视频流到m p e g 4 视频流的格式转换，其中包括v o l 、v o p 、m b 层和b l o c k 层的转换，设计用户操作界面，并能够对转换后的m p e g 一4 文件进 行解码播放。鉴于时间的安排，目前只做了从m p e g 1 、m p e g 2 到m p e g 一4 方 向的视频流转码，而m p e g 4 到m p e g 1 和m p e g 2 的转码将由下届的同学来 完成。 本课题的研究内容就是研究i s o i e c1 1 1 7 2 - 2 ，i s o f i e c1 3 8 1 8 - 2 和i s 伽e c 1 4 4 9 6 2 三个国际标准视频部分，和m p e g - 1 、m p e g 2 、m p e g 4 的编解码器， 熟悉视频编码的过程及视频压缩算法，找出m p e g - 1 、m p e g 一2 和m p e g 一4 之间 的不同之处，确定转码的方案，并用软件的方法实现。由于目前着重是要解决转 码的的可行性，且缺少硬件支持的开发环境，所以本课题只是完成用软件实现对 文件的处理，并且保证本程序有比较好的扩展性，以便将来实现对视频流的实时 转码。 北京邮电大学硕士研究生论文基于m p e g 的视频流转码和流媒体的编辑 第二章视频压缩编码简介 2 1 视频压缩技术的回顾 数字视频和图像压缩编码技术的研究历经半个世纪，在理论和工程上都取 得了很多成果。进入2 0 世纪9 0 年代，在i s o 和i t u 等国际组织的协调下，对 视频和图像编码的成果进行了收集和整理，制定了几个通用的压缩编码标准，包 括适用于二值图像的j b i g ，用于连续灰度和彩色静止图像的j p e g ，用于6 4 k 视 频传输的h 2 6 1 ，面向1 5 m 数字视频和音频传输及存储的m p e g 一1 ，面向高品质 数字视频和音频传输及存储的m p e g 2 ，以及适于低码率视频编码的h ，2 6 3 。这 些标准的算法主要由四类技术混合构成，即运动补偿、正交变换、量化和熵编码。 2 0 世纪9 0 年代中后期，i n t e m e t 迅猛发展，无线通信也迅速在全球普及， 因此人们开始有了在网络上传输视频和图像的愿望，于是视频和图像编码的目标 也就从传统的面向存储变为现在的面向传输m p e g _ 4 。 2 2 各种视频压缩编码的国际标准 2 2 1m p e g 系列 m p e g 是国际标准化组织i s o i e c 下的一个制定动态视频压缩编码标准的 组织，它为视频压缩编码技术的标准化和实用化做出了很多的工作。如针对 c d r o m 的1 5 m b p s 传输率的m p e g 1 、针对h d t v 的6 m b p s 以上传输速率的 m p e o 2 都已成功地得到应用，并创造了巨大的商业价值。m p e g - 4 是针对视频 会议、可视电话的甚低速率编码标准，它融入了基于内容的检索与编码，可对压 缩数据内容直接访问：2 0 0 1 年制定的m p e g 7 标准被称为“多媒体内容描述接 口”，这种标准化的描述可以加到任何类型的媒体信息上。不管视频信息的表达 形式或压缩形式如何，具有这种标准化描述的多媒体数据均可被检索。因此， m p e o 7 的应用领域主要是数字化图书馆和广播式媒体。 一、m p e g 1 m p e g 组织于1 9 9 3 年8 月发布了m p e g - 1i s o i e c1 1 1 7 2 。m p e g - 1 的视频 北京邮电大学硕士研究生论文基于m p e g 的视频流转码和流媒体的编辑 主要面向位率为1 5 m b p s 的视频信号的压缩编码，音频主要面向每通道6 4 k b s 、 1 2 8 k b s 以及1 9 2 k b s 的数字音频信号的压缩。其最终目标是在一个可以接受的 声音及图像质量下将多媒体数据压缩为大约1 5 m b p s 的一个单的流。其视频方 面的标准为i s o i e c1 1 1 7 2 2 ，所满足的交互式视频应用方面的需求为：视频回 放，即正常搔放、倒退播放、快进、快退；单个帧以及随机存取方式；高画质的 静止图像回放；非常低成本的硬件解码方式的实现和容错性。 m p e g 1 主要支持的特性有： 1 ) 运动补偿预测和插补双向预测； 2 ) 基于宏块以及片( s l i c e ) 编解码； 3 ) 支持图组( g o p ) ； 4 ) 半像素运动预测； 5 ) 视觉加权量化矩阵： 6 ) 采用对d c 分量的差值编码； 7 ) 运动补偿特性有；可选的半像素颈测( 在编码器中选择) ；运动矢量的范 围有7 种可供选择；对运动矢量的差值进行编码： m p e g 1 为确保采用该标准的设备的通用性，定义了视频限制参数，如：宽 度。 7 2 0 像素、高度一 当没有隐藏运动向量的内部宏块被解码时。 在p 帧中，当m a c r o b l o c k _ m o t i o n _ f o r w a r d 为零的非内部宏块被解码时， 在p 帧中，当一个宏块被跳过时( s k i p p e dm a c r o b l o c k ) 。 而m p e g 4 运动向量的预测是自适应的，一个帧间编码宏块包括一个描述 整个宏块的运动向量，或对每一个不透明的8 8 块有一个运动向量( 此时有k 个运动向量，其中1 如果候选预测器m v i 在相邻的透明宏块中或在当前宏块的透明块中， 则为不合法的。否则被设为相应块的向量值。 如果有且仅有一个候选预测器不合法，则它被设为零。 如果有且仅有两个候选预测器不合法，则它们被设为另一个合法候选预 测器的值。 如果所有三个候选预测器都不合法，则它们都设为零。 任何位于当前v o p 、视频包或当前g o b 外边的邻居块都被视为透明的。 3 1 2 2 2 对d c t 系数处理的不同点 一、量化方式 m p e g 1 2 对d c t 系数的量化采用两种量化矩阵( 4 ：2 ：0 格式) ，每个量 化矩阵都有一套缺省值。对于h a t r a 块( 亮度和色差) 和i n t e r 块( 亮度和色度) 的缺省矩阵为： 北京邮电大学硕士研究生论文基于m p e g 的视频流转码和流媒体的编辑 81 6 1 92 22 6 2 72 93 41 61 6 1 6 1 6 1 6 1 6 1 6 1 6 1 6 1 62 22 42 7 2 93 43 7 1 6 1 6 1 6 1 6 1 6 1 6 1 6 1 6 1 92 22 6 2 72 93 43 43 8 1 6 1 6 1 6 1 6 1 6 1 6 1 6 1 6 2 22 22 6 2 72 93 43 74 01 6 1 61 6 1 6 1 6 1 6 1 6 1 6 2 22 62 7 2 93 23 54 04 8 ，1 61 6 1 6 1 6 1 6 1 6 1 6 1 6 2 62 72 93 2 3 54 04 85 8 1 6 1 6 1 6 1 6 1 6 1 6 1 6 1 6 2 62 72 93 4 3 84 65 66 91 6 1 6 1 6 1 6 1 6 1 6 1 6 1 6 2 72 93 5 3 84 65 66 98 31 6 1 61 6 1 6 1 6 1 6 1 6 1 6 i n t r a 型i n t e r 型 m p e g 4 的量化有两种方式：一种是h 2 6 3 量化技术，一种是m p e g 量化 技术。这两种量化技术的i n t r a d c 的标尺由表3 - 6 来确定。 c p m # 1 印鲰l 封协f 螂罐哪t 鼬n 辩 t h o u g h 4l | s m r o e g hl l9 t h r h g h 裂lp 鹞 t u n v n e n 1 弹 8 l 缸q _ 曲t 瑚- l 掣蛳瑚 娉i2 l 掣_ 抽t 。- - 1 6 c i m _ 删 8 l 钾_ - 气鼬+ 1 辨l 掣晰- 弗 表3 - 6d c s c a l e r 1 对于第一种h 2 6 3 量化技术，参数q p 可以取值1 2 4 ”8 。山“1 ，量化 步长为2 x q p ，其量化的算法为： i n t r a 型编码方式：l e v e l = ic o e f l ( 2 q p ) i n t e r 型编码方式：l e v e l = ( ic o e f i - q p 2 ) ( 2 q p ) 其中：l e v e l 是变换系数量化后的绝对值，c o e f 是被量化的变换系数，c o e f 是重构的量化系数。除了i n c ad c 系数之外，其他的系数都被剪裁到 _ 1 2 7 ，1 2 7 】 范围内。 逆量化： c o e f 卜0 当l e v e l = 0 e o e f l - 2 q p l e v e l + q p i f l e v e l ：0 ，且q p i s o d d c o e f l = 2 q p l e v c l + q p l i f l e v e l ：0 ，且q p i se v e n 重构的变换系数为c o e f = s i g n ( c o e f ) lc o e f l 。 2 对于第二种m p e g 量化技术： i n t r a 型d c 系数量化：l e v e l = d c _ c o e f d e _ s c a l e r ( ，表向上取整) 逆量化：d c _ s e c = d e _ s c a l e r l e v e l i n t r a 型的a c 系数和i n t e r 型的所有系数采用以下两种量化矩阵。 2 6 - 北京邮电大学硕士研究生论文基于m p e g 的视频流转码和流媒体的编辑 81 71 8 1 9 2 1 2 32 52 7 1 61 7 1 8 1 92 02 12 22 3 1 7 1 8 1 9 2 12 32 52 72 8 1 7 1 8 1 92 02 12 22 32 4 2 02 l2 22 32 42 62 83 0 1 8 1 92 02 l2 22 32 42 5 2 l2 22 3 2 42 62 8 3 03 2 1 92 02 l2 22 32 42 6 2 7 2 22 32 42 62 83 03 23 5 2 02 12 22 32 52 62 72 8 2 32 42 62 83 03 23 53 8 2 l2 22 32 42 62 72 83 0 2 52 62 83 03 2 3 53 84 1 2 22 32 42 62 72 83 03 1 2 72 83 03 23 53 84 14 5 z 32 42 5 2 72 8 3 03 i3 3 i n t r a 型i n t e r 型 二、扫描方式 m p e g - 2 的z i g - - z a g 扫描采用了标准和垂直两者方式( m p e g 1 只有标准型 扫描) ，m p e g 4 用了标准、垂直和水平三种方式。i n c a 型的块采用哪一种方式 扫描由a c 预测标志( a c p r e d - f l a g ) 来确定，i n t e r 型块都采用标准z 形扫描。 三、d c 和a c 系数的预测 m p e g 1 2 的d c 系数是向前差分的，即计算当前块d c 系数与前一块的d c ( 亮度块对亮度块，色差块对色差块) 系数的差值d e d c t d i f f e r e n t i a l ，再对差值 进行编码，从而达到压缩数据的目的。预测器的值在以下情况时将被复位为零： 在一个块组( s l i c e ) 的开始： 在对非内部宏块进行解码时： 当宏块被跳过时，即m a c r o b l o c k _ _ a d d r e s s , i n c r e m e n t l m p e g 4 不仅有对d c 系数的预测，还有对第一行和第一列的a c 系数进行 预测，更进一步的压缩了数据。它对d c 系数的预测方式是自适应的，如图3 5 所示。 图3 - 5 使用重构邻近块预测d c 系数 对i n t r a 型块的d c 系数用邻近块的d c 系数来预测。图3 5 中，x 、a 、b 和c 分别代表当前块，当前块的左、左上和上方的块。q d c 表示d c 系数量化 2 7 - 北京郏电大学硕士研究生论文基于m p e g 的视频流转码和流媒体的编辑 后的值，当前块的预测器的选择基于下面的算法来得到： i f ( j q d c 一q d c bj ( 1 q d c b q d c c i ) d c _ p r e d 2 q d c c e l s e d c _ p r e d 2 q d c a 则d ed c t _ d i f f e r e n t = - q d c x d c _ p m d 。d c 预测中须遵守下列规则： 如果a 、b 、c 块在v o p 外部或者都不属于i n t r a 型的块，则把它们的 值置为2 6 吣。u ”1 。 如果iq d c a q d c bi 小于iq d c b q d c ci ，则用c 块来预测，否则 用a 块。宏块中每个块的处理都是独立进行的。 色差块的d c 预测与亮度块相似。 第一行和第一列的a c 系数的预测可以使用前面编码块的第一行和第一列 的a c 系数来预测，在块的基础上，a c 系数预测的方向与d c 一致。如图3 - 6 所示。 图3 - 6 使用邻近块预测a c 系数 四、v l c 编码 m p e g 一1 和m p e g 2 的d c 和a c 系数的v l c 编码码表基本一致，见1 1 1 7 2 2 的t a b l e2 - b 5 a b c 和1 3 8 1 8 2 的t a b l eb - 1 2 1 3 1 4 1 1 5 。m p e g 4 的d c 和a c 系数 的v l c 编码码表与它们的完全不同a 见1 4 4 9 6 2 的t a b l e b - 1 3 1 4 t 6 1 7 。m p e g 一1 2 北京邮电大学硕士研究生论文基于m p e g 的视频流转码和流媒体的编辑 用“1 0 ”来标识块结束，而m p e g 4 对位于块的晟后一个非零系数的编码码字可 在码表中查到。此外它们对e s c a p e 码的编码也不同。 3 2h 2 6 3 到m p e g 一4 的转码 3 2 1h 2 6 3 数据流格式 h 2 6 3 数据流是通过一个分为四个层的分层结构来管理的。从上到下四个层 分别是图像层、块组层、宏块层和块层。其码流结构如图3 6 所示。 沪s ct r嗍 搿l 圆 p s b i l t 圳d 嘲l p e 4 p 贸p e i 血。呷。8 1 a 吐s l8 娜 sp s t 叮 i li | 耵i l 抛 = le 豇研g b s c锚e 岛ig f i b铷娜i t c r o b l o 出d n t a 块 瞩 一? l 如i c 熙蛐c 盱b删 盯tmm 2i 町3耵雎唧b l o c k 毫糕 块层 t 盯l i 瑚 图3 6h 2 6 3 码流结构图 图像层：每帧图像的数据包含一个图像头，并紧跟着块组数据，最后是一 个e n d o f - s e q u e n c e 码和填充。对于c i f 、4 c i f 、