（通信与信息系统专业论文）mpeg1和mpeg2视频流的编辑.pdf

北京邮电大学硕上论文m p e g 一1 和m p e g 2 视频流的编辑 m p e g 1 和m p e g 2 视频流的编辑 摘要 论文主要介绍了m p e g 1 和m p e g 2 视频流编辑的软件设计与 实现。在我所做的研究中，m p e g 视频流编辑简单的说就是对m p e g 1 或m p e g 2 视频流进行剪切，和对两个视频流片断进行拼接。由于市 场和多媒体通信领域的发展，视频点播系统，数字电视业务和电视台 视频制作中涉及到了大量对m p e g 1 ( 或m p e g 2 ) 视频流的处理。其 编辑技术与传统的编辑技术完全不同，传统的编辑技术主要是对录像 带的内容进行编辑，如果摘录节目素材中的一段，工作人员不得不将 录像机快进到所需位置才能开始编辑；如果需要将若干盘磁带中的有 关内容摘录出来，则需要花费更长的时间。很显然这种耗时耗力的编 辑满足不了现在的需要。由此m p e g 1 和m p e g 2 视频流编辑的软 件实现方法也就成为了众多学者与机构研究的热点。 实验中视频流编辑模块隶属于分布式多媒体编辑系统，分布式多 媒体编辑系统的目标是使远端或本地用户方便地查询节目文字信息 和关键帧信息，并可根据信息提取相应的m p e g 视频流片断。m p e g 一1 和m p e g 2 视频流的编辑在工作中主要分为三个步骤，首先是m p e g 视频流的粗剪，实验中是按g o p 结构来对m p e g 视频流文件进行剪 切。其次是m p e g 视频流片段的拼接。最后是m p e g 视频流的精确 到帧的剪切。 论文首先会对工作中涉及到的m p e g 1 和m p e g 2 标准做了详 细的介绍。由于视频流编辑涉及到码流中的众多问题，而且编辑得到 的视频流文件要满足m p e g 标准，图像质量不能改变并保持视频流 同步，所以论文接着描述了m p e g 视频流编辑的原理、软件实现方 法以及程序流程。论文的最后对m p e g 视频流精确剪切的软件实现， 以及视频流拼接期的速率控制做了大致的论述。 关键词：m p e g 1 ，m p e g 。2 ，编辑，剪切，拼接 北京邮电大学硕上论文m p e g 1 和m p e g - 2 视频流的编辑 a b s t r a c t t h i sp a p e r m a i n l y d i s c u s s e dt h es o f t w a r ed e s i g na n di m p l e m e n t a t i o no fm p e g 一1 a n dm p e g 一2v i d e os t r e a me d i t i n g m p e gv i d e os t r e a me d i t i n gi st oc u tas e g m e n to f m p e g - 1o rm p e g - 2v i d e os t r e a ma n dt h e ns p l i c et w oo rm o r ev i d e os t r e a m s e g m e n t si n t o o n ev i d e os t r e a m a st h ed e v e l o p m e n to fm a r k e ta n dm u l t i m e d i a t e l e c o m m u n i c a t i o n ，v i d e o o n d e m a n d ( v o d ) s y s t e m ，d i g i t a lt vs e r v i c e sa n dt v s t a t i o np r o f e s s i o n a lv i d e oe d i t i n gi n v o l v e dag r e a ta m o u n to fm p e g 一1 ( m p e g - 2 ) v i d e os t r e a mp r o c e s s i n g i t se d i t i n gt e c h n o l o g yi st o t a l l yd i f f e r e n tf r o mt r a d i t i o n a l e d i t i n gt e c h n o l o g y , t h et r a d i t i o n a lo n em a i n l y d e a lw i t ht h ec o n t e n to fr e c o r d e dv i d e o ， s u c ha si no r d e rt oe x t r a c to n es e g m e n tf r o mp r o g r a mm a t e r i a l ，p e o p l eh a v et of a s t f o r w a r dt ot h es p e c i f i cp o s i t i o na n ds t a r te d i t i n gt h ev i d e oc o n t e n t ；i no r d e rt oe x t r a c t s e v e r a lc o r r e l a t e dc o n t e n t sf r o md i f f e r e n tr e c o r d e dv i d e os o u r c e ，o n eh a st o s p e n d m o r et i m ei nd o i n gs i m i l a rt h i n g s o b v i o u s l y , t h i sk i n do fl o we f f i c i e n tw o r kc a n n o t s a t i s f yp r e s e n td e m a n df o rv i d e oe d i t i n g a n dm p e g 一1a n dm p e g 2v i d e oe d i t i n g s o f t w a r ei m p l e m e n t a t i o ni st h eh o t s p o tf o rr e s e a r c h e r sa n dr e s e a r c hi n s t i t u t i o n s i no u rl a b ，v i d e oe d i t o rm o d u l ei si n c l u d e di nd i s t r i b u t e dm u l t i m e d i ae d i t i n g s y s t e m ，w h o s eo b j e c ti st om a k eb o t hl o c a la n dd i s t a n c eu s e re x p e d i e n t l yq u e r yt e x t a n dk e y - f r a m ei n f o r m a t i o na b o u tp r o g r a m s ，a n dr e c o v e rac o r r e l a t e dm p e gv i d e o s t r e a ms e g m e n ta c c o r d i n gt ot h ei n f o r m a t i o n m p e g 一1a n dm p e g 一2v i d e os t r e a m e d i t i n gc a nb ed i v i d e di n t o3s t e p s ：1 ) m p e gv i d e os t r e a mr o u g h l yc u ta l i g n e dt o g o ps t r u c t u r e ；2 ) s p l i c et h em p e gv i d e o s t r e a n s e g m e n t s ；3 ) p r e c i s e l yc u t t h e m p e gv i d e os t r e a m t h ep a p e rw i l lf i r s tm a k ead e t a i l e di n t r o d u c t i o nt ot h ec o r r e s p o n d i n gm p e g - 1 a n dm p e g 一2s t a n d a r d s ，a n db e c a u s et h e e d i t i n go fv i d e o s t r e a mw i l li n v o l v e d v a r i o u sp r o b l e m s ，a n dt h ee d i t e dv i d e os t r e a mf i l es h o u l d c o m p l yw i t hm p e g s t a n d a r d sw i t h o u tl o w e r p i c t u r eq u a l i t y , a n dk e e pt h es y n c h r o n i z a t i o nb e t w e e nv i d e o s t r e a ma n da u d i os t r e a m ，t h e p a p e rw i l ld e s c r i b et h ee d i t i n gp r i n c i p l e ，s o f t w a r e i m p l e m e n t a t i o na n dp r o g r a mf l o w a tl a s t ，s o f t w a r ei m p l e m e n t a t i o nf o rm p e g v i d e o s t r e a mp r e c i s i o nc u ta n dr a t ec o n t r o ld u r i n gv i d e os p l i c i n gw i l lb ed i s s c u s e d k e y w o r d s ：m p e g - 1 ，m p e g 一2 ，e d i t ，c u t ，s p l i c e 北京邮电大学硕士论文m p e g l _ 手丑m p e g 2 视频漉的编辑 独创性( 或创新性) 声明 本入卢明所呈交的论文是本人在导师指导f 进行的研究t 作及取得的研究成果。尽我所 知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢 意。 申请学位论文与瓷料若有不实之处，本入承担一切楣关责任。 本人签名：壶兰塑：1 日期： 2 ：! ! ：! ：，! 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在校 攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有关部 门或机构送交论文的复印件和磁盘允许学位论文被查阅和借阅；学校可以公布学位论 文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论文注释： 本学位论文不属于保密范围适用本授权书。 本人签名：爿睦盈：l 导师签名 日期：! ! ! ：竺三 日期：，瑚薄r l 北京邮电大学硕 论文m p e g 1 和m p e g 2 视频流的编辑 1 1 多媒体技术 第一章绪论 1 9 8 7 年，世界上第一台多媒体计算机在国际第二届c d r o m 年会上展出， 它是由美国r c a 公司的普林斯顿实验室组织计算机、广播电视和信号处理三个 方面的4 0 余名专家，经过4 年的研究研制成功的从此开创了多媒体技术的起 源。多媒体技术的出现，标志着人们已经可以有效的运用图像通信领域中关于图 像压缩编码的研究成果，清楚地展现出信息处理和通信技术的革命性发展方向。 多媒体数据是由内容文本、图形、图像、声音、动画、活动图像等媒体数据 所形成的复合数据。如果把对时间敏感的声音、活动图像的数据称为实时数据， 而把其它类型的数据称为非实时数据，那多媒体数据当中至少得包含有一种实时 数据和一种非实时数据| l l 。 交互性是多媒体技术中一个重要的特征。由此我们可以作出以下定义：多媒 体技术就是以交互的方式在计算机控制下处理多媒体数据的技术。 一种新技术的产生与发展往往是与其特定的技术背景相联系的，均是以其它 相关技术的发展作为基础的。多媒体的技术之所以能出现和迅速发展，主要得益 于下述几个方向的技术成果 2 ： 1 ) 图像压缩编码技术的成熟 数字通信与模拟通信相比较而言，具有抗干扰能力强，保密性好等优点，但 如果不经过压缩，信号占用的带宽将大得多。一路按国际标准分量进行数字编码 的彩色电视信号数据率r = 2 1 6 m b s ，如果用二进制传输大概需要1 0 8 m h z 的带 宽；而一路模拟彩色电视信号的带宽只有6 m h z 。如果没有压缩技术，多媒体中 图像数据的传输和存储无法实用化。如今，数据率r = 6 m b s 的m p e g 2 彩色电 视信号已相当于模拟电视广播级的质量。 2 ) 大规模集成电路技术的发展 芯片的集成度越高，芯片上能容纳的元件越多，对多媒体数据实时处理的能 力越强，设备成本也将越低。只有在这种条件下，多媒体技术才能进入寻常百姓 的家庭。 3 ) 大容量数字存储技术的发展 尽管图像压缩编码技术发展已经比较成熟，但多媒体数据量仍然很庞大。以 一个普通的影片举例，假设片长9 0 分钟，码流速率为3 m b s ( 普通质量的m p e g 2 北京邮电大学硕- l 论文m p e g 一1 和m p e g 2 视频流的编辑 压缩) ，则这部影片共有2 g 字节。为了不影响多媒体数据的回放，数字存储 设备的读取速率必须支持实时提取已压缩的活动图像数据流，并且误码率足够 低。c d r o m 、d v d r o m 等大容量数字存储技术的出现，为多媒体技术的实际 应用和全面发展提供了充分条件。 1 2 课题特点 随着多媒体技术的发展促进了多媒体业务的出现，而多媒体业务中的多媒体 编辑越来越成为一个发展重点。 1 2 1 课题研究的背景 由于市场和多媒体通信领域的发展，视频点播系统，数字电视业务和电视台 视频制作中涉及到了大量对m p e g 1 ( 或m p e g 一2 ) 视频流的处理。其编辑技术与 传统的编辑技术完全不同，传统的编辑技术主要是对录像带的内容进行编辑，如 果摘录节目素材中的一段，工作人员不得不将录像机快进到所需位置才能开始编 辑；如果需要将若干盘磁带中的有关内容摘录出来，则需要花费更长的时间。很 显然这种耗时耗力的编辑满足不了现在的需要。 而a 传统的编辑技术主要是应用于模拟的节目源，如录像带。随着多媒体技 术的出现和发展，现在的图像、声音、动画、活动图像都已经数字化，也即处理 成了多媒体数据。而采用了图像压缩编码技术的m p e g 视频流文件，也取代了 传统的录像带，成为了电视台视频节目制作和诸多多媒体系统的视频文件源，这 样m p e g 一1 和m p e g 2 视频流编辑的软件实现方法也就成为了众多学者与机构 研究的热点。 另外节目内容制作在很多宽带多媒体系统和电视台中也越来越重要。电视台 需要制作节目花絮，精彩片段；多媒体点播系统中，服务器端需要制作节目片段， 客户端用户可能需要得到某一个节目中的片段显然这些都需要对m p e g 视 频流进行编辑，所以对m p e g 视频流编辑进行研究有其必要性。 1 2 2 课题研究的意义 完成了的m p e g 视频流编辑模块，其中含有很多功能和算法。 首先m p e g 一1 和m p e g 2 视频流的编辑可以应用到诸如视频点播系统、i p t v 网络电视、视频监控等诸多多媒体系统中。编辑模块可以用于剪切处理用户需要 4 北京邮电大学硕十论文 m p e g i 和m p e g 2 视频流的编辑 的片断，而且由于算法设计，剪切耗时很短；也可以对相应的节目片段进行拼接， 满足用户需求；还可以用于系统的关键帧浏览功能实现等。m p e g 视频流编辑模 块对这些多媒体系统有着很大的功能完善作用。 其次对于电视台节目制作和数字电视业务，完成了的m p e g 视频流编辑模 块，也会有很大应用。现在的电视台节目制作多采用非线性编辑系统，软件和硬 件结合，而且节目源也只能是m j p e g 和全i 帧的m p e g 视频源，而我做的课 题中，是对所有压缩编码的m p e g 1 和m p e g 2 视频流都可以进行单软件方法 编辑，这样即可以简化系统中的部分繁琐的处理，又可以扩大节目源。所以对于 电视台节目制作和现在多媒体领域的数字电视业务，课题得到的成果对它们也有 着很大的用处。 另外在m p e g 视频流编辑中完成的很多针对m p e g 视频流的算法，如： m p e g 1 压缩码流的拆包：m p e g 2 压缩码流的拆包；解复用；单视频原始流的 打包；音频流视频流的复用；m c d c t 算法；反交织算法；d c t 域上半象素算 法：帧位置搜寻算法等。这些算法和设计思想对于其他的功能实现有很大的作用。 如多节目流复用可以采用相应的解复用算法和复用算法；m p e g - 2 的t s 流与p s 流转换则可以采用压缩码流的拆包和打包算法：多媒体存储中的转码会应用到 m c d c t 算法、反交织算法还有诸如视频格式的转换，帧搜索等很多的应 用都会用到上面的一些算法。 1 3 分布式多媒体编辑系统 对m p e g 一1 和m p e g 一2 视频流编辑的研究，在实验室中，这个模块是隶属于 分布式多媒体编辑系统的。 在对分布式多媒体编辑系统进行描述之前先对一些符号予以说明： v sv i d e os e r v e r视频服务器 a sa r c h i v es e r v e r 文档服务器 a c s a d m i s s i o n & c o n t r o ls e r v e r 接纳控制服务器 c l i e n t客户端 分布式多媒体编辑系统的目标是使远端或本地用户方便地查询节目文字信 息和关键帧信息，并根据查询所得信息从视频服务器( v s ) 或文档服务器( a s ) 上 提取节目对应的m p e g 1 文件在客户端进行播放并做到暂停到帧的选择，最后 根据选择的m p e g 1 的节目片断系统自动将对应的m p e g 一2 文件的片断传输到 编辑机或远端。 北京邮电大学硕士论文m p e g - 1 和m p e g - 2 视频流的编辑 从功能上系统可分为三部分。一是节目信息查询部分，包括节目文字信息的 查询和节目关键帧的浏览；二是m p e g ，l 节目播放部分，包括m p e g l 节目片断 的截取和播放；三是m p e g ，2 节目上载部分，包括m p e g 2 节目片断的截取和 上载。 分布式多媒体编辑系统主要分为如下模块：接纳控制服务器模块，v s 模块， a s 模块，c 1 i e n t 端模块。由于这些功能模块不是论文的重点所以这里也就不予 详细介绍。 分布式多媒体编辑系统结构如图1 一l 。 w e b j 务器 用户商询h t t p | i 描述文科h t t p 关键帧r t s p 8 p e g l r t s p e d l 文件r t s p 全局 数据库 - 。1 1 。1 1 。1 。 一： | 文档服务器 请求迁移 结果t c p 图卜1分布式多媒体编辑系统 用户在客户端( e l i e n t 端) 根据关键帧和m p e g 一1 文件来选择节目片段， 并输入需要上传的目的端地址( 编辑机或远端) ，c l l e n t 端将相应的起始帧和结 束帧还有目的端地址交给视频服务器v s ，由视频服务器上的m p e g 视频流编辑 程序来对相应的文件进行剪切或者是拼接，之后视频服务器再将得到的片段回传 给客户端目的端。 m p e g 1 和m p e g 一2 的编辑模块就处于视频服务器v s 上，实现对m p e g 视 北京邮电大学硕士论文m p e g i 和m p e g 2 视频流的编辑 频流文件的粗剪或者是精确到帧的剪切，还有就是相应片段文件的拼接。 1 4 论文的主要工作与安排 本人在硕士研究生期间，参与了实验室分布式多媒体编辑系统项目的研究与 开发。我的任务主要是软件方法实现m - p e g 视频流的编辑，这里的m p e g 视频 流是恒码流的。由于系统的需要，对m p e g 视频流的编辑分为m p e g 视频流的 粗剪：m p e g 视频流的精确剪切；视频片段的拼接。m p e g 视频流的粗剪的方案 是采取了按剪切帧所在的g o p 进行剪切，而m p e g 视频流的精确剪切则是采用 了精确到剪切帧的处理。两种剪切在方法和处理流程上有比较大的区别。 按时间顺序具体完成了以下工作： 1 m p e g 一1 、m p e g 一2 视频流的粗剪。提出并实现了剪切点搜寻算法，实现 了对m p e g 一1 、m p e g - 2 视频流文件的粗剪，也既是按g o p 进行剪切。 2 m p e g - 1 、m p e g 一2 文件片段拼接的设计与实现。对视频流的拼接中的问 题进行了分析，设计了同步字段修改方法，完成了拼接程序。 3 压缩域上的帧转换程序的设计与实现。由于精确剪切会用到帧转换，所 以通过查找相应的文章对压缩域上的帧转换进行了设计，由于帧转换中 涉及到了很多算法，这一块的研究工作耗时很长，最后是实现了p 帧和b 帧通过半解码到压缩域上再编码，得到i 帧，实现了帧转换这个模块。 4 m p e g l 与m p e g 一2 视频流的按帧精确剪切的设计与实现。提出了精确 剪切的思路，设计了整个实现的流程，逐步完成了流程中诸如帧提取， 拆包，打包等诸多模块的实现，并最终实现了m p e g 视频流的精确剪切。 5 另外还对压缩域的速率控制进行了一定的理论研究。得到了拼接期速率 控制的种解决方法。 在这些工作中还完成了很多有用的算法模块。 工作中通过软件方法，实现对m p e g 1 、m p e g - 2 视频流的剪切与拼接，得 到用户期望看到的内容的视频片断。并且还要保证视频流文件其码流满足相应的 m p e g 标准，视频图像质量不能受到损坏，还要保持视频流的同步。这里的剪切 分为粗剪与精确剪切，其设计思路有很大的区别。以下是论文的章节安排。 第二章主要介绍研究过程中涉及到的m p e g - 1 与m p e g 一2 码流标准。第三章 介绍m p e g 视频流粗剪与拼接的设计思路和程序实现。第四章介绍m p e g 视频 流的精确剪切的设计思路，以及这其间遇到的问题和解决方法。第五章介绍对压 缩域速率控制的研究。 北京邮电大学硕士论文m p e g 1 和m p e g 一2 视频流的编辑 第二章m p e g 标准简介 2 1m p e g 系列标准简介 由于在课题主要涉及到了m p e g 1 和m p e g 一2 压缩编码标准，所以下面对这 两个标准予以大致介绍。 2 1 1m p e g - l m p e g 一1 标准由i s o 活动图像专家组( m o v i n g p i c t u r ee x p e r t g r o u p ) 为速率 为l 1 5 m b s 的数字声像信息的存储而制定，共分为图像编码、声音编码和声 像同步与复用( 系统) 3 个部分川。该标准通常用于能够提供录像质量( v h s ) 视频节目的光盘存储系统。 m p e g 一1 可以处理的图像格式没有严格的规定但一般认为，在亮度信号采 用3 5 2 2 4 0 象素3 0 帧秒( n t s c ) 或3 5 2 2 8 8 象素2 5 帧秒( p a l ) 的情 况下，即称之为s i f ( s o u r c ei n p u tf o r m a t ) 格式，m p e g 一1 算法的效率最高。此 时视频压缩后的码率为1 2 m b s 。再加上压缩以后，复用上音频，总速率为 1 4 m b s 。该标准规定了已编码的数据流必须遵循的语法和一个标准解码器。 2 1 2m p e g 一2 m p e g 一2 是m p e g 1 的扩展，较m p e g 一1 做了重要的改进和扩展，其功能更 丰富，更完善，它支持恒速率和变速率两种编码方法，支持对比特流的编辑功能， 并在一定的条件下与m p e g 1 兼容。该标准的目的在于满足不断增长的对不同 应用下的活动图像及相应视频进行通用编解码的需要。这些应用包括数字电视广 播，数字图像的存储和通信等。m p e g 一2 标准使得活动图像能像计算机数据一样 进行控制和处理，然后可以存储在各种数字媒体中，或在已有的和将来的网络中 传送和接收，或在广播信道上发送。 m p e g 2 是由i s o 的活动图像专家组和1 n j - t 的1 5 研究组于1 9 9 4 年共同制 定的，在i t u t 的协议系列中，也称作h 2 6 2 。制定m p e g 2 的初衷是得到一个 针对广播电视质量( c c i e6 0 1 格式) 的视频信号的压缩编码标准，但最后得到 的是一个通用的标准，它能在很宽的范围内对不同的分辨率和不同输出比特率的 图像信号有效地进行编码【2 】。 同m p e g 1 样，m p e g - 2 也分为系统、视频和音频3 个部分。m p e g 一2 较 北京邮电大学硕士论文m p e g - 1 和m p e g 2 视频流的编辑 m p e g l 相比，主要增加了以下几项功能： 1 处理隔行扫描的视频信号的能力 这方面的内容包括：1 ) 增加了场图像的场间预测、帧图像的场间预测、 用于p 帧的双基预测和利用场图像的1 6 8 预测等对隔行扫描图像更为 有效的预测模式；2 ) 对隔行扫描的块，采用与交替扫描顺序将d c t 系 数矩阵转化为以维序列。 2 更高的色差信号采样模式 m p e g 1 采用4 ；2 ：0 模式，即色差信号的取样率无论在水平还是垂直 方向上都是亮度信号样点数的1 2 。m p e g 2 则除了4 ：2 ：0 外，还支持 4 ：2 ：2 和4 ：4 ：4 模式，前者色差信号的样点数在垂直方向上与亮度 信号相同，只是水平方向上是亮度信号的1 ，2 ；后者的色差信号的样点数 与亮度信号完全相同。 3 可伸缩的视频编码方式 所谓的可伸缩的( s c a l a b l e ) 视频编码是指编码所产生的码流具有下述特 性：对码流的一部分进行解码和对码流的全部进行解码能够分别获得不 通质量的重建图像。对部分码流解码获得的图像比对全部码流解码获得 的图像分辨率( 或帧率、或信嗓比) 要低。m p e g 2 所支持的视频编码 方式有空间可伸缩性、时间可伸缩性、信噪比可伸缩性和数据分割。 2 2m p e g - 1 压缩编码标准 这一节主要介绍m p e g 1 的视频模型和m p e g 1p s ( p a c ks t r e a m ) 流的层 次结构。 2 2 1m p e g 1 视频模型 m p e g 1 视频压缩技术是针对运动图像的数据压缩技术。为了提高压缩比， 帧内图像数据压缩和帧间图像数据压缩技术必须同时使用。数据的压缩充分利用 了时间和空蒯上的冗余信息。由表3 - 1 可以看出，电视图像本身在时间上和空间 上都含有许多冗余信息，图像自身的构造也有冗余信息。对电视图像的压缩， m p e g 主要采用了以下的些算法： ( 1 ) 帧内压缩算法 采用与j p e g 压缩算法大致相同的算法，即基于d c t 的变换编码技术，用以 北京邮电大学硕士论文m p e g 1 和m p e g 2 视频流的编辑 减少空间冗余信息。 表2 一l视频压缩利用的冗余信息 种类内容目前用的主要方法 统计空间冗余像素间的相关性 变换编码，预溯编码 特性时间冗余 时间方向上的相关性帧间预测，移动补偿 图像构造冗余图像本身的构造轮廓编码，区域分割 知识冗余收发两端对人物的共有认识基于知识的编码 视觉冗余人的视觉特性非线性量化，位分配 其他不确定性因素 ( 2 ) 帧i 剞压缩算法 采用预测法、插补法和运动补偿算法。预测法有因果预测器( 纯粹的预测编 码) ，和非因果预测( 即差补编码) 。预测差值可以在通过d c t 变换编码处理， 进一步压缩。帧间编码技术可以减少时间轴方向的冗余信息。运动补偿压缩和编 码删除了那些即使缺少了它们也不会显著破坏人脑或人眼对图像感知的帧。视频 压缩冗余信息如表2 一l 所示。 2 2 2m p e g 1 码流的结构层次 m p e g ，1 码流的构成分为6 个层次( 见图2 一1 ) 2 1 ： ( 1 ) 图像序列。序列头给出图像分辨率、帧率和使用的量化表的类型等信息。 ( 2 ) 图像组( g o p ) 。是随机进行存取的单元。 ( 3 ) 图像( p i c t u r e ) 。是基本的编码单元，其头信息中纪录着该帧的类型( i 、 p 、1 3 ) 和它在g o p 中的次序号。 ( 4 ) 条( s l i c e ) 。是进行再同步的单元。一幅图像可以分成一个或多个条， 再每条的开始，对运动矢量和d c 系数值作d p c m 的预测值都重新置为 零，这可以防止解码时误差的积累。 ( 5 ) 宏块( m b ) 。时进行运动补偿的基本单元。 ( 6 ) 块( b l o c k ) 。是进行d c t 的基本单元。 1 0 北京邮电太学硕士论文m p e g i 和m p e g 2 视频流的编辑 图2 - 1m p e g ，1 的编码层次 2 2 3m p e g 1 帧图像类型及其编码 序列层 c - o p 层 图像层 条层 宏块层 在m p e g 一1 视频码流中将帧图像分为3 种类型： 1 ) i 帧( i n t r a p i c t u r e s ，帧内图像) i 帧图像是利用图像自身的相关性压缩，提供压缩数据流中的随机存取的点， 采用基于d c t 的编码技术，编码不需要其他帧的图像作参考，这些帧图像为解 码器提供随机存取点，是预测图像( p ) 帧和双向预测图像( b ) 帧的参考图像， 所以压缩率不高，压缩后，每个像素为】 2 b n 。 2 ) p 图像( p r e d i c t e dp i c t u r e s ，预测图像) p 图像是参考时间轴上前面的帧内编码的图像或者时间轴上前面预测编码 得到的图像，用运动补偿预测技术进行编码，这些预测图像通常作为进一步预测 的参考，预测图像的编码效率较高。 3 ) b 图像( b i d i r e e t i o n a lp r e d i c t i o n ，差补图或双向预测图) b 图像在预测时，即可使用前一个图像做参照，也可使用下一个图像作参考 或同时使用前后两个图像作参考图像( 双向预测) ，它的压缩率最高，但双向预 测图像不做为预测的参考图像。 图2 - 2 是一个显示顺序的g o p 帧结构，从图中，我们可以发现，在视频码流 里的每一帧，都可能是参考其他帧或者是被其它帧所参考。这样在我们的实验中， 北京邮电大学硕+ 论文m p e g 一1 和m p e g 2 视频流的编辑 如果对视频码流真接进行剪切，就有可能会出现丢弃参考帧，发生参考错误。这 。点在下面的章节中会利用到。 图2 - 2 ：i 帧、p 帧和b 帧之间的关系 2 2 4m p e g 1p s 流 m p e g 1 允许将带有时间信息的多路视频或音频流合并成单一的组合流，为 保证解码器不在上溢或下溢的情况下播放视频流和音频流，组合流必须受 m p e g 一1 给出的语法规则和语义规则的约束。i s 0 1 1 1 7 2 1 给出了m p e g 一1 系统层 的语法规则和语义规则，它将系统层分为两层：单元层和包层。 单元层完成多路复合操作，包括数据检索协调、时钟调整和缓冲区管理，由 单元层包的头部完成这些任务，它的头部有参数指定各字节进入系统解码器的时 间，并以此作为时钟校正和缓冲区管理的参考。同时为了确定解码器解码多路复 合流所需资源，还需要在单元层说明复合流的一些参数如流的最大数据率或被复 用的流数目。 包层完成各个单独流的操作，包括多路复用流的分解和多个原始流的同步播 放。多路复用流的分解是多路复用的逆过程，它是通过包头部分的流识别符将不 同流的数据包分解开来。在包层数据包的头部还有时间戳，解码器使用它来达到 流内和流问同步，这一点以后还会详细介绍。 此外还有一个系统包头，用于标识码流里面的视频和音频原始流的s t r e a mi d 值。 以下我们主要对单元层和包层的数据包格式进行描述。 1 ) 单元层数据包结构( p a c k 1 a y e r ) 图2 3 是单元层的数据包的总体结构图，具体字段分布可见协议。 北京邮电大学硕七论文 m p e g 1 和m p e g ，2 视频漉的编辑 l 包开始l8 c ri m u x 速率 l 包数据 1 4 85 83 8 图2 - 3 单元层数据包结构图 包开始( p a c ks t a r tc o d e ) 3 2 位字节，标志单元层数据包的开始，它的值是 0 x 0 0 0 0 0 l b a 。 s c r ( s y s t e m _ c l o c k _ r e f e r e n c e ) 1 口系统参考时钟，s c r 本身有3 3 位。由于在包 头中夹杂了标志字节，所以在包中占用了5 个字节： s c r 3 2 3 0 m a r k e rb i t s c r 2 9 1 5 m a r k e rb i t s c r 1 4 0 m a r k e rb i t 3 位 值为l 1 5 位 值为1 h 1 5 位 值为1 s c r 是一个计数值，以9 0 k h z 的系统时钟连续计数，随着包数的增加，s c r 应该是递增的，具体数值是该包第一个字节进入目标解码器的时间计数值。 s c r i i ) 。( s y s t e m c l o c k f r e q u e n c ex t i ) 分s 其中s c r 是第i 个数据包的s c r 计数值，s y s t e m c l o c k f r e q u e n c e 为 9 0 k h z ， f 倒为第i 个数据包第一个字节进入解码器的时间。为减少时钟抖动，m p e g i 协议要求在0 7 秒内，至少要出现个s c r 值。我们知道m p e g l 解码器有自 己的9 0 k h z 时钟，但不能保证与编码器的时钟致，而系统的解码和同步都是 建立在这一时钟之上，时钟的不一致会导致解码器的缓冲区溢出，从而导致解码 器的播放出现问题。而s c r 的功用就是为解码器锁定9 0 k h z 系统时钟，以提供 一个与编码器尽量相近的时钟。在我们进行m p e g 一1 文件复接时，s c r 是一个 重要参数。 m u x 速率( m u x r a t e ) 2 2 位字段，表示多路复用流进入解码器的速率，以 5 0 字节秒来计数。 数据包承载的数据是包层的数据包，不过包层的数据包长度不是固定的，因 此单元层数据包并一般不会与包层的数据包相重合，往往是包层的数据包较长并 跨越了数个单元层数据包，如果包层数据包不能够添满单元层数据包，可以加入 填充字节。 北京邮电大学硕士论文m p e g 1 和m p e g 2 视频流的编辑 2 ) 包层数据包结构( p a c k e tl a y e r ) 图2 4 是包层的数据包的总体结构图，具体字段分布可见协议。 3 81 82 83 8 3 ( 0 ) 8 图2 4 包层数据包结构图 包开始( p a c k e ts t a r t _ c o d e _ p r e f i x ) 2 4 位字段，是包开始的标志，其值为 0 x 0 0 0 0 0 1 。 s t r e a mi d 为8 位字段，表明该包中数据流的类型，仅可从1 0 1 l1 1 0 0 到 1 1 1 11 1 1 1 之间取值，解码器就是以s t r e a m1 i ) 来判别包中所承载的数据是属 于多路复用原始流中的那一路。 包长度( p a k e c t l e n g t h ) 1 6 位字段，指明该字段之后的包字节数。 p t s ( p r e s e n t a t i o nt i m es t a m p ) 即显示时间戳，3 3 位字段，它是一个计数值， 以9 0 k h z 的系统时钟计数，它表示包数据中的第一个访问单元( 对视频流，访 问单元是一幅图像压缩后的数据块。对音频流，访问单元是一段音频采样值压缩 后的数据块) 在目标解码器中预定的显示时间： p t s ( k ) 2 ( s y s t e m c l o c kf r e q u e n c ex t ea 0 ) 2 3 。 其中p 弼例是包含第p 个访问单元的数据包上的p t s 所对应的计数值， s y s t e m _ c l o c k _ f r e q u e n c e 为9 0 k h z ，t o ( k ) 为解码器将第尸阳个访问单元进行播放的 时间。为减少抖动，m p e g 1 协议要求在o 7 秒内，至少要出现一个p t s 值。p t s 由3 3 个比特组成( 注意：在p t s 域中有标志比特间于其中，具体格式见m p e g 1 协议) 。一般情况下，无论图像还是声音采样的访问单元开头所在的包都有p t s 标志。 d t s ( d e c o d i n gt i m e _ s t a m p ) 即解码时间戳，它是一个计数值，以9 0 k h z 的 系统时钟计数，它表示包数据中的第一个访问单元( 对视频流，访问单元是一幅 图像压缩后的数据块。对音频流，访问单元是一段音频采样值压缩后的数据块) 进入目标解码器的时间： d t s o ) = ( s y s t e m c t o c kf r e q u e n c ex t a ( ) ) 2 二j 其中d t s o ? 是包含第d o ) 个访问单元的数据包上的d t s 所对应的计数值， s y s t e m c l o c kf r e q u e n c e 为9 0 k h z ，幻纠为第d o ) 个访问单元进入解码器进行解码 的时阳j 。d t s 由3 3 个比特组成( 注意：在d t s 域中有标志比特间于其中，具体 格式见m p e g 一1 协议) 。只有包含i 、p 帧图像头的数据包才可能同时有p t s 和 4 北京邮电大学硕士论文m p e g o l 和m p e g 2 视频流的编辑 d t s ，包含b 帧头和声音采样的数据包只可能有p t s ，这一点将在后面加以解释。 解码器将使用p t s 和d t s 进行流同步和缓冲区管理，p t s 指定了各个访问 单元的播放时间，使解码器可以根据同一原始流中的这时间戳，实现原始流的 流内同步，同时各个访问单元的p t s 都是建立在同一时间轴上，不同流之间的 p t s 都是相互对应的，解码器又可以根据不同原始流的p t s 的对应关系达到不 同流间的同步。 包数据就是压缩后的视频流数据和音频流数据。 2 3m p e g - 2 压缩编码标准 此节主要描述了m p e g - 2 的特点和m p e g 2t s 流，也就是传送流的码流结 构，事实上m p e g 一2 码流也有p s 流，但是p s 流的结构层次和m p e g 1p s 流的 差不多，所以这一节也就不再累述。 2 3 1m p e g 2 的特性 m p e g 一2 标准对标准数字电视和高清晰度电视在各种应用下的压缩方案和系 统层进行了详细规定，编码码率的范围是3 m b i v s m 0 0 m b i v s ，标准的正式规范在 i s o i e c1 3 8 1 8 中。m p e g 2 不是m p e g 1 的简单升级，m p e g - 2 特别适用于广 播级的数字电视的编码和传送，被认定为s d t v 和h d t v 的编码标准。m p e g 2 还专门规定了多路节目的复分接方式。此外，m p e g 2 还兼顾了与a t m 信元的 适配问题。 在m p e g 2 标准中，视频编码标准是一个分等级的系列，按编码图像的分辨 率分为4 个级( l e v e l ) ；按所使用的编码工具的集合分成5 个类( p r o f i l e s ) 。级 与类的若干组合构成m p e g 2 视频编码标准在某种特定应用下的子集：对某一 种输入格式的图像，采用特定集合的压缩编码工具，产生特定速率范围内的编码 码流。在2 0 种可能的组合中，为了保证与m p e g 1 向下兼容及广播、通信、计 算机、家用视昕设备的需求，目前有1 1 种是已获通过的，称为m p e g 2 适用点。 目前的标准数字电视采用的是m p m l ( m a i np r o f i l e ，m a i nl e v e l ) 主类和主 级，它指的是具有这种特性的电视：帧速率是3 0 f