（信号与信息处理专业论文）ts流无缝拼接技术研究.pdf

中文摘要 随着数字视频技术的发展和多种相关标准的发布，数字电视已进入实用化阶 段，数字电视取代模拟电视已经成为必然趋势。在这种转制过程中，电视中心面 临着一系列问题和挑战。其中，节目制作、编辑及广告插播等，是播出数字电视 节目不可或缺的重要环节，其关键技术是对数字电视节目载体- - t s 流进行无 缝拼接。 本文从m p e g - 2 标准出发，通过对其系统层和视频基本层的深入研究，指出 了对m p e g - 2 传输流进行无缝拼接所面临的技术难点，探讨了无缝拼接t s 流的原 理和需要满足的条件，提出了基于系统层和基于基本层实施无缝拼接的两种方 案，并进行了相应算法的实验研究和验证，给出了实验结果。 基于系统层的无缝拼接只需根据咿e g _ 2 系统层语法，对t s 流进行处理，拼 出流和拼入流都不需要解复用、解码、编码和重新复用，拼接流基本不改动原始 流的内容。其技术关键是拼接点的选择，t s 流相关信息( 包括p s i 信息和时间信 息) 的调整，以及音频和视频的同步处理。该方案的优点是快捷而方便，并得以 基本保持原始流，但由于受压缩码流中图像编码类型和图像顺序的限制，拼接必 须选择在符合拼接的特定位置进行，不能精确到帧。 为能满足拼接中精确到帧的需求，本论文提出了基于基本层的无缝拼接方 案。该方案的核心是进行转换编码，其作用是转换不符合拼接要求的图像编码类 型和相关图像顺序，使其成为合法的拼接点。在该方案里，作为出流和入流的 t s 流，都要通过解复用和重新复用，在拼接点附近，还要进行解码和重新编码。 核心部分在转换编码平台上实现。 作为算法研究，这两种方案目前是在离线情况下对t s 流数据文件进行，拼 接流也以t s 数据文件形式存储。这种离线处理，能满足电视中心预制节目的需 要；而处理速度完全满足实时要求，所以该算法也能应用于实时设备。对所产生 的拼接流所作的客观分析和主观评价表明，两种方案得到的拼接流均符合m p e g - 2 标准，各项参数正确，解码和显示正常，在拼接点附近，图像场景转换流畅，音 视频能良好同步。 关键词：数字电视k i p e gt s 流无缝拼接 a b s t r a c t a l o n gw i t ht h ed e v e l o p m e n to f d i g i t s lv i d e ot e c h n o l o g ya n dt h ep u b l i s h m e n to f s e v e r a lc o r r e l a t i v es t a n d a r d s d i g i t a lt e l e v i s i o nh a sb e e ni nap r a c t i c a lp e r i o da n di ti s i n e v i t a b l et h a ta n a l o gt vi sr e p l a c e db yd i 百t a lt v i nt h ec o n v e r s i o no ft h e m , t h e t vs t a t i o n sw i l lb ef a c ew i t hs e v e r a lp r o b l e m sa n dc h a l l e n g e p r o g r a m m i n go r p r o g r a m se d i t i o n , a d v e r t i s e m e n t si n s e r t i o n 弛a r ei n d i s p e n s a b l ep a r t s o f t r a n s m i s s i o nd i g i t a lp r o g r a m s t h es e a m l e s ss p l i c i n go f t h et r a n s p o r ts t r e a m s ，w h i c h a r et h ec a r r i e r so f t h et v p r o g r a m s ，i st h ek e yt e c h n o l o g y o f t h e m t h i sp a p e ri sb a s e do nm p e g - 2s t a n d a r d a sl u c u b r a t i n gt h es y s t e m i cl e v e la n d t h ev i d e oe l e m e n t a r yl e v e l ，t h i sp a p e rp o i n t so u tt h et e c h n i c a ld i f f i c u l t i e sw h i c hi tw i l l e n c o u n t e rt os p l i c et w om p e g - 2t r a n s p o r ts t r e a m ss e a m l e s s l y , d i s c u s s e st h e p r i n c i p l e sa n dt h ec o n d i t i o n so fs e a m l e s ss p l i c i n g ，a n de d u c e st w os e a m l e s ss p l i c i n g m e t h o d sr e s p e c t i v e l yb a s e do i ls y s t e m i cl e v e la n de l e m e n t a r yl e v e l t h e ya r e v a l i d a t e db yr e l a t i v ea l g o r i t h m i ce x p e r i m e n t s t h es e a m l e s ss p l i c i n gb a s e do i ls y s t e m i cl e v e ld e a l sw i t ht h et r a n s p o r ts t r e a m s j u s ta c c o r d i n gt om p e g - 2s y s t e m i cl e v e ls y n t a x i ti sn o tn e c e s s a r yt od e m u l t i p l e x , d e c o d e , e n c o d ea n dr e - m u l t i p l e xt h ei n p u ts t r e a m sa n dt h eo u t p u ts t r e a m sw h e n d o i n gw i t l lt h et r a n s p o r ts t r e a m s t h es p l i c e ds t r e a mh a sm o s to ft h eo l ds t r e a m s d a t 扎t h ek e yt e c h n o l o g yi ss e a r c h i n gf o rt h es p l i c i n gp o i n t s a d j u s t i n gt h er e l a t i v e i n f o r m a t i o no ft h et r a n s p o r ts t r e a m s ( i n c l u d ei n f o r m a t i o na b o u tp s ia n dt i m e ) ，a n d t h es y n c h r o n i s mo f t h ev i d e oa n da u d i o t h ea d v a n t a g e so f t h i sm e t h o da r er a p i d n e s s ， c o n v e n i e n c e a n dk e e p i n ga l m o s ta l lt h eo l ds t r e a m s d a t 乱b u ta st h er e s t r i c t i o nf r o m t h ei m a g et y p e sa n do r d e ro ff l a m e si nt h es t r e a m , s p l i c i n gc a n n o tb et ot h ea c c u r a c y o ff t a l n e , b u tt ot h ea c c u r a c yo fs o m es p e c i a lp o s i t i o n st h a ta g ea c c o r d i n gw i t l lt h e s e a m l e s ss p l i c i n g i no r d e rt oa c h i e v et h ep r e c i s i o ni nf l a m ei nt h es p l i c i n g , t h i sp a p e rb r i n g s f o r w a r da na n o t h e rm e t h o dw h i c hi sb a s e do ne l e m e n t a r yl e v e l t h ec a 3 r eo ft h i s m e t h o di st r a n s c o d i n g , w h o s ef u n c t i o ni st oc o n v e r tt h ef l a m e sw h o s ei m a g et y p eo r o r d e ri sn o ta c c o r d i n gw i t ht h es p l i c i n gt ot h el e g a ls p l i c i n gp o i n t s i nt h i sm e t h o d ， b o t ht h eh p u ts t r e a ma n dt h eo u t p u ts t r e a mm u s tb ed e m u l t i p l e x e da n d r e - m u l t i p l e x e d n e a rt h es p l i c i n gp o i n t s ，t h e yw i l lb ed e c o d e da n dr e - e n c o d e d t h e m a i np r o c e s si sc o m p l e t e di nt r a n s c o d i n gs t a t i o r l a s 舭a l g o r i t h m i c 懈e 卸r c h t h et w om e t h o d sa r eu s e dt od e a w i t ht h et r a n s p o r t s t r e a m so f f - l i n e , a n dt h es p l i c e ds t r e a mi ss a v e di nc o m p u t e ra st r a n s p o r ts 印e a mf i l e a tp r e s e n t t h i so f f - l i n ep r o c e s s i n gc a l lb eu s e dt op r e f a b r i c a t ep r o g r a m si nt vc e n t e r a st h es p e e do ft h et r e a t m e n tc o m e st or e a lt i m e , t h ea r i t h m e t i cc a nb eu s e di n r e a l - t i m ee q u i p m e n t s a c c o r d i n gt oo b j e c t i v ea n ds u b j e c t i v ee s t i m a t i o n , t h es p l i c e d s t r e a m sf r o mt h e s et w om e t h o d sa l et a l l yw i t hm p e g 2s t a n d a r d a l lt h ep a r a m e t e r s a l ec o r r e c t d e c o d i n ga n dd i s p l a y i n ga r er i g h t a n dt h ev i d e oa n da u d i oa r ea l lr i g h t n e a rt h es p l i c i n gp o i n t k e y w o r d s ：d i g i t a lt v , m p e gt r a n s p o r ts t r e a m s ，s e a m l e s ss p l i c i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨垄盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名柳冲埠签字隰年堋多日 学位论文版权使用授权书 本学位论文作者完全了解盘壅盘鲎有关保留、使用学位论文的规定。 特授权苤洼盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位燃一：趼砌咩 签字日期：、吩6 ，年l 月谚日 导师签名： 么 ，节趴 签字日期：年l 月垆日 天津大学硕士学位论文第一章前言 1 1 课题背景及研究内容 1 1 1 课题背景 第一章前言 数字电视是全面采用数字信号处理和传输技术的电视系统。数字电视与模拟 电视相比，有一系列特点和优点。例如除了在图像质量、伴音质量和观看效果等 方面优于传统的模拟电视系统外，所需传输带宽也只相当于模拟电视系统的四分 之一甚至更小。数字电视的实用化，会产生良好的社会效益和巨大的经济效益。 上世纪9 0 年代以来，世界许多国家不仅相继投入大量人力物力进行研究、试验， 而且在大力推进其实用化。在技术上，图像及其伴音通用压缩编码标准( m p e g - 2 ) 的制定也极大地促进了数字电视技术和产业的发展。 近几年，由于各国政府在政策上的支持，数字电视在全球范围内得到了快速 发展。在我国，有关部门拟定的数字电视发展时间表为：2 0 0 5 年卫星传输全部 实现数字化，有线电视网及省级以上台基本实现数字化，全国将有四分之一左右 的电视台发射和传输数字电视信号；2 0 1 0 年，广播电影节目制作、播出以及卫 星、有线传输实现数字化，地面电视基本实现数字化，数字电视接收机得到普及， 东部相对发达地区将普及数字电视并逐步推广到中西部；2 0 1 5 年停止模拟电视 的播出，完成模拟向数字的过渡，全面实现数字化。我国幅员辽阔，经济和文化 发展不平衡，上述时问表在执行过程中，可能进行调整，但不太长时期内，必将 实现电视系统由模拟向数字化的过渡。电视技术的更新换代和巨大社会需求，已 在促进原产业链的改造、提升和催生新产业链的形成。 目前，我国电视机年生产量约为3 8 0 0 万台。“十一五”期间，是我国模拟电 视向数字电视过渡的重要时期，在新购或更新电视接收设备时，会有越来越多的 用户选择数字电视终端。2 0 0 8 年后，数字电视终端产品的产销量，很可能超过 现在模拟电视机的生产和市场规模。 从模拟电视向数字电视转换是一个必然趋势，但在这个过渡的过程中，电视 台会面临一些新的问题和挑战，以往对于模拟电视很简单的事情，在数字电视系 统里会变得复杂。其中节目的切换和广告的插播就是最典型的例子。 天津大学硕士学位论文第一章前言 对于模拟电视，一般是在场消隐期间从这个信号转到另外一个信号，实现节 目切换和广告插播；而对于数字电视，由于信号完全数字化，并且图像和声音都 经过了压缩编码，要符合一些标准的规定，如果直接在两个信号之间切换，接缝 部分就可能出现错误，招致用户端不能正确解码和显示。 对于数字电视节目的编辑，同样也存在这种问题。如何把两个在不同码流里 的节目拼接在一起，而保证拼接后的码流在拼接点完全正常? 目前国内外主要采 用 i s ( 传输流) 解复用和解码，在像素域进行编辑，然后再编码和复用，得新 的t s 。当然，对于需要精致编辑的节目，这种方法效果最好，也最彻底。但对 于只是简单地把两个节目拼接在一起的编辑，这种方法在存储空间的利用率、编 辑效率、处理速度上就显得太低了。 要解决上述问题，最根本的就是实现对电视节目的载体- - t s 流进行无缝 拼接。 1 1 2 课题的研究内容 为了对数字电视节目进行简单快捷的拼接和切换，美国电影与电视工程师协 会( s m p t e ) 制定了s m p t e3 1 2 m 标准，规定了m p e g 2 传送流中携带拼接点 的方法。美国有线电视工程师协会( s c t e ) 也制定了两个用于实现节目拼接的 标准s c t e3 0 和s c t e3 5 。这些标准都规定了在生成传输流时如何携带有效的 拼接点信息，以使节目播出端在需要拼接时能很方便的进行，但并不限定实际拼 接中如何实现。码流生成时符合这些标准才便于拼接，而未携带拼接点信息的一 般m p e g 2 码流，不便参照这些标准实施拼接。 本课题基于m - p e g 2 标准，根据系统层和视频层相关规范，研究一般t s 流 无缝拼接的算法，解决拼接中遇到的问题。最后得出两种解决方案，一种是基于 系统层的无缝拼接，另一种是基于基本层的无缝拼接。 基于系统层的无缝拼接不对原始码流解复用和解码，而直接在系统层对接口 进行处理。根据t s 流的规定和特点，选择合适的拼接点，调整相应字段，把两 个独立的单节目码流拼接在一起。这种方法的优点是直接在系统层就能完成，处 理速度快、灵活而方便、能实时应用，比较适用于单节目t s 流的快速编辑、节 目切换和广告插播。但这种方法也受到很多的限制，比如很难处理基本层信息， 不能做到基于帧，对多节目t s 流较难实施，拼接受原始流码率等参数的制约等。 基于基本层的无缝拼接要把t s 流解复用成e s 流( 基本流) ，并把两个视频 e s 流拼接点附近的几帧数据通过转换编码，把不符合拼接要求的帧类型转化成 符合拼接要求的帧类型，把两个e s 流拼接在一起，再复用生成新的t s 流输出。 处理的过程中，t s 流的解复用和复用是必须的，视频e s 流的解码和编码只需要 天津大学硕士学位论文第一章前言 对拼接点附近的几帧进行。这种方法最大的优点是能够把拼接点精确到帧，并且 可以对多节目t s 流里的其中一路进行拼接，而不改变其他几路节目。但是这种 做法要进行解复用和复用，在拼接点附近还要进行一些必要的解码和编码，这样 会对原始码流做一些变动；同时，由于拼接点处改变了帧类型( 一般把b 帧转换 成p 帧或i 帧，p 帧转换为i 帧) ，数据量会增加，此处瞬时码率会有所上升。 1 2 课题解决的问题和应用前景 1 2 1 课题要解决的问题 无缝拼接最简单的理解就是拼接后的流不管从主观感觉上还是客观数据上， 都没有拼接的痕迹，就像对原始视音频数据进行完整编码过程一样。要做到这些， 需要解决以下问题： 首先，就是拼接点的选择。数字电视节目符合m p e g - 2 标准，标准定义了i 图( 内部编码图) 、p 图( 预测编码图) 和b 图( 双向预测编码图) 三种图像类 型。i 图不需参考图；p 图基于前面的i 图或p 图预测得到；b 图由前面和或后 面的i 图或p 图预测。i 图和p 图均可作参考图，b 图不能作参考图。后向预测 的引入，使得编码不再按原视频帧顺序进行，解码后需通过帧重排予以恢复。在 拼接过程中，首先要考虑这些帧类型，如果拼接点前后的帧类型不匹配，就会造 成解码错误。比如拼接点后的第一帧是p 图或者b 图，它们要参考前面的帧解 码，而前面的帧属于另外一个流，与该帧没有关系，所以解码端不能正确重构该 帧。要想在拼接点处连续正确的解码，必须选择合适帧作为拼接点，或者改变已 经选择作为拼接点的帧的帧类型，使之符合作为拼接点的要求。前者是基于系统 层的无缝拼接的做法，后者是基于图像层的无缝拼接的做法。 第二，基于系统层的无缝拼接要解决前后两个t s 流p s i 信息一致性问题。 数字音视频信号经压缩编码生成e s 流，再复用成t s 流。t s 由一系列固定包长 ( 一般为1 8 8 字节) 的t s 包组成。t s 包含有头部和净荷，头部载有多种系统信 息，净荷为音视频等数据。不同类别t s 包用p i d ( 包识别符) 区分。m p e g 2t s 中含有节目专用信息( p s o ，p s i 包括4 种表：p a t ( 节目关联表) 、p m t ( 节目映 射表) 、n i t ( 网络信息表) 和c a t ( 条件接收表) 。t s 中还包含4 种同步信息：p c r ( 节目时钟基准) 、视频d t s ( 解码时间标记) 、音频和视频p t s ( 显示时间标记) 。 m p e g 2 解码器先查询p i d 为0 的t s 包，它载有p a t ，从p a t 可查到t s 中各 节目p m t 所在t s 包的p i d ，找到p m t 即可得各节目音视频及p c r 所在t s 包 的p i d ，从相应t s 包获取对应的数据进行解码。两个不同的t s 流这些相应的 天津大学硕士学位论文第一章前言 信息通常不同，为正确解码，须保证拼接后的t s 流拼接点前后这些信息保持一 致。所以，调整p s i 信息对于基于系统层的无缝拼接是必需的。但是，对于基于 基本层的无缝拼接，因为两个流都进行了解复用和重新复用，所以这个步骤就不 再需要。 第三，音视频同步。由于视频数据所需解码时间较长，所以在t s 流里一般 较音频靠前。而音视频的帧历时彼此不同，所以着眼于视频数据切换t s 时，并 不一定同时能找到显示时间完全相同的音频帧数据，通常只能寻找最接近的。对 于出点，最后一帧音频的显示时间必须不能晚于最后一帧视频的显示时间，否则 就会出现图像已经结束但声音还在继续的状况；对于入点，第一帧音频的显示时 间须不早于第一帧视频显示时间，否则会出现图像还没有到来就已经有了相应声 音的状况。这样，视频是完全衔接的，但音频就不会那么无缝，在接口出现“缺 口”，这在拼接过程中是无法避免的现象。 第四，要解决视频的缓冲区问题。压缩后的视频每帧的数据量不同，所以从 编码器输出的视频压缩流每一帧图像数据并没有固定的边界，为了保证解码器以 固定的速率输出图像，在解码器输入要有缓冲区。m p e g 规定了一种理论上的缓 冲区模型，b v 缓冲区。视频压缩流以c b r ( 固定码率) 或v b r ( 变码率) 的方式进入该缓冲区，同时以一定的时间间隔( 一个帧历时) 从缓冲区一次移出 一整帧的数据，整个过程不能出现缓冲区的上溢和下溢。从视频数据结束时最后 一个数据进入缓冲区到最后一帧的图像数据离开缓冲区开始解码具有一定的延 时，叫结束延时；同样，视频数据开始时的第一个数据进入缓冲区到第一帧图像 开始解码离开缓冲区也有一定的延时，叫启动延时。无缝拼接就是要做到入流的 启动延时和出流的结束延时相匹配。同时，启动延时的长度和出流与入流的码率 都是导致缓冲区出现异常的重要因素，它们与缓冲区的填充程度到底如何，在拼 接中如何控制它们，是本课题的一个重要研究任务。 1 2 2 课题的研究内容及其应用 随着数字电视的广泛推广和模拟电视的逐渐被取代，相应的数字化处理也必 然被广泛应用。 插播广告是数字电视运营商的重要收入来源，节目切换也是电视台必不可少 的重要操作。t s 流的无缝拼接技术为广告插播和节目切换提供了很好的理论支 持和操作模板，使操作不需要转换到像素域进行处理，方便快捷，并大大节省资 源。 本课题为研究需要，采用离线的处理方式，但其处理速度远远超过实时要求。 通过相应的改进，程序也可以用于实时，那样就可以直接应用。 天津大学硕士学位论文 第一章前言 1 3 论文结构安排 本论文从m p e g - 2 的标准出发，通过其系统、视频和音频部分的相关规定， 论述分别从系统层和基本层对m p e g - 2 传输流进行无缝拼接的原理和方法，其结 构安排如下： 第一章是绪论；第二章主要介绍无缝拼接的原理，提出无缝拼接时必须解决 的一些问题和拼接算法难点；第三章通过对m p e g 2 系统层的介绍，论述在系统 层进行无缝拼接的技术原理和算法；第四章是根据m p e g 一2 视频基本层相关规 定，完成无缝拼接，并做到拼接精确到每一帧；第五章是试验工作及其结果的分 析。 天津大学硕士学位论文 第二章传输流无缝拼接原理 第二章传输流无缝拼接原理 无缝拼接是对m p e g 2 的t s 流( 传输流) 进行的。在t s 流里，视频和音 频数据都已进行压缩编码，它们符合m p e g 2 相应部分的规定，要成功地完成预 期的目标，必须熟悉掌握这些规定。本文首先从m p e g - 2 编码和复用算法入手， 探讨什么是以及如何实现无缝拼接。 m p e g - 2 标准包括了多个部分：系统、音频、视频、一致性、软件、数字存 储媒体命令与控制( d s m c o ) 、先进音频编码( a a c ) 、d s m - c c 一致性、知识 产权等。其中视频和音频部分分别描述了视频和音频的编码方法，系统部分描述 了多个视频、音频和数据基本码流合成传输码流和节目码流的方式。 2 1m p e g 2 中的视频 在拼接过程中，拼接压缩视频是面临的最大挑战，是要解决的首要问题。本 文在优先考虑视频无缝拼接的基础上，再设计同时完成视频和音频拼接的算法。 2 1 1 拼接点选择 与没有经过压缩过的视频相比，对m p e g 视频流进行切换和拼接要困难很 多，这有三方面原因。 首先是如果没有i 帧，p 帧和b 帧就不能被解码器重构，所以拼入不是始于 i 帧的数据流，会造由拼接点开始直到下一i 帧前的数据不能正确解码；而b 帧 的引入使码流发送顺序和解码顺序不同，处理起来变得更加复杂。 其次，与泼经压缩的视频数据不同，码流里一帧数据的长度并不确定，即各 帧数据边界没有明确的定位。i 帧数据可能需好几个帧历时来发送，而p 帧和b 帧数据发送时间却可不满一个帧历时。在拼接时，动态地同步两个拼接流的帧边 界是必须要解决的一个问题。 第三，虽然解码器输入的数据流中没有确定的帧边界，但解码输出帧历时却 是界定的，所以解码器需设码流缓冲区，用于调解这种区别。对此，生成码流时 虽会注意到这个缓冲区的上溢或下溢，但码流切换时则容易发生其中一个“缓冲 区异常”。实际上，上溢比下溢更糟。下溢只意味需等待更多数据的到达，出现 暂时的静帧。上溢则意味部分码流数据丢失，直到下一i 帧数据到来之前，输出 天津大学硕士学位论文 第二章传输流无缝拼接原理 图像都可能遭到破坏。 因为这三个问题，码流里只有那些处于合适位置的帧才适合拼接。这些处于 合适位置的帧称为拼接点。进入一个流的位置称为该流的入点，离开一个流的位 置称为该流的出点。 2 1 1 1 帧类型 m p e g - 2 定义了三种图像编码类型，即i 帧( 帧内编码帧) 、p 帧( 帧间编码 帧) 和b 帧( 双向预测帧) ( 图2 5 ) 。i 帧采用帧内编码方式，利用本帧图像的 空间相关性实现压缩，i 帧数据可单独解码。p 帧和b 帧采用帧间编码，同时利 用图像的空间和时间相关性。图中，p 帧( 4 ) 由i 帧( 1 ) 预测，该i 帧( 1 ) 为p 帧( 4 ) 的“参考帧”，p 帧( 4 ) 为“当前帧”。i 和p 帧间传送2 幅b 帧( 帧( 2 ) 和( 3 ) ) ，它 们由原序列中的“过去帧”( 1 ) 和“将来帧”( 4 ) 预测，这2 幅b 帧的运动补偿用 帧( 1 ) 和帧( 4 ) 共同完成，在三种类型编码帧中压缩效率最高。 圈2 1i 、p ，b 帧的预测关系 6 图2 1 所示的图像顺序是帧序列进入编码器前和从解码器输出之后的顺序， 它们在编码比特流中的顺序，即在编码器输出和解码器输入中间部分的顺序，与 这一顺序是不同的( 如果序列中没有用到b 帧，这两个顺序相同) 。以更长的序 列为例： 。 编码输入和解码输出： b b i i b 3 编码输出和解码输入： i 。b b p | 2 1 1 2 p 帧 p b 5& p 7b b& p 。ob b 1 2i 。 b 3p 7b 5b ep l ob ib i 。b i ib ” m p e g 通过不同的帧类型来获得尽可能高的压缩效率。解码器要重构一个 “p ”帧，必须先解出码流里前面的p 帧或i 帧，然后通过这些帧和码流里对该 帧的“预测”信息，得到该“p ”帧。 天津大学硕士学位论文 第二章传输流无缝拼接原理 从一个流拼接到另一个流，本文先考虑没有“b ”帧的情况( 图2 - 2 ) 。这样 的码流符合m p e g 2 标准，并且其显示顺序和编码流顺序相同。 出流 i op l匕 p 3 p 1 5气p 7p 摹 p i i o r 入泣 1 wp 嚣p 蚰p li n p p p jk i 7 图2 - 2 不含b 帧的码流拼接点选择 如果希望在p l 之后结束出流，在p 3 9 开始入流，解码器就会试图通过p l 的 预测来重构p 3 9 。这样就造成一个垃圾帧，而p 4 0 又会通过这个垃圾帧的预测进行 重构，一直持续下去，直到在4 2 帧位置上的i 帧出现，这种错误累积才会结束。 注意，这时候从哪一帧离开出流没有问题( 但是如果有b 帧，会有问题) 。这个 例子表明：只能在i 帧进入入流，但可在i 帧或p 帧后离开出流。 2 1 1 3 b 帧 b 帧和p 帧相比，不同的地方是不仅要从前面的i 帧或p 帧获得前向预测， 而且要从后面的i 帧或p 帧获得后向预测( 见2 1 1 ) 。在图2 3 中，第6 帧和第 7 帧是b 帧，它们都是从第5 和第8 帧预测的。对于第6 帧和第7 帧，解码器在 重构用于预测它们的第5 和第8 帧之前，不能正确重构它们。所以在码流里，第 5 帧和第8 帧都要在第6 帧和第7 帧之前出现，b 帧滞后发送，发送顺序是8 ，6 ， 7 ，而不是6 ， 图2 - 3 含b 帧的码流拼接点选择 这对拼接会产生什么影响? 从码流里任何帧结束的地方离开，都不会出现解 码错误，因为需要作为参考的帧在该帧之前已经存在于码流中；但是，如果在b 帧之前离开码流，会使两个非b 帧之间的b 帧不完整而在显示上出现显示“空 洞”。这说明，对具有b 帧的码流，离开的位置要在p 帧或i 帧之前，以使拼接 点之后不会紧跟b 帧。例如，如果显示顺序要在p 5 之后离开出流，那么在码流 里必须把出点定在紧随b 4 之后。否则，因丢失b 帧而造成一个或多个显示“空 洞”( 图2 3 ) 。 天津大学硕士学位论文 第二章传输流无缝拼接原理 那么应从哪里进入入流呢? 显然是在i 帧( 参考图2 - 4 ) 。但如果从1 8 开始， 那么解码器对其后的两帧( b 6 和b 7 ) 如何进行解码? 这个问题不是第6 帧和第 7 帧要用来预测第9 帧，而是这两个b 帧与p 5 相关，但p 5 不在拼接后的码流出 现。为避免b 帧没有意义，它们必须在编码时就跟p 5 没有关系，或者它们根本 就不在码流里出现。也就是说，拼接后紧跟在i s 之后的第一帧不能是b 帧。不 管怎样，须用一个“c l o s e dg o p ”即一个只自身相关的g o p 进入一个流。 为了得到“c l o s e dg o p ”，有丢帧和转换编码两种方法，这也是本课题推荐的无 缝拼接的两种基本方法。详细内容参考第三章和第四章。 图2 _ 4 入点i 帧之后紧跟的b 帧会出现解码错误 2 1 14 入点和出点 从对i - p - b 帧帧类型的考虑，会得出什么结论? 首先就是对进入一个流( 入 点) 的限制比对离开一个流( 出点) 的限制更加严格。可以在显示顺序上的p 帧或i 帧之后离开一个流，但要保证不因截掉任何b 帧而出现显示“缺口”；也 可以在i 帧进入一个流，但紧跟其后的所有b 帧必须与该i 帧之前的任何帧都没 有关联。 图2 5 图像序列中可能的出点和入点示意图 另外是要注意到，这样选定的入点也可作为出点。这是因为对入点的限制包 含了对出点的限制，但反过来不成立。如图2 5 所示 2 1 1 5 帧边界对齐 模拟电视信号的切换可在场消隐期间进行。场消隐的时间间隔是一定的，所 以容易在信号中找到每幅图像的边界进行拼接或切换。对没有经过压缩的视频数 据，每帧数据量也是固定的，边界点也容易确定。而在m p e g 码流里，帧与帧 天津大学硕士学位论文第二章传输流无缝拼接原理 之间需要用于解码的比特数并不成不变，i 帧可能要用几个帧历时传送，而p 帧和b 帧传送时间却可以不到一个帧历时。结果是图像头不是按规则间隔出现。 在两个流之间进行切换，出流的出点必须与入流的入点对齐，也就是说必须精确 定位出流图像数据的结束位置和入流图像数据的开始位置。 2 1 2 v 缓冲区 在编码器和解码器直接对接情况下，视频以每秒3 0 帧( 例) 的恒定帧率进 入编码器，同时也要以每秒3 0 帧的恒定速率从解码器输出。但编码码流帧边界 是以不规则的间隔出现，有些帧的数据完全传到解码器所需时间可能大于1 3 0 秒，有些又可能不足1 3 0 秒。这意味解码器输入端需有码流缓冲区，使不规则 的帧边界规则化。 堕竺竽刽- 嘟频躺曩l 嚣 1 叫- e g 视频编码l 鬲匠 闻厦 压缩后视 频码流 潞i 岫视频船羹帛 码! ! 丝堕_ l帧嚣品蒿盏州帧边：盖时间 图2 - 6v b v 缓冲区在视频编解码器中的作用 m p e g 规范定义了一种理论上的解码器缓冲区模型，叫做视频缓冲区验证 模型，简称v b v ( v i d e ob u f f e r i n gv e r i f i e r ) ，如图2 - 6 所示。m p e g 标准中的v b v 虚拟模型不是用来规范实际的解码器，但对编码器构造码流却具约束作用，即须 保证解码器缓冲区不上溢或下溢。上溢指缓冲区已经充满后仍然有数据要求进入 缓冲区，这种情况会造成数据的丢失。下溢指缓冲区要输出一定的数据时，其内 没有数据或数据量小于输出要求。解码器的设计者在设计解码器缓冲区时，会基 于这样一种假设：解码器接收的码流一定符合对v b v 的约束。 要理解m p e g 视频的拼接，必须理解v b v 模型。 2 12 1 v b v 模型 v 模型是一种理论上的解码器缓冲区，物理上并不存在它只是一种 用于对构造码流起约束作用的模型。这种理论上的缓冲区就是一个简单的f i f o 。 为了与m p e g 相适应，码流必须满足：v 缓冲区不上溢和下溢。这样v b v 缓冲区的充满程度就很关键。v b v 缓冲区的充满情况取决于两个因素：缓冲区 的输入和输出。 对于输出，缓冲区一次移出一整帧的数据( 这是理想情况下的模型) 。每次 移出数据的时间间隔是规则的，一般是一个帧历时，比如帧频为3 0 帧s 的视频 是1 3 0 秒。每帧图像从v 缓冲区移出的时刻称为这帧图像的解码时间，即 天津大学硕士学位论文第二章传输流无缝拼接原理 d i s o 缓冲区输入有两种模式：v b r ( 变码率) 和c b r ( 固定码率) 。在v b r 模 式下，数据一直往缓冲区填充，直到填满；当缓冲区有输出而不再满时，恢复输 入。在c b r 模式下，数据持续不断地进入缓冲区，并且和编码码流的速度相同。 由上可知，缓冲区的输入在c b r 模式下是持续不断的，数据量随时间线性 增加；而输出则以一个固定的时间间隔断续进行，每次输出一整帧的数据，但每 次输出的数据量不同。 b 倒 驰 撰 儆 凶 号 辫 t o t l 2 时间 图2 - 7v b v 缓冲区充满状况示意图 要使缓冲区不发生溢出，在移出任何图像数据之前和恰好在这个图像的数据 被移出之后，缓冲区中的数据量都要在0 到b ( v b v 缓冲区的容量，在序列头 中通过vb u f f e rs i z e 字段定义) 之间，即要满足下列式子： 占( 以) + ( 毛+ i 一) r d ( 以+ 1 ) 0 ( 2 1 ) 矗( ，1 ) 十( + l 一) r b ( 2 2 ) 其中： 口o ) ：把第n 帧图像数据从缓冲区移出后，缓冲区内所剩的数据量； b 1 0 ) ：把第n 帧图像数据从缓冲区移出前，缓冲区内所剩的数据量； ：第n 帧图像数据从缓冲区移出的时间； r ：进入缓冲区的码流的传输速率； d ( n ) ：第n 帧图像的数据量。 不满足第一个式子会造成缓冲区下溢，不满足第二个式子会造成缓冲区上溢。 2 1 2 2 启动延时：缓冲区初始化 在刚开始解码或解码器重启之后，v b v 缓冲区是空的。数据通过c b r 或者 天津大学硕士学位论文 第二章传输流无缝拼接原理 v b r 模式，按码流特定的传输速率进入缓冲区。从数据开始进入缓冲区到第一 帧图像数据移出缓冲区，要经历一段时间，这个时间称为启动延时( 图2 8 ) 。理 论上，在c b r 模式下，这个时间延时与第一帧图像头中定义的v b v d e l a y 值相 同。 5 ! 量 一 倒 掣 蜒 般 凶 童 囊 t e t ol屯t 。 t 。t 5t t 图2 - 8 视频编码流的启动延时和结束延时 图中，t n 代表第n 帧图像数据进入缓冲区的时间，t 。代表第n 帧图像数据离开缓 冲区的时间。 对于拼接流的入点，相当于一个码流起始，从入点的第一个数据进入缓冲区 到入流的第一帧图像离开缓冲区的一段时间就是入流的启动延时。 假设入流的启动延时为l ，r 为入流的传输速率，b 为v 缓冲区的最大 容量，则要满足下式： z r b ( 2 - 3 ) 2 1 2 3 结束延时 当码流停止向缓冲区输入时，数据量不再增加，斜率变为0 ，但此时缓冲区 里仍有数据。这些数据每次以帧为单位从缓冲区移出，直到缓冲区变空。这个过 程所用的时间是考虑拼接时另外一个重要的概念一结束延时( 图2 - 8 ) 。 出流在出点的最后一个数据进入缓冲区，到出流的最后一帧图像数据移出缓 冲区的时间就是出流的结束延时。 2 1 2 4 v 模型和拼接的关系 如上所述，拼接时要考虑涉及缓冲区的两个因素： 1 、图像数据从进入缓冲区到离开缓冲区需要一定的时间延迟，码流第 一帧图像数据所需要的这个时间延迟就是该码流的启动延时，它对 保证缓冲区不上溢和下溢非常关键，必须小心处理； 天律大学硕士学位论文 第二章传输流无缝拼接原理 2 、当缓冲区的输入端一个码流结束后，要有一个结束时间使剩余的图 像数据从缓冲区移出，这就是结束延时，出流的结束延时要与入流 的启动延时相配合，以保证缓冲区不出现异常。 拼接就是一个流结束的同时另外一个流开始，而这两个流的结束延时和启动 延时往往不同。 如果出流的结束延时大于入流的启动延时，当入流的第一帧图像数据要按启 动延时规定的时间从缓冲区移出时，缓冲区里还保留有出流的图像数据，必须等 待，直到所有的出流数据都从缓冲区移出。结果是入流所有的移出时间都要向后 推迟，推迟的时间就是入流的启动时间与出流的结束时间的差值，即入流的启动 时间要被强制等于出流的结束延时( 拼接时这通过修改入流的d t s 来实现，详 见第三章) 。而在推迟的时间内，入流仍会以其固有的传输速率对缓冲区进行填 充，这就有可能造成缓冲区上溢。 vv h 一厂一7 _ 出澹 步7 1 入流彳。 t 图2 - 9 入流启动延时过长出现静帧 相反的情况，即出流的结束延时小于入流的启动延时，情况没有这么糟糕： 出流的最后一帧图像数据在入流的启动延时期间移出，而此时到入流的第一帧图 像数据从缓冲区移出还需要不止一个帧历时时间，这样在出流的最后一帧和入流 的第一帧中间会出现一个等待时间( 静帧) ，但没有缓冲区上溢危险( 图2 9 ) 。 2 1 2 5 视频无缝拼接：延时匹配 如果入流的第一帧紧跟在出流的最后一帧之后正确解码，并且没有缓冲区异 常，这种视频的拼接叫做无缝拼接。要做到这点，入流的启动延时必须与出流的 最后一帧数据穿过缓冲区所需时间相匹配( 图2 1 0 ) 。 天津大学硕士学位论文第二章传输流无缝拼接原理 圈2 - 1 0 无缝拼接中的延时匹配 当出流结束时，入流必须马上进入缓冲区。在入流的数据填充缓冲区的同时， 保留在缓冲区里的出流的图像数据仍在解码。出流的最后一帧图像数据必须在入 流的第一帧数据移出之前的一个帧历时从缓冲区移出，也就是说出流的结束延时 相对入流的启动延时少一个帧历时。 简而言之，对于无缝拼接，出点的结束延时必须比入点的启动延时少一个帧 历时。这个无缝拼接入点的启动延时称为拼接解码延时。 实际拼接中，入流和出流很难达到这种延时匹配。为尽可能地满足无缝拼接 的要求，本文通过更改这两个流的时间信息来达到这种匹配，这将在第三章详细 描述。 2 1 2 6 拼接中的码率问题 我们通过更改两个流的时间信息能做到延时匹配，但还存在两个拼接流的码 率不同问题。 由式2 3 可知，如果启动延时内缓冲区充满度相同，码率越高，启动延时也 越短，相应的，该流的结束延时也会短一些。如果从低码率的出流进入高码率的 入流，入流的启动延时会被延长，以满足拼接解码延时的要求。在此期间，缓冲 区还保留有出流的部分数据，两入流又以相对高的速率向缓冲区填充，将会有上 溢