（电路与系统专业论文）TS流实时低延迟无缝拼接的算法研究及验证.pdf

华南师范大学学位论文原创性声明 本入郑重声明：所呈交的学像论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容终，本论 文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文 的研究做出重要贡献的个人和集体，均己在文中以明确的方式标明。 本人完全意识到本声明的法德结果出本人承担。 论文作者签名： g 敛 日期：澎町年月日 学位论文使用授权声明 本入完全了解华南师范大学有关收集、保留和使用学位论文雏规 定，即：研究生在校攻读学位期间论文工作的知识产权单位属华南师 范大学。学校有权保留并向国家主管部门或其指定机构送交论文的电 子版和纸质版，允许学位论文被检索、查阅和借阅。学校可以公布学 位论文的全部或部分内容，可以允许采用影印、缩印、数字化或其他 复制手段保存、汇编学位论文。( 保密的论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密范围，在后解密适用 本授权书。非保密论文注释：本学位论文不属于保密范围，适用本授权 书。 论文作者签名2 吕欲 习期：溯，年善月酲 名：1 弧 嚣期；一年6 胃华磊 ， 华南师范大学0 4 级硕士学位论且= 摘要 摘要 本论文对t s 流实时低延迟无缝拼接的算法进行了研究。在图像组( g o p ) 边界处无缝拼接的方案上进行改进，提出了一种在图像组内进行拼接的方案，以 求达到低延迟的目的。 前人所研究过的很多无缝拼接方案都是在视频序列中图像组的边界处进行， 这样的处理可能使得拼接指令发出至拼接动作执行之间产生较大延迟，最大延迟 时间可达一个图像组所包含的所有帧，而这在有些应用中是不允许的。 在无缝拼接中，p c r 、p t s d t s 字段的调整至关重要。对于预存的文件节目 流，我们可以通过软件编程的方法对这些字段进行事先处理，但是这种处理方法 无法满足实时播放的要求。本论文通过设计一个硬件系统，解决数字电视t s 流 实时无缝拼接的问题。 奉论文给出了完整的无缝拼接算法并通过软件仿真验证，成功地解决了拼接 点的选取及处理问题，对第一个节目流实现了在图像组内切断，并采取了循环预 提取第二个节目流图像组及预处理的办法，实现了接入点的低延迟，消除了o p e n 型图像组拼接所带来的花格现象，此外对p a t 、p m t 以及视音频t s 分组的p i d 进行了修改，顺利地将两个m p e g 一2t s 流合成一个新的t s 流，并可通过播放 器流畅播放。 此外，本论文使用硬件描述语言v e r i l o gh d l 和原理图进行f p g a 硬件系统 设计，并通过软件仿真和硬件调试，完成了c o n t i n u i t y _ c o u n t e r 、p c r 、p t s d t s 字段的实时调整，实现t s 流连续输出。 关键词；t s 、无缝拼接、p c r 、p t s d t s 、f p g a 华南师范大学0 4 缓硕士学位论文 a b s n u l c t a b s t r a c t t h ep a p e rm o s t l yr e s e a r c h e sa r i t h m e t i co ft ss e a m l e s ss p l i c i n g i nt h eb a s eo f s p l i c i n g0 1 1t h eb o u n d a r yo fo o p , w eg i v eam e t h o dt h a ts p l i c i n gi nt h eg o p i no r d e r t or e d u c ed e l a y m a n yp e o p l eh a v ed i s c u s s e ds p l i c i n gw h i c hi si m f o r r a e do nt h eb o u n d a r yo f g o p t h i sm e t h o dm a yc a u s ed e l a yb e t w e e nc o m m a n da n da c t i o n , a n dt h i ss i t u a t i o n i sf o r b i d d e ni ns o m ea p p l i c a t i o n i ns e a m l e s ss p l i c i n g , t h ea d j u s t m e n to f p c r , p t s d t si sv e r yi m p o r t a n t w ec a l l d e a l 谢t ht h o s ef i e l d sw i t hs o f t w a r ep r o g r a m m e b u ti tc a n ts a t i s f yr e a l t i m er e q u e s t i nt h ep a p e r , w ed e s i g nah a r d w a r es y s t e mt os l o v et h ep r o b l e m t h ep a p e rg i v e sa r i t h m e t i co f s e a n d e s ss p l i c i n g , w h i c hh a sb e e nv a l i d a t e dw i t l lc s o u r p r o g r a m t h ep a p e rs u c c e s s f u l l ys o l v e st h ep r o b l e mo ft h ep o i n to fs p l i c i n g t h ef i r s tp r o g r a mi sc u ti no o p , a n dt h ec r o po fs e c o n dp r o g r a mi sp i c k e du pa n d d i s p o s e da h e a d b e s i d e s ，w em o d i f yp a t , p m ta n dp i do f v i d e o o ra u d i ot sp a c k e t s t h es p l i c e dp r o g r a mc a l l h ep l a y e db yp l a y e rs m o o t h l y a l s o , w ed e s i g nah a r d w a r e s y s t e mu s i n gv e r i l o gh d ll a n g u a g ea n ds c h e m a t i cf i l e s v i as o t a r es i m u l a t i o na n d h a r d w a r ed e b u g g i n g , w ef i n i s ht h et a s ko fr e a l - t i m ea d j u s u n e n to ff i e l d so f e o n t i n u i t y _ e n u n t e r , p c ra n dp t s d t s ，a c h i e v i n gt h ea i mo ft r a n s m i t t i n gt s c o n t i n u o u s l ya n dc i r c u l a r l y k e y w o r d ：t s ，s e a m l e s ss p l i c i n g , p c r , p t s d t s ，f p g a 2 华南师范大学舛缓硕士学位论文第一章引言 第一章引言 1 1 本论文课题国内外概况 基于模拟信号的无缝拼接( 切换) 技术已经相当成熟。对于数字信号，如果 利用模拟拼接技术，可先把数字格式的节目和广告在切换前都转换成模拟格式， 然后进行模拟拼接，最后再将模拟信号转换成数字格式，这个过程需要进行两次 数模转化，不但系统的成本会增大，同时也难免引入噪声和造成信号失真。如果 电视信号数字化的数据没有被压缩处理，则完全可以在数字域沿用模拟拼接技术 的思想进行拼接处理，在技术上没有什么难点，一些演播室也正是这么做的，但 数字电视信号一旦形成了压缩的m p e g - 2 i s 流后，问题就变得复杂起来为了 实现在压缩的m p e g - 2t s 流中拼接，有人设想在编码器中为流标记可能要拼接 的位置，这种方法避免了人工操作，在拼接过程中声音和图像都能持续被用户接 收，但是若不知道源节目内容的拼接点位置，将很难操作1 1 1 后来数字电视拼接 技术又出现了通过对解码器的缓冲区空间大小进行一定控制的方法，解决这种缓 冲区下溢可以插入字幕或者黑屏，例如飞利浦的d v s4 8 0 0s a e a mc u t t e r 就是这 样的产品，或者在解码器中延续将被替代的视频流的最后一帧，并进行消音处理， 直到新的视频流第一个接入点被解码完毕，但是这种方法会使声音多延续几帧， 用户端接收声音时会有声像不同步的感觉m 。真正进入到数字电视信号拼接技术 的成熟阶段应该是无缝拼接的提出，这种无缝拼接使观众看不到任何延迟、黑屏 或者花格等现象，拼接点视觉平滑。 目前，研究数字电视节目及广告拼接或切换器的厂家很多，国外主要有美国 思迁数码科技( s e a c h a n g ei n t e r n a t i o n a l ) 公司、美国科腾( c a t o n ) 集团、以色 列斯高帕斯( s c o p u s ) 视频网络公司、美国n c u b e 公司等，这些公司都在中国成 立有分公司；国内主要有北京算通科技发展有限公司、北京汇视源科技有限公司 等。 在许多大学或者研究所也都不同程度地涉及过数字电视信号无缝拼接这个 方面，例如上海交通大学图像通信与信息处理研究所、成都电子科技大学、天津 大学以及北京广播学院等，其中研究成果又以上海交通大学图像通信与信息处理 5 华南师范丈学0 4 级硕士学位论文第一章引言 研究所最为突出。大致分析归类，无缝拼接方案可以分为以下几种： i 对两个节目的拼接点有比较明确的限制。例如上海交通大学图像通信与 信息处理研究所在2 0 0 4 年发表的题为数字h d t vt s 流无缝拼接技术研究 的文章中指出，在两节目都含有b 帧的情况下，要实现无缝拼接必须保证第一 个节目流以连续两个b 帧的最后一个结尾，第二个节日以i 帧开始。像上面提到 的科腾科技( 北京) 有限公司、北京算通科技发展有限公司所生产的广告插播服 务器( 系统) 都是基于图像组( g o p ) 边界处的一种拼接。这种方法可能会造成 拼接指令发出至拼接动作执行之间产生较大的延迟。 i i 利用码流拼接标准( s c t e3 0 和s c t e3 5 ) 实现m p e g - 2t s 流拼接。虽然 m p e g 2 标准在系统层中设立了一些状态信息位用于实现码流的拼接，但各厂家 具体实现编码器时没有考虑拼接操作，也就没有对相应的状态信息位进行设置， 因此可以考虑在m p e g - 2t s 流中按照s c t e3 0 的要求携带符合s c t e3 5 规范的 拼接点信息，以达到节目无缝拼接的目的。成都电子科技大学进行过这方面的研 究。斯高帕斯( s c o p u s ) 视频网络公司推出的数字电视插播产品g 7 5 0 0 也是 采用这种方法。这种方法虽然可以准确地定位拼接点，但是由于码流拼接标准并 非强制性的标准，除非编码端和解码端都符合要求，否则很难实现。 i 利用压缩域视频流无缝拼接的帧转换技术。这种方法虽然可以保证消除 两个独立的m p e g 2t s 流拼接时可能丢失一些宏块运动补偿信息的不利影响， 但实现起来比较复杂，而且在帧转换过程中有较大的延迟，对图像也有一定的损 伤。上海交通大学图像通信与信息处理研究所有相关文章的介绍。 1 2 本论文课题所要解决的问题 对于第一种无缝拼接方案来说，如果拼接指令在一图像组内发出，则需要到 下一个图像组的起始边界处才能执行拼接动作，最糟糕的情况可能会延迟一个图 像组的时间。本论文在第一种无缝拼接方案的基础上进行改进，提出了一种在图 像组内进行拼接的方案，达到低延迟的目的。 1 3 本论文课题的理论意义和实用价值 数字化是一场全世界范围的新技术革命，是广播电视发展的必然趋势，世界 6 华南师范大学0 4 级硕士学位论文 第一章引言 各国政府都在大力推动广播电视的数字化。 我国数字电视市场前景广阔，但针对数字电视的配套设备却做得不尽完善， 部分地区开播的数字电视业务用的很多设备都来自国外厂商，因此，研发掌握核 心技术的数字电视设备具有重要的经济意义。 m p e g - 2t s 流的无缝拼接技术应用非常广泛，除了可以用于视频剪辑，往 一个节目中插入广告或切换至另一个节目，还可用于产生循环播放的t s 流信号， 作为生产线上调试显示器和信源解码器之用，另外在检测视频点播、交互式的视 频服务等方面也有所应用。 虽然目前在这方面的研究、产品已有不少，但分析起来各有优缺。本论文旨 在吸收前人的优点，探究一些新的处理方法，以求达到更好的效果。 1 4 小结 本章简单介绍了数字电视无缝拼接技术的国内外概况和多种无缝拼接方案。 通过对各种无缝拼接方案优缺点的分析，提出了本论文所要解决的闯题在图 像组内进行拼接，达到低延迟的目的。最后阐述了本论文课题的理论意义和实用 价值。 7 华南师范大学0 4 级硕士学位论文第二章数字电视简介 第二章数字电视简介 电视技术经历了从黑白电视到彩色电视的发展过程，目前正在向着从模拟电 视到数字电视，从普通清晰度数字电视到高清晰度数字电视的方向迈进。 数字电视信号可以是直接生成的数字电视信号，如动画、字幕机和数字摄像 机产生的数字信号，也可以是由模拟信号经数字化后产生的数字电视信号，也可 以是经处理的数字电视信号，如经过压缩的m p e ( 3 - 2 或者m p e g - 4 数字电视信 号 s 1 凡是电视信号的获取、产生、处理、传输、接收和存储的过程中使用数字电 视信号的系统或设备都可以称为数字电视系统或数字电视设备。 早期有一种数字电视机，其接收的是模拟电视信号，仍处在模拟传输的模拟 系统中，只能称其为“数字化模拟电视接收机”。在地面数字电视广播系统中， 从演播室节目制作到发射机，从传输到接收的所有环节都使用数字电视信号或对 数字电视信号进行处理和调制，接收这种地面数字电视信号的电视机才是名副其 实的数字电视机i ”。 2 1 数字电视传输标准 数字电视传输标准包括卫星广播系统标准、有线电视系统标准和地面广播系 统标准，其中地面广播系统标准最为关键。目前，三大传输标准体系为：美国的 a t s c 、欧洲的d v b 和日本的i s d b 。这三大标准的系统层都采用m p e g 2 系统 层，编码方式也是采用m p e g - 2 编码。 目前，在数字电视卫星标准和有线标准问题上，我国分别采用的是欧洲的 d v b s 标准和d v b c 标准。这两个标准都只是行业标准，而非国家标准，但在 一段时期之内，这两个标准不会有大的变动。2 0 0 7 年，我国数字电视地面传输 国家标准g b2 0 6 0 0 2 0 0 6 数字电视地面广播传输系统帧结构、信道编码和调制 标准正式出台，并于2 0 0 7 年8 月1 日实施。该标准是以清华大学主导的d m b t 标准和上海交通大学主导的a d t b t 标准的融合。 8 华南师范大学0 4 级硕士学位论文 第二章数字电视简介 2 2 我国数字电视的推广进展 美国计划在2 0 0 6 年关闭模拟电视；欧洲各国计划在2 0 1 0 年关闭模拟电视； 日本计划2 0 0 6 年实现数字电视全国覆盖，2 0 1 1 年关闭模拟电视 2 0 0 3 年初，我国国家广播电影电视总局提出发展数字电视的步骤是先有线、 后直播卫星、再地面无线的“三步走”战略，即2 0 0 3 年全面推进有线数字电视； 2 0 0 5 年开展数字卫星直播业务，开始地面数字电视广播试验；2 0 0 8 年全面推广 地面数字电视广播。 2 0 0 3 年5 月，国家广播电影电视总局发布了我国有线电视向数字化过渡 时间表，预期到2 0 1 5 年我们将完成模拟向数字的过渡我国模拟电视向数字电 视过渡时间表如下： i 到2 0 0 5 年，直辖市、东部地区市( 地) 以上城市、中部地区省会市和部 分市( 地) 城市、西部地区部分省会市的有线电视基本完成向数字过渡； 到2 0 0 8 年，东部地区县以上城市、中部地区市( 地) 城市和大部分县级 城市、西部地区大部分市( 地) 以上城市和少数县级城市的有线电视基本完成向 数字过渡； 到2 0 1 0 年，中部地区县级城市、西部地区大部分县以上城市的有线电视 基本完成向数字过渡； 到2 0 1 5 年，西部地区县级城市的有线电视完成向数字过渡 有线电视数字化推进工作自2 0 0 3 年以来，目前已从点向面上发展，从东部 向中西部延伸，取得了明显成绩：已初步建立了有线数字电视技术新体系；所有 试点单位都建立了有线数字电视技术平台，深圳、佛山等城市已完成整体转换， 重庆、天津、上海等地区正大力推进整体转换；数字付费电视稳步发展；各地有 线数字电视不断开发信息服务内容；出台了一系列推进数字化的技术、节目、运 营以及产业政策、标准规范和管理法规。 根据我国国家广播电影电视总局报道，2 0 0 5 年我国合计共有数字电视用户 4 1 2 7 5 6 4 户，其中付费数字电视用户1 3 9 1 8 5 2 户 我国广播电视在制作、播出、传输等环节已经实现了数字化，目前只有用户 接收端的电视机还是模拟的，所以我们要推进模拟用户整体转换为数字用户 从世界范围看，模拟用户向数字用户过渡，主要有两种方式，一是通过数字 9 华南师范大学0 4 级硕士学位论文第二章数字电视简介 电视机顶盒，使现有的模拟电视机能够接收到数字电视节目；二是直接采取数字 电视接收机。从欧美等数字电视发展较快国家的情况看，两种方式都有应用，但 采取机顶盒的方式不必将所有传输方式的接收都放到电视机中，相对来说更加经 济些。在数字电视发展的初期，为了能够最大限度地考虑用户的利益并快速推动 数字电视的发展，我们采用了数字电视机顶盒的方式，这比较符合中国的国情。 2 3 数字电视的优点 数字电视是从节目摄制、编辑、发射、传输到信号接收、处理、显示完全数 字化的系统。其图像清晰度是现有模拟电视的几倍，音质更为优秀；信息量有 l o 倍之多，在不影响信号质量的前提下，技术上可以达到同时播出5 0 0 套节目 的容量，提供丰富多彩的节目内容；可以为用户提供更多专业化、个性化的服务， 并可开设很多新的增值业务，与计算机网络趋于结合，扩展传统领域以外的新功 能，例如：付费电视、交互电视、视频点播以及电子政务、文化教育、交通旅游、 医疗保健、就业指导、生活资讯、电视购物、股市行情、短信彩信、电子邮件等 多种业务。此外，数字电视的发展带动了以i t 等信息产业为主的相关产业的发 展，例如：服务器、机顶盒、光纤电缆、传输设备、应用软件、信息内容等各方 面的相关产品和服务，形成新的经济增长点。 数字化是一场全世界范围的新技术革命，是广播电视发展的必然趋势，世界 各国政府都在大力推动广播电视的数字化。广播电视数字化是国家发展规划的重 要内容，是国家信息化的基础，将会促进国民经济的发展，促进民族工业、信息 产业的发展，有效地拉动内需、扩大就业、推动国家的信息化：广播电视数字化 将会使广播电视的资源、内容、服务和产业发生量的变化和质的飞跃，通过政府 推动、服务拉动、社会参与、市场运作等多种途径和手段，促进文化内容产业的 发展，更好地满足人民群众日益增长的精神文化需求。 2 4 小结 本章简单介绍了数字电视的三大传输标准：卫星广播系统标准、有线电视系 统标准和地面广播系统标准，并概述了我国数字电视发展步骤、模拟电视向数字 电视过渡时间和方式及己取得的成果，最后提出了数字电视的优点及推广意义。 1 0 华南师范大学0 4 级硕士学位论文 第三章m p e g - 2 标准 第三章m p e g - 2 标准 6 - 1 e l 1 9 9 5 年，运动图像专家组( m o v i n gp i c a u 毯e x p e r t sg r o u p ) 推出了m p e g - 2 i s o i e c1 3 8 1 8 标准，即“运动图像及其伴音通用压缩编码国际标准”其最初的 制定目标是为了保障高级工业标准的图像质量以及更高的传输率。目前， m p e g - 2 标准的应用范围非常广泛，除了作为d v d 的指定标准外，还可用于标 准清晰度数字电视( s d t v ) 、高清晰度数字电视( h d t v ) 以及交互式的视频点 播( v o d ) 和标准视频点播( n v o d ) 中。 m p e g - 2 标准特别适用于广播级的数字电视的编码和传送，被认定为s d t v 和) 1 v 的编码标准m p e g 2 标准针对s d t v 和h d t v 在各种应用下的压缩 方案和系统层进行了详细的规定。 m p e g - 2 标准目前分为九个部分。这里简单介绍本论文涉及较多的前三个部 分： 第一部分：系统( s y s t e mi s o i e c1 3 8 1 8 1 ) ，描述多个视频、音频和数据基 本码流合成传输码流和节目码流的方式。 第二部分；视频( v i d e oi s 伽e c1 3 8 1 8 - 2 ) ，描述视频编码方式。 第三部分：音频( a u d i oi s o i e c1 3 8 1 8 3 ) ，描述声音数据的编码和解码。 3 1m 口e g 2 系统 3 1 1 传送流和程序流 m p e g - 2 标准系统编码有两种方法：传送流( t s ) 和程序流( p s ) ，都是面 向分组的多路复用流，分别适用于不同的应用。相对于程序流，传送流是针对易 发生错误的环境设计的，用于一道或多道节目编码数据的传送和存储。 单个的视频和音频原始数据流的基本多路复用方法如图3 1 所示视频和音 频信号按照r r u tr e c h 2 6 2ii s o i e c1 3 8 1 8 - 2 和i s o i e c1 3 8 1 8 - 3 标准进行编 码压缩，形成视频和音频原始流( e s ) ；编码压缩后的原始流经过分组器，按一 定的格式被分别组合形成p e s 分组；最终，p e s 分组加上系统级信息形成传送 流或程序流。 华南师范大学0 4 级硕士学位论文第三章m p e g - 2 标准 图3 1s i m p l i f i e d o v e r v i e w o f l t u t g e e h 2 2 2 0li s o i e c1 3 8 1 8 ls c o p e 传送流将多个独立时间基点的多道节目合成一个单独的数据流，其中属于同 一道节目的各个原始数据流的p e s 分组具有相同的时问基点。程序流是将一个 或多个具有相同时间基点的数据流的p e s 分组合成单个流。两者在一定条件下 可进行转换。 传送流由一道或多道节目合成，每道节目由一个或多个原始流和一些其他流 多路复用而成。原始流包括：视频数据流、音频数据流、私用流、保留流和填充 流每个原始流包含访问单元，也就是显示单元的编码表示。视频原始流的显示 单元为一幅图像，相应的访问单元包含此图像的所有编码数据。音频原始流的显 示单元相应于一个音频帧的采样集合，相应的访问单元从音频帧的同步字的第一 个字节开始。 传送流由两层构成：系统层和压缩层。其中系统层又分为两个子层：t s 分 组层( 相应于多路复用宽操作) 和p e s 分组层( 相应于特定的数据流操作) 。传 送流经过传送流解码器，解除系统层，仅余下压缩层作为视频和音频解码器的输 入，最终输出视频和音频信号。 3 1 2 t s 分组 t s 分组有自己固定的语法规则：以4 个字节的前缀开始。其中包含同步字 节0 x 4 7 、t s 分组的p i d 以及c o n t i n u i t y字段等；后面包含可选的调整字_counter 1 2 华南师范大学“级硕士学位论文 第三章m p e c p 2 标准 段和或有效负载，其中在调整字段中有可能包含节目参考时钟p c r 字段。相对 于p s 分组长度可变且相对较长而言，t s 分组长度固定为1 8 8 个字节( 注：若 为2 0 4 个字节，则1 8 8 个字节后的1 6 个字节为监督码元。) i s 分组可能是空分 组，即有效负载部分全填充为0 x f f 。空分组是用来填充传送流的。 t s 分组中的p i d 通过节目特殊信息表( p s i 表) 来识别t s 分组中所带的数 据。一个t s 分组只带自身所含p i d 标识的一个原始流数据。 t r a n s p o r t p a c k e t s t r e a m w a m p o a p a c k e t 一i $ sb y t e s 专 ，一h e a d e r ， 哪- 训f 谥羞 p a y l o a d 一 t r a n s p o r t c 删l 1 储i 恤l吲 a d a 伽p t a t i o n s y n c t r a n s p o r t 喇i c a t o r i p n ”卅盎刮衄 s c r a m b l i n g b ，把 i n d i c a t o r c o n t r o i 0 ，t - ! ! 三且行 ! ：厂 【a d a p t a t i o n r a n d o me s f i e l d d i s c o n t i n u i v yo p t i o n a l ：s t u f f i n g l e n = t h i n d i c a t o r a o c 叫o r i t y5 f l a g s f i e l d s b y t e i n d i c a t o r i n d i c a t o r 811l 5 、0 x f f lp c r l i jii 4 嚣 ( 4 2 ) 图3 2t r a n s p o r ts t r e a ms y n t a xd i a g r a m 3 1 3 p e s 分组 p e s 分组长度可固定或者变化，一般来说都比较长。p e s 分组由p e s 分组 首部和p e s 分组数据组成。p e s 分组首部以3 2 位开始码字 ( p a c k e ts t a r tc o d e _ p r e f i x 字段和s t r e a mi d 字段) 开始，从s t r 锄_ i d 字段可识 别该p e s 分组所属的流特别值得一提的是，在p e s 分组首部，可能含有显示 时间标签( p t s ) 字段和解码时间标签( d t s ) 字段，此标签针对该p e s 分组中 第一个访问单元。p e s 分组数据包含来自一个原始流的长度可变的连续字节串。 如果一幅图像开始码字的第一个字节出现在p e s 分组数据中，则表示一个 视频访问单元开始于该p e s 分组。如果一个音频帧同步字的第一个字节出现在 华南师范大学0 4 级硕士学位论文第三章m p e g 2 标准 p e s 分组数据中，则表示一个音频访问单元开始于该p e s 分组。 整个p e s 分组数据包括p e s 分组首部和p e s 分组数据都作为t s 分组的有 效负载。一个新的p e s 分组数据总是开始于一个新的t s 分组。t s 分组中的 p a y l o a du n i ts t a r ti n d i c a t o r 字段( 1 b i t ) 可用于标志该t s 分组的有效负载是否从 p e s 分组的第一个字节开始。如果一个p e s 分组在一个t s 分组的中间结束，那 么t s 分组余下的长度就用0 x f f 填充。 p e s p a c k d p 卵k e t p e s o p o o n a l s t a r tc o d e s t r e a mi d p a c k e t p e s p e sp e d c e td a t ab y t e p r e f i xl e n g t h b e n d e r 。2 。4 。，! 1 厂、 = 少乒 p e sh e a d e r l - 。 p e s 晶i 泌卜一- to r i 品g i n a l 7 f l a g s d a t a o p t i o n a ls t u f f i n g | s c r a m b l i n g f i e l d sb y t e c o n t r o l l e n t t h 2 2 ili1 8 夕 p t sd t s 4 04 0 ( 3 3 )( 3 3 ) 图3 3p e sp a c k e ts y n t a xd i a g r a m 3 1 4 节目特殊信息( p s i ) 表 节目特殊信息包含所有使解码器能进行节目多路解调的咖- tr e c h 2 2 2 0i i s o i e c1 3 8 1 8 1 规格化数据和私用数据。节目特殊信息不可以加密在传送流 中，节目特殊信息有四种表结构：节日关联表( p a = r ) 、节目映射表( p m t ) 、网 络信息表( n r r ) 、条件访问表( c a t ) 。这四种表都可被分成一段或多段，直接 插入t s 分组的有效负载中。p s i 表分段的长度可变，由t s 分组有效负载中的 p o i n t e rf i e l d 字段指示分段的开始，其最大字节数为i k ( 1 0 2 4 ) 。 p a t 提供节目号( p r o g r a m _ n u m b e r ) 和此节目定义所在t s 分组的p i d 值 ( p r o g r a m _ m a p _ p i d ) 之间的对应关系。 p m t 提供节目号( p r o g r a m _ n u m b e r ) 和组成该节目的原始流之间的映射。 以r 、p m t 、c a t 的内容由m p e g 2 标准定义，n i t 为私有表，含有此表的 t s 分组p i d 值在p a t 中说明，仍满足m p e g 2 标准定义的分段结构。 所有的p a t 分段被映射到p i d 值为0 x 0 0 0 0 的t s 分组；p m t 分段被映射到 用户自定义的p i d 值( 可从p a t 中p r o g r a m _ m a p _ p i d 字段获得) 所在t s 分组； 1 4 华南师范大学0 4 级硕士学位论文第三章m p e g - 2 标准 n i t 分段所在t s 分组的p i d 也是由用户自定义( 可从p a t 中n e t w o r kp i d 字段 获得) ；c a t 分段被映射到p i d 值为0 x 0 0 0 1 的t s 分组。 为了满足随机访问，即使p s i 表结构没有变化，亦最好将p s i 表重复传送， 以便解码器可以根据p s i 表数据识别传送流内容，从而开始解码。 卜l 耜b y l l 5 - 4 图3 4 传送流总层级结构图 3 1 5 传送流解码过程 由于m p e g - 2 传送流具有节目复用和传输复用两个层次，传送流系统目标 解码器( t - s t d ) 要识别出一个节目大致需要两步第一步，t - s t d 搜索该传送 流中p i d 值为0 x 0 0 0 0 的节目关联表( p a t ) ，从查找到的p a t 确定要解码的节目 号( p r o g r a mn u m b e r ) 及其相应的节目映射表( p m t ) 所在t s 分组的p i d 值； 第二步，从查找到的p m t 得到要解码节目的视频、音频以及其他数据相对应的 t s 分组p i d 值，通过解码这些t s 分组得到节目的视频和音频信号。 如图3 5 所示，视频 is 分组从进入t - s t d 到最后解码成视频信号需要经过 3 到4 个缓冲区在第一个缓冲区t b i 中去掉t s 分组4 个字节的前缀和调整字 段中的系统信息，然后进入第二个缓冲区m b i ，在m b l 中去掉p e s 分组的系统 信息后进入第三个缓冲区e b i ，从e b i 出来的视频e s 信息进入d l 解码，最终 送入显示器显示。如果被解码的是i 帧或者p 帧，则还需经过缓冲区o l 进行显 示排序。 华南师范大学0 4 级硕士学位论文 第三章m p e g - 2 标准 音频t s 分组通过缓冲区t b 2 和b 2 即送入d 2 解码，最终输出音频信号。 包含系统信息的t s 分组( p a t 、p m t 和c a t 所在t s 分组) 以传送流速率 进入传送流缓冲区t b 母，和主缓冲区b ，送入d p 解码 臣 h 一 l 叵 任h 一 图3 5 传送流系统目标解码器( t - s t d ) 3 1 6 节目参考时钟( p c r ) 传送流系统目标解码器( t - s t d ) 中所用的时序信息以节目系统时钟 ( 2 7 m h z ) 的采样值形式编码于p c r 字段。实际的解码器可以根据这些值以及 它们到达的时间重建时钟，使得解码端和编码端保持同步。解码端如果检测到本 地系统时钟和p c r 字段表示的时钟不一致，就会通过锁相环调整本地系统时钟。 系统时钟频率( 单位：h z ) 满足以下条件： 2 7 0 0 0 0 0 0 5 4 0 s s y s t e m c l o c k f r e q u e n c y 2 7 0 0 0 0 0 0 + 5 4 0( 3 1 ) s y s t e m c f o 砖一f r e q u e n c y 的时间变化率s 7 5 x 1 0 3 h z l s 进入传送流系统目标解码器( s t d ) 解码的传送流可能包含多个独立时间 基点上的多道节目，但t - s t d 在一个时间只为一道节目解码。第f 个字节进入 t - s t d 的时间f ( f ) 可通过对p c r 字段解码而恢复。p c r 字段分两部分编码： p r o g r a m _ c l o c k _ r e f e r e n c e _ b a s e 字段( 3 3 b i t s ) 和p r o g r a m _ c l o c k _ r e f e r e n c e _ e x t e n s i o n 字段( 9 b i t s ) ，分别以系统时钟频率的1 3 0 0 和系统时钟频率为单位。f ( f ) 表示调 整字段中p r o g r a m _ c l o c k _ r e f e r e n c e _ b a s e 字段的最后一个字节预定到达t - s t d 的 输入时间。 p c r b a s e ( o = ( ( s y s t e m c l o c k f r e q u e n c y x t ( ) ) d v 3 0 0 ) 2 ”( 3 2 ) p c r e x t ( i ) = ( ( s y s t e m c l o c k f r e q u e n c y x t ( ) d v 1 ) 3 0 0 ( 3 3 ) 1 6 华南师范大学0 4 级硕士学位论文第三章m p e ( 孓2 标准 e c e ( o = p c r b a s e ( i ) x 3 0 0 + p c r e x t ( o( 3 4 ) p c r 字段位于t s 分组调整字段中，通过一个标志位p c r _ f l a g 指示有无 p c r 可以通过一个单独的p i d 号t s 分组传送，也可以加在视频t s 分组中。 通常每道节日都有各自的p c r 字段，其位置和数值决定了该节目传送流的 速率。对每道节目来说，传送流的速率是分段常数，可以是变化的或者固定不变 的。 对于每一个节日来说，其各自p c r _ p i d 值标识的t s 分组中两相邻p c r 字 段的最后一位的字节间隔时间应小于等于o 1 s 。 3 1 7 显示，解码时间标签( ”s ，d t s ) 多原始流的同步是通过传送流和程序流中的显示时间标签( p t s ) 来完成的。 编码器在捕获时记录时问标签，待时间标签和编码数据传输至解码器，解码器则 使用时间标签来安排显示时间，实现端到端的同步 p t s d t s 字段出现在p e s 分组首部中，通过标志位p t s _ d t s - n a g s ( 2 b i t s ) 标志该p e s 分组是否携带p t s d t s 字段。p t s 和d t s 字段皆为3 3 位，值为2 7 m h z 系统时钟的周期数除以3 0 0 ，分别被编码成三个独立的字段。p t s d t s 表示其所 在分组中第一个访问单元在系统目标解码器中的预定显示，解码时间。如果无访 问单元开始于p e s 分组，则p t s 字段不出现；当p t s 字段出现在p e s 分组首部， 并且该访问单元的解码时间不同于显示时间时，d t s 字段方才出现。具体说来， 图像b 帧的p t s 和d t s 值是相等的，而图像i 帧和p 帧的p t s 和d t s 值则不 相等。 对每一个原始视频或者音频流来说，编码的p t s 字段最大间隔时间差值为 0 7 s 。 3 2 m p e g 2 视频 m p e g 2 视频比特流具有层次性结构，通常可被看作语法的等级体系，其中 各语法结构又包含一个或更多的从属结构，具体说来分为六个层次，从上至下依 次是：视频序列( s e q u e n c e ) 、图像组( g o p ：g r o u po f p i c t u r e ) 、图像( p i c t u r e ) 、 组块( s l i c e ) 、宏块( m a c , o rb l o c k ) 、块( b l o c k ) 。在这六个层次中，高三层都具 1 7 华南师范大学0 4 级硕士学位论文第三章m p e g - 2 标准 有头信息。 视频序列是编码的视频比特流中最高的语法结构。视频序列开始于序列头 ( s e q u e n c eh e a d e r ) ，结束于序列结束码( s e q u e n c ee n dc o d e ) ，包含若干个图像 组；每个图像组开始于图组头，包含一个或多个图像( 帧) ，其中图像组的长度 和类型可变；每个图像开始于图像头。 序列头( s e q u e n c e a d 由起始码)hee r ) s e q u e n c eh e a d e rc o d e ( o x 0 0 0 0 0 i b 3 标识开始，含有图像水平和垂直尺寸、帧率、码率、v b v 的大小、码流层次等 信息；图组头( g r o u po f _ p i c t u r e s _ h e a d e r ) 是可选的，由起始码g r o u p _ s 招n _ c o d e ( 0 x 0 0 0 0 0 1 8 8 ) 标识开始，其后面的第一个编码帧是i 帧，图像头中含有指示 g o p 类型的字段( c l o s eg o p 字段) ，标示该g o p 为c l o s e d 型还是o p e n 型，还 有b r o k e nl i n k 字段，向解码器指明在随机访问时，紧跟在图组头后第一个i 帧 后面的b 帧能否被正确解码；图像头( p i c t u r e由起始码h e a d e r ) p i c t u r es t a r tc o d e ( o x o 0 0 0 0 1 0 0 ) 标识开始，含有图像帧显示顺序( t e m p o r a lr e f e r e n c e 字段) 、图 像帧类型( p i c t u r e _ c o d i n g _ t y p e 字段) 、v b v _ d e l a y 等信息。 图像组并非必须存在，但当解码器在压缩层的操作发生错误时，则可以在图 像组这一层得到恢复，增强了系统的容错能力和随机访问能力。 在m p e g 2 视频编码中，有三种不同编码方式的图像帧：i 帧、p 帧和b 帧。 其中，l 帧不需要参考别的帧，仅使用了自身信息进行编码( 内部编码) ，采用了 最普通的压缩方法；p 帧是从过去的i 帧和p 帧使用运动补偿预测进行编码( 预 测编码) ，也可作为后面预测的参考帧；b 帧是从过去的和域将来的i 帧或p 帧 使用运动补偿预测进行编码( 双向预测编码) ，且不能作为其他预测的参考帧。i 帧具有较小的压缩比，p 帧数据量平均达到了l 帧的1 3 左右，b 帧数据量平均 可以达到i 帧的1 1 0 左右。 m p e g 2 标准可以让编码器选择i 帧出现的频率和位置。典型的应用是每秒 出现两次i 帧。一个视频序列中，顺序的p 帧( 或者i 帧和p 帧) 之间可能不包 含b 帧；如果包含，则连续b 帧的数目也是可变的大部分情况下，连续b 帧 数目为两个。一个视频序列可能不包含i 帧或者p 帧，但是需要注意的是，仅有 b 帧不能组成视频序列。 m p e g - 2 标准图像帧的编码方式造成了图像帧解码顺序和显示顺序的不同。 华南师范大学0 4 级硕士学位论文 第三章m p e g - 2 标准 图像帧在编码比特流中的顺序就是解码器处理它们的顺序，但并不一定就是显示 顺序。引起这种情况的原因是，参考帧必须要在用其作为参考预测的帧之前传送。 这种解码顺序和显示