（计算机应用技术专业论文）mpeg4内容传输的研究.pdf

摘要 随着电子技术 网络技术和通信技术的飞速发展 视频和音频技术已经进入了数字化阶 段 国际标准化组织相继发布了m p e g 1 m p e g 2 m p e g 4 等一系列视音频压缩标准 其 中m p e g 4 作为最新发布的国际标准 它不但具有更高编码效率而且具有更广的应用领域 另一方面 与m p e g 2 等标准不同 m p e g 4 没有规定具体的传输方法 因此 要使得i v i p e g 4 能够得以广泛应用 研究有效的i v l p e g 4 内容的传输方法具有重要的应用价值 正是在这一背景下 本文首先研究了基于m p e g 2 传输流t s 的m p e g 4 视频的传输问题 提出了采用m p e g 2 t s 传输复用一路到多路m p e g 4 视频e s 的复用算法 针对m p e g 2 传 输流是专门为m p e g 2 的基本流传输而设计 本身并不支持对m p e g 4 内容传输的问题 本 文根据相关资料对m p e g 2 的标准进行了合理扩展 使之能够传输m p e g 4 的视频内容 设 计了具体的实现算法 本文同时实现了采用m p e g 2 传输流来复用包含m p e g 4 视频的系统 码流的复用算法 其次 本文研究了i 佃e g 4 多媒体传输框架 d m l f 的技术细节 研究了使 用m p e g 2 的传输流和m 网络来实现d m i f 的问题 提出了实现的方法 本文提出的算法都采用了v c 6 0 软件仿真 并用码流分析软件验证了算法的正确性 关键词 m p e g 4m p e g 2d m l f 传输流 a b s t r a c t w i t h t h e r a p i dd e v e l o p m e n t o f e l e c t r o n i c n e t w o r k a n dc o m m u n i c a t i o n t e c h n o l o g y v i d e oa n da u d i oh a v ee n t e r e dd i g i t a ls t a g e a n di n t e m a t i o h a ls t a n d a r d o r g a n i z a t i o n h a s d e v e l o p e das e r i e s o fi n t e r n a t i o n a ls t a n d a r d ss u c ha s 中e g 1 m p e g 2 a n dl 讧p e g 4 a st h en e w e s ti n t e r n a t i o n a ls t a n d a r d l v 口e g 4n o to n l yh a sa v e r yh i g hc o d i n ge f t i e n c y b u ta l s oh a sv e r yw i d ea r e a so fa p p l i c a t i o n d i f f e r e n t f m mo t h e r c o d i n gs t a n d a r d s m p e g 4 d o e sn o t s p e c i f y d e t a i lt r a n s m i s s i o nm e t h o d s o s t u d yo f e f f e c t i v e t r a n s m i s s i o nm e t h o d sf o rm 盹g 4i sc r o c i a l ni su n d e rt h i s b a c k g r o u n dt h a t t h i s p a p e r f i r s tc a r r i e so u tr e s e a r c h e so n t r a n s m i s s i o no fm p e g 4v i d e ou s i n gm p e g 2 t r a n s p o r ts t r e a n l 仃s 1 a n d p r o p o s e sa m e t h o do fm u l t i p l e x i n go n eo rm o r em p e g 4v i d e oe l e m e n ts t r e a m s e s l 谢t h h 口e i j 4t s a i m i n ga tt h ep r o b l e mt h a tl 旧e g 2t si sd e v e l o p e dt os o l d yt r a n s p o r t n i p e g 2v i d e oa n da u d i o a n dd o e sn o ts u p p o r tm p e g 4 t h i sp a p e re x p a n d st h e m p e g 2t sa c c o r d i n gt or e l a t e dl i t e r a t u r ea n dd e s i g n sc o n c r e t er e a l i z a t i o na l g o n t h m s t h ea l g o r i t h m sc a na l s om u l t i p l e xo n eo rm o r em 口e g 4s y s t e ms t r e r i t i sc o n t a i m n g o n l yv i d e oi n t om p e g 2 t s s e c o n d l y t h ep a p e ra n a l y z e st h et e c h n o l o g i c a ld e t a i l so f m p e g 4d m i f m u l t i m e d i ac o n v e yf r a m e a n dw o r k so u taw a yt or e a l i z em p e g 4 d m 口u s i n g 呼e g 2 t sa n di pn e t w o r k s a l la l g o r i t h m sp r o p o s e di nt h i s p a p e rh a s b e e nc o d e di nv c 6 0 a n dt h e e f f e c t i v e n e s so f t h e s ea l g o r i t h m sa t ev e r i f i e du s i n g 旺 e g 2t s a n a l y s i st o o i s k e y w o r d s m p e g 4 l i p e g 2d ift s y6 9 5 3 9 2 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果 尽我所知 除了文中特别加以标注和致谢中所罗列的内容以外 论文中不 包含其他人已经发表或撰写过的研究成果 也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料 与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意 申请学位论文与资料若有不实之处 本人承担一切相关责任 本人签名日期 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定 即 研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学 本人保证毕 业离校后 发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学 学校有权保留送交论文的复印件 允许查阅和借阅论文 学校可以公布论文的全 部或部分内容 可以允许采用影印 缩印或其它复制手段保存论文 保密的论文 在解密后遵守此规定 本学位论文属于保密在一年解密后适用本授权书 本人签名 日期 导师签名 乏羲古一 日期 r i t r 第一章绪论 第一章绪论 网络 数字信号处理技术的飞速发展 数字图像通信技术 包括图像存取 传 输等 成为人们关注的一个热点 应运而生的m p e g 视音频压缩标准也迅速发展到 了第三代一归e g 一4 视音频压缩编码技术 m p e g 4 在编码效率上比以前的标准有很 大提高 但是m p e g 4 并没有具体定义传输语法 虽然在m p e g 4 中包含多媒体集 成传送框架 d m i f 但这只是一个语意 s e m a n t i c 上的框架 没有具体的实现 因此研究m p e g 4 内容的传输方法具有重要的应用价值 1 1 视频编码技术的发展概况 为了适应视频图像等多媒体业务发展的需要 国际电信联盟 u i n t e m a t i o n a t e l e c o m m u n i c a t i o n su r i i o 和国际标准化组织g s o i n t e r n a t i o n a lo r g a n i z a t i o nf o r s t a n d a r d i z a t i o n 分别推出了一系列相关的视频压缩标准 m p e g m o t i o np i c t u r e e x p e r t sg r o u p 系列标准是国际标准化组织下辖的活动图象专家组制定的活动图像 压缩编码标准 到目前为止m p e g 已发布了m p e g 1 m p e g 2 m p e g 4 和m p e g 7 m p e g 2 1 等标准 i s o i e c 国际电工委员会 的活动图像专家组 m p e g 在1 9 9 1 年针对1 5 m b p s 以下传输速率的数字存储媒体活动图像及其伴音编码制定了标准m p e g 1 i l l 使得 基于c d r o m 的数字视频及m p 3 等产品成为现实 1 9 9 4 年1 1 月i s o i e c 国际电工委员会 的活动图像专家组 m p e g j e 式推出 了标准m p e g 2 2 主要针对高清晰度电视 h d t 厂 所需要的视频及伴音并向前兼容 m 咿e g 1 目前该标准得到了广泛的应用 它的应用包括数字电视广播 d v d 和视 频点播等 1 9 9 5 年删 t 推出了码率可低于6 4 i c o p s 的低码率视频编码标准h 2 6 3 1 m j h 2 6 3 在许多方面对h 2 6 1 做了补充和改进 提高了编码效率 使其适合于坤视 频会议 可视电话等应用 1 9 9 8 年1 1 月m p e g 制定出的m p e g 4 标准 6 1 采用基 于内容的对象编码实现多媒体信息的交互性操作 利用d m i f 多媒体集成传输框 架 规范提供各种网络的接口 为各种媒体应用特别是基于i n t e m e t 和移动网络的 应用提供了理想的工具 使交互性 容错性 灵活性和可扩展性得到了增强 力 图对各种不同类型的多媒体信息进行标准化的描述 以便实现快速有效的检索 2 0 0 1 年1 2 月制定了m p e g 7 标准草案 6 为了进一步的提高压缩编码的效率 能 够在无线网络和i n t e r n e t 上提供视频服务 1 1 r u 玎的视频编码专家组 v c e g 和 m p e g 组成了联合视频小组 j j o i n tv i d e ot e a m 在2 0 0 1 年1 2 月共同开展 2丝坚g 兰塑查堡塑塑里茎 h 2 标准剐的制定工作 由于m p e g 4e i j 的制定工作从一开始就将工作目标着眼于适应多种操作场合 本地操作 远程交互操作 广播等 以及各种现有的和即将出现的传输技术 因此m p e g 4 没有具体定义以往标准中所规定的传输语法 而是根据m p e g 4 码流 的普遍共性 抽象地定义出传送层所必需提供的一些功能 目的是可以产生出灵 活有效地适应不同底层传输技术的方案 m p e g 4 c i 的系统层在原有e s 流复用层 h c x m u x 的基础上扩展了传送复用 t r a n s m u x 层 几乎包括了所有多媒体 存贮媒体和通信的接口 如r t p u d p 口 p e s m p e g 2 t s a a l 删 h 2 2 3 p s t n d a b m u x 等等 r t p 和r t c p 门 实时传输协议 是基于u d p t c p 的技术 主要用于在在p 网 络上传输m p e g 4 的内容 为此i e t f 还专门推出了用于m p e g 4 视音频码流的r t p 负载格式r f c 3 0 1 6 其中具体规定了在不使用m p e g 4 系统的情况下携带m p e g 4 音频和视频码流的r t p 负载格式 为了能直接将m p e g 4 音频舰频码流映射到r t p 包上 它提供了r t p 包头字段的使用规范和分片规则 同时文档中还规定了m i m e 类型注册和会话描述协议 s d p 的使用 在使用模拟电话线路电视电话的场合 在同一分组内对声音和图像进行多路 复用的h 2 2 3 方式已经成为盯u t 标准 另外 在无线 移动环境中 具有抗误差 性的h 2 2 3a l l n c x 多路复用方式也是行之有效的 在无线 移动环境进行多媒体通 信的场合 不仅要对声音和图像编码等信息源编码 还要对声音和图像多路复用 分离部分的传输线路进行抗误差性强化 h 2 2 3a n n e x 多路复用方式就是与此相对 应的方式 由于在h 3 2 3 中视音频数据是通过r t p r t c p 来进行传输的 因此i e t f 所规定的m p e 蝴音频r 1 限格式为m p e g 4 在h 3 2 3 下的传输奠定了基础 m p e g 2 的t s 传输流 是m p e g 2 标准中的规定的一种复用方式 主要用于 在可能发生错误的环境下进行一路或多路编码数据的传送和存储 在数字电视广 播领域得到了广泛的应用 由于m p e g 4 标准没有定义具体的传输码流语法 因 此在诸如数字电视网络 卫星信道等传输介质上传输础p e g 4 9 9 容成为一个必须解 决的闯题 m p e g 2 i s 作为一种成熟的传输复用技术 研究使用这种技术来传输 m p e g 4 的内容是很有必要的 1 2 本文的研究内容和意义 本文主要针对采用m p e g 2 t s 来传输m p e g 4 视频内容的问题进行研究 其 优点如下 抗干扰性强 m p e g 2 的t s 本身就是设计用来在可能发生严重错误 比 特值错误或分组丢失 的环境下进行一道或多道节目的编码数据进行传送 第一章绪论 和存储 这是因为t s 采用的是定长的数据包 1 8 8 字节 这与其它采用 不定长数据包的传输技术比较 有更强的抗干扰性 有一定的纠错能力 在t s 的节目流特殊信息表 p s i 中 包含3 2 位的c r c 错误校验码 可以对数据流中的关键信息进行纠错 传输效率高 i s 本身数据包长度为1 8 8 个字节 其中有效负荷最多可以达 n l s 4 字节 效率大大高于其它传输技术 可以在复用的码流之上再加入纠错码 这样可以增强码流的抗干扰性 本文的主要工作如下 提出了一种对m p e g 4 视频基本流进行m p e g 2 的 i s 复用的方法 对m p e g 4 的码流进行分析 从视频流中提取视频帧 首先进行了单路的m p e g 4 视频e s 的 m p e g 2 t s 复用 在此基础上研究了对多路m p e g 4 的视频e s 进行复用 提出了 一种将m p e g 4 视频e s 经过系统层复用后进行m p e g 2 i s 复用的方法 对m p e g 一4 的d m i f 多媒体集成传送框架 进行了研究 着重是d m m 的的应用接口 d a i 网络接口 d n i 信令协议 并对实现m p e g 4 的d m 体系方案作了研究 1 3 论文的结构安排 本文各章内容的具体安排如下 第一章 绪论 介绍了本文的研究背景 视频编码技术的发展概况 目前视频传输所存在的 问题及本文的研究内容和结构安排 第二章 m p e g 2 传输流结构及其复用算法 介绍m p e g 2 系统层码流结构 和传输流的码流结构及其视频音频复用的原 理 概念和应用 提出使用m p e g 2 i s 对m p e g 2 的e s 复用的算法 第三章 m p e g 4 视频e s 结构和使用m p e g 2 t s 的复用算法 介绍了m p e g 4 码流结构 对视频基本流中的视频帧进行分析 提出了传送 m p e g 4 视频e s 内容对m p e g 2 i s 的要求 对m p e g 2 标准作了适当的扩充 使之可以传输m p e g 4 的视频e s 并提出了对m p e g 4e s 的复用算法 第四章 m p e g 4 的d m i f 和实现方案 对m p e g 4 的d m i f 的结构作了研究和分析 并对使用m p e g 2 的 i s 来实现 d m 巧的方案做了研究 第五章 结束语 总结本文工作 并提出了进一步需要研究的问题 4m p e g 4 内容传输的研究 第二章m p e g 2 传输流结构及其复用算法 本文研究的是基于m p e g 2 传输流 t s 的m p e g 4 内容传输方案 而传输 流 t s 埋m r e g 2 系统层定义的一种数据流格式 所以有必要先了解m p e g 2 的系统层和t s 在m p e g 2 标准中的应用 2 1 m p e g 2 系统层 m p e g 一2 系统编码1 1 3 有两种方法 传输流 t r a n s p o s t r e a m 和节目流 p r o g r a m s t r e a m 分别适用于不同的应用中 传输流 邗 是根据r r u tr e c h 2 2 2 0j i s o i e c1 3 8 1 8 1 协议而定义的一种 数据流 其目的就是为了在有可能发生严重错误的环境下进行一道或多道节目的 编码数据的传输和存储 m p e g 2 定义的另一种数据流是节目流 p s 它主要是 针对那些不容易发生错误的环境 同时也针对系统编码的处理为主要关注对象 特别是软件处理环境 m p e g 2 系统层的总体框图描述了单路音频和视频基本流 e l e m e n t a r v s t r e a m 的基本复用方法 已编码的单路视频和音频分别被组合成p e s p a c k e t e l e m e n t a r ys t r e a m 分组 当p e s 分组形成的时候 会加上一些系统信息 然后 p e s 被复用成传输流 t s 司样 复用的过程中也会加a 些系统信息 图2 1m p e g 2 的简化系统框图 m p e g 2 视频码流可划分为e s p e s 和t s 三层 e s 包含压缩的视频数据和 辅助数据 e s 加包头形成p e s 其包长固定或可变 p e s 再加包头形成t s 包 其包长固定为1 8 8 字节 第二章m p e g 2 传输流结构及苴复用算法 传输流由一道或多道节目组成 每道节目由一个或多个基本流和一些其它的 流多路复用在一起 每个基本流包含访问单元 也就是显示单元的编码表示 视 频基本流的显示单元就是一幅图象 相应的访问单元包括此图象的所有编码数据 如果此图象是一组图象的第一幅 g o p 则访问单元也包含以g r o u p开 s t a r t c o d e 始的一些前缀数据 g r o u p是视频数据中的32位标志 用来识别一组图 start c o d e 像头的开始 定义在m p e g 2 的视频部分 如果此图像是序列首部之后的第一幅 编码图象 则访问单元也包括了s e q u e n c eh e a d e rc o d e 开始的序列首部 s e q u e n c eh e a d e rc o d e 是视频数据中的3 2 位标志 用来识别一个视频序列的开始 而在序列尾部包含最后一幅编码图象的访问单元中含有s e q u e o c ee n dc o d e s e q u e n c ee n dc o d e 是视频数据中的3 2 位标志 用来标识一个视频序列的结束 基本流数据加载在p e s 分组中 p e s 分组由p e s 分组首部以及其后的分组数 据组成 p e s 分组是插在传输流分组中的 每个p e s 分组首部的第一个字节就是 传输流分组有效负载的第一个字节 p e s 分组首部以3 2 位的开始码字起头 此码识别该分组所属的流 p e s 分组 首部可能含有解码和 或显示时间标签 d t s 和p t s 此标签针对于分组中第一个 访问单元 p e s 分组首部也可含有其它的可选字段 而p e s 分组数据字段则包含来自一 个基本流的长度可变的连续字节串 传输流分组以4 个字节的前缀开始 其中包 括1 3 比特的分组i d p i d p i d 通过节目特殊信息 p s l 表来识别传输流分组中所 带的数据 一个p i e 值的传输流分组只带有来自一个基本流的数据 p s i 表也在传输流中 有以下四种p s i 表 节目关联表 p r o g r a m a s s o c i a t i o n t a b l e 节目映射表 p r o g r a mm 印t a b l c 网络信息表 n e t w o r ki n f o r m a t i o nt a b l e 条件访问表 c o n d i t i o n a l a c c e s s t a b l e 这些表中包含进行多路解调和显示节目的必要的和足够的信息 节目映射表 就可以指明哪些p i d 值 也即哪些基本流组成一道节目 这个表也为每道节目指 明带有p c r 字段的传输流分组的p m 传输流分组可能是空分组 空分组是用来填充传输流的 它们可能在重新多 路复用时被插入或删除 因此 传输到解码器的空分组的有效负载是不确定的 因此 有必要了解m p e g 2 系统流中这些数据流的格式及其字段含义 以便 为使用这些数据流复用 e g q 视频音频内容做准备 2 2m p e g 2 传输流 t s 介绍 1 传输流的定义 传输流作为一个字节流 其根据m p e g 2 语法定义如下 表2 1 传输流语法表 传输流语法定义说明 m p e g 2 传输流是一个首尾相连的数据包 传输流分组 序列 每一个传输流分组由一个同步字节 0 x 4 7 开始 传输流的编码层允许将 一个或多个基本流 e s 复用成单个传输流 每一个基本流表示一个节目 2 传输流的结构 传输流分组 t r a a s p o r ts t r e a mp a c k e t 长度为固定的1 8 8 个字节 它的具体结 构如下 图2 2 传输流的码流结构 第二章m p e g 2 传输流结构及其复用算法7 s y n c 值为 0 1 的固定8 位字段 它是分组的第一个字节 表示 b y t e 0 00 1 1 1 一个传输流分组的开始 对于所有m p e g 2 传输流分组来说 它的值是固定的 s y n c b y t e 可以作为对传输流分组的同步功能进行校验的标志值 当解码器读取传 输流的第一个字节为0 x 4 7 h 后 连续间隔1 8 8 个字节后读取一个字节 如果都是 0 x 4 7 h 说明传输流的同步是正确的 否则说明传输流同步是错误的 t r a n s p o t e r r o r i n d i c a t o r 1 b i t 标志位 该标志用来指示传输时是否发生误码 当置1 时表示相关传输流分组中至少包含一个不可恢复的错误 该标志应该由传 输流之外的某层模块设置 当置为 1 时 在错误被纠正之前不能重置为 0 p a y l o a du n i ts t a r t i n d i c a t o r l b i t 标志位 用来指示传输流分组带有p e s 分 组或p s l 分组的情况 p i d1 3 位标志位 指示存储于分组有效负载中数据的具体类型 根据这个标 志 解码器可以识别出该分组所属的基本码流或p s i 信息码流 据此对码流进行 复用和分接 p i d 定义如下 表2 2 p i d 字段含义 p i d 值含义 0 x 0 0 0 0节目关联表 p a t 0 x 0 0 0 1 条件访问表 0 x 0 0 0 2 h 0 0 0 f保留 0 x f 聊 空分组 由于p i d 字段在传输流中的位置是固定的 因此对分组中的s y n c b y t e 进行检 索建立分组同步后 提取属于某一特定基本码流的传输流分组就可以根据p i d 的 值进行检索 这在实现上比较容易 t r a n s p o r t s c r a m b l i n g c o n t r o h2 位字段 用来指示传输流分组有效负载的加密 模式 含义如下表 取值描述 0 0 未加密 0 1 用户定义 1 0用户定义 1 1 用户定义 含义 传输流分组的首部 包括调整字段 不应该被加密 对于空分组 该字段应 该置为 0 0 系统中每一路基本流均可以独立地加密 解密的密钥必须在它的使 用时间送到解码器 在传输流中几个传输私用数据的位置均可以传输密钥 两种 可能的位置是1 具有独立p i d 的专用传输流 2 被加密的传输流分组调整字段 中传输专用数据的地方 该字段对于条件接收系统是必要的 上面介绍的是传输流分组首部中必须包含的字段 这些字段的长度总共为4 字节 在这4 字节之后 有一个可选的调整字段 调整字段在传输流分组中占据 了重要地位 当利用p i d 等信息将基本码流抽取出来后 调整字段的功能便与基 本码流的解码紧密相关 调整字段对m p e g 2 传输流的一些重要功能提供了支持 同时由于它是一个可选的字段 又保证了传输的效率 下面是传输流调整字段的 介绍 a d a p t a t i o nf i e l dc o n t r o l 2 位字段 用来指示传输流分组首部是否包含有调整 字段 含义如下表 表2 4 调整字段控制值 取值 描述 0 0为i s o h e c 未来保留 o l无调整字段 仅含有效负载 1 0 仅含调整字段 无有效负载 1 l调整字段后为有效负载 传输流的调整字段包含着传输流的许多重要信息 主要是系统时钟等解码器 设置信息 重要字段定义如下 c o n t i n u i t yc o u n t e r 该字段用来对分组的丢失进行检测 在发送端 携带了数 据有效负荷的具有相同p i d 的所有传输流分组 其c o n t i n u i t y 的值从 到 c o u n t e r 0 1 5 进行循环 在接收端 正常情况下 如果在p i d 流中出现了不连续的 c o n t i n u i t yc o u n t e r 数据说明数据在传输中有丢失 此时解码器就应该作出相应的处 理 由于某些信息 如节目关联表等p s i 信息 对于系统连续工作非常重要 因 此传输流允许复制这些分组 以增强它们对信道误码的抵抗能力 那些携带了重 要信息的传输流分组在编码器中进行复制 这些复制的分组的c o n t i n u i t y c o u n t e r 是相同的 以保证解码器总能接收到正确的分组 a d a p t a t i o n f i e l d l e n g t h 8 位字段 用以指示a d a p t a t i o n f i e l d l e n g t h 之后的调 整字段中的字节数 该字段的另一个用途是用来给传输流中插入充填字节 对于 带有p e s 分组的传输流来说 如果p i e s 分组的数据不足以充填整个传输流分组的 有效负载字节 则需插入充填字节 填充可以通过定义比实际数据元素总长更长 的调整字段来实现 这样可以在调整字段中的额外空间填入充填字节 第二章m p e g 2 传输流结构及其复用算法9 p c rf l a g 1 位字段 1 表示调整字段包括一个p c r 字段 0 表示调整 字段不包含任何p c r 字段 p r o g r a m c l o c k r e f e r e n c e b a s e p r o g r a m c l o c k r e f e r e n c e e x t e n s i o n 节目参 考时钟 是一个4 2 位的字段 由两部分组成 一部分以系统参考时钟的1 3 0 0 为 单位 9 0 k h z 称为p r o g r a mc l o c k r e f e r e n c e b a s e 长度为3 3 b i t 定义如下 i 指包含p r o g r a m c l o c k r e f e r e n c e b a s e 字段的最后一个位的字节 p c r b a s e i 系统时钟频率 t i d i v3 0 0 o a 2 3 3 另一部分称为p r o g r a m c l o c k r e f e r e n c e e x t e n s i o n 以系统参考时钟 2 7 m 为单位的9 位字段 它的出现以p c r f l a g 为标志 定义如下 p c r e x t i 系统时钟频率 t i d i v l 3 0 0 p c r 表示了p r o g r a m c l o c k r e f e r e n c e b a s e 的最后一个字节预定到达系统目标 解码器输入的时间 是编码器对2 7 m 系统时钟采样的值 具体的p c r 数值可以根 据以上两部分计算得出 p c r j p c rb a s e i 3 0 0 十p c r e x t i 2 3m p e g 2 基本流分组 p e s 码流结构 p e s 包由基本流e s 加上p e s 头部构成 p e s 头部包含各种定时和描述信息 它们根据基本流 e s 内容设置 p e s 包之间的间隔随应用之不同而不同 包长 也可以改变 对于音频包的包长 最长2 1 6 字节 p e s p a c k e t l e n g t h 字段定义 图2 3 p e s 包结构示意图 q 坚 坠 堕奎生鍪墼堡垒 为1 6 b i t 而对于视频p e s 包可以将p e s p a c k e t l e n g t h 置零 这样p e s 包的长度 就没有限制了 此时 p e s 包同步字节是界定p e s 包的唯一标识 即对p e s 包的 划分仅能依据同步字节来决定 p e s 包的语法结构如图2 3 所示 p e s 包的有效负荷是信源编码器生成的连续 的基本流 对于视频和音频来说 有效负载是编码后的视频帧 音频帧序列 各基本流都由唯一的s t r e a mi d 字段识别 由各编码器产生的基本流 e s 形 成的p e s 包都带有相应的s t r e a m i d 值 下表描述了s t r e a m i d 字段的含义 表2 5s t r e a mi d 的取值 s t r e a mi d 流的编码 1 0 1 1 1 1 0 0p r o g r a ms t r e a mm a p 1 1 0 x c 阻i s o i e c1 3 8 1 8 3o ri s o i e c1 1 1 7 2 2 a u d i o 1 1 1 0 x o 玎u tr e ch 2 6 2 i l s o i e c1 3 8 1 8 2o ri s o i e c1 1 1 7 2 2 v i d e o 1 1 1 10 0 1 0d s mc c s t r c a m 1 1 1 i1 1 1 1 p r o g r a ms t r e a m d i r e c t o r y p e s p a c k e t1 e n g t h 这是一个1 6 b i t 字段 说明在此字段最后一个字节后p e s 分组的字节数 p e sp r i o r i t y 1 位标志 表示p e s 有效负载的优先级 1 表示此p e s 分组 的有效负载比其它此字段为 0 的p e s 分组有效负载有更高的优先级 p t sd t s f l a g 2 位标志 分别表示p e s 分组首部是否包含p t s 和d t s 字段 r t s r e s e n t t i m e s t a m p i t s 是3 3 位b i t 表示此分组的数据中开始的第一 个访问单元在系统目标解码器中的预定显示时间 定义如下 p t s k 系统时钟频率木t p n k d i v3 0 0 2 t p k 表示显示单元p n 的显示时间 p n 是相应于此分组数据中开始的第 一个访问单元的显示单元 d t s d e c o d i n g t i m e s t a m p 3 3 位数字 表示分组中开始的第一个访问单元 预计在系统目标解码器中的解码时间 定义如下 d t s j 系统时钟频率爿ct d j d i v3 0 0 2 t d j 表示显示单元丸 j 的显示时间 a 咀 j 是第一个在此分组数 据中开始的访问单元 第二章m p e g 一2 传输流结构及其复用算法 2 4 节目特殊信息 p r o g r a ms p e c i a li n f o r m a t i o n 节目特殊信息包括所有使解码器能进行节目的多路解调的规格化数据和私有 数据 节目由基本流组成 每个都有一个p i d 标记 该信息不可以被加密 在传输流中 节目特殊信息被分成以下四个表 表2 6 节目特殊信息 结构名流类型保留的p i d描述 节目关联表i s o 肛c1 3 8 1 8 1 0 x 0 0 关联节目号与节目映射表p i d 节目映射表 i s o 正c1 3 8 1 8 1赋值的 说明节目组成部分的p i d 网络信息表私用赋值的物理网络参数 条件访问表i s o m c1 3 8 1 8 1 o x 0 1建立e m m 流与每个p i d 关系 p s i 表可以被分成一段或多段置于传输流分组中 一段就是一个语法结构 分段的长度可变 分段开始由传输流分组有效负载中的p o i n t e r f i e l d 指示 p o i n tf i e l d 是一个8 位字段 其值为在此字段之后到传输流分组有效负载的第一个 分段的第一个字节之间的字节数 因此p o i n t e r f i e l d 中的一个0 x 0 0 表示分段在 p o i n t e r f i e l d 之后立即开始 2 4 1 节目关联分段 p r o g r a m a s s o c i a t i o n s e c t i o n 节目关联分段提供一p r o g r a m n u m b e r 和包含此节目定义的传输流分组的p i d 之间的对应之处 p r o g r a m n u m b e r 是与一道节目对应的数字标号 节目关联表的 码流结构如下图 图2 4 节目关联表结构示意图 t a b l e i d 字段表示传输流p s l 分段的内容 如下表所示 取值描述 o x 0 0 节目关联分段p r o g r a m a s s o c i a t i o n s e c t i o n o x 0 1条件访问分段c o n d i t i o na c c e s s s e c t i o n o x 0 2节目映射分段p r o g r a m m a p s e c t i o n 0 x 0 3 o x 3 f i t u tr c c h 2 2 2 0ii s o i e c1 3 8 1 8 保留 o x 4 0 一o x f e用户私用 o x f f禁止 s e c t i o nl e n g t h 1 2 位字段 头两位为 0 0 它表示在s e c t i o n l e n g t h 之后此 分段的字节数 p r o g r a m n u m b e r 1 6 位字段 描述p r o g r a m m a p p i d 所适用的节目 p r o g r a m m a p p i d 1 3 位字段 规定了传输流分组的p i d 这个分组应包含适 用于p r o g r a mn u m b e r 所指明节目的p r o g r a m m a p s e c t i o n 2 4 2 节目映射分段 节目映射分段提供节目号码与组成它们的基本流之间的映射 节目映射分段 是一个传输流中所有节目定义的集合 码流结构如下 图2 5 节目关联表结构示意图 第二章m p e g 2 传输流结构及其复用算法1 3 其中s e c t i o n l e n g t h p r o g r a m n u m b e r 与节目关联分段定义相同 p c r p i d 1 3 位字段 表示包括由p r o g r a mn u m b e r 指定的节目中包含有效 p c r 字段的传输流分组的p i d e l e m e n t a r y p i d 1 2 位字段 表示带有相关基本流或有效负载的传输流分段 的p i d 2 5m p e g 2 传输流复用m p e g 2 视频流算法 作为m p e g 一2 的传输流 就是为了传输m p e g 2 的基本码流而设计的 所以 我们研究t s 传输m p e g 4 的e s 之前 首先应该理解t s 对m p e g 2 的e s 进行复 用的算法 1 5 下面我们先了解m p e g 2 的视频码流的结构 然后研究它的t s 复 用算法 2 5 1m p e g 2 视频码流结构 在m p e g 2 视频层1 1 4 1 中 编码的比特流中各种语法结构从高到低按层次排列 高层的语法结构包含了低层的语法结构 具体的语法结构如下 1 视频序列 v i d e os e q u e n c e 编码的比特流中的最高语法结构就是视频序列 一个视频序列以一个序列头 s e q u e n c e h e a d e r c o d e 开始 序列头为固定的3 2 位字段 其值为0 x 0 0 0 0 0 0 8 7 用来识别一个序列头的开始 每个m p e g 2 的e s 总是从序列头开始 序列头后面 可选地跟着一组图像的头和一个或更多的编码帧 编码帧在编码比特流中的顺序 就是解码器处理它们的顺序 但并不一定就是显示顺序 视频序列以一个 s e q u e n c ee n dc o d e 终止 在一个视频序列的不同地方 某一特定的编码帧的前面 可能会有一个重复的序列头或一组图像的头 或者两者都有 在视频序列这个层次上有和t s 复用相关的一些重要字段 f r a m e r a t e c o d e 4 b i t 字段 用来表示该序列的帧速率 定义如下 墨竺呈曼里兰塑查堡塑塑 茎 0 1 0 03 0 0 0 0 1 0 0 1 2 9 9 7 0 1 0 13 0 0 1 1 05 0 0 1 1 16 00 0 0 1 0 0 1 5 9 9 4 1 0 0 06 0 b i t r a t e 3 0 b i t 字段 这是一个3 0 b i t 的整数 它的低1 8 位在b i t r a t e v a l u e 字 段中 高1 2 位在b i t r a t e e x t e n s i o n 字段中 这个3 0 b i t 的整数以4 0 0 b i t s 为单位描 述e s 的比特率 v b v b u f f e r s i z e 1 8 b i t 字段 该字段用来描述 v 视频缓冲区检验器 的 缓冲区的尺寸 它的定义如下 b u f f e r s i z e 1 6 1 0 2 4 v b v b u f f e r s i z e 2 图组 g r o u p 图组这个结构是可选的 它表示相互关联的一组图像帧 在一个图组中第一 帧是一个内部编码帧 作为该图组中其它帧的参考帧 图组的开始标志是 g r o u p s t a r t c o d e 该值为固定的0 x 0 0 0 0 0 1 8 8 用来识别一组图的开始 3 图像 p i c t u r e 图像是视频序列的基本结构 每一个图像中包含了一个编码帧 它的开始标 志是p i c t u r e s t a r t c o d e 该值为固定的o x 0 0 0 0 0 1 0 0 用来识别一个图像的开始 在图像中有和t s 复用相关的一些熏要字段 t e m p o r a l r e f e r e n c e l o b i t 字段 它表示了当前图像帧的显示顺序 对于每个 输入图像帧 该字段的值进行增1 模1 0 2 4 的运算 p i c t u r e c o d i n g t y p e 3 b i t 字段 该字段表明的图像内编码帧的编码类型 取 值如下 p i c t u r ec o d i n gt y 口e编码方法 0 0 1内部编码 i 0 1 0预测编码 p 0 1 1双向预测编码 b i 帧 一个内部编码的帧 是仅使用自身信息进行编码的帧 p 帧 一个预测编码的帧 是从过去的i 图和p 图使用运动补偿预测进行编码 的帧 b 帧 一个双向预测编码的图 是从过去的和 或将来的i 帧或p 帧使用运动 第二章m p e g 2 传输流结构及其复用算法 补偿预测进行编码的帧 i 帧用来帮助对序列随机访问 需要用到随机访问的各种应用 如快进和快退 可能使用i 帧更加频繁些 i 帧也用在场景切换或其它用不上运动补偿的情况中 图像组头是可选的 它用在一个编码i 帧的前头 向解码器指明在随机访问时紧跟 在编码i 帧后面的第一个b 帧是否能被正确重构 实际上 如果不能得到前面的 参考帧 那些b 帧就不能被正确重构 除非它们仅使用后向预测 在编码比特流 中 图像组头后面的第一个编码帧是i 帧 v b vd e l a y 1 6 b i t 字段 该字段用来描述在播放的开始时设置解码器缓冲区的 初始分配 防止缓冲区出现异常 它的取值表示v b v 接到图像起始码的最后一个 字节之后要等待的9 0 z 的系统时钟周期数 2 5 2 m p e g 2 的t s 对m p e g 2e s 的复用算法 1 m p e g 2 码流的时间信息 在e s 复用成传输流过程中 首先是分割数据形成分组的