（微电子学与固体电子学专业论文）基于fpga的多功能视频服务器设计与实现.pdf

华中科技大学硕士学位论文 摘要 数字电视是采用数字信号广播图像和声音的电视系统，它在电视信号的获取、产生、 处理、传输、接收和存储的各个环节中都采用数字信号或对数字信号进行处理。数字电 视画面质量达到d v d 水平，完全没有模拟电视的雪花、重影等现象。供用户选择的节 目内容也将极大丰富。通过数字电视，用户将跨入个性电视、互动电视的时代。 m p e g 一2 标准是国际上流行的音视频压缩标准。这个标准中只定义解码模型，因 此编码端和数据处理过程有很大的自由度，只要能够被m p e g 2 解码器所解码就符合 要求。本文所介绍的设计能实现三种节目源的播出：卫星节目、本地硬盘存储节目和 网络节目以及这三种节目源的混合复用播出。它同时可以在以太网和数字电视两个网 络上运行。并能实现对转播卫星节目的覆盖插播，网络节目和本地节目的实时切换等 业务。提供加扰播出服务，实现条件接受等增值服务。可以提供数字电视节目点播服 务。提供了a s i 输入节目的录制功能，实现卫星节目的延迟播出。本设计的核心部分 采用f p g a 和d s p ，提高了电路设计的灵活性，缩短了产品的研发周期。 本文中首先概述了数字电视的发展现状和研究进展，简单介绍了f p g a 的基本概念 和硬件描述语言的特点及f p g a 的设计方法。然后论述了m p e g 。2 系统层协议和视频结 构的部分内容。研究了m p e g 2 编码时数据的复用过程，介绍了三个有关时间的重要 概念：p c r 、p t s 和d t s ，并研究了它们之间的关系。接着研究了多功能视频服务器 在数字电视播出系统中的位置，及其所能实现的功能。提出了视频服务器的硬件电路 结构。重点论述视频服务器中f p g a 所完成的功能及其实现方法。提出了f p g a 程序总 体结构设计，根据数据传输通道分三部分：本地播出、卫星转播和节目录制。然后将 整个f p g a 系统拆分为不同的功能模块，逐个分析和研究：卫星接入和解复用模块、 本地播出系统、复用系统、无缝拼接系统和p c r 调整模块。最后讨论了系统的测试结 果，并论述了本设计存在的优势和待改进的部分。 关键词：数字电视m p e g 一2d v b 传输流视频服务器f p g a 华中科技大学硕士学位论文 a b s t r a c t d i g i t a lt vs y s t e mb r o a d c a s t sp i c t u r e sa n ds o u n db a s eo nd i g i t a ls i g n a l s d i g i t a ls i g n a l s a r eu s e di no b t a i n i n g ，g e n e r a t i n g ，a n dd i s p o s i n g ，t r a n s m i t t i n g ，r e c e i v i n ga n ds t o r i n gt v s i g n a l si nd i g i t a lt vs y s t e m t h ep i c t u r e sq u a l i t yo fd i g i t a lt vi sa sg o o da sd v d a n d t h e r ea r en ow h i t es p e c k so rd o u b l ei m a g eo nt vs c r e e ni nd i n t a lt vs y s t e m t h e p r o g r a m s a r ep r o f u s ef o ru s e r st oc h o o s e o u rt v sa r cg o i n gt oe n t e rt h e a g eo f i n d i v i d u a t i o na n di n t e r c o m m u n i o nb e c a u s eo f d i g i t a lt vs y s t e m m p e g 一2s t a n d a r di sav i d e oa n da u d i oc o m p r e s sc r i t e r i o nw h i c hi sa p p l i e dw i d e l ya l l o v e rt h ew o r l d t h es t a n d a r do n l yd e f i n e dt h ed e c o d i n gm o d e l ，a n dt h e ne n c o d i n ga n d d i s p o s i n gs i g n a l sw e r ev e r yf r e e ，b e c a u s ei tw a sd e m o n s t r a t e dw e l li ft h eo u t p u to fi tc o u l d b ed e c o d e db yt h em p e g - 2d e c o d e nt h ed e v i c ew h i c hw a si n t r o d u c e db yt h i sp a p e rc a l l b r o a d c a s tt h r e ek i n d so f p r o g r a ms o u r c e si n c l u d i n gp r o g r a m so fs a t e l l i t et r a n s m i s s i o n ，h a r d d i s ks t o r a g ea n di n t e r a c t ，a n di ta l s oc a l lm u l t i p l e xt h o s et h r e ek i n d so fp r o g r a m sa n d b r o a d c a s tt h e m t h ed e v i c ec a l lb eu s e di nb o t hi n t e m e ta n dd t vn e t t h ed e s i g ni sa b l et o b r o a d c a s tl o c a lp r o g r a m si n s t e a do fr e b r o a d c a s tt h a ti sr e l a y e df r o ma n o t h e rs t a t i o nw h e n r e b r o a d c a s tp r o g r a m so fa n o t h e rs t a t i o n a n di ta l s oc a l lr e a l i z et h er e a lt i m ee x c h a n g e b e t w e e ni n t e r a c tp r o g r a m sa n dl o c a lp r o g r a m s t h ed e v i c ec a l ls c r a m b l ep r o g r a m sw h i c h m a k eu s e r sd e v e l o pc o n d i t i o n a la c c e s so p e r a t i o n i ts u p p l i e st h ef u n c t i o no fo r d e r i n g p r o g r a m t h ev i d e os e r v e rc a nb eu s e dt or e c o r dp r o g r a m so fs a t e l l i t et r a n s m i s s i o no rd e l a y t h e m t h eh a r dc o r eo ft h ed e s i g ni sf p g aa n dd s pw h i c hs h o r t e nt h et i m et om a r k e to f t h ep r o d u c t t h e d e v e l o p m e n ta n dr e s e a r c ho fd i g i t a lt vw e r es u m m a r i z e di nt h i sp a p e rf i r s t l y t h e c o n c e p f i o na n dd e s i g nm e t h o do ff p g aw e r ei n t r o d u c e db r i e f l y , a n dc h a r a c t e r i s t i co f h a r d w a r ed e s c r i p t i o nl a n g u a g ew a sm e n t i o n e d t h e r e a f t e r ，t h em p e g 一2s y s t e m s s p e c i f i c a t i o na n dp a r t so fv i d e os p e c i f i c a t i o nw e r ed i s s e r t a t e d t h ep r o c e s so fm p e g - 2 m u l t i p l e x e rw a sd i s s e r t a t e d ，a n dt h e nt h r e ec o n c e p t i o n sa b o u tt i m ew e r ei n t r o d u c e di n c l u d e p t s ，d t sa n dp e r , a n dt h er e l a t i o n s h i pb e t w e e nt h e mw a sd i s c u s s e d t h ef u n c t i o n so ft h e v i d e os e r v e ra n di t sp o s i t i o ni nd i g i t a lt vs y s t e mw e r em e n t i o n e da n dd i s c u s s e d t h e 华中科技大学硕士学位论文 h a r d 强鹏c i r c u i to f b r o a d c a s t i n gb o a r dw h i c hw a su s e di nv i d e os e r v e rw a si n t r o d u c e d t h e d e s i g no ff p g ao nt h eb o a r dw a sd e p i c t e de m p h a t i c a l l y t h eh o l i s t i cc o n f i g u r a t i o no f f p g ad e s i g nw a se x p a t i a t e d t h ed e s i g no ff p g aw a si n t r o d u c e di nt h r e ep a r t s ：b r o a d c a s t l o c a lp r o 伊a m s ，b r o a d c a s ts a t e l l i t ep r o g r a m sa n dr e c o r ds a t e l l i t ep r o g r a m s a n dt h e nt h e f p g as y s t e mw a ss e p a r a t e di n t os u b m o d u l ea n de x p a t i a t e ds e v e r a l l y t h es u b m o d u l e s i n c l u d es i g n a li n p u t t i n g ，d m u x ，l o c a lp r o g r a m sb r o a d c a s t i n g ，m u x ，s e a m l e s ss p l i c i n ga n d p c ra d j u s t i n g t h e r e a f t e rt e s tr e s u l t so ft h es y s t e mw e r ed e s c r i b e d f i n a l l yt h ea d v a n t a g e a n dt h ed i s a d v a n t a g eo f t h ed e s i g nw e r em e n t i o n e d k e y w o r d s ：d i g i t a lt vm p e g 一2 d v bt sv i d e os e r v e rf p g a i l i 独创性声明 本人声明所呈交的学位论文是我个人在导师的指导下进行的研究工 作及取得的研究成果。尽我所知，除文中已标明引用的内容外，本论文不 包含任何其他人或集体己经发表或撰写过的研究成果。对本文的研究做出 贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明 的法律结果由本人承担。 ij， 学位论文作者签名：讪i 垫许 砂占年争月，r 7 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即： 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许 论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本论文属于 不保密留。 ( 请在以上方框内打“4 ”) 学位论文作者签名：勤l 垫笄指导教师签名：互 s 每( 乒l ? e扣8 每咿1 日 华中科技大学硕士学位论文 1 1 引言 1 绪论 数字电视系统是指将传统的电视信号数字化，按照数字电视标准压缩编码处理后， 通过现有的有线电视网传输到每家每户。数字信号传输过程免受干扰，完全没有模拟 信号的雪花、重影等现象。通过数字电视，用户将跨入个性电视、互动电视的时代。 数字电视技术的出现和发展，已经不仅仅是代表电视广播技术升级，而是整个广播电 视产业链条的深刻变革，发展数字电视，具有重要的战略意义。 伴随着电视广播的全面数字化，传统的电视媒体将在技术、功能上逐步与信息、 通信领域的其它手段相互融合，从而形成全新的、庞大的数字电视产业。这一新兴产 业已经引起广泛的关注，各发达国家根据自己的国情，已分别制定出由模拟电视向数 字电视过渡的方案和产业目标。 数字化是广播电视升级换代的基础，同时也是我国广电系统提高自主创新能力最 紧迫的任务。根据广电总局的“十一五规划”，2 0 1 0 年全面实现数字广播电视，2 0 1 5 年停止模拟广播电视的播出。而当前的主要任务之一，正是加快推进有线电视由模拟 向数字化的整体转换，使数字电视成为进入千家万户的多媒体信息平台。 1 2 数字电视技术的研究进展 1 2 1 数字电视技术的发展过程 近年来，在全球范围内，电缆、卫星和无线经营商都要转向数字领域。美国的四 家主要网络公司：a b c ，n b c ，c b s 和f o x 都已经从1 9 9 9 年1 1 月开始数字广播。 到2 0 0 6 年，美国的联邦通讯委员会要求不再发送模拟电视信号。法国、爱尔兰、西 班牙、德国、荷兰和英国的广播界已在1 9 9 9 年启动数字化技术。 从我国的情况来看，2 0 0 0 年以来，国家设立了数字电视研发及产业化专项。重点 是研究和制定自主知识产权的国家数字电视标准、数字电视产业化和应用推广试验。 华中科技大学硕士学位论文 包括批准北京、上海、深圳3 个试验区和2 个测试实验室，批准立项系列产业化开发 项目。2 0 0 1 年1 1 月国家广电总局批准在全国】3 个城市率先开展有线数字电视的商业 运营试验，2 0 0 3 年上海等城市开展城市移动无线电视商业试验，2 0 0 3 年】0 月深圳电 视台开出全国首个高清电视运营频道。 1 2 2 数字电视的技术优势 数字时代将通过电影质量的画面、c d 音质的声音、成千上万的频道、可以改变 的镜头角度和令人激动的新娱乐服务来提高我们的观赏档次。在很小的范围内选择频 道的时代一去不复返。电视将会变得更有趣、更有用，同时更简单、更友善。总体来 说，数字电视具有如下优势： ( 1 ) 更有效地利用各类频道资源，如在有线广播传输套模拟电视的8m h z 带 宽内可以传输6 套数字标准清晰度电视节目i ”。 ( 2 ) 采用数字录像机和非线性编辑制作节目，质量明显提高。数字电视节目易于 存贮处理，且无积累误差，便于应用各种算法模型进行不同要求的压缩编码，这一点 模拟信号是无法与之相比的。 ( 3 ) 清晰度高、音频效果好、抗干扰能力强。数字电视采用- 进制纠错编码技术， 对可能出现的误码具有纠错能力。和模拟制电视相比，几乎不产生图像失真。电视用 户的图象伴音质量完全取决于发送端编码器的质量水平。即使偶尔出现了极个别的错 码，在接收端尚可采用“误码掩蔽”技术，使图象的损坏降低到不易被察觉的程度。 另外数字电视信号的传输不像模拟信号受传输过程中噪声积累的影响，在接收端收看 到的电视图像非常接近演播室水平。此外，数字电视的音频效果很好，可支持杜比数 码( a c 一3 ) 5 1 环绕立体声家庭影院服务。 ( 4 ) 可开展多功能业务。随着电视传输和用户接收的数字化，以往用模拟方式无 法提供的服务将成为可能。电视网站、交互电视、股票行情与分析、视频点播等新业 务的开展将变得更加容易。 ( 5 ) 数字电视网和因特网是相辅相成的，数字电视接收机完全可以作为因特网的 终端显示器。将各家各户与因特网连接在一起，加快了社会信息化进程。 华中科技大学硕士学位论文 1 2 _ 3 数字电视广播领域的三大标准 目前数字电视尚无统一的国际标准，而美国、欧洲和日本各自形成了3 种不同的 数字电视标准，如表1 - 1 所示1 2 】。美国的标准是a t s c ( 先进电视制式委员会标准) ，欧 洲的标准是d v b ( 数字视频广播标准) ，日本的标准是i s d b ( 综合业务数字广播标准) 。 表l 一1 简单的列出了这三个标准的主要参数，从表中可以看出所有这些标准的音视频 编码技术和复用技术都来自于m p e g 一2 标准协议。 d v b 标准被欧洲国家所认同并采用【3 1 。它包含一个数字卫星直播系统标准 ( d v b - s ) ，该标准以卫星作为传输介质，通过卫星转发压缩的数字信号。它同时也 定义了数字有线广播电视系统标准( d v b c ) 和数字地面广播系统标准( d v b t ) 。 d v b 标准采用了m p e g 一2 的数字视频压缩方式和m p e g 一2 或m p e g 1 的数字音 频建议【3 】。提供立体声音频传输，不久后还会升级成多通道环绕声效。它的视频支持 4 ：3 ，1 6 ：9 ( 宽屏幕) 和2 2 1 ：1 等格式。d v b 规定了一个通用的加密标准，用户 可以自由的选取条件接收系统对特定节目进行收费。 表1 1 三种国际标准具体参数比较 传输流率应用地区 标准系统类型视频编码音频编码调制方式 通道带宽 ( m b p s ) d v b - s q p s k 3 8 欧洲、澳大 m p e g 2 1 1 q p s k q a m 2 4利亚、新西 d v bd v b - ti p e g 28 m h z 数字音频，o f d m 1 5 ( 移动)兰、俄罗斯 d v b co a m 3 8 a t s c t 1 9 2 8 北美、南韩、 a t s cm p e g - 2a c ，38 v s b 6 m h 2 台湾、墨西 a t s c c 3 8 5 7 哥等 i s d b 。s t c s p s k q p s k 3 4 5 m h z 5 2 日本 b p s k i s d bm p e g 2 m p e g 2 2 1 4 7 i s d b ta a c d q p s k q a m 5 6 m h z 4 0 6 ( 移动) i s d b c 6 4 0 a m 6 m h z 3 1 6 6 4 a t s c 是一个美国的组织，其标准被北美地区普遍采用1 5 ，它规定了地面传输标准和 有线传输标准。其视频采用m p e g - 2 压缩标准，音频采用数字音频压缩标准。a t s c 系 华中科技大学硕士学位论文 统支持数字高清格式和标清格式的广播，数据和多通道环绕声效的广播1 6 1 。a t s c 显示模 式有1 6 ：9 和4 ：3 ，支持1 9 2 0 1 0 8 0 ，1 2 8 0 x 7 2 0 ，7 0 4 4 8 0 和6 4 0 x 4 8 0 等格式【7 】o i s d b 标准是日本采用的国家标准。它包括i s d b s ( 卫星传输) ，i s d b c ( 有线 传输) ，i s d b - t ( 陆地广播) 和i s d b t s b ( 陆地音频广播) 。1 s d b 由日本的d t b c g ( 数 字广播专家组) 制定，它利用一种标准化的复用方案，在一个普通的传输信道上可发送 各种不同的信号，同时可以通过各种不同的传输信道发送复用信号。i s d b 具有柔韧 性、扩展性、共通性等特点，可以灵活地集成和发送多节目的电视和其它数据业务嘲。 1 3f p g a 与硬件描述语言 1 1 3 1f p g a 简介 f p g a 是英文f i e l dp r o g r a m m a b l eg a t ea r r a y 的缩写，即现场可编程门阵列，它是 在p a l 、g a l 、e p l d 等可编程器件的基础上进一步发展的产物。它是作为a s i c ( 专 用集成电路) 领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服 了原有可编程器件门电路数有限的缺点。在现在的数字电路设计中，f p g a 发挥着越 来越重要的作用。从简单的接口电路设计到复杂的状态机，甚至“s y s t e mo nc h i p ”( 片 上系统) ，f p g a 都扮演着重要的角色。它的可编程特性带来了电路设计的灵活性，缩 短了产品的研发周期。 1 3 2 硬件描述语言 衄l ( h a r d w a r e d e s c r i p t i o n l a n g u a g e ，硬件描述语言) 是硬件设计人员和电子设 计自动化工具之间的界面。其主要目的是用来编写设计文件，建立电子系统行为级的 仿真模型【9 1 。当前，芯片的集成度和设计的复杂度都大大增加，为使复杂的芯片变得 易于入脑的理解，用一种高级语言来表达其功能性而隐藏具体实现的细节是很必要 的。硬件描述语言有如下特点1 0 1 ： ( 1 ) h d l 语言既包含一些高层程序设计语言的结构形式，同时也兼顾描述硬件线 路连接的具体构成； ( 2 ) 通过使用结构级或行为级描述，可以在不同的抽象层次描述设计； 4 华中科技大学硕士学位论文 ( 3 ) h d l 语言是并发的，即具有在同一时刻执行多任务的能力； ( 4 ) h d l 语言有时序的概念，因此使用h d l 除了可以描述硬件电路的功能外， 还可以描述其时序要求。 1 3 3x i l i n xf p g a 设计方法 x i l i n xf p g a 的设计流程，主要有下面几个部分【1 1 】。 ( 1 ) 设计的输入过程 最新的x i l i n xf p g a 开发系统提供了一个电路逻辑图、行为描述等兼容的输入环境。 无论电路逻辑图输入，还是行为描述，都要甩l i n x 提供的元件库。对于设计输入，设计 工程师除了要熟悉工具的使用外，必须熟悉) ( i l i n x 元件库的i p ( i n t e l l e c t u a lp r o p e r t y ， 知识产权模块) 资源库，借助于元件库的元件或口资源，来优化设计或提高设计的效 率。在使用x i l i n xf p g a 开发系统所配置的工具进行设计输入时，首先根据设计要求选 择相应的元件库，如设计选用x c 系列器件时，应配置相应的元件库，以供设计者调用。 ( 2 ) 设计实现过程 设计实现过程主要分为输入文件的编译- 逻辑单元的分解规划- 目标芯片中的布 局布线 时延分析p 配置文件的建立f j 3 】。在整个过程中，要运行一系列程式去进行处 理和转换，完成逻辑图- 网表文件一 b i t 文件( 二进制烧写文件) 的转换，从而在实现 逻辑分区规划的基础上，进一步完成优化的布局和布线。经过适当的程序处理，转化 为可配置芯片的二进制格式或p r o m 编程格式，从而既可实现在线直接配置f p g a 芯片的系统逻辑功能，又可通过p r o m 编程器去写x i l i n x 的串行p r o m ，或通过e p r o m 编程器去写e p r o m ；由己写入系统逻辑数据的p r o m 或e p r o m ，在系统加电时自动 配置f p g a ，从而实现f p g a 应用系统设计的用户现场编程。 ( 3 ) 设计仿真过程 设计的仿真，对于任何现代数字系统设计而言，均是不可或缺的重要过程通过仿 真的结果，对于设计是否符合时延要求，做一个及时的了解和修正。x i l i n x 设计实现 系统支持多种仿真软件工具包，可以成功地实现f p g a 应用设计的逻辑功能仿真和系 统时延仿真。 逻辑功能仿真，亦称为单位时延仿真。不仅可以对用户设计系统的整体逻辑功能 华中科技大学硕士学位论文 仿真，也可以对局部功能仿真。仿真时不考虑实际的时延，一律以单位时延值替代。 对选定要仿真的网路，输入赋值，然后调用运行相应的软件，其仿真结果可以是该网 路的时序图，也可是该网路相应接点某时刻的逻辑值。 系统时延仿真则考虑设计的布局布线的实际时延影响，采用各网路和逻辑模块不 同的布局布线所引起的实际延迟时间来进行仿真。同样，可以以波形输出进行直观的 网路时延特性分析，亦可标注某个时刻网路相应接点的逻辑值。 1 4 本文内容安排 本文主要内容安排如下： 第一章绪论首先概述了数字电视的发展现状和研究进展，研究了数字电视领域的 三种国际标准，接着论述了f p g a 的基本概念和硬件描述语言的特点，最后研究了 x i l i n x 公司f p g a 的设计方法。 第二章主要研究了m p e g - 2 系统层协议和视频结构的部分内容。首先概述了 m p e g 2 编码时数据的复用过程，然后研究了三个有关时间的重要概念：p c r 、p t s 和d t s ，并论述了它们之间的关系。最后研究了m p e g 一2 的视频序列结构。 第三章研究了多功能视频服务器在数字电视播出系统中的位置，及其所能实现的 功能。提出了视频服务器的硬件电路结构，并详细论述了各芯片之间的连接关系，及 所实现的功能。 第四章是论文的重点部分，主要研究了视频服务器中f p g a 所完成的各项功能及其 实现方法。首先提出了f p g a 程序总体设计结构。接下来将整个f p g a 系统拆分为不同 的功能模块，逐个分析和实现：卫星接入、解复用、本地播出系统、复用系统、无缝 拼接系统和p c r 调整模块。 第五章讨论了系统的测试结果。 第六章提出了本设计存在的优势和待改进的部分。 华中科技大学硕士学位论文 2m p e g 。2 标准系统层及视频序列结构研究 2 1m p e g - 2 传输层分组结构 2 1 1 传输流的组成部分 m p e g 协议中，系统层描述的是在传送或存储时多路节目如何适当的复用在一起， 形成一个单一的数据流。如图2 - 1 所示，m p e g 一2 复用器输出是一个8 位宽的连续数 据流。 + 音视频 本流都己 趣m p e g 式压缩 m p e g - 2 复用器 图2 - 1m p e g 一2 复用系统 在复用过程中，数据流中会增加一些附加信息，包括：系统时间标签，用于确保 相应基本流在解码器中同步；服务信息表( s i ) ，指定网络参数、复用流中的各节目 标识和各基本流属性：条件访问信息，作用于一路或多路节目，用于收费节目的控制： 私有数据，一般用于数据服务，比如文字信息、特殊网络的附加服务信息、控制调制 和网络设备的命令、其他类型的数据信息。 2 1 2 描述单元和访问单元 图2 2 所表示的是一个原始非压缩的数字视频序列进行m p e g 编码，变成5 m b i t s s 的压缩数据流的过程。在非压缩格式下的每一幅图像被定义为一个描述单元，每个描 述单元压缩编码后的图像被称为访问单元。值得注意的是视频访问单元的大小是不固 华中科技大学硕士学位论文 定的，取决于它们被编码成i 帧、p 帧或b 帧，也和压缩编码难度有关。 其中i 帧为内部编码帧，仅使用自身信息进行编码。其压缩采用基准帧模式，只提 供帧内压缩，即把图像压缩到i 帧时，仅仅考虑了帧内的图像。i 帧压缩可以得到6 ： 1 的压缩比而不产生任何可觉察的模糊现象。 p 帧为预测编码帧，对过去的i 帧或p 帧使用运动补偿预测进行编码。也就是说， 它考虑运动特性，提供帧问编码。p 帧预测当前帧与前面最近的i 帧或p 帧的差别。 b 帧为双向预测编码帧。它从前面和后面的i 帧或p 帧中提取数据。b 帧基于当前 帧与前一帧和后一帧图像之间的差别进行压缩。b 帧压缩可以达到2 0 0 ：1 的压缩比， 其文件尺寸一般为i 帧压缩尺寸的1 5 ，不到p 帧压缩尺寸的一半。 i 帧压缩去掉图像的空间冗余度，p 帧和b 帧去掉时间冗余度。 未压缩数字视频流 描述单元 p i c t u r ep i c i t l r ep j c t u r e p i c t u r e 8 3 0 k 字节 8 3 0 k 字节8 3 0 k 字节8 3 0 k 字节 l 丁7 7 7 “ 7 口 。， 访问单j - j 压缩后i 帧 9 8 k 字节 压缩后b 帧 1 3 k 字节 压缩后b 帧 1 3 k 字节 压缩后p 帧 3 2 k 字节 图2 - 2 从显示单元到访问单元的压缩 编码帧在编码比特流中的顺序就是解码器处理它们的顺序。如果编码中用到了b 帧，编码帧在比特流中的顺序有时不同于解码过程输出的重构帧的顺序。 下面是一个帧重排的例子。本例中，在顺序的p 帧问有两个编码b 帧，或者在顺 序的i 帧和p 帧间有两个编码b 帧。帧l i 用来为帧4 p 形成预测。帧4 p 和1 i ，共同 用来为帧2 b 形成预测。由此编码序列中的编码帧的顺序应该是1 i ，4 p ，c 2 b ，t 3 b ，。 而解码器按1 i ，2 b ，3 b ，4 p 的顺序显示它们。 在编码器输入端 1 234 567891 0】l1 2 1 3 ibbp bbp b bibbp 华中科技大学硕士学位论文 在编码器的输出端、编码比特流中和解码器的输入端 14237561 0 891 31 11 2 ipbbpbbibbpb b 在解码器输出端 l23456789 1 0 1 1 1 21 3 ib bpbb pbbibbp 未压缩的视频序列被m p e g 编码后，生成一系列的视频访问单元；这些访问单元 组成了视频基本流( e s ) 。未压缩的音频数据被m p e g 编码后，生成一系列的音频访 问单元；这些访问单元组成了音频基本流。每个音频访问单元包含几十毫秒的压缩音 频数据。 2 1 3p e s 分组结构 将基本流打包封装后就形成了p e s ( 封装后的基本流) 流，如图2 3 所示。p e s 分组结构由首部和负载组成。其中负载域是基本流的数据。基本流封装时，没有必要 将访问单元的开始和p e s 分组负载域的开始对齐，所以访问单元可以从p e s 分组负 载的任何部分开始，而且一个p e s 分组有可能包含多个小的访问单元。p e s 分组是可 变长度的，其最大长度为6 4 k 字节。但视频p e s 分组是个例外，可以大于6 4 k 字节。 复用系统可以简单的选择固定长度p e s 分组结构，同时为了使访问单元的开始和p e s 分组负载的开始对齐也可以采用变长度p e s 分组结构。 ? 1 1；褥莓鼻j 照 扣t ：秘? * 强。一曩，一? 。，。 j 弘 氏& j 翻i 麓 p e s 分组p e s 分组首部 图2 - 3 从基本流到封装基本流的转换 p e s 分组首部结构如图2 - 4 所示。它包括： i p e s 分组的起始标志码 p e s 分组首部前四个字节( p e s 分组开始标志字和流识别字节) 是p e s 分组的起 华中科技大学硕士学位论文 始标志码。此3 2 位数据组台不会出现在p e s 分组的其他部分。但由于私有数据内容 没有在m p e g 协议中规定，所以在私有数据中可能存在与p e s 分组首部相同的数据， 从而引起竞争。 基本流识别( s t r e a m i d ) 字节 基本流识别字节用于指明该p e s 分组所属的基本流。m p e g 对于此区域的值给出 了规定，对于音频基本流有3 2 个可选值，视频基本流有1 6 个可选值。 i i i 标志位 标志1 和标志2 用于指明p i s s 分组首部可选域是否存在。这些可选域用于传送此 p e s 分组的附加信息，比如是否加扰、优先级情况、版本信息和错误检测等信息。 时间标签 图2 - 4 中，标志2 中p 和d 分别是显示时间标签( p t s ) 和解码时间标签( d t s ) 标志位。当设为l 时，分别表示p t s 和d t s 将在此p e s 首部中存在。时间标签是 m p e g 一2 系统层中确保相应基本流正确同步的机制。 v 数据长度标识域 p e s 分组首部最后一个命令字节标识的是在p e s 分组负载的第一个字节到来前 p e s 分组首部的数据量。在p e s 分组首部中共有2 5 个可选域，总共接近2 0 0 个字节 的附加数据。 图2 4p e s 分组首部【1 5 1 华中科技大学硕士学位论文 2 1 4 传输复用流 t s 流( 传输复用流) 由固定长度的传输数据分组组成，见图2 s 。每个传输数据 分组有1 8 8 字节长，见图2 - 6 。每个分组都有4 个字节的分组首部，后面跟着适应字 段或有效负载或两者都有。在传输流中，来自不同基本流的p e s 分组被分拆并在传输 流分组的有效负载中传输。 视频传输流分组 回四田口 音频传输流分组 匝口囡匝习匝口 私有数据传输流分 田园团因一回匝口口团圆口 服务信息传输流分 口口因因 传输流空分组 田园匝口团 分组首部( 4 字节) m p e g - 2 传输流 图2 - 5 传输流的复用 图：2 - 6 t s 分组的结构 图2 7 表示了p e s 分组是如何被拆分到多个t s 分组中的。此过程中被两令条件 所约束：p e s 分组的第一个字节都必须在t s 分组有效负载的第一个字节：只有从同 一个p e s 分组中得到的数据才能被放在同一个t s 分组中。 一个p e s 分组不可能精确的填充到整数个t s 分组的有效负载中。如图2 7 所示， 数据经常不足于填充最后个t s 分组的有效负载。由于不能违反前面所提到的两个 约束条件，对于这个特别的t s 分组，其空间的过剩部分会填充一个相应长度的适应 字段域。通过选择p e s 分组长度可以将这种浪费减小到最小。另外通过使用长的p e s 分组也能有效减少浪费。 华中科技大学硕士学位论文 充) 图2 - 7 从p e s 分组到t s 分组的转换 通过这种方法，所有的p e s 分组被拆分成t s 分组并进行复用。t s 分组的连续传 送就形成了m p e g - 2 传输流。传输流中同时还存在各种服务信息和用于填充复用空间 的空分组( 空包) 。另外属于同一基本流的t s 分组的先后顺序必须得到保证。 t s 分组由4 个字节的首部开始【14 】，其结构如图2 - 8 所示。这些标志位中有四个最 为重要u 6 1 ：同步字节、分组标识符、有效负载起始标志位和连续计数器。 分组首部( 4 传送错误标志 有效负载开始 传送优先标志 p ) 图2 8 t s 分组首部结构 同步字节是t s 分组首部的第一个字节，值固定为0 x 4 7 ( “0 x ”表示十六进制数据) 。 这个值在传输流分组中并不唯一，可能会出现在t s 分组的其他地方。但由于此同步 字节每1 8 8 字节都会出现，这就使得解码器能通过锁定这种重复性，从而定位到t s 分组的开始。 一个传送复用流经常包含多个不同的节目流，每个节目流由多个p e s 流组成。p i d ( 分组标识符) 指示存储于分组有效负载中数据的类型，被用于将含有某基本流数据 的t s 分组和含有其他基本流数据的t s 分组区分开来。在2 1 3 种可选择值当中，】7 冬一 华中科技大学硕士学位论文 个被保留，剩下的8 】7 5 个值可以分配给多个基本流。在一个t s 复用流中每个基本流 都必须分配一个特有的p i d 值。 有效负载起始标志位用于指示有效负载的第个字节是否特别，比如当有效负载的 第一个字节同时也是p e s 分组的第一个字节时，该位为1 。 连续计数器随着每一个属于相同基本流的传送流分组而增加。解码器可以通过该域 检测数据流的丢失或增加，以减小由于这种错误引起的影响。 2 1 5 节目特殊信息表 在传输复用流当中，每一个t s 分组都被一个适当的p i d 标识，用于指示它的有 效负载属于哪个基本流【 】。在一个传输流中可能存在着多个基本流和多个节目流，解 码器如何确定每个节目流所包含的基本流? 解决办法是在传输流中插入附加信息用 于指明各节目和相应被分配给其基本流的p i d 值之间的对应关系。这些信息被称为 p s i ( 节目特殊信息) ，它存在于每个传输复用流中1 1 8 】。 m p e g 一2 系统层的p s i 信息有四种类型的表组成：p a t ( 程序关联表) 、p m t ( 程 序映射表) 、n i t ( 网络信息表) 和c a t ( 条件访问表) 。这些表中每一个都可能在一 个t s 分组中传送也可能在多个t s 分组中传送。 i 程序映射表 传输流中的每一路节目都关联一个p m t ( 程序映射表) ，表明了该节且和其包含 基本流的详细信息。图2 - 9 为一p m t 表的例子。 l 剽含有p m t 的传输流分组 程序映射表 节目3 的程序映射表 系统参考时钟p i d = 0 x2 6 视频p i d = 0 x2 6 音频( 英语) p i d = 0 x5 7 音频( 法语) p i d = 0 x6 0 音频( 德语) p i d = 0 x2 2 字幂数据p i d = 0 x2 3 图2 - 9 程序映射表( p m t ) 华中科技大学硕士学位论文 从这个表中解码器可以得出编码视频基本流被放在p i d 为0 x 2 6 的t s 分组的有效 负载中，从p i d 为0 x 5 7 的t s 分组中可以得到英文音频的基本流。 根据m p e g 一2 系统层的规定，p m t 表可能会含有很多描述子，用于指定关于该节 目或其基本流更详细的信息。比如视频编码参数、音频编码参数、语言认定、全画面 模式信息、条件访问详细资料、版权信息等。如果需要，用户可以增加其他的私有描 述子。 程序关联表 传输流中所有可以使用的节目的完整列表放在p a t ( 程序关联表) 中。p a t 表的 p i d 值始终都是0 ，所以很容易检索到。在p a t 表中，每一个节目都指明了其相应p m t 表的p i d 值。例如在图2 1 0 中，节目3 的p m t 表的p i d 值为1 1 2 7 。 潆划含有p a t 表的t s 分组( p 1 d ：o ) p a t 表 节目号p m t 的p i d 0 1 3 1 8 7 9 1 2 1 6 3 0 6 1 1 2 7 1 7 2 4 4 2 5 6 5 8 6 网络信息表p i d 节目1 的p m t 表p i d 节目3 的p m t 表p i d 图2 - 】0 程序关联表( p a t ) i l 网络信息表 在p a t 表中节目号为零的区域含有特殊的意义，它被用于指明网络信息表( n i t ) 的p i d 。n i t 表是可选的，同时它的内容是私有的，m p e g 不做规定，而是由用户定 义。n i t 表一般提供此传输流的物理网络信息，如通道频率、卫星收发机信息、调制 特性、服务提供商、服务名称以及可选网络细节等。 条件访问表 如果传输流中个或几个基本流被加扰，在传输流中就必须存在c a t ( 条件访问 表) 。c a t 表提供了加扰系统的信息，并且指明了含有条件访问管理和权限的t s 分组 1 4 华中科技大学硕士学位论文 的p i d 值。这些信息的数据结构依赖于所选加扰系统。 2 2 时间标签及参考时钟 2 2 1 时间标签与参考时钟的意义 图2 1 1 是一个解码器的基本结构图，它可以从传输流中提取及显示视频和音频数 据。输入模块只允许指定的基本流数据经过并送入其后的缓存区中，不属于这些基本 流的数据不允许通过。这样缓存区就会存储基本流的访问单元。解码器接到命令后， 就从视频缓存区中取出一个完整的视频访问单元，对其解码并在屏幕上显示出来。音 频解码器也同样能将音频缓存区的访问单元解码并播放。 时间标签指明了访问单元应该被送出缓存区并进行解码的时间。解码器通过对时 间标签的解析，能精确的实现此访问单元和该节目的其他基本流同步解码，同时也避 免了缓存区的上溢和下溢u 。 图2 - 1 l 解码器模型 时间标签是一个表现时间的数值【1 4 1 ，在每个访问单元被编码时由编码