（信号与信息处理专业论文）mpeg2视频码率转换算法研究与地面电视信道仿真.pdf

i 毡子科技大学硕士论文m p e g 2 视频码率转换算法研究与地面电视信道仿真 摘要 论文主要列m p e g 一2 视频码率的实时转换算法进行了研究与实现，同时，介 绍了作者完成的s m c c p l u s 系统的仿真工作。 论文首先分析了数字电视的发展近况，并简要介绍了m p e g 一2 标准。随后对 课题涉及的码率转换器的结构及算法( 即：d c t 系数的处理与率控制算法) 做 了详细的论述，并且对文献中已发表的算法做了分析与比较。在作了大量的仿真 后，研究了m p e g 一2 视频码流的二次压缩的可能性及方法，并在此基础上提出 了一种实时的码率转换算法简称e q s p ，该算法为m q s p 算法的改进算法。主要 是在m p e g 一2 编码器的结构、d c t 系数的处理与码率控制算法三个方面做了改 进。特点在于：一方面简化了码率转换器的结构及d c t 系数的处理，使得其传 输编码的效率有较大的提高；另一方面改进了m q s p 算法的码率控制算法。仿 真结果表明，论文设计的码率转换算法对码流的二次压缩有较好的操控性，并且 在码率转换的运算速度与信嗓比损失的代价方面能够达到较好的平衡，满足应用 要求。该工作为四川省广电网络公司的预研课题，目的是下一步在干线机顶盒上 实现实时的码率转换，此工作由作者独立完成。 另外论文第六章介绍了作者完成的数字电视地面传输标准( s m c c p l u s ) 系 统方案仿真工作( 方案由电子科技大学提出) ，并详述了仿真的软件和硬件平台、 c 语言向s p w 的移植方法、模块的编写以及对所搭建系统的发射机与接收机中 的部分重要模块的算法改进。最后给出了该系统的整体结构及仿真测试结果。 作者在进行研究生课题期间主要完成以下工作； 独立完成了基于单环结构传输编码器的c 代码编写。 提出了一种实时的码率转换算法e q s p ，并完成了在p c 机环境下的 算法仿真。 完成了基于l i n u x 的s p w 通讯仿真环境的安装与调试。 提出并实现了对若干模块的算法改进：编写了信道估计与均衡模块 的c 代码；完成将全部算法模块从c 语言向s p w 的移植。 完成在s p w 环境对s m c c p l u s 数字电视地面传输标准方案的整个仿 真系统的搭建，并完成系统的联调。 关键词：m p e g - 2 、码率控制、码率转换、运动补偿、s m c c - p l u s 。 第】页 电子科技大学硕士论文m p e g 。2 视频码率转换算法研究与地面电视信道仿真 a b s t r a c t t h ed i s s e r t a t i o nd i s c u s s e sm a i n l yt h er e s e a r c ha n dr e a l i z a t i o ni nr e a l t i m ev i d e o t r a n s c o d e ra i m i n ga td y n a m i cr e d u c i n gb i t - r a t eo fm p e g - 2b i ts t r e a m s ；a tt h es a m e t i m e ，s m c c p l u ss y s t e ms i m u l a t i o ni sa l s oi n t r o d u c e d a tf i r s tt h e d e v e l o p m e n ta b o u th d t v a r ep r e s e n t e drt h e nt h em p e g 2s t a n d a r d i s s i m p l yi n t r o d u c e d t h e nt h ed i s s e r t a t i o n a l s od i s c u s s e st r a n s c o d e l sf r a m e w o r k d c tc o e f f i c i e n t sd i s p o s a la n dr a t ec o n t r o la l g o r i t h m a tt h es a l l et i m e ，w r i t e rm a k e s ac o m p a r i s o nw i t hd i f f e r e n ta l g o r i t h m si no t h e rp a p e r s a f t e rp e r f o r m i n gal a r g eo f s i m u l a t i o n s ，t h ep o s s i b i l i t yo fm p e g 一2v i d e os t r e a m sr e c o m p r e s s i o na n dm e t h o da r e r e s e a r c h e di nd e t a i l b a s e do nm q s p , w r i t e rp r o p o s e sar e a lt i m e t r a n s c o d i n g a l g o r i t h m ( e q s p ) w h i c hm a k eai m p r o v e m e n ti nt h et r a n s c o d e r sf r a m e w o r k ，d c t c o e f f i c i e n t s d i s p o s a la n dr a t e c o n t r o ls c h e m e o nt h eo n eh a n d ，t h et r a n s c o d e r s f r a m e w o r ka n dd c tc o e f f i c i e n t s d i s p o s a l a r ei m p r o v e do nw h i c hw i l li n c r e a s e t r a n s c o d i n ge f f i c i e n c y o nt h eo t h e rh a n d ，r a t e c o n t r o l a l g o r i t h m i s i m p r o v e do n w h i c h o p t i m i z et h el i n e a r i t yo f r a t ec o r t r 0 1 t h ei t e mi sar e s e a r c hi na d v a n c ef o rt h e s i c h u a nd o n g y i n gl t d c o ，f a c u s i n go nr e a l i z i n gt h er e a l - t i m eb i tr a tc o n t r o li nm a i n s t b ( s e t t o p b o x ) ，t h e t a s ki sc o m p l e t e d b ym y o w n 。 i na d d i t i o nt e r r e s t r i a ld t vt r a n s m i s s i o n p r o p o s a lp r o p o s e db yu e s t ci s i n t r o d u c e di nt h i ss i x t hc h a p t e ro fd i s s e r t a t i o n ，m e a n w h i l ed i s s e r t a t i o na l s oe x p l i c a t e t h ep l a t f o r mi ns o f t w a r ea n dh a r d w a r e 、t r a n s p l a n tm e t h o do f c p r o g l - a m s 、w r i t i n go f m o d u l e sa n d i m p r o v e m e n to fa l g o r i t h m i nt r a n s m i t t e ra n dr e c e i v e r a tl a s tt h e s t r u c t u r eo f s y s t e m a n ds i m u l a t i o nr e s u l t sa r e p r e s e n t e d w h a tw r i t e rh a v ed o n ei nt h ep r o j e c ta r el i s t e da sf o l l o w ： t r a n s p l a n t i n g cc o d ea b o u tt r a n c o d e rb a s e do n s i n g l el o o pf e e d b a c k p r o p o s i n gar e a l t i m et r a n s c o d i n gs c h e m e e q s p , a n dc o m p l e t et h e s c h e m e se m u l a t o ru n d e rp ce n v i r o m e n t 。 s t u d y i n g t ou s es p ws i m u l a t i o ns o f t w a r e s t u d y i n g t h e t h e o r y o ft e r r e s t r i a ld t vt r a n s m i s s i o n c r i t e r i o n ( s m c c p l u s ) e n h a n c i n ga l g o r i t h m s o fs o m e m o d u l e s ，w r i t i n g t h ecc o d eo f c o r r e s p o n d i n g m o d u l et h a tr e a l i z ee s t i m a t i o na n d e q u a l i z a t i o no f c h a n n e l ， a n d t r a n s p l a n t i n gc c o d ej ns p i 第1 1 页 电子科技大学硕士论文m p e g 一2 视频码率转换算法研究与地面电视信道仿真 c o m p l e t i n g c o n s t r u c t i o no fm o d u l ea n d s y s t e m ，c o m p l e t i n gd e b u g g i n g o f s m c c p l u ss y s t e m k e yw o r d ：m p e g 一2 ，b i t r a t e c o n t r o l ，t r a n s c o d i n g ，m o t i o nc o m p e n s a t i o n s m c c - p l u s 第f i i 页 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：日期：年月臼 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：导师签名 日期： 电子科技大学硕士论文m p e g - 2 视频码率转换算法研究与地面电视信道仿真 第一章引言 随着数字技术日新月异的发展，广播电视领域正面临着一场新的革命。从电 视节目编播、节目制作、节目存储、信号传送、信号接收都在向数字化方向高速 发展。数字广播电视的高质量节目、频谱资源的充分利用、新一代h d t v 和数 字音频广播的工程应用，以及多媒体交互数据广播业务的使用都将成为广播电视 的必然发展趋势。广播电视业由模拟向数字化的全面过渡已成为必然。 1 1我国数字电视广播的发展概况 中国数字电视产业仍处于起步阶段，中国的国情决定了中国电视系统的数字 化不可能一步到位，只能是有选择、分阶段进行。从数字电视的发展趋势来看， 中国数字电视发展将经历三个阶段：机顶盒、标准清晰度数字电视s d t v 和高 清晰度数字电视h d t v ，这三者将在一个很长的时期内并存。同时，由于中国数 字电视标准尚处于制定当中，中国数字电视完整的产业链尚未形成，数字电视产 业呈现方兴未艾的局面。 尽管如此，目前，我国的数字电视领域已取得了长足的进展，方面紧跟世 界广播电视的发展步伐，目前已建立起地面、卫星和有线电视和互联网广播的大 系统。基本完成了中央广播电视和省级主要广播电视节目的全国覆盖。9 0 年代 中期数字电视技术首先在卫星和有线电视领域获得应用，厂播电视新技术逐渐成 熟。另一方面，我国的数字电视广播也已初显雏形，其中卫星传输标准己于9 6 年确立，卫星传输基本上采用d v b s 标准。有线电视推出了“行标”。 在卫星传输方面，全国所有省、直辖市、自治区的节目已全部上星。几乎全 部的节目均已实现卫星数字广播，标志着我国数字化电视已取得了突破性进展。 在于线传输方面，随着近一、二年中央台和地方台开展的大规模广播电视专 用光纤网络建设，己逐步建成连接中央和各省之间直至地县级的广播电视宽带综 合业务网。可开通2 5 g b s 以上的宽带业务，网上可传送数百套数字电视广播和 各种数据、图文业务，可实现中央台、各省市和地方台节目互连互通，真正实现 全国有线电视大联网。目前各地正在加速本地接入网的数字化升级改造，以真正 实现数字直播到户。 1 2 论文选题依据及研究工作 通常卫星链路的m p e g 2 码流码率比较高，而本地电视网络前端信号源主 要来自于卫星等高码率的节目源，加之目前h f c 网络的电视节目采用数、模混 第l 页 电子科技大学硕十论文m p e g 一2 视频码率转换算法研究与地面电视信道仿真 合( 同播) 的传输方式，使得数字频道资源紧张。为了能在带宽有限的本地网络 中传输更多的节目，提供性价比好的码率转换设备具有现实的市场需求。 而且在未来，基于i n t e m e t 的数字电视广播及其他一些实时的视频传输服务， 如视频点播( v o d ) ，将会对有限的i n t e m e t 网络带宽带来极大的挑战。 尽管目前已有许多文献( 文献【1 】 4 1 【1 6 】等) 提出了相应的算法，但是 码率转换的实时性问题并没有很好的解决：因而怎样提高码率转换效率( 即保证 其实时性) ，而又能保持合理的信噪比，是很有实用意义的工作，也是作者论文 的主要研究课题。 另外码流转换的研究工作对信道资源珍贵的地面广播尤为重要。为此结台我 国的数字电视地面传输标准的方案征集项目，作者进行了地面数字电视 s m c c - p l u s 方案的仿真研究与计算机仿真。 该工作由国家发改委下达，是中国工程院主持的国家地面数字电视传输标准 融合方案的一个分课题。整个仿真工作组分为两个大组，测试组与被测组；测试 组分别是北京大学，西安交通大学，北京航空航天大学，北京邮克大学及国防科 技大学。被测组则包括清华大学，上海交通大学，电子科技大学，西安电子科技 大学，广播科学研究院。各被测方都分别提出了自己的数字地面电视标准，我校 提出的方案称为s m c c - p l u s 。 1 3 论文结构 本文总共分为五个章节，内容如下： 第一章是本文主题的导引，包括数字电视的发展近况及其趋势。 第二章对m p e g 2 标准做一个简要的介绍，主要是视频流部分。 第三章论述了几种实时的码率转换算法，包括其结构、特点、算法的思想及 算法的比较。 第四章论述了m p e g 2 码流的二次压缩的可能性及方法，并提出了一种基于 帧级和宏块级的动态率控制实时码率转换算法( e q s p ) 。 第五章介绍了码率转换的c 语言实现，并给出在该平台上的e q s p 算法的 仿真结果与分析。 第六章介绍了数字电视地面传输方案( s m c c - p l u s ) 的系统仿真工作，包括 系统仿真的软件及硬件平台、发射机与接收机的组成、模块的搭建及相应算法的 实现，最后给出了该系统的整体结构及测试结果。 第七章对本沦文的工作做了总结。 第2 页 电子科技大学硕士论文m p e g 2 视频码率转换算法研究与地面电视信道仿真 第二章实现m p e 6 - 2 码流码率转换的基础 本章主要介绍了m p e g 2 标准码流码率转换的一些基本知识，主要包括以 下几个方面。 m p e g 一2 视频压缩技术概述。 m p e g 一2 视频压缩的特点。 视频码流的编码过程。 视频码流的解码过程。 下面对这几个方面做迓一介绍。 2 。1m p e g 2 视频压缩技术概述 m p e g 一2 标准包括系统、视频和音频等部分内容。系统部分是将一个或更多 的音频、视频或其他的基本数据合成单个或多个数据流，以适应于存储和传送。 m p e g 一2 系统支持五项基本动能： 解码时多压缩流的同步。 将多个压缩流复用成单个的数据流。 解码时缓冲区初始化。 缓冲区管理。 时间识别。 m p e g 2 标准的压缩编码系统可有两种方法，其编码输出包括节目流( p s ) 和传输流( t s ) 两种定义流。节目流和m p e g 1 系统定义的流相似；而传送流 是一种用来传送节目的编码数据。 m p e g - 2 视频体系要求保证与m p e g - 1 视频体系向下兼容，并力求满足在存 储媒体、会议电视可视电话、数字电视、高清晰度电视( h d t v ) 、广播、通信、 网络等应用领域中对多媒体视频、音频通用编码方法同益增长的新需要。例如分 辨率要求有低( 3 5 2x 2 8 8 ) 、中( 7 2 0 x4 8 0 ) 、次高( 1 4 4 0 x1 0 8 0 ) 、高( 1 9 2 0 x1 0 8 0 ) 不同档次；压缩编码方法也要求从简单到复杂有不同等级。 文献【1 3 1 中的m p e g 一2 国际标准详述了数字存储媒体和数字视频通信中 的图像信息的编码和解码过程。m p e g - 2 标准支持固定比特率传送、可变比特率 传送、随机访问、分级解码、比特流编辑以及一些特殊功能，如：快速播放、快 退播放、慢动作、暂停和画面冻结等。m p e g 2 视频标准兼容s d t v 、h d t v 。 m p e g 一2 标准的数据格式，主要应用于数字存储媒体、视频广播和通信。 第3 页 j 也v f 科技大学硕士论文m p e g 一2 视频码率转换算法研究与地面l 也视信道仿真 存储媒体可以直接与m p e g 一2 解码器相连，或者通过总线、局域网、电信通信 线路等通信手段与其相连。所以符合m p e g 2 标准的数据，可以在现在或未来 的网络上传送、接收和在广播信道上传播。 2 j j 框架和级别 框架是m p e g 一2 标准中定义的语法的子集。级别是m p e g 2 标准规范的一 个特定框架中的参数所取值的集合。一个框架可以包含多个级别。m p e g 一2 标准 为了实现一个完整的语法体系，通过框架和级别的方式来约束有限数目的语法子 集。给定某框架所规定的语法范围后，比特流参数的取值仍然要影响编码和解码 过程，所以在每个框架中定义了“级别”。级别是一个对比特流各参数进行限定 的集合。例如，m p e g 一2 图像规范中，以帧宽( 水平像素数) ，帧商( 垂直像素 数) 和帧率( 帧数s ) 的乘积作为约束分辨率等级参数：低级3 5 2 x 2 8 8 x 2 97 9 基本级【7 2 0 x 4 8 0 x 2 9 7 9 1 7 2 0 x 4 8 0 x 2 5 ，次高级 1 4 4 0 x 1 0 8 0 x 3 0 1 4 4 0 x 1 0 8 0 x 2 5 ，高 级【1 9 2 0 x 1 0 8 0 x 3 0 1 9 2 0 x 1 0 8 0 x 2 5 。框架和级别提供了一种定义m p e g 一2 规范的语 法和语义的子集的手段。框架和级别限定之后，解码器的设定和解码校验，就可 以针对限定的框架在限定的级别中进行。同时以框架和级别的形式定义规范，为 不同的应用领域之间的数据交换提供了方便和可行性。 2 1 2 视频压缩编码的数据结构 m p e g 2 视频压缩编码的视频数据结构是分层的比特流结构，第一层称为基 本层，基本层可以独立被解码，其他层称之为增强层，增强层的解码依赖于基本 层。基本层的结构与m p e g 1 相一致。视频数据结构的编码比特流包括有视频 序列层、图像组块层、宏块层、和块层。视频序列从视频序列头开始，后面紧接 着是一系列数据单元。当序列头中除了包括有序列头函数 s e q u e n c e h e a d e r ( ) 1 之 外，还有序列扩展函数 s q u e n c e e x t e n s i o n ( ) 】，这时，m p e g 一1 规范不适用，只适 用于m - p e g 2 规范。在视频序列头中编码扫描方式为逐行、隔行。图类型为i 图，p 图，b 图，i 图使用自身图进行编码，p 图是使用先前的i 图或p 图信息预 测的编码图，b 图是出过去或将来的i 图和p 图双向预测的编码图。为了提供随 机访问的功能，在编码比特流中可以有重复序列头出现，重复序列头只可以在i 图或p 图前面出现，不能在b 图前面出现。i 图用以解决视频序列的随机访问的 需要，如节目重播、快进播放或快退播放等。 视频序列层之下是图像组块层，组块是是由宏块构成，一个组块可由多个宏 块组成。宏块结构可有三种格式： 4 ：2 ：0 格式，一个宏块由六个块组成。其中包括四个亮度( y 块) ，两 第4 页 电子科技大学硕十论文m p e g 一2 视频码率转换算法研究与地面电视信道仿真 个色差块( c b 块和c r 块) 。 4 ：2 ：2 格式，4 ：2 ：2 格式是由八个块组成。其中包括四个亮度( y ) 块， 四个色差块( 两个c b 块和两个c r 块) 。 4 ：4 ：4 格式，这种宏块结构由1 2 个块组成。其中包括四个亮度( y ) 块，八个色差块( 四个c b 块和四个c r 块) 。 对帧图使用d c t 编码的宏块结构和对场图使用d c t 编码的宏块结构是不一 样的。帧d c t 编码中，每个块由两场扫描行交替组成；场d c t 编码中，每个块 仅由两场中之一的场扫描行组成。 组成宏块的块是d c t 变换的最基本单元。块尺寸为8 8 ( 以图像像数数为 单位) 。像素即图像采样样本，是画面显示的最小单元，其尺寸取决于分辨率。 每个像素携带有亮度y 和色度信号c b 、c r 信息。m p e g 一2 视频采样格式也有 三种：4 ：2 ：0 、4 ：2 ：2 、4 ：4 ：4 。 一般来说在编码视频图像时，对编码的输入图像做了三种分类：( 1 ) ：仅使 用自身信息进行编码的图即i 图( 作内部编码) 、( 2 ：与过去的j 一图和过去的 p 一图使用运动补偿预测进行编码的图即p 图( 作预测编码) 、( 3 ) ：与过去的和( 或) 将来的i 图或p 一图使用运动补偿预测进行的编码的图即b 图( 作双向预测) ；稍后 将会详细介绍这三种算法。 编码的比特流中的最高语法结构就是视频序列。一个视频序列以个序列头 开始，后面可选地跟着一组图像的头和个或更多的编码帧。而在一个视频序列 的不同地方，某一特定的编码帧的前面可能会有一个重复的序列头或一组图像的 头，或两者都有( 主要是为了防止因视频数据损坏而造成无法解码的情况而加 的) ，具体的语法与语义可参见附录的参考文献【1 】。视频序列其通常是以一个 序列终止码( 即s e q u e n c ee n dc o d e ) 终止。 编码帧在编码比特流中的顺序就是解码器处理它们的顺序，但并不一定就是 显示顺序：下面是从一个视频序列中的开始部分取出的图像的例子。在本例中， 在顺序的p 一帧问有两个编码b 帧，或者在顺序的i 一帧和p 帧有两个编码b 一帧。 帧1 i 用来为帧4 p 形成预测。帧4 p 和1 i 共同用来为帧2 b 帧形成预测。由此 编码序列中的编码帧的顺序应该是1 i “4 p “2 b “3 b 。而解码器按1 i “2 b “3 b “4 p 的顺序显示它们。 在编码器输入 第5 贞 电子科技大学硕十论文m p e g 2 视频码率转换算法研究与地面电视信道仿真 从编码器输出、在编码比特流中，并在解码器的输入 在解码器输出 连续的编码b 帧的数目是可变的。在顺序的编码p 一帧( 或编码i 一帧和p 一帧 之间) 间可能不出现b 一帧。每组连续的b 帧在比特流中的顺序就是它们在解码 器输出端显示的顺序；另外要有两点值得注意( 1 ) ：在一个序列中可能不包含p 一帧； ( 2 ) ：一个序列也不可能仅由编码b 帧组成。( 3 ) ：一般来说i 图用来帮助对序列 随机访问。需要用到随机访问的各种应用，如快进播放或快退播放可能使用i 图更频繁些。i 一图也用在场景切换或其他用不上运动补偿的情况中。 m p e g 2 的视频编码对逐行和隔行序列的编码均可处理；对于隔行序列来 说，解码过程的输出有一系列以场周期按时间分开的重构场组成。一帧的两个场 可以被分开编码( 场图) ，或者，两场都可以作为一个帧而共同编码( 帧图) ，帧 图和场图均可被用在一个单视频序列中。( 1 ) 在逐行序列中，序列的每个图都是 个帧图。在解码过程的输出端，序列由一系列以帧周期按时间分开的重构帧组 成。一个帧由三个整数矩形阵组成：一个亮度矩阵( y ) 和两个色度矩阵( c b 和 c r ) ；( 2 ) 在隔行序列中，代表一帧的三个整数矩阵的隔行样点组成场。( 3 ) 帧 是一个顶场和个底场的合并，( 4 ) 场图使用时总是成对出现的( 个顶场图和 一个底场图) ，共同构成一个编码帧。组成一个编码帧的两个场图在比特流中编 码的顺序应是在解码过程输出端出现的顺序。当编码帧的第一幅图是一个p 图 时，第二幅图也将是一个p 一图。类似地，当编码帧的第一幅图是个b 一图时， 编码帧的第二幅图也将是一个b 图；当编码帧的第一幅图是i 图时，该帧的第 二幅图也将是一个i 图。( 5 ) 当使用帧图对隔行序列编码时，这阵的两个场应互 相交互，然后整个帧作为单的帧图编码。 同样的，一个重构图是通过对一个编码圈的解码获得。一个编码图也就是由 一个图像头，紧跟其后的是可选扩展以及图数据组成。个编码图可以是一个帧 图或一个场图。一个重构图可以是一个重构帧( 当对一个帧图解码时) ，或是一 个重构帧的一个场( 当对一个场图解码时) 。 第6 页 电子科技大学硕十论文m p e g - 2 视频码率转换算法研究与地面电视信道仿真 2 2m p e g 视频压缩的特点 2 2 , 1m p e g 视频压缩技术的应用性 随机存取。随机存取是存储媒介上视频信息必不可少的特点。随机 存取要求能在被压缩的视频位流中间进行存取，并且能在限定的时 间内对视频的任一帧进行解码。随机存取意昧着存在可随机存取的 单元，即某段信息编码的结果仅与该段自身的信息有关。在质量不 下降的前提下，随机存取时间大约可达o 5 s 快速正向逆向搜索。根据存储媒介的特点，对压缩数据流可进行扫 描和利用合适的存取点来显示所选择的图像，以实现工j 三向快速搜索 和逆向快速搜索。 逆向重播。交互式的应用有时需要视频信号能够逆向重播，但并非 所有的应用都需要在逆向重播时保持完好的画面质量。 视听同步。视频信号应该准确的与相关的音频信号相同步。如果音 频和视频信号，分别由两个稍有差别的时钟产生，那么应该提供一 个机制，使这两个信号能够持久地重新同步。同步特性是由m p e g 小组提出的，m p e g 小组定义一个用于多音频，视频信号同步和合 成的工具或手段。 容错性。大多数数字存储介质和通信并不是不产生错误的。所以希 望有一个合适的信道编码方案能适用于多种应用。并且要求这种编 码方案对残存的未被校正的误差有强的鲁棒性，这样即使是在有误 差的情况下，也能避免编码失败。 编码解码延迟。在视频电话的应用中，必须能够保证系统的延迟时 间低于1 5 0 m s ，以保证这种面对面进行对话的应用质量要求。某些 应用中，可以允许一个较长的延时，这种情况要求编、解码延迟不 超过l s 。传输质量和延迟在一个相当的范围内是可以折衷考虑的， 因此压缩算法应在可接受的延迟范围内可充分地被执行。延迟时阔 可被看作为一个闽值参数设定。 除了以上所述的特点之外，视频压缩技术具有可编辑性和灵活格式， 运用计算机视频窗口技术，以支持各种格式，允许各种光栅尺寸( 视 频屏幕的宽、高) 和帧速率等。同时要求编码方案的实时完成，解 码器尽可能用到少量的芯片实现，以控制成本不致过高。 第7 页 b 子科技大学硕士论文 m p e g 一2 视频码率转换算法研究与地面电视信道仿真 2 2 2 压缩编码的精髓 m p e g v i d e o 图像压缩技术基本思想利方法可以归纳成两个要点：在空问方 向上，图像数据压缩采用j p e g 采用的压缩算法来去除掉冗余信息。在时间方向 上。图像数据压缩采用运动补偿( m o t i o nc o m p e n s a t i o n ) 算法来去除冗余信息。 m e p g 视频压缩技术是针对运动图像的数据压缩技术。为了提高压缩比，帧 内图像数据压缩和帧问图像数据压缩技术必须同时使用。帧内压缩算法，采用预 测法和插补法，预测法有因果预测( 纯粹的预测编码) 和非因果预测，即插补编 码。预测误差可通过d c t 变换编码处理，进一步压缩。帧间编码技术可减少时 间轴方向的冗余信息。 2 2 2 1 时域冗余量的减少 m p e g 采用了三种类型的图像，帧内图( i n t r a p i c t u r e si ) ，预测图( p r e d i c t e d p i c t u r e s p ) 和插补图，即双向预测图( b i d i r e t i o n a lp r e d i c t i o n b ) 。帧内图可提供 随机存取的存取位置；帧间插补可减少时域的冗余信息。帧内预测编码时，要用 到先前( 过去) 的图( 帧内图或预测图) ，当前的预测图通常又作为后面( 将来) 的预测图的参考值；双向预测图的数据压缩效果最显著，但是它在预测时需要先 前和后面的信息，另外，双向预测图不能作为其他图的预测参考图。帧内图( i ) 和预测图( p ) 即双向预测图( b ) 沿时间轴上的顺序排列如图2 2 1 所示。 前向预测 双向预测 图2 2 1 帧间编码 m p e g 中这些图的组织结构是十分灵活的，它们的组合可由应用规定的参数 第8 页 电子科技大学硕士论文m p e g - 2 视频码率转换算法研究与地面电视信道仿真 来决定，如随机存取和编码延迟等。图2 2 1 的图例中各帧是沿时间轴方向排列， 每8 幅中一幅帧内图( i ) 、幅预测图( p ) 、6 幅插补图( b ) ；( b ) 图处于( i ) 图和( p ) 图之间。( i ) 、( p ) 和( p ) 、( 】) 之间各包括3 个( b ) 图。 ( 1 ) 运动补偿：运动补偿是减少帧序列冗余信息的有效办法。运动补偿是基 于1 6 1 6 子块的算法，每个子块可作个二维的运动矢量处理。运动补偿实际 上是- , e e 广义的预测技术，它适用于单纯性预测( 因果预测) 和非因果预测( 插 补) 。运动补偿预测是以子块( 1 6 1 6 ) 为预测单元，把当前子块认为是用先的 ( 过去) 的局部图像，来预测当前的局部图像，1 6 1 6 的运动矢量块是预测误 差，它必须进行编码、传送、以供解码时恢复图像用。 运动补偿中的非因果性预测，即插补编码是基于时间轴上的多分辨率技术。 是对时间轴( 帧序列方向) 方向上低分辨率的子信号进行编码。比如通常仅对帧 率为0 5 ( 1 5 帧秒) 或帧率为1 3 ( 1 0 帧秒) 的低分辨率图像进行编码，然后做 图像插补即附加校正t 最后得到满分辨率的图像信号。插补法重建满分辨率图像 信号的方法是：把校正信息加到前面和后面参考图像中组合而成。图2 2 2 示出 由参考图得到运动补偿图的插补方法示意图。 图2 2 2 运动补偿插补法 运动补偿插补编码，也叫双向预测编码。通过双向预测编码，可以获得一个 高的压缩比。一个电视图像的帧序列中，不能全是插补图b ，b 图必须由参考图 进行插补，参考图可以是顿内图( i ) 或预测图( p ) ，b 图不能作为参考图。在 两个参考图之间出现双向预测图b 的频度是可选择的。当增加参考图和预测图 之间b 图的数目时，将会减少b 图与参考图之间的相关性。b 图数目的选择与 被编码的图像景物有依赖性，对大多数景物来说，参考图以大约十分之一秒的间 隔隔开较为合适。 图2 2 3 示出一个视频序列中帧图显示顺序的例子，这也是帧编码器输入帧 图的排列顺序。图中第二行是编码器输入帧图的编号，第一行表示帧图属性m 1 第9 页 电子科技大学硕十论文 m p e g 一2 视频码率转换算法研究与地面电视信道仿真 图、( p ) 图、( b ) 图】。 i b b p bb p b b pb b pb b ib 1 3 pb b p b b p b b pb b 1234 567891 01 1 1 2 1 31 4 1 5 1 61 7 1 8 1 92 0 2 1 2 22 3 2 4 2 52 6 2 7 2 8 2 9 3 0 图2 , 2 3 按图像显示次序排列舶图像流 如图所示：包括两幅帧内图( i ) 、8 幅预测图( p ) 、2 0 幅双向预测图( 插补 图) ( b ) ；在i 参考图和p 参考图之间有两幅插补图( b ) ，在两个p 参考图之间 有两个b 图。 由于i 图、p 图、b 图三者之间存在因果关系。如第4l 帧p 图由第1 帧i 图 预测。第一帧i 图和第4 帧p 图共同预测出它们之间的双向预测b 图，所阻接受 端解码器的输入( 发送端编码器的输出) ，不能按照图2 2 3 的顺序，而是按照图 2 2 4 的扫 歹0j l 顷序： 12 3456 7891 01 11 21 3 1 6 1 41 5 ipbbpbbpbbpbbibb 图2 2 4 解码器输入顺序 ( 2 ) 运动表示：m p e g 标准中，运动补偿估算是基于1 6 1 6 的块为单元表 示的。这样的补偿单元称为宏块。宏块头有不同的类型。比如在双向预测图( b ) 中的每个1 6 1 6 的宏块，可以是帧内型的，前向预测型的，后向预测型的或者 是平均型的。表2 2 1 示出b 图中宏块的预测方式 宏块类型 预测器 预测误差 帧内 ，l ( x ) = 1 2 8i i ( x ) 一1 i ( ) 前向预测 ，i ( x ) = - o ( x 十mr 们)1 ( j ) 一i 、( 1 后向预测 1 l ( ) = 12 ( x + 口fr2 i ) ，j ( x ) 一1 1 ( ) 前后预测 m g - ) = f ，。( f + m 死t ) + 1 2 ( f ) + 旺) i 1j ( ) 一，( ) 表2 2 1b 图中宏块的预测方式 对于一个给定的宏块，其预测器的表达式，玮憋于参考图( 前向和后向) 和 运动矢量。以f 向量代表宏块中象素点的坐标：脚v a t 代表宏块相对于参考图t n 的运动矢量( 块位移) ，my 。，代表宏块相对于参考图，：运动矢量( 块位移) 。 从表2 2 1 中看出，b 图中每个1 6 1 6 宏块的预测值，是由前向和后向参考图的 第l o 页 电子利技大学硕士论文 m p e g 。2 视频码率转换算法研究与地面电视信道仿真 预测值产生( 考虑运动矢量mv o l 和，n 眨一附加信息) 。前向预测时，取决于一 个运动矢量mv 。t ：后向预测时，同时取决于两个运动矢量mv o l 和m v z ，。 采用宏块运动补偿方法，可减少电视图像帧间完整图像传送帧数，去除冗余 信息，获得高压缩比和良好重建图像质量的压缩效果。 ( 3 ) 运动估算。运动的估算涉及到从视频序列中抽取运动信息所使用的一 整套技术。m p e g 标准说明了怎样表示运动信息，根据运动补偿的类型：前向预 测、后向预测和前后向预测，每个1 6 1 6 的宏块中可包含有一个或两个运动矢 量，不过m p e g 标准并没有说明运动矢量的求取方法。但是由于基于块的运动 表示算法是按照尽量减少匹配误差的方法来获得运动矢量，这个匹配误差可由一 个表示该块与每个预测的候选块之间的不匹配程度的代价函数来测量。设m ； 时当前帧图像，中的一个块，v 时相对与参考图，的位移量，那么有最佳匹 配获得的运动矢量表达式，可由式2 2 1 表示( 见文献【1 4 】) ： d e i c ( f ) 一，( 2 - - + f ) x v ( v 是一个v 变量的集合) 其中运动矢量的可能搜索范围和匹配误差函数d 的选择，可在实现过程完 成。穷举搜索对全部可能的运动矢量都作了考虑，结果会好，但是这个结果是以 很大的计算复杂性为代价而得来的。所以在实现过程中，必须对运动矢量场的质 量与运动估算过程的计算复杂性折衷考虑。 2 2 2 2 空域冗余量的减少 电视图像的帧内图像和预测误差信号，都有很高的空域冗余信息。可用于减 少空域冗余信息的技术很多，m p e g 优先考虑了基于块的技术。在基于块的空间 冗余技术领域中，变换编码技术和矢量量化编码技术是两种可选用的方法。离散 余弦变换( d c t ) 编码有明确的优点和相对简单的实现方法，有d c t 技术与视 觉加权标量量化及行程编码和熵编码技术，是被优先考虑的变换编码技术。 m p e g 标准用d c t 技术进行帧内图像的数据压缩编码，与j p e g 标准对静止图 像的压缩编码和c c i t t h 2 6 1 标准中可视电话压缩编码处理方法是相同的。这三 个国际标准中都采用离散余弦变换编码方法。基于d c t 的变换编码技术可简单 归纳如下： 离散余弦变换( d c t ) 、对变换系数进行量化( 包括量化、z 字扫描、行程 编码) 及熵编码三个阶段。其过程如图2 25 所示。 第1 1 页 电子科技大学硕士沦文m p e g 2 视频码率转换算法研究与地面电视信道仿真 图像采样点( 空域) 变换系数( 颠域) z 形扫描( 频域) 77 7 , 7l , - -l f , f e e , y i 7 形 7 k y t 7 ， 。v 。，一 y z7 7i 1 ，j 。_w- 己 卅z f 一强7zd 图2 25 d c t 变换编码步骤 ( 1 ) 离散余弦变换( d c t ) 。离散余项变换，是把一个8 8 空间窗口( 块) 的图像采样数据，或者是预测误差数据，作为离散余弦正交变换，得出6 4 个变 换系数。 f 2 ) d c t 系数的量化是一步关键的操作，因为量化器结合行程编码使大部分 数据得以压缩。通过量化器的量化操作，使编码器能够让它的输出与给定的位速 率匹配。自适应量化是达到视觉质量的关键手段之一。因为m p e g 标准具有像 j p e g 标准那样的帧内图像的d c t 变换编码，还要处理像c c i t th 2 6 1 建议中 的宏块预测误差的d c t 变换编码：所以m p e g 标准兼有两个标准的特性，具有 一套非常精确灵活的方法以处理d c t 的系数的量化。 视觉加权量化：量化误差的主观感觉随d c t 系数的频率可有很大的变 化，利用这一特性可对高频系数作比较粗的量化。精确的量化矩阵依赖 于许多外部参数，诸如图像的显示特性，观察距离和源图像中的噪声数 量，因此随某种应用或者甚至对一个单独的序列设计一个专用的量化矩 阵是合理的。一个特别的矩阵可作为编码环境和压缩的视频数据一起存 储。 第1 2 页 电子科技人学硕= l 论文m p e g 一2 视频码率转换算法研究与地面电视信道仿真 帧内块和非帧内块量化的比较：对于来自帧内块的信号的量化，应不剧 于有预测或插补得来的信号的量化。帧内编码的块包含所有频率的能 量，如果量化太粗的话，很可能产生块效应。另外，预测误差类型的块 主要包含高频，可作更粗的量化处理。假设编码过程可以精确地预测低 频，那么预测误差信号的低频分量一定是很小的，假如不是这样，在编 码时就要采用帧内块类型，帧内块类型与差分编码块类型的差别导致使 用两种不同的量化器结构，虽然两种量化器都是接近均匀的量化器( 有 一个固定的步长) ，但它们在零附近的特性是不相同的。帧内量化器没 有死区( 即：量化位零值的区域比步长要小，而帧外量化器有一个大的 死区) 。图2 2 5 所示为两个量化器在步长都为2 时的量化特性。 ji 亘化玻 i 死区的量化嚣 ( 非帧内块) 9 二广 j 3 、_ 。 一2 - 1 68l o 暴 “ - - 7 i 亘化玻 死区的量化器 非帧内快) 9 二广一 ， 一已；68 加薪 图2 2 6