（信息与通信工程专业论文）空间受限系统中视频解码器的研究与硬件实现.pdf

浙江大学硕士学位论文 摘要 近年来，国际上对数字电视的研究不断出现重大进展，孕育着电视视听技术 的一场革命性变化，即从模拟走向全面数字化。2 l 世纪是数字化的信息时代， 数字电视和高清晰度电视成为人们关注的焦点。随着高清晰度电视的普及和数字 视频广播系统的进一步推广，人们不但可以享受到高清晰的图像带来的乐趣，还 可以进行交互式的双向信息传输，包括节日点播、浏览i n t e r n e t 、发送电子邮件、 实现网上购物和网上银行等新功能。 数字电视的关键技术是m p e g 2 编解码。m p e g 2 作为一种国际标准，已经 在数字电视、高清晰度电视、多媒体技术领域以及数字视频广播( d v b ) 中获得 了广泛的应用。 本文首先简单介绍了数字电视相关知识和视频压缩基本原理及常用的视频 编码标准。然后，详细分析了m p e g 2 视频编码的关键技术、编码的码流层次及 图像类型，以及框架和级别。在第三章中，本文分模块阐述了视频解码器各模块 功能的实现，包括变长码解码( v l d ) 、 弦变换( i d c t ) 、运动补偿( m c ) 等。 反扫描( i s ) 和反量化( i q ) 、反离散余 在第四章中，本文重点探讨了空间受限 系统中视频解码器实现的几种方案及其各自的优缺点，以及外部帧存储器的优化 设计。最后，本文总结了所做的工作，并对将来的 作提出建议和展望。 关键词：数字电视，m p e g 2 ，视频解码器，空间受限 浙江犬学硕士学位论文 a b s t r a c t r e c e n t l y ，t h e r ea r r em a n yb r e a k t t u o u 曲si nt h er e s e a r c ho fd t v ( d i g i t a lt e l e v i s i o n ) w o r l d w i d e a u d i o v i s u a lt e c h n o l o g yi sn o wu n d e rr e v o l u t i o n a r yc h a n g e t h e21 “ c e n t u r yi sad i g i t a li n f o r m a t i o ne p o c h d i g i t a lt e l e v i s i o na n dh d t v 任 i g h d e f i n i t i o n t e l e v i s i o n ) b e c o m et h ef o c u so fa t t e n t i o n w h e nh d t vi sp o p u l a rt op e o p l ea n dt h e d i g i t a lv i d e ob r o a d c a s t i n g ( d v b ) s y s t e mi se q u i p p e d ，p e o p l ec a ne n j o yn o to n l yh i g h d e f i n i t i o np i c t u r e sb u ta l s ot h et r a n s m i s s i o no fb i d i r e c t i o n a li n t e r a c t i v ei n f o r m a t i o n ， w h i c hi n c l u d e ss o m en e wf u n c t i o n s ，s u c ha so r d e r i n gp r o g r a m ，b r o w s i n gi ni n t e r n e t ， s e n d i n ge - m a i l s d o i n ge - s h o p p i n ga n dc a l l i n go ne - b r e a k t h ek e yt e c h n o l o g yo fd t vi sm p e g - 2c o d i n ga n dd e c o d i n g a sa ni n t e r n a t i o n a l s t a n d a r d ，m p e g 一2i sa p p l y i n gw i d e l yt od i g i t a lt e l e v i s i o n ，h d t v , m u l t i m e d i a t e c h n o l o g ya n dd v b f i r s t ，t h i sp a p e rs i m p l yi n t r o d u c e sd i g i t a lt v , v i d e oc o m p r e s s i o np r i n c i p l e sa n dt h e s t a n d a r d si nc o m m o nu s e t h e n ，i tc a r e f u l l ya n a l y z e st h ek e yt e c h n i q u e so fm p e g 一2 v i d e oc o d i n ga n di t sc o d e ds t r e a m sh i b e r a r c h y ，p i c t u r et y p e s ，p r o f i l e sa n dl e v e l s i n c h a p t e rt h r e e ，i te x p m i a t e st h em o d u l e si nt h ev i d e od e c o d e rs e p a r a t e l y ，i n c l u d i n g v a r i a b l el e n g t hd e c o d i n g ( v l d ) ，i n v e r s es c a n ( i s ) i n v e r s eq u a n t i z a t i o n ( i q ) ，i n v e r s e d c t ( 1 d c t ) ，a n dm o t i o nc o m p e n s a t i o n ( m c ) i nc h a p t e rf o u r , t h i sp a p e rf o c u so n s e v e r a ts c h e m e so nt h ei m p l e m e n t a t i o no fv i d e od e c o d e ri nt h es p a c er e s t r i c t e d s y s t e m ，p r e s e n t st h e i ra d v a n t a g e sa n dd i s a d v a n t a g e s ，a n dt h eo p t i m i z a t i o no ft h e o f f - c h i pf r a m es t o r a g e f i n a l l y , i ts u m m a r i z e st h ew h o l ep a p e ra n dg i v e sa d v i c ef o r f u t u r ew o r k k e yw o r d s ：d i g i t a lt v , m p e g 一2 ，v i d e od e e o d e r ，s p a c el e s t r i e t e d 2 浙江大学硕士学位论文 第一章绪论 1 1 本文研究背景 数字电视是当前蓬勃发展的一个产业，是目前发达国家争夺激烈的一个技术 制高点，从一个侧面反映了一个国家i t 产业的综合实力。数字电视概念的含义 不仅是指我们一般人家中的电视接收机，而是包含了从发送、传输到接收的全过 程。由电视台送出的图像及声音信号，经数字压缩和数字调制后，形成数字电视 信号，经过空中无线方式或电缆有线方式传送，由数字电视接收机接收后，通过 数字解调和数字视音频解码处理还原出原来的图像及伴音。因此，数字电视就是 在电视台播出节目和电视机接收节目全过程都采用数字技术进行处理的电视。它 与目前的模拟电视系统在传输方式上是完全不同的。电视节目从摄制、编辑、播 送、传输、接收到显示的全过程均采用全数字化的技术处理，因此，信号在整个 过程中的损失大大减小，接收到的电视节目质量可以达到与演播现场一样的水 平。 电视信号数字化的好处在于： ( 1 ) 图像清晰度好，音频质量高， ( 2 ) 传输效率高； ( 3 ) 数字电路成本低、无需调整、 ( 4 ) 提供全新的多业务用途。 支持5 1 声道的数字环绕声节目源 调谐，生产成本降低，维修也较容易； 随着数字传输和处理技术的发展数字电视相对于传统模拟电视的优势体现 得越来越明显。数字电视接收机中，主要包括信道解调、信源解码、视频后处理 三个核心芯片。其中信源解码国际上统一采用m p e g 2 标准，m p e g 2 解码芯片 也成为当前最有市场开发价值的数字电视核心芯片之一。 我国的消费类电子产品如v c d 、d v d 、数字电视等，其关键芯片和主要设计主 要由国外商家提供。因此，虽然国内生产厂家众多，产量很大，但因为没有掌握 其中的关键技术和设计思想，产品的技术附加值很低。氏此下去，我国消费类电 子产品的生产厂家将继续成为国外芯片厂家的组装厂，整个行业的技术命脉也将 牢牢地被国外厂家控制，这样不仅经济上损失惊人，而且巨大的消费市场也将长 期被国外厂商垄断。因此自行研制数字电视信源解码芯片，对于打破国外的技术 垄断和振兴我国的民族产业都具有极为重要的现实意义。 1 2 视频压缩基本原理 在信息论中，通过减小冗余而进行的数据压缩处理称为信源编码。视频序列 浙江大学硕士学位论文 含有三类冗余：统计冗余、心理视觉冗余和编码冗余。统计冗余表现为图像信号 在时域和空域的高相关性；一心理视觉冗余起源于人跟对某些空间频率的感觉迟 钝；编码冗余表现为符号编码平均码长和信源熵之间的偏差。研究视频信号中冗 余消除方法，实现信息传输、存储和处理的有效性和可靠性是视频编码的关键问 题。 按照压缩后的数据是否能够完全还原成原始数据进行划分，信源编码可以分 为无损编码和有损编码。无损压缩可以精确地复原原始数据。s h a n n o n 第一定理 指出了无损编码中平均码长和信源之间的关系，同时也给出了编码平均码长的极 限。 无损压缩的常用方法有h u f f m a n 编码、游程编码r l c ( r u n 1 e n g t hc o d i n g ) 等。 但无损编码的压缩比通常比较低，约在2 ：l 左右“1 ，不能达到视频应用对压缩比 的要求。例如在d v d 上存储两个小时c c i r 6 0 】电影，需要将码率降低到5 m p b s 左右，这就是说，编码的压缩比至少要达到3 3 ：l ，仅采用无损编码技术很难达 到这样的压缩比。随着有损压缩编码技术的发展，分形、小波和混合 d p c m t ( d i f f e r e m i a lp u l s ec o d i n gm o d u l a t i o n t r a n s f o n n l 的等编码方案已经成功 地解决了这个问题“，。 不同于无损编码，有损编码采用折衷的方法，以一定的失真换取压缩比的增 加。目前，d p c m t 是一种主流的有损编码方案，现在所有的视频编码标准都是 采用这种方式“”。“”“”“”“，它在使用r l c 、h u 行耐a i l 编码或算术编码消除编码 冗余外，还使用d p c m 消除视频信号的时域冗余，使用变换消除空域冗余。 d p c m 的基本原理是基于图像相邻像素之间具有较强的相关性。每个像素可 以根据以前已知的像素值预测。因此，在编码中传输的不是像素取样值本身，而 是取样值的预测值和实际值之间的偏差。d p c m 的实现相对简单，已被各种视频 编码标准采纳用来消除视频信号的时域相关性”“7 ”1 【”“啦“”3 。 经过三十多年的研究历史，变换编码已被证明是一种高效的图像压缩方法， 是迄今为止所有有损编码舀际标准的基础，它可以有效消除图像数据之问的空间 相关性。基本的变换编码是把图像分割成块，逐块进行二维正交变换、量化，最 后对量化后的系数进行编码。常见的变换有，d f t ( d i s c r e t e f o u r i e r t r a n s f o r m ) 、 d c t 、h a d a m a r d 和h a r t 变换。其中d c t 在相邻像素间的相关系数逼近1 时有 类似于k l t ( k a r h u n e n l o v e vt r a n s f o r m ) f i q 特性“。除了h 2 6 4 采用了近似的d c t 变换整型变换外，其它所有视频编码标准都是采用d c t ”。“帅“。d c t 能够提供2 5 ：l 的压缩比而视觉效果没有明显降低”3 。 其它编码方式如分形编码能够提供较高的压缩比，但处理复杂度高，而视频 处理有严格的速度要求，实际应用并不广泛。近来，随着小波技术的进展，它已 在许多应用中崭露头角，山于篇幅关系，本文将不对它们作进一步阐述。 浙江大学硕士学位论文 1 3 常用视频编码标准 目前，通常采用的视频压缩编码的技术是建立在d p c m 和变换编码基础上 的有损编码。压缩编码的发展历程实际是以香农信息论为出发点不断完善的过 程。 标准化是产业化活动成功的前提，基于不同的应用刊期和不同的压缩编码技 术，国际标准化组织相继制定了j p e g ( 1 9 9 4 年2 月) 、m p e g 1 ( 1 9 9 3 年8 月) 和m p e g - 2 ( 1 9 9 4 年) ，这三种压缩编码国际标准主要采用了第一代压缩编码方 法，如坝测编码、变换编码和运动补偿“。其中m p e g 2 是一种非常成功的国 际标准，广泛应用于点播电视( v o d ) 、多媒体终端等众多领域“。 1 9 9 9 年1 月，m p e g 组织公布了m p e g 4 标准。作为一种甚低码率的视频 压缩系统，m p e g 一4 标准可实现高效、高性能的视频数据的存储和传输“”。在 m p e g 4 之后，m p e g 组织制定j - m p e g 7 “多媒体内容描述接口”。2 0 0 0 年3 月成立的m p e g 2 1 工作组还在酝酿制定m p e g 2 1 标准，其核心目标是使数字 多媒体信息资源能被大范围的网络和设备透明和增值地使用。表1 1 列出了一些 主要的视频编码标准及其应用。”3 。 主要的视频编码标准及其应用。”“。 表1 1 视频编码标准及其应用 码率应用 m p e g 1 视频 0 8 k b p s 一1 5 m b p s v c d ，c d - r o m ，i n t e n l e t 3 m b p s - - 1 0 m b p sm p m l 数字广播， 1 6 m b p s - - 5 0 m b p sm p h l d v d d 。v h s m p e g 2 视频 5 0 m b p s _ l o o m b p 3 专业视频处理 4 2 2 p m l h i - m p e g1 0 k b p p 3 8 4 k b p s c e l l a r , i n l e r n e t 标准s p l 1i 2 3 1 0 k b p s - - 2 m b p sc p l l 2 m p e g 4 视频 2 m b p s 3 8 m b p s 史互式电视 m p l 2 l 3 l 4 5 0 m b p s _ 一1 2 0 0 m b p s 视频剪辑 s t u d i o l i ，2 3 n h2 6 1 6 4 k b p s 15 m b p s视频电话( i s d n ) i t u t h2 6 2与m p e g 一2 视频相同 标准 视频电话( p s i n ， t i 2 6 3 1 0 k b p s _ 3 8 4 k b p s i n t e m e tj 浙江大学硕士学位论文 上述各种视频标准之间的发展关系如图1 1 所示。m p e g 编码技术是从h 2 6 1 视频编码技术( 不含音频编码) 发展而来的。 图1 1h 2 6 x ( i t i i ) 和m p e g ( i s 0 i e c ) 标准 m p e g 在h 2 6 l 视频编码算法的基础上改进、发展，而且向后兼容，可处理 经h 。2 6 1 处理过昀数据。改进算法工具如图1 2 所示。 h 2 6 i ：1 6 x 1 6 运动补偿，8 x 8 d c t m p e g i ：_ 卜b 帧。半象素运动补偿 m p e g 2 ：+ 隔行扫描l m p e g 4 ：+ 8 x 8 运动补偿，a c 预糍 视频对象，形装编羁 图l2h 2 6 x ( i t u ) 和n p e g ( i s o i b c ) 标准编码工具比较 下面就按时间的顺序对各个视频编码标准作简单的介绍。 淅江大学硕士学位论文 1 3 1h 2 6 1 从1 9 4 8 年最早提出电视和声音信号的数字化以后，积4 0 年研究成果，于 1 9 8 8 年1 0 月，国际电视电话会议电视咨询委员会( c c i t t ) 即现在( i t u t ) ， 提出了l - i 2 6 1 建议，主要应用于p x 6 4 k b p s ( p = 1 ，3 0 ) i s d n 上的视频会议和可 视电话。 h 2 6 1 定义了视频编码算法，如帧内图像、帧间误差预测、运动孙偿、d c t 、 变字长编码等技术都是在h 2 6 1 中使用了的，它为后来的诸如m p e g 。1 和 m p e g 2 的视频压缩标准提供了基础。在此之外，h 2 6 1 还提供了两个重要的特 性： 1 指定了最大编码延迟为1 5 0 m s 。因为主要针对双向视频通信应用，超过 1 5 0 m s 的延迟会给用户带来视频失真的印象。 2 能够用廉价的v l s i ( 超大规模集成电路) 实现，以便实现视频会议和可 视电话设备的商业化。 但它也存在不足，它不适用于不同信道( 或传输或存储) 的应用，误码率允 许范围小( 不大于l 1 0 “) ，而且不含声音编码算法。 1 3 2m p e g 一1 1 9 9 1 年儿月m p e g ( 运动图像专家组) 制定m p e g 1 标准。m p e g 1 标准 是将数字视频信号和与之相伴的音频信号在一个可以接受的质量下，能被压缩到 位率约1 5 m b i t s 的一个m p e g 单一流。m p e g 1 标准只规定了码流语法和解码 过程，用户可以很好地利用这个语法的灵活性来设计非常高质量的编码器和非常 低成本的解码器。编码器的设计中一些重要参数，如运动估值、自适应量化和码 流速率控制等可以由用户自由确定。 为了满足应用需要，m p e g l 提供了以下特性： 1 随机存取。这移位着存在可随机存取的单元，在质量不下降的前提下， 随机存取时问大约可达0 5 s 。 2 快速正向逆向搜索。对压缩数据流可进行扫描，和利用合适的存取点来 显示所选择的图像，以实现正向和逆向快速搜索。 3 逆向重播。交互式的应用优势需要视频信号能够逆向重播。 4 视听同步。视频信号应该准确地与相关的音频信号同步。 5 容错性。要求编码方案对残存的未被校j f 的误差有强的鲁棒性。 6 编码解码延迟。传输质量和延迟在一个相当的范围内式可以折中考虑 的，延迟时间被看作一个闽值参数来设定。 如上所述，m p e g 标准是在h 2 6 1 视频编码算法的基础h 改进并发展的。 m p e g 1 改进的主要内容是增加了b 图像帧( 双向预测) 和图像组( g o p ) ，这 渐江大学硕士学位论支 些改进具有更高的压缩比，同时定义了编码算法中各工具层的语法，使视频的可 操作性更灵活。 1 3 3m p e g 一2 ( h 2 6 2 ) 1 9 9 3 年1 1 月m e p g 提出m p e g 。2 建议草案，其中视频编码部分即h 2 6 2 。 m e p g 一2 主要是针对4 9 m b i f f s 运动图像及其伴音的编码标准。 m p e g 2 是个非常成功的国际标准，它开发了通用的压缩编码方法，定义 的不同p r o f i l e 和l e v e l ，可满足不同的图像分辨率及相应的存储成本和处理速度 的需要，并且为比特流交换、兼容性等提供了可能性。因此，m p e g 。2 标准能广 泛应用于存储媒体、会议电视可视电话、数字电视、高清晰度电视、广播、通 信、网络等应用领域。m p e g 一2 是工业标准d v d 的核心标准。它对m p e g 1 作 了重要的改进和扩充： 1 针对隔行扫描的常规电视图像专门设置了“按帧编码”和“按场编码”两 种模式，并对运动补偿作了相应的扩充，使其编码效率显著提高。 2 p r o f i l e 和l e v e l 的划分是m p e g 一2 为适应不同应用而定义各个子集的结 果。它们是通过确定码流中相应的标题信息及附加信息中的有关参数来给定的， 其中一个主要的组合是m p m l ( m a i np r o f i l e m a i nl e v e l ) 。m e p g - 1 相当于 m p l l 。 3 亮度分量和色度分量的取样比例可由原来的4 ：2 ：0 ( 即y ：c r ：c b = 4 ：1 ：1 ) 扩 充为4 ：2 ：2 或4 ：4 ：4 ，宏块的定义也相应地扩展，每像素8 比特可以增加到i o 比特。 4 系统层的语法也有了改进，数码流分为两类：传送数码流( t s ) 和节目数 码流( p s ) ，以适应码流的应用环境。传送数码流的运行环境差，编码中应加强 防误码措施，而节目数码流的运行环境则相对安全得多。因此经压缩后的视频数 据、音频数据、辅助数据分掰构成数据包的两种基本数据流。此外用包头( 数据 包的开始部分) 传送编码信息，如音频、视频、矩阵结构、图像类型、是否多声 道等压缩特性，使用起来更为方便和灵活。 1 3 4h 2 6 3 针对甚低码率( 低于6 4 k b p s ) 的视频会议和可视电话的应用，1 9 9 5 年l1 月 低数码率( l o w b i tr a t e ) 视频编码的h 2 6 3 建议草案出台。h 2 6 3 的码率为2 2 k b p s 。 h 2 6 3 标准的视频编码算法与h 2 6 1 相似( 运动补偿和d c t 算法) ，与h 2 6 t 相 比，h 2 6 3 的主要区别如下： 1 半像素精度运动信值； 2 重叠运动补偿，以增大运算量为代价得到更密集的运动区域； 3 。宏块( 1 6 1 6 ) 运动佶值和块( 8 8 ) 运动i 自值的蜜适应交换； 0 浙江大学硕士学位论文 4 支持s u b q c i f 格式的码流。 h 2 6 3 标准的测试模型t m n 8 ( t e s tm o d e l8 ) 在低于6 4 k b p s 码率时，p s n r 值比h 2 6 i 提高了3 - - 4 d b 。h 2 6 3 标准可以作为将来甚低码率编码算法和编码标 准性能评估的一个里程碑。 1 3 5m p e g 4 如上所述，m p e g 一1 和m p e g 2 的应用相对单一，主要的目的是提高压缩比， 并改善音频、视频质量，采用的技术主要是基于信息论的波形编码理论。m p e g 4 的目标定义大致考虑两个方面：一是极低比特率下的多媒体通信；二是多媒体通 信的融合，主要有通信业、计算机业、消费类电子业和娱乐影视业。因而，一方 面，m p e g - 4 要求有高效的压缩编码方法；另一方面，m p e g 一4 要求有独立于网 络的基于视频和音频对象( a 、，) 的交互性。 1 9 9 8 年il 月m p e g 提出了低数码率视频音频编码和多媒体通讯的m p e g 4 建议草案。m p e g - 4 能够支持q c i f 格式的视频数据以满足低码率传输的要 求。q c i f 格式的视频数据亮度分量为1 7 6 1 4 4 ，色度分量为8 8 7 2 ，帧率7 5 3 0 帧秒。其主要特性如下： 1 基于内容的交互性基于视频对象( v o ) 而不是视频帧的编码方案。 2 ，高效的压缩编码算法。编码效率高优于m p e g 一1 和m p e g 2 ；码率范 围大从1 0 k b p s 到1 2 0 0 m b p s ；形状灵活包括矩形和任意形状。 3 通用性。增强了误码性和基于对象的时空可分级性。 m f e g 4 的应用广泛，这一新的工业标准至少可以应用于以下场合：实时监 控；极低比特率下的移动多媒体通信；基于存储和检索的多媒体系统； i n t e m e f f i n t r m a e t 上的视频流与可视游戏；基于面部表情模拟的虚拟会议；d v d 上的交互多媒体应用：基于计算机网络的可视化合作实验室场景应用；演播室和 电视的节目制作等。 1 3 6m p e g 7 为快速方便地搜索节目，m p e g 制定了一个新标准m p e g 7 ，它是多媒 体内容描述接口( m u l t i m e d i ac o n t e n td e s c r i p t i o ni n t e r l a c e ) 。m p e g 。7 可快速且 有效地搜索出用户所需的不同类型的多媒体资料，主要用于解决以下问题： 1 需要搜索m p e g 一4 编码信息中的某套节目时，柬自不同领域的一些要求。 2 在m p e g 一4 语法中对搜索功能适当支持的一些术语。 3 m p e g - 4 编码信息搜索引擎通用工具规格。 m p e g 一7 的应用很广泛，既可以用于存储( 在线或离线) ，也可以用于流式 应用( 如广播、将模型加入i n t e m e t 等) ，它可以在实时或非实时环境下应用，在 教育、新闻、导游信息、娱乐、研究业务、地理信息系统、医学应髑、购物等等 浙江大学硕士学位论文 各方面具有潜在的应用能力 11 3 7m p e g 一2 l 2 0 0 0 年3 月成立的m p e g 。2 1 工作组在酝酿制定m p e g 2 1 标准，其核心目 标是使数字多媒体信息资源能被大范围的网络和设备透明和增值地使用。2 0 0 0 年1 0 月，m p e g 2 1 专家组提出创造一个能够共同使用的多媒体信息框架。需要 完成以下任务： 1 框架的各成分之间如何关联。 2 整合现有系统中的各种标准以支持多媒体管理的各种协调技术。 3 开发新的规范使得能够通过网络存取和使用多媒体内容：实现多个交易 模型保证服务模型及收费；保障内容用户的隐私权。 1 , 4 本文的章节安排 本文的章节安排如下： 第一章为绪论部分，简单介绍数字电视相关知识、视频压缩基本原理、及常 用的视频编码标准； 第二章详细分析了m p e g 一2 视频编码的关键技术、编码的码流层次及图像类 型，以及框架和级别。； 第三章分模块阐述了视频解码器各模块功能的实现，包括变长码解码 ( v l d ) 、反扫描( i s ) 和反量化( i q ) 、反离散余弦变换( i d c t ) 、运动补偿( m c ) 等： 第四章重点探讨了空间受限系统中视频解码器实现的几种方案及其各自的 优缺点，以及外部帧存储器的优化设计； 第五章对全文作出总结，对未来的研究方向提出了展望。 堂兰查兰塑兰堂堡垒壅 第二章m p e g 2 视频压缩标准 m p e g - 2 广泛应用于卫星广播业务( b b s ) 、电缆电视( c a t v ) 、数字电视地面 f - 播( d t t b ，包括美国的用于h d t v 的g a 系统和欧洲的d v b 等) 、点播电视 ( v o d ) 、数字音频广播( d a b ) 、多媒体终端、网络数据库业务、双工通信等众多 领域。m p e g 一2 标准特别适用于广播级的数字电视的编码和传送，被认定为s d t v 和h d t v 的编码标准。 2 1m p e g 2 标准组成 m p e g 一2 标准目前分为9 个部分，各部分的内容描述如下“”： 第l 部分，系统( s y s t e m ) ，描述多个视频、音频和数据基本码流合成传输 码流和节目码流的方式。 第2 部分，视频( v i d e o ) ，描述视频编码方法。 第3 部分，音频( a u d i o ) ，描述与m p e g 1 音频标准反向兼容的音频编码方 法。 第4 部分，符合测试( c o m p l i a n c e ) ，描述测试一个编码码流是否符合m p e g - 2 码流的方法。 第5 部分，软件( s o f t w a r e ) ，描述了m p e g 一2 标准的第1 ，第2 ，第3 部分 软件实现方法。 第6 部分，数字存储媒体命令与控制( d s m c c ) ，描述交互式多媒体网络 中服务器与用户间的会话信令集。 第7 部分，非向后兼容的音频，规定不与m p e g l 音频反向兼容的多通道音 频编码。 第8 部分，1 0 b i t 视频，现已停止。 第9 部分，传输码流的实时接口。 以上各部分均已获得通过，成为正式的国际标准，并在数字电视等领域中得 到了广泛的实际应用。 因为m p e g - 2 压缩是“有损耗”的，信号被压缩的越多，质量就越差。到一 个程度，m p e g 压缩技术最大化压缩信号的质量，通过引介降级，其最不可能被 观众察觉到。使用这些技术，信号能被大量的压缩而图像质量没有退步，但是为 了保鳕带宽，有时需要更大的压缩，这时牺牲的是节目质量。 m p e g 2 标准允许在图像质量和比特率之间灵活调节，以适应一个很大范围 的质量要求和带宽可用性。m e p g 2 定义了几种不同的框架和级别，允许广播者 决定压缩和质量的比率，以最佳地适用于他们的应用 1 u o 浙江大学硕士学位论文 2 2m p e g 关键技术 2 2 1 离散余弦变换 如图2 1 所示，离散余弦变换( d c t ) 是一种可逆反的空间变换，介于普通 的2 d 图像表示方法和频域上包含同样信息的表示方法之问，在m p e g 2 中d c t 以8 x8 的块为单位进行，生成的是8 8 的d c t 系数数据块。在图中的块中， 系数越向下表示越高的垂直频率，越向右表示越高的水平频率。 8 8 c y c l e sp e r p i c t u r eh e i g h t 图2 1d g t 变换对 d c t 变换本身不会直接减少用于表示一个块信息的比特数。实际上，对于一 个8 比特像素的8 8 的图像块，d c t 变换至少会产生一个1 1 比特系数的8 8 块才能保证变换的可逆性。能够导致编码比特数下降的原因是，在普通的原始图 象中系数的分布是不规则的，而经过d c t 变换后，块中的能量集中在低频系数 上，而很多高频系数趋向于零。比特率的下降正是通过不传送接近于零的系数并 且对余下的数据做下述的编码而达到的。 有许多种变换方法都是被发明用来减少比特率的，其中最好的方法是那些可 以把一个图像块中的能量集中在某小部分数据上的。d c t 变换是最好的方法之 一，它之所以被选择还有一个重要的原因是d c t 变换在数字信号处理中较容易 被实现。选择8 x8 大小的图像块为单位进行变换是一种折中，它即照顾了使用 较大的块可以更好的把能量集中起来，也考虑到了图像巾不同的块之间内容差异 可能较大因此趋向于使用小块“”1 。 2 2 2 系数量化 量化是针对d c t 变换系数进行的，量化过程就是以某个量化步长去除d c t 系数。量化步长的大小称为量化精度，量化步氏越小量化精度就越细，包含的信 浙江大学硕士学位论文 息越多，但所需的传输频带越高。不同的d c t 变换系数对人类视觉感应的重要 性是不同的，因此编码器根据视觉感应准则，对一个8 8 的d c t 变换块中的 6 4 个d c t 变换系数采用不同的量化精度，以保证尽可能多地包含特定的d c t 空间频率信息，又使量化精度不超过需要。d c t 变换系数中，低频系数对视觉 感应的重要性较高，因此分配的量化精度较细：高频系数对视觉感应的重要性较 低，分配的量化精度较粗。通常情况下，一个d c t 变换块中的大多数高频系数 量化后都会变为零。 2 2 3 之型扫描、游程编码和变长码编码 d c t 变换产生的是一8 8 的二维数组，为进行传输还须将其转换为一维排 列方式。有两种二维到一维的转换方式，或称扫描方式：之型扫描( z i g - z a g ) 和交替扫描。其中之型扫描是最常用的一种，如图2 2 所示。由于经量化后大多 数非零d c t 系数集中于8 8 二维矩阵的左上角，即低频分量区之型扫描后，这 些非零d c t 系数就集中于一维排列数组的前部，后面跟着长串的量化为零的 d c t 系数，这些就为游程编码创造了条件。 乃g - z a gs c a n n i n g horizonta 图2 2 之型扫描 游程编码中，只有非零系数被编码。一个非零系数的编码出两部分组成：前 一部分表示非零系数前的连续零系数的数量( 称为游程) ，后一部分是那个非零 系数。这样就把之型扫描的优点体现出来了。因为之型扫描在大多数情况下出现 连零的机会比较多，游程编码的效率就比较高。当一维序列中的后部剩余的d c t 系数都为零时，只要用一个块结束”标志( e o b ) 来指示就可结束这一8 8 渐江大学硕士学位论文 变换块的编码，产生的压缩效果是非常明显的。 量化仅生成了d c t 系数的一种有效的离散表示，实际传输前，还须对其进 行比特流编码，产生用于传输的数字比特流。简单的编码方法是采用定长码，即 每个量化值以同样数目的比特表示。但这种方法的效率较低。而采用变长码编码 ( v l c ) 可以提高编码效率。变长码编码是基于编码信号的统计特性，使得平均 比特率下降。游程和非零系数既可独立的，也可联合的作变长码编码。变长码编 码中使用较多的一种是霍夫曼编码，m p e g 2 视频压缩系统中采用的就是霍夫曼 编码。霍夫曼编码中，在确定了所有编码信号的概率后生成一个码表，对经常发 生的大概率信号分配较少的比特表示，对不常发生的小概率信号分配较多的比特 表示，使得整个码流的平均长度趋于最短。 在m p e g 一2 中，一个v l c 码表是在通常情况下使用的，而另外还有一个码表 被用在一些特殊的图像中。d c 系数在某些模式下与其他系数区另对待。所有的 v l c 码字都设计成不是其他码字的前缀( 这也是霍夫曼编码的一大特点) ，这样 解码器才可以识别一个变长码码字从哪里开始到哪里结束。对于一些不常用的游 程和非零系数的组合，编码中没有相应的变长码来表示他们，而是使用了换码编 码，用一些较长的定长码来表示。 2 2 4 缓存和反馈 由于采用了变长码编码，产生的比特流的速率是变化的，随着视频图像的统 计特性变化。但大多数情况下传输系统分配的频带都是恒定的，因此在编码比特 流进入信道前需设置信道缓存“。信道缓存是一缓存器，以变比特率从变长码编 码器向里写入数据，以传输系统标称的恒定比特率向外读出，送入信道。缓存器 的大小，或称容量是设定好的，但编码器的瞬时输出比特率常明显高于或低于传 输系统的频带，这就有可能造成缓存器的上溢出或下溢出。 因此缓存器须带有控制机制，通过反馈控制压缩算法，调整编码器的比特率， 使得缓存器的写入数据速率与读出数据速率趋于平衡。缓存器对压缩算法的控制 是通过控葡 d c t 系数的量化步长实现的，当编码器的瞬时输出速率过高，缓存器 将要上溢时，就使量化步长增大以降低编码数据速率，当然也相应增大了图像的 损失；当编码器的瞬对输出速率过低，缓存器将要下溢出时，就使量化步长减小， 以提高编码数据速率。图23 表示了一个基本的缓存器控制框图，图中缓存器的 占有率就是通过控毒i j d c t 系数的量化过程来实现的。 浙江大学硕士学位论文 b u f f e ro c c u p a n c yc o n b - o 圈2 3 缓存器控制 e l i l p u t 2 2 5 运动补偿的帧问预测 运动补偿的帧间预测是指，计算出被压缩图像与参考图像的相对位置上的宏 块间的位置偏移，并以偏移位置后的宏块作为参考的一种帧间预测方式，它可以 大大降低需要编码的数据量。如图2 4 所示。 np r e v i o u sf r a m e 图2 4 运动补偿的帧间预测 浙江大学硬士学位论文 计算出对应宏块的位置偏移的过程称为运动估计。运动估计的准确程度对帧 间编码的压缩效果非常重要。如果估计作的好，那么被压缩图像与估计图像相减 后只留下很小的值用于传输。这种位置偏移是以运动矢量来描述的，一个运动矢 量代表水平和垂直两个方向上的位移。运动估计在一定的搜索范围内进行，如图 2 5 所示，显然搜索范围要足够大以保证在相应宏块在这个范围内可能的运动， 但是如果搜索范围过于大则会引起许多不必要的计算量来寻找匹配的宏块。 s e a r c hb l o c k ( m a c r ob l o c k ) s e a r c hb i o c k i sr e f e r e r c e s e a r c ha r e s s e a r c hb i o c km o v e dg r o u n d s e a r c ha r e at of i n d b e s tm a t c h 图2 5 运动估计和搜索范围 2 3m p e g 2 视频编码 2 3 1m p e g 一2 编码码流层次 m p e g 一2 的编码码流分为6 个层次，从上至下依次为： 视频序列层( s e q u e n c e ) ； 图像组层( g o p ；g r o u po f p i c t u r e ) ； 图像层( p i c t u r e ) ； 组块层( s l i c e ) ； 宏块层( m a c r ob l o c k ) ； 块层( b l o c k ) 。 除宏块层和块层外，上面四层中都有相应的起始码( s t a r t c o d e ) ，可用于因 误码或其它原因收发两端失同步时，解码器重新捕捉同步。因此一次失同步将至 少丢失个组块的数据。 序列指构成某路节目的图像序列，序列起始码后的序列头中包含了图像尺 寸，宽高比，图像速率等信息。序列扩展中包含了些附加数据。为保证能随时 进入图像序列，序列头是重复发送的。 浙江犬学硕士学位论文 序列层下是图像组层，一个图像组由相互间有预测和生成关系的一组i 、p 、 b 图像构成，但头帧图像总是i 帧。g o p 头中包含了时间信息。 图像组层下是图像层，分为i 、p 、b3 类。p i e 头中包含了图像编码的类型 和时间参考信息。 图像层下是组块层，一个组块包括一定数量的宏块，其顺序与扫描顺序一致。 m p m e 中一个组块必须在同一宏块行内。 组块层下是宏块层。m p e g 一2 中定义了3 种宏块结构：4 ：2 ：0 宏块，4 ：2 ：2 宏 块和4 ：4 ：4 宏块，分别代表构成一个宏块的亮度块和色度块的数量关系。这3 种 宏块结构实际上对应于3 种亮度和色度的抽样方式。 宏块层之下是块层，块是m p e g 2 码流的最底层，是d c t 变换的基本单元。 m p m l 中一个块由8 8 个抽样值构成。 2 3 2m p e g 2 图像类型 m p e g 2 中编码图像被分为三类分别称为i 图、p 图和b 图。如图2 6 所示。 、，、 一_ v 图2 6w l p g g 一2 圈像类型 i 图采用帧内编码方式。该帧主要用于接收机的初始化和信道的获取，以及 节目的切换和插入，压缩倍数相对较低。i 图是周期性出现在图像序列中的，出 现频率可由编码器选择。 p 图和b 图采用帧闻编码方式，即同时利用了空问和时间上的相关性。p 图 只采用前向时间预测，可以提高压缩效率和图像质量。p 图中可以包含帧内编码 的部分，即p 图中的每一个宏块可以是前向预测，也可以是帧内编码。b 图采用 双向时间预测，可以大大提高压缩倍数。值得注意的是，由于b 图采用了未来帧 作为参考，因此m p e g 一2 编码码流中图像帧的传输顺序和显示顺序是不同的。 2 4m p e g 2 框架和级别 m p e g 2 的视频标准拟成为一个通用的应用于较“范围的比特率、分辨率、 质量和服务的标准。除了其他应用，m p e g 2 的视频标准至少还应涉及数字存储 媒体、电视广播和通信。在创建这一标准的过程中，考虑到了各个典型领域的应 用要求，制定了必要的算法元素，并将其综合为一个单一的语法体系。因此，这 一标准可以使得各种应用系统中的数据交换变得很容易。 淅江大学硕士学位论文 考虑到实现这个标准的完整语法体系的实效，我们通过“框架”和“级别” 的方法来约定有限数目的语法子集“。 框架是m p e g 一2 标准定义的完整比特流语法的一个子集。在给定某框架所规 定的语法范围后，比特流参数的各种取值仍可使编码和解码过程有很大变化a 例 如可以指定帧大小( 近似) 为2 “个像素点宽和2 “个像素点高。目前实现一个能 够处理任意大小的帧的解码器仍是不实用且不经济的。 为了解决这个问题，在每个框架中又定义了“级别”。级别是一个对比特流 各参数进行限定的集合。这些限定可能是一些简单的数字上的约束，也可能是以 几个参数的算法组合的形式提出的( 例