[化学]第九章 运动图像压缩编码ppt课件

1、第九章第九章 运动图像紧缩编码运动图像紧缩编码l MPEG简介简介l MPEG-1紧缩规范紧缩规范l MPEG-2紧缩引见紧缩引见l MPEG-4紧缩引见紧缩引见MPEG简介简介 MPEG(Moving Picture Expert Group)MPEG(Moving Picture Expert Group)是在是在19881988年由年由国际规范化组织国际规范化组织(International Organization for (International Organization for StandardizationStandardization，ISO)ISO)和国际电工委员会和国际

2、电工委员会(International Electrotechnical Commission(International Electrotechnical Commission，IEC)IEC)结合成立的专家组。结合成立的专家组。 开发电视图像数据和声音数据的编码、解码和它们的开发电视图像数据和声音数据的编码、解码和它们的同步等规范。同步等规范。 他们开发的规范称为他们开发的规范称为MPEGMPEG规范。规范。 MPEG规范是一个面向运动图象紧缩的规范系列，到目规范是一个面向运动图象紧缩的规范系列，到目前为止，曾经开发和正在开发的有：前为止，曾经开发和正在开发的有： MPEG-1：用于数据速

3、率高达大约：用于数据速率高达大约1.5 Mbit/s的数字存储的数字存储媒体的活动图像和伴音编码媒体的活动图像和伴音编码 。 MPEG-2：活动图像和伴音信息的通用编码：活动图像和伴音信息的通用编码 。 MPEG-4：甚低位率音视频编码：甚低位率音视频编码 。 MPEG-7：多媒体内容描画接口规范。：多媒体内容描画接口规范。 MPEG-21:多媒体框架。多媒体框架。 MPEG-1MPEG-1和和-2-2典型的编码参数典型的编码参数 MPEG-1紧缩规范紧缩规范 用于大约高达用于大约高达1.5Mbps速率的数字存储媒体的运动图象速率的数字存储媒体的运动图象及其伴音编码简称及其伴音编码简称MPEG

4、-1，作为，作为ISO/IEC 11172号建议号建议于于1992年经过。年经过。 运用运用MPEG-1的紧缩算法的紧缩算法, 可将一部可将一部120分钟长的电影紧分钟长的电影紧缩到缩到1.2GB左右。因此左右。因此, 它被广泛地运用于它被广泛地运用于VCD制造。制造。 1991年制定，最初为年制定，最初为CD-ROM制定制定 亮度亮度360 X 240，色度，色度180 X 120，每秒，每秒30帧帧 紧缩比紧缩比 100:1MPEG-1分为分为5个部分个部分nMPEG系统系统(11172-1)，定义音频、视频及有关数据的，定义音频、视频及有关数据的同步；同步；nMPEG视频视频(11172

5、-2)，定义视频数据的编码和重建图，定义视频数据的编码和重建图象所需的解码过程；象所需的解码过程；nMPEG音频音频(11172-3)，定义音频数据的编码和解码；，定义音频数据的编码和解码； n一致性测试一致性测试(11172-4)；n软件模拟软件模拟(11172-5)，一个技术报告，给出了用软件执，一个技术报告，给出了用软件执行行MPEG-1规范前规范前3个部分的结果。个部分的结果。MPEG视频数据流的构造视频数据流的构造 运动图象序列图片组图片图片切片宏块块8象素8象素MPEG-1数据体系构造分层的构造 MPEG-1规范的视频数据码流规范的视频数据码流 MPEG-1规定了视频紧缩数据码流的

6、语法构造，这个语规定了视频紧缩数据码流的语法构造，这个语法构造将视频紧缩数据码流分为法构造将视频紧缩数据码流分为6层。层。图像组图像组(Group Of Pictures,GOP)：由一系列图像帧组成：由一系列图像帧组成,这些图像可以从运动序列中随机抽取。这些图像可以从运动序列中随机抽取。MPEG-1视频紧缩规范视频紧缩规范MPEG-1视频紧缩规范视频紧缩规范MPEG-1视频紧缩规范视频紧缩规范图像序列头图像序列头图像组图像组图像组图像组图像组图像组图像组图像组序列层序列层图像组头图像组头 图像图像I、P、B 图像图像I、P、B图像头图像头图像条图像条图像条图像条图像切图像切片头片头宏块宏块M

7、B宏块宏块MB18*828*858*868*838*848*88*8CrCb块层块层宏块层宏块层图像切片层图像切片层图像层图像层图像组层图像组层MPEG-1视频紧缩技术视频紧缩技术 根本技术根本技术采用运动补偿技术减少帧序列在时间上的冗余采用运动补偿技术减少帧序列在时间上的冗余帧间紧缩；帧间紧缩；采用采用DCT紧缩技术减少空间上的冗余帧内紧紧缩技术减少空间上的冗余帧内紧缩缩 ；根本的编码、解码算法根本的编码、解码算法 编码端：编码端：输入的视频序列先进展预处置插入、滤波，然后用运动预测来输入的视频序列先进展预处置插入、滤波，然后用运动预测来协助建立当前图像和已传送图像的预测器。协助建立当前图像

8、和已传送图像的预测器。假设用到估计的运动向量，那么作为附属信息，减去每块的预测，假设用到估计的运动向量，那么作为附属信息，减去每块的预测，剩余的进展剩余的进展DCT变换，并对变换，并对DCT系数进展量化，量化后的系数传送系数进展量化，量化后的系数传送前进展变长度编码。前进展变长度编码。在为运动估计和预测建立参考图像前，量化后的系数要进展重构，在为运动估计和预测建立参考图像前，量化后的系数要进展重构，逆逆DCT变换，并与预测器结合。变换，并与预测器结合。 解码端：解码端：解码器对变长编码进展解码，重构解码器对变长编码进展解码，重构DCT变换变换从以前重构的图像构成预测器并结合起来构成当前图像也为

9、以后从以前重构的图像构成预测器并结合起来构成当前图像也为以后接纳到的图像作预测接纳到的图像作预测后处置插入并滤波结果图像以便显示。后处置插入并滤波结果图像以便显示。 编码、解码框图编码、解码框图 在在MPEGMPEG中将图象分为中将图象分为3 3种类型种类型I-I-图像帧：帧内编码图像帧，内帧图像帧：帧内编码图像帧，内帧静态图像，只利用本身信息进展编码，采用静态图像，只利用本身信息进展编码，采用JPEGJPEG方式方式可作为紧缩数据流中的随机存取点可作为紧缩数据流中的随机存取点快进、快退等快进、快退等P-P-图像帧：预测编码图像帧，预测帧图像帧：预测编码图像帧，预测帧利用最近的前一个利用最近的

10、前一个I-I-帧或帧或P-P-帧作为参考帧作为参考采用带运动补偿技术的帧间预测进展编码采用带运动补偿技术的帧间预测进展编码前向预测前向预测通常作为后续的通常作为后续的P-P-帧或帧或B-B-帧的预测参考帧帧的预测参考帧B-B-图像帧：双向预测编码图像帧，双向帧图像帧：双向预测编码图像帧，双向帧既利用过去的既利用过去的I-I-帧或帧或P-P-帧帧( (前向前向) )，也利用后来的，也利用后来的I-I-帧或帧或P-P-帧帧( (后向后向) )作为参考作为参考进展带运动补偿技术的双向预测编码进展带运动补偿技术的双向预测编码从不作为预测的参考帧从不作为预测的参考帧I=Intra Picture, P=

11、Predicted Picture, B=Bidirectional PictureMPEG-1规范的帧内编码技术规范的帧内编码技术 帧内编码技术针对帧内编码技术针对I-图像帧，采用图像帧，采用DCT方法方法 与与JPEG紧缩方式一样，只是量化器稍有差别紧缩方式一样，只是量化器稍有差别 图像紧缩过程：以图像紧缩过程：以NTSC制式为例制式为例 彩色空间转换彩色空间转换 将将RGB信号转换为亮度信号转换为亮度Y和色差和色差C信号信号 每一像素的亮度都传送，而色差信号分为每一像素的亮度都传送，而色差信号分为U=Y-R,V=Y-B传送，每传送传送，每传送4个亮度信号才传送一个个亮度信号才传送一个色差

12、信号，称为色差信号，称为YUV 4:1:1格式格式 经过经过YUV 4:1:1格式采样后，信息量减少了格式采样后，信息量减少了50 例：例：RGB格式：各格式：各8 bit24bit/像素像素 YUV 4:1:1格式：格式：Y 8bit,U,V各各2bit12bit/像素像素 这是紧缩图像的第一步措施这是紧缩图像的第一步措施MPEG-1规范的帧内编码技术规范的帧内编码技术采用与采用与JPEG一样的紧缩编码方式一样的紧缩编码方式前向预测前向预测双向预测双向预测 图像帧间预测图像帧间预测 帧内编码帧内编码 前向预测前向预测 后向预测后向预测 双向预测双向预测MPEG-1规范的帧间编码技术规范的帧间

13、编码技术 图象组普通由一个图象组普通由一个I-帧，几个帧，几个P-帧和假设干个帧和假设干个B-帧组成。帧组成。MPEG-1的算法允许编码器选择的算法允许编码器选择I-帧的频率和位置。帧的频率和位置。 普通每普通每0.5秒以内必需传送一次秒以内必需传送一次I-帧帧 PAL制式：图象组制式：图象组12帧帧 NTSC制式：图象组制式：图象组15帧帧 从从I-帧帧(或或P-帧帧)得到得到P-帧，帧， P-帧紧缩比帧紧缩比60:1 从从I-帧或帧或P-帧得到帧得到B-帧，帧， B-帧紧缩可达帧紧缩可达200:1 MPEG-1算法不对称，紧缩比解紧缩复杂，慢算法不对称，紧缩比解紧缩复杂，慢 编码器需求选择

14、位于编码器需求选择位于I-帧和帧和P-帧间帧间B-帧的数目帧的数目MPEG-1规范的帧间编码技术规范的帧间编码技术典型的典型的I-帧，帧，P-帧，帧，B-帧次序安排帧次序安排传输顺序传输顺序 MPEG编码器需对上述图象重新排序编码器需对上述图象重新排序, 以便解码器高效任以便解码器高效任务务, 由于参照图象必需先于由于参照图象必需先于B图象恢复之前恢复。上述图象恢复之前恢复。上述17帧图象重排后图象组次序为：帧图象重排后图象组次序为：4213756IPBBPBBMPEG-1规范的帧间编码技术规范的帧间编码技术 原理原理 NTSC每秒每秒30帧，每帧的主体只需少许差别，背帧，每帧的主体只需少许差

15、别，背景差别更小，即相隔景差别更小，即相隔1/30秒之间的两帧画面中，景秒之间的两帧画面中，景物主体运动在画面上的位移量或整幅画面切换的概物主体运动在画面上的位移量或整幅画面切换的概率极小，因此可以经过运动补偿技术进展紧缩率极小，因此可以经过运动补偿技术进展紧缩 过程过程 运动补偿：对数据码流，将一幅画面的某一宏块与参考画运动补偿：对数据码流，将一幅画面的某一宏块与参考画面中的临近范围内的宏块进展数值对比，寻觅与该快最接面中的临近范围内的宏块进展数值对比，寻觅与该快最接近的、误差最小的块，只需记录该块在两个画面中的位移近的、误差最小的块，只需记录该块在两个画面中的位移量运动向量以及差值部分。量

16、运动向量以及差值部分。 根据运动向量坐标的变化和块的差值，可以算出该块能否根据运动向量坐标的变化和块的差值，可以算出该块能否挪动以及外形能否改动，在传送时可以省略背景和主体概挪动以及外形能否改动，在传送时可以省略背景和主体概略，只传送代表运动向量和块差值得少许数据，再根据这略，只传送代表运动向量和块差值得少许数据，再根据这少许数据复原整个画面。少许数据复原整个画面。MPEG-1规范的运动补偿技术规范的运动补偿技术 运动补偿技术主要用于消除运动补偿技术主要用于消除P-帧和帧和B-帧在时间上的冗余，帧在时间上的冗余，提高紧缩效率提高紧缩效率 在宏块一级进展，宏块有四种类型在宏块一级进展，宏块有四种

17、类型图像帧类型图像帧类型所含宏块类型所含宏块类型宏块简称宏块简称宏块采用技术宏块采用技术I-帧帧帧内宏块帧内宏块I块块DCT技术技术P-帧帧帧内宏块帧内宏块I块块前向预测宏块前向预测宏块F块块参照前一个参照前一个I或或P帧预测帧预测B-帧帧帧内宏块帧内宏块I块块前向预测宏块前向预测宏块F块块后向预测宏块后向预测宏块B块块参照后一个参照后一个I或或P帧预测帧预测平均宏块平均宏块A块块参照前后的参照前后的I或或P帧预测帧预测MPEG-1规范的运动补偿技术规范的运动补偿技术基于宏块的运动补偿技术就是在其参照帧中找出符合一定条件的块基于宏块的运动补偿技术就是在其参照帧中找出符合一定条件的块作为当前块的

18、最正确匹配块作为当前块的最正确匹配块对于对于F宏块和宏块和B宏块，只找一个最正确匹配块宏块，只找一个最正确匹配块对于对于A宏块，其前后参照帧各有一个最正确匹配块宏块，其前后参照帧各有一个最正确匹配块如何进展运动补偿如何进展运动补偿运动向量运动向量运动向量运动向量运动向量运动向量预测图像P的紧缩编码算法双向预测图象B的紧缩编码算法宏块的预测方式宏块的预测方式宏块类型宏块类型预测器预测器预测误差预测误差I块块I1(X)=128（常量）（常量）I1(X)-I1(X)F块块I1(X)= I0(X+ mv01)I1(X)-I1(X)B块块I1(X)= I2(X+ mv21)I1(X)-I1(X)A块块I

19、1(X)= (I0(X+ mv01)+I2(X+ mv21)/2I1(X)-I1(X)运动补偿的问题运动补偿的问题 MPEG指明了如何表示运动信息，但没有阐明如指明了如何表示运动信息，但没有阐明如何计算运动矢量。何计算运动矢量。 最正确匹配的判别根据是什么？最正确匹配的判别根据是什么？最小均方误差、最小平均绝对差值、最大匹配像最小均方误差、最小平均绝对差值、最大匹配像素统计等；素统计等； 最正确匹配的算法如何高效搜索最正确匹配最正确匹配的算法如何高效搜索最正确匹配块？块？二维对数搜索法、三步搜索法、对偶搜索法等二维对数搜索法、三步搜索法、对偶搜索法等最正确匹配的判据最正确匹配的判据 要使预测图

20、像更准确要使预测图像更准确 ，就要求找到与参考宏块，就要求找到与参考宏块MRJ最正最正确匹配的预测图像编码宏块确匹配的预测图像编码宏块MPI 所谓最正确匹配是指这两个宏块之间的差值最小，有以所谓最正确匹配是指这两个宏块之间的差值最小，有以下三种匹配判据：下三种匹配判据： 通常以绝对值通常以绝对值AE(absolute difference)最小作为匹配判最小作为匹配判据：据： 有些学者提出了以均方误差有些学者提出了以均方误差MSE(mean-square error)最小作为匹配判据：最小作为匹配判据：)16( , | ),(),(|150150JIdjdigjifAEijyx)16( , )

21、,(),( 12| |2|2 JIdjdigjifJIMSEIiJjyx也有些学者提出以平均绝对帧差也有些学者提出以平均绝对帧差MAD(mean of the absolute frame difference)最小作为匹配判据：最小作为匹配判据：其中，其中，dx和和dy分别是参考宏块分别是参考宏块MRJ的挪动矢量的挪动矢量d (dx, dy)在在X和和Y方向上的矢量方向上的矢量从以上分析可知，对预测图像的编码实践上就是寻从以上分析可知，对预测图像的编码实践上就是寻觅最正确匹配图像宏块，找到最正确宏块就找到了觅最正确匹配图像宏块，找到最正确宏块就找到了最正确挪动矢量最正确挪动矢量d (dx,

22、dy)16( , | ),(),(| 12| |2| JIdjdigjifJIMADIiJjyx例如在视频编码规范中在视频编码规范中(H .261、H .263、MPEG-1、MPEG-2、MPEG-4)运动估计和运动补偿在当前帧的运动估计和运动补偿在当前帧的8*8或者或者16*16块上进展、块上进展、整个块的运动估计也被称为块匹配、整个块的运动估计也被称为块匹配、对于当前帧亮度像素的每个块对于当前帧亮度像素的每个块(例如例如16*16)，运动估计算法搜索，运动估计算法搜索参考帧的一个附近区域，寻觅一个匹配的参考帧的一个附近区域，寻觅一个匹配的16*16区域，最好的匹区域，最好的匹配足指使得当

23、前的配足指使得当前的16*16块和匹配的块和匹配的16*16块的差值的能量最小。块的差值的能量最小。搜索的范围以当前的搜索的范围以当前的16*16块为中心，这是由于一力面由于相邻块为中心，这是由于一力面由于相邻帧的高度类似性帧的高度类似性(相关性相关性)，与当的块紧接着的区域能够存在很，与当的块紧接着的区域能够存在很好的匹配；另好的匹配；另方面，搜索整个参考帧运算量太大；方面，搜索整个参考帧运算量太大； 图解释了块匹配的过程。当前块图解释了块匹配的过程。当前块(图中是图中是3*3个像素个像素)如左边所示，如左边所示，这个块与参考帧中一样位置的块这个块与参考帧中一样位置的块(如中心的黑线所示如中

24、心的黑线所示)和紧接着的临近和紧接着的临近位置位置(每个方向正负一个像素每个方向正负一个像素)作比较。当前块与参考帧中同样位置作比较。当前块与参考帧中同样位置(0，0)块的均方差块的均方差(MSE)计算如下：计算如下： 宏块搜索法宏块搜索法 在整个在整个MPEG图像紧缩过程中，寻觅最正确匹配宏块要图像紧缩过程中，寻觅最正确匹配宏块要占据相当多的计算时间，匹配得越好，重构的图像质量占据相当多的计算时间，匹配得越好，重构的图像质量越高；越高； 最简单的搜索方法是全搜索法，它没有涉及到复杂的搜最简单的搜索方法是全搜索法，它没有涉及到复杂的搜索战略。全搜索法在搜索区间，搜索每一个点，然后找索战略。全搜

25、索法在搜索区间，搜索每一个点，然后找到相对最小的匹配点。到相对最小的匹配点。 全搜索法的最大优点是可以保证全局的搜索精度，最大全搜索法的最大优点是可以保证全局的搜索精度，最大的缺陷是计算量太大。实验统计，如采用全搜索法，运的缺陷是计算量太大。实验统计，如采用全搜索法，运动估计将占到整个编码时间的动估计将占到整个编码时间的50-80，这就直接制，这就直接制约了编码的实时运用；约了编码的实时运用； 为减少搜索次数，如今已开发出许多简化算法用来寻觅为减少搜索次数，如今已开发出许多简化算法用来寻觅最正确宏块。最正确宏块。全搜索法搜索顺序有：全搜索法搜索顺序有：光栅顺序光栅顺序螺旋顺序螺旋顺序三步搜索法

26、三步搜索法 搜索的区间为搜索的区间为-7，7，即在参考帧中与编码块一样坐标位置处为原点，即在参考帧中与编码块一样坐标位置处为原点，将当前块在其上下左右间隔为将当前块在其上下左右间隔为7的范围内按照一定规律挪动，移到某的范围内按照一定规律挪动，移到某个位置，就做匹配计算。总共进展了三步搜索，在下一次搜索时，步个位置，就做匹配计算。总共进展了三步搜索，在下一次搜索时，步长减半，以前一步搜索得到的最优点为中心点，详细过程如下：长减半，以前一步搜索得到的最优点为中心点，详细过程如下：第一步：以当前块为中心，以搜索区间的一半为步长，步长为第一步：以当前块为中心，以搜索区间的一半为步长，步长为4。搜索。搜

27、索图中标为图中标为1的九个位置，求出以此为中心的图像块与当前块的匹配程的九个位置，求出以此为中心的图像块与当前块的匹配程度，根据最小度，根据最小MAD值确定下一步搜索的搜索中心。值确定下一步搜索的搜索中心。第二步：以第一步中求得的最正确匹配点为中心，步长为第二步：以第一步中求得的最正确匹配点为中心，步长为2，搜索图中，搜索图中的八个标有的八个标有2的位置为中心的图像块与当前块的匹配程度，根据最小的位置为中心的图像块与当前块的匹配程度，根据最小MAD值确定下一步搜索的搜索中心。值确定下一步搜索的搜索中心。第三步：以第二步中求得的最正确匹配点为中心，步长为第三步：以第二步中求得的最正确匹配点为中心

28、，步长为1将图中的将图中的八个位置为中心的块与当前块进展匹配，根据最小的八个位置为中心的块与当前块进展匹配，根据最小的MAD值确定所值确定所要找的最正确匹配点。它与当前块的中心的偏移量即为估计的运动矢要找的最正确匹配点。它与当前块的中心的偏移量即为估计的运动矢量。量。三步搜索法三步搜索法 二维对数搜索 1 搜索位置搜索位置(0，0)； 2 搜索程度和垂直的四个位置，偏离中心搜索程度和垂直的四个位置，偏离中心s个像个像素素(s是原始的步长是原始的步长)，这五个位量组成十字外形；，这五个位量组成十字外形； 3把最正确匹配点作为新的原点把最正确匹配点作为新的原点(先前检验道的先前检验道的五个位置五个

29、位置)，假设最正确位置在十字形中心，令，假设最正确位置在十字形中心，令s为原来的一半，否那么为原来的一半，否那么s不变；不变； 4假设假设s等于等于1，转到步骤，转到步骤5； 5搜索最正确匹配位置周围的八个位置，搜索搜索最正确匹配位置周围的八个位置，搜索中心和周围八个位置中的最正确匹配就是搜索结中心和周围八个位置中的最正确匹配就是搜索结果。果。二维对数搜索图像的紧缩编码与解码图像的紧缩编码与解码 编码过程：由编码过程：由MPEG编码器与解码器完成编码器与解码器完成 视频图像输入时，其中场景一样的几幅画面组成图视频图像输入时，其中场景一样的几幅画面组成图象组象组 一图像组的第一帧输入到编码器时，

30、对其进展处置一图像组的第一帧输入到编码器时，对其进展处置 彩色空间转换：彩色空间转换：RGBYUV 分成图像条，高分成图像条，高16bit 将图像条分成将图像条分成16bit宽，构成宽，构成16X16宏块宏块 将宏块分成将宏块分成4个个8X8的块，进展的块，进展DCT编码编码 一切的块完成后，构成一切的块完成后，构成I-帧帧 第二帧及以后帧第二帧及以后帧 对第二帧完成同样操作对第二帧完成同样操作 与第一帧比较，假设差别很小，存储差值部分与第一帧比较，假设差别很小，存储差值部分 按此方法对其后各帧进展处置，直到找到某一帧与按此方法对其后各帧进展处置，直到找到某一帧与第一帧的差别超越规定值如第第一

31、帧的差别超越规定值如第4帧帧图像的紧缩编码与解码图像的紧缩编码与解码将此帧与第一帧的差别存储起来，排在第一帧后输出，将此帧与第一帧的差别存储起来，排在第一帧后输出，P-帧帧将第将第2、3帧与帧与p-帧再次比较，传送差别，帧再次比较，传送差别，B-帧帧依次类推，不断选出依次类推，不断选出P和和B帧帧每个每个13或或15帧后或者当场景变卦时，设立新帧后或者当场景变卦时，设立新I-帧。两个帧。两个I-帧间帧间隔隔0.5秒秒解码过程：编码的逆过程解码过程：编码的逆过程读出读出I-帧，解码，彩色空间转换，得到帧，解码，彩色空间转换，得到I图像帧，存入帧存储器图像帧，存入帧存储器中中I图像帧与后续的图像帧

32、与后续的P-帧信息相加，恢复帧信息相加，恢复P图像帧，存入帧存储器图像帧，存入帧存储器中中根据根据I、P图像帧恢复图像帧恢复B图像帧，存入帧存储器中图像帧，存入帧存储器中将解压后的将解压后的I、P、B图像帧存入缓冲器中，按照制式要求以图像帧存入缓冲器中，按照制式要求以I B B P B B P 正常顺序输出播放正常顺序输出播放MPEG-1规范的帧间编码技术规范的帧间编码技术 可见，运动图像的显示顺序与传输顺序不一样可见，运动图像的显示顺序与传输顺序不一样 1 2 3 4 5 6 7 I B B P B B P 1 4 2 3 7 5 6 I P B B P B BMPEG-2紧缩规范紧缩规范

33、MPEG-2规范从规范从1990年开场研讨，年开场研讨，1994发布；发布； MPEG-2是由是由ISO/IEC的的MPEG专家组与专家组与ITU-T(国际电信联盟电信规范化部门国际电信联盟电信规范化部门)的的ATV的图像的图像编码专家组共同开发的，所以编码专家组共同开发的，所以MPEG-2规范也是规范也是ITU-T的建议。的建议。 MPEG-2已广泛运用于已广泛运用于DVD，SDTV和和 HDTV中。中。 MPEG-2 MPEG-2分为许多个部分，其中主要有分为许多个部分，其中主要有三个部分：三个部分：第一部分系统第一部分系统(ISO/IEC18-1)(ISO/IEC18-1)，是关于多路音

34、，是关于多路音频、视频和数据的复用和同步的规定；频、视频和数据的复用和同步的规定；第二部分视频第二部分视频(ISO/IEC18-2)(ISO/IEC18-2)，主要涉及各种，主要涉及各种比特率的数字视频紧缩编解码的规定；比特率的数字视频紧缩编解码的规定；第三部分音频第三部分音频(ISO/IEC18-3)(ISO/IEC18-3)，扩展了，扩展了MPEG-1MPEG-1的音频规范，使之成为多通道音频编码系统，的音频规范，使之成为多通道音频编码系统，可到达的环绕声可到达的环绕声5.15.1声道。声道。MPEG-2的组成 在许多情况下，在许多情况下，MPEG-2表示成表示成MPEG-1的一个超集。的

35、一个超集。 MPEG-2可以说是可以说是MPEG-1的扩展，它们的根本编码算的扩展，它们的根本编码算法都一样。但法都一样。但MPEG-2添加了许多添加了许多MPEG-1所没有的功所没有的功能；能； MPEG-2利用网络提供的利用网络提供的3100Mbps的数据传输率，的数据传输率，支持具有更高分辨率图象的紧缩和更高的图象质量；支持具有更高分辨率图象的紧缩和更高的图象质量； MPEG-2可支持交迭图象序列每帧图像由两个场组可支持交迭图象序列每帧图像由两个场组成，支持可调理性编码，多种运动估计方式，提供成，支持可调理性编码，多种运动估计方式，提供一个较广的范围改动紧缩比；一个较广的范围改动紧缩比；

36、 可以顺应不同画面质量、存储容量和带宽的要求，为可以顺应不同画面质量、存储容量和带宽的要求，为此定义了不同的型此定义了不同的型profile，框架，每个型又分为，框架，每个型又分为不同的等级不同的等级level；MPEG-1与与MPEG-2的区别的区别MPEG-2视频视频 MPEG-2的编码方法和的编码方法和MPEG-1主要区别：主要区别：隔行扫描制式；隔行扫描制式；DCT变换可在帧内，也可在场内。用户变换可在帧内，也可在场内。用户可自行选择，亦可自顺应选择。可自行选择，亦可自顺应选择。 MPEG-2采用可调型和非可调型两种编码构造，用户可采用可调型和非可调型两种编码构造，用户可按质量和紧缩比

37、要求选择运用。按质量和紧缩比要求选择运用。 MPEG2主要用于数字广播、主要用于数字广播、DVD、收费电视、收费电视、VOD、交互电视等等；交互电视等等； MPEG-2可以将一部可以将一部120分钟长的电影紧缩到分钟长的电影紧缩到48GB(DVD质量质量)MPEG-2亮度宏块构造亮度宏块构造MPEG-2的型和级MPEG-2MPEG-2可以顺应不同画面质量、存储容量和带宽可以顺应不同画面质量、存储容量和带宽的要求，为此定义了不同的型的要求，为此定义了不同的型profileprofile，架，每个型又分为不同的等级架，每个型又分为不同的等级levellevel； MPEG-2MPEG-2还规定了不

38、同的紧缩处置方法，称为型还规定了不同的紧缩处置方法，称为型(Profile)(Profile)。 级表示级表示MPEG-2MPEG-2编码器输入端的信源图像格式。编码器输入端的信源图像格式。 1级级(Level) (1)低级低级(Low Level，LL) LL级对应的输入信源格式是级对应的输入信源格式是CIF格式，格式，约是约是ITU-R601规范中的信源格式的规范中的信源格式的1/4，即即35224830或或35228825，相，相应编码的最大输出码率为应编码的最大输出码率为4Mbit/s。 (2)主级主级(Main Level，ML) ML对应于对应于ITU-R601建议的信源格式，即建

39、议的信源格式，即72048030或或72057625，最大，最大允许输出码率为允许输出码率为15Mbit/s，其高型的码，其高型的码率是率是20Mbit/s。(3)高H-1440级(High-1440 Level) H-1440属于高明晰度开展道路上的准高明晰度级，没有得到实践运用。(4)高级(High Level，HL) H L 对 应 高 明 晰 度 电 视 的 信 源 格 式 ， 即1920108030或1920115225，最大输出码率为80Mbit/s，其高型的码率是100Mbit/s。 2型(Profile)(1)简单型(Simple Profile，SP) (2)主型(Main

40、Profile，MP) (3)信噪比可分级型SNR(SNR Scalable) (4)空间可分级型(Spatial Scalable Profile，SSP)(5)高型(High Profile，HP) (6)4 2 2型(4 2 2Profile) (7)多视点型(Mulitiview Profile，MVP) (1)帧重排帧重排 (2)当输入的第一帧作为当输入的第一帧作为I帧图像进入图所示的编码帧图像进入图所示的编码器中时，开关器中时，开关K1，K2和和K4在上方，在上方，K3 在左方。在左方。(3)当当P4作为作为P帧进入编码器时，开关帧进入编码器时，开关K1，K2和和K4切换到下方，切

41、换到下方，K3还在左方。还在左方。(4)当当B2作为作为B帧进入编码器时，开关帧进入编码器时，开关K1 在下方，在下方，K2 在上方，在上方，K3 在右方，在右方，K4 在中间。在中间。MPEG-2编码原理编码原理MPEG-2紧缩编码原理框图紧缩编码原理框图MPEG-2解码是MPEG-2编码处置的逆过程，从编码比特流中重建图像帧。MPEG-2解码框图如下图。 MPEG-2解码解码MPEG-4紧缩规范紧缩规范 MPEG-4 规范称号为规范称号为“甚低速率视听编码甚低速率视听编码very-low bitrate audio-visual coding 1998年年11月公布第一版，月公布第一版，1

42、999年年12月公布了第二版。月公布了第二版。 目的是低速率下目的是低速率下64kbps的视频、音频编码，的视频、音频编码， 更更加注重多媒体系统的交互性和灵敏性。加注重多媒体系统的交互性和灵敏性。MPEG-4的特点 MPEG-4规范的主要特征是采用了基于对象规范的主要特征是采用了基于对象(Object-Based)编码等的第二代编码技术。编码等的第二代编码技术。 MPEG-4可以对不同来源的视、音频对象进展合成。可以对不同来源的视、音频对象进展合成。 基于对象的分级功能是基于对象的分级功能是MPEG-4提供的又一个新功能，同提供的又一个新功能，同时兼容于时兼容于MEPG-2规范中的图像分级功

43、能。规范中的图像分级功能。 MPEG-4的编码具有鲁棒性和纠错功能，从而保证在易出的编码具有鲁棒性和纠错功能，从而保证在易出错的通讯环境下实现平安的低码率编码和传输。错的通讯环境下实现平安的低码率编码和传输。MPEG-4引入了视听对象引入了视听对象(Audio-Visual Objects，AVO)，使得更多的，使得更多的交互操作成为能够。交互操作成为能够。AVO可以是孤立的人，也可是这个人的语音或一段背景音乐等。可以是孤立的人，也可是这个人的语音或一段背景音乐等。AVO具有高效编码、高效存储、高效传播以及可互操作的特性。具有高效编码、高效存储、高效传播以及可互操作的特性。MPEG-4对对AV

44、O的操作主要有：的操作主要有：采用采用AVO来表示听觉、视觉或者视听组合内容；来表示听觉、视觉或者视听组合内容；组合已有组合已有AVO来生成复合的来生成复合的AVO，并生成视听场景；，并生成视听场景；对对AVO的数据灵敏地多路合成与同步，以便选择适宜的网络来传输的数据灵敏地多路合成与同步，以便选择适宜的网络来传输这些这些AVO数据；数据；允许接纳端用户在视听场景中对允许接纳端用户在视听场景中对AVO进展交互操作等。进展交互操作等。MPEG-4视频编码技术视频编码技术 MPEG-4 Video编码算法支持：编码算法支持： 由由MPEG-1和和MPEG-2提供的一切功能，包括提供的一切功能，包括对

45、各种输入格式下的规范矩形图像、帧速率、对各种输入格式下的规范矩形图像、帧速率、位速率和隔行扫描图像源的支持位速率和隔行扫描图像源的支持 MPEG-4 Video算法的中心是：算法的中心是： 支持基于内容支持基于内容(content-based)的编码和解码功的编码和解码功能，也就是对场景中运用分割算法抽取的单独能，也就是对场景中运用分割算法抽取的单独的物理对象进展编码和解码的物理对象进展编码和解码 MPEG-4视频由以下内容组成，如下图。视频由以下内容组成，如下图。 视频序列视频序列 视频对象视频对象 视频对象层视频对象层 视频对象平面视频对象平面 视频包视频包 宏块宏块 块块图图4-29 M

46、PEG-4视频的层次构造视频的层次构造 场景中详细的人或物体可以是矩形也可以是任不测形 视频对象层(Video Object LayerVOL)VOL 指VO码流中包括的纹理外形和运动信息层 VOL是VO在时间或空间上的分级描画，用于实现分级(Scalable)编码 一个VO可以由一个或多个视频对象层组成，每层代表VO的一级分辨率 视频对象平面(Video Object Plane VOP) VOP 是VO在某一时辰的取样即某一帧中的VO VOP可以独立地进展编码(I-VOP)也可以运用运动补偿编码(P-VOP和B-VOP) VOP可以是任不测形 MPEG-4的视频 由多个VS组成 而VS是一

47、个或多个VO的集合。 VO包含一个或多个不同分辨率的VOL， VOL包括一系列VO在时间上的采样VOP， 所以VS序列是整个场景在某段时间上的图像系列 VO序列是从VS中提取的不同空间目的 VOL序列是VO的不同分辨层，根本层和多个加强层 VOP序列是VO在不同分辨层的时间采样 MPEG-4的视频编解码就是基于VOP进展的基于VOP的视频编码视频对象平面的概念视频对象平面的概念 为了实现料想的基于内容交互等功能，为了实现料想的基于内容交互等功能，MPEG-4 Video引进引进了一个叫做了一个叫做“视频对象平面视频对象平面(Video Object Plane，VOP)的概念。如下页图所示的概

48、念。如下页图所示 图中的上图表示支持图中的上图表示支持MPEG-1和和MPEG-2的普通的的普通的MPEG-4编编码器码器 图中的以下图表示图中的以下图表示MPEG-4的甚低位速率视频的甚低位速率视频(Very Low Bitrate Video，VLBV)的中心编码器的中心编码器 MPEG-4 Video不像不像MPEG-1/-2 Video那样把视频都以为是那样把视频都以为是一个矩形区，而是假设每帧图像被分割成许多任不测形的图一个矩形区，而是假设每帧图像被分割成许多任不测形的图像区，每个区都有能够覆盖描画场景中感兴趣的物理对象或像区，每个区都有能够覆盖描画场景中感兴趣的物理对象或者内容，这

49、种区被定义为视频对象平面者内容，这种区被定义为视频对象平面VOP。 普通普通MPEG-4编码器和编码器和MPEG-4 VLBV中心编码器中心编码器 为了支持基于内容的功能，编码器可对图像序列中具有任不测形为了支持基于内容的功能，编码器可对图像序列中具有任不测形的的VOP进展编码。进展编码。虽然如此，编码器内的机制都是基于虽然如此，编码器内的机制都是基于1616像素宏块来设计的，像素宏块来设计的，这不仅是出于与现有规范在兼容问题上的思索，而且是为了便于这不仅是出于与现有规范在兼容问题上的思索，而且是为了便于对编码器进展更好的扩展。对编码器进展更好的扩展。VOP被限定在一个矩形窗口内，称之为被限定

50、在一个矩形窗口内，称之为VOP窗口窗口(VOP Window),窗口的长、宽均为窗口的长、宽均为16的整数倍，同时保证的整数倍，同时保证VOP窗口中非窗口中非VOP的宏的宏块数目最少。块数目最少。MPEG-4的视频编码包括：外形编码、运动估计和补偿、纹理编的视频编码包括：外形编码、运动估计和补偿、纹理编码、可分级编码、码、可分级编码、Sprite编码等编码等外形编码、运动补偿、纹理编码、可分级编码和外形编码、运动补偿、纹理编码、可分级编码和Sprite编码编码1外形编码外形编码 一个一个VOP的外形限制在一个程度和垂直方向像素的外形限制在一个程度和垂直方向像素数都为数都为16的整数倍的边境框的

51、整数倍的边境框(Bounding Box)内，内，可以选择边境框的位置以使得包含的可以选择边境框的位置以使得包含的1616块数块数目最小。目最小。VO的外形信息有两类：二值外形信息和灰度外形的外形信息有两类：二值外形信息和灰度外形信息。信息。二值外形信息用二值外形信息用0、1来表示来表示VOP的外形，的外形，0表示非表示非VOP区域，区域，1表示表示VOP区域。二值外形信息的编码区域。二值外形信息的编码采用基于运动补偿块的技术。采用基于运动补偿块的技术。灰度外形信息用灰度外形信息用0255之间的数值来表示之间的数值来表示VOP的的透明程度。灰度外形信息的编码采用基于块的运动透明程度。灰度外形信

52、息的编码采用基于块的运动补偿补偿DCT方法方法(同纹理编码类似同纹理编码类似) 。二值外形信息用二值外形信息用0和和1来表示编码区域的外形，来表示编码区域的外形，0表示该表示该像素在编码区域外，而像素在编码区域外，而1表示该像素在编码对象区域内，这种二表示该像素在编码对象区域内，这种二值矩阵表示方法被称为位图。值矩阵表示方法被称为位图。外形编码的流程如下：外形编码的流程如下：首先生成一个包含编码对象的矩形，称为边境框；首先生成一个包含编码对象的矩形，称为边境框；将在边境框内属于编码对象的像素置为将在边境框内属于编码对象的像素置为“1，反之不属于编码对象，反之不属于编码对象的像素置为的像素置为“

53、0，赋值后的边境框即为二进制，赋值后的边境框即为二进制平面；平面；然后将二进制然后将二进制平面分割成平面分割成1616的宏块，称这样的宏块为二进制的宏块，称这样的宏块为二进制块，简称块，简称BAB。BAB有三种类型：有三种类型：透明宏块：位于轮廓以外的宏块称为透明宏块一切该透明宏块：位于轮廓以外的宏块称为透明宏块一切该BAB中的值为中的值为0不透明宏块：位于轮廓以内的宏块称为不透明宏块一切该不透明宏块：位于轮廓以内的宏块称为不透明宏块一切该BAB中的中的值为值为1轮廓宏块；包含对象轮廓的宏块称为轮廓宏块轮廓宏块；包含对象轮廓的宏块称为轮廓宏块BAB中的值为中的值为0或或1，如下图。，如下图。

54、对于透明宏块和不透明宏块只需求一个字节描画该宏块的类型；而对对于透明宏块和不透明宏块只需求一个字节描画该宏块的类型；而对轮廓宏块还需求编码块中的值轮廓宏块还需求编码块中的值 2纹理编码纹理编码 纹理编码的对象可以是帧内编码方式的纹理编码的对象可以是帧内编码方式的I-VOP，也可以是帧间编码方式中，也可以是帧间编码方式中B-VOP或或P-VOP运动补偿后的差值图像。运动补偿后的差值图像。 3分级编码分级编码 与与MPEG-2中基于帧的可分级编码相比，中基于帧的可分级编码相比，MPEG-4所采用的可分级技术是基于对象的可分所采用的可分级技术是基于对象的可分级编码。级编码。 4Sprite编码编码

55、Sprite是指一个相对静止的长背景。是指一个相对静止的长背景。以下图所示的是以下图所示的是Sprite编码的例子，左上方编码的例子，左上方是是Sprite图像，右上方是前景视频对象，下方的图像，右上方是前景视频对象，下方的当前帧的背景是从当前帧的背景是从Sprite图像中取出的。图像中取出的。 MPEG4视频编码方案视频编码方案 MPEG-4 Video对每个视频对象对每个视频对象VO的外形、挪动和纹理信的外形、挪动和纹理信息进展编码构成单独的息进展编码构成单独的VOL层，以便可以单独对视频对象层，以便可以单独对视频对象VO进展解码进展解码 假设输入图像序列只包含规范的矩形图像，就不需求外形

56、假设输入图像序列只包含规范的矩形图像，就不需求外形编码，在这种情况下，编码，在这种情况下，MPEG-4 Video运用的编码算法构造运用的编码算法构造也就与也就与MPEG-1/2运用的算法构造一样运用的算法构造一样 MPEG-4 Video对每个视频对象平面对每个视频对象平面VOP进展编码运用的紧进展编码运用的紧缩算法是在缩算法是在MPEG-1/2 Video规范的根底上开发的，它也是规范的根底上开发的，它也是以图像块为根底的混合以图像块为根底的混合DPCM和变换编码技术和变换编码技术 MPEG-4编码算法也定义了：编码算法也定义了： 帧内视频对象平面帧内视频对象平面(Intra-Frame

57、VOP，I-VOP)编编码方式码方式 帧间视频对象平面预测帧间视频对象平面预测(Inter-frame VOP prediction，P-VOP)编码方式编码方式 双向预测视频对象平面双向预测视频对象平面(B-directionally predicted VOP，B-VOP)编码方式编码方式 在对视频对象平面在对视频对象平面VOP的外形编码之后，颜色图的外形编码之后，颜色图像序列分割成宏块进展编码，如以下图所示。图像序列分割成宏块进展编码，如以下图所示。图中的中的Y1、Y2、Y3和和Y4表示亮度宏块，表示亮度宏块，U、V分别分别表示红色差和蓝色差宏块表示红色差和蓝色差宏块 视频序列中的视频序

58、列中的I-VOP和和P-VOP编码方式和宏块构造编码方式和宏块构造 MPEG-4基于对象概念的视频编解码器原理框图如图基于对象概念的视频编解码器原理框图如图2所示。所示。 编码端：编码端：首先，对自然视频流进展首先，对自然视频流进展VOP分割，分割，由编码控制器为不同由编码控制器为不同VO的外形、运动、纹理信息分配码率，的外形、运动、纹理信息分配码率，并由并由VO编码器对各个编码器对各个VO分别进展独立编码，分别进展独立编码，然后将编码的根本码流复用成一个输出码流，然后将编码的根本码流复用成一个输出码流， 编码控制和复用编码控制和复用MUX，Multipex多路复用部分可以参与用户的交互控制或

59、智多路复用部分可以参与用户的交互控制或智能算法控制。能算法控制。 MPEG-4视频编解码器视频编解码器(a) 编码器构造；编码器构造； (b) 解码器构造解码器构造VO形 成编 码控 制视 频信 号交 互VO0编 码VOn编 码MUX输 出比 特 流交 互DEMUX输 入比 特 流交 互VO0解 码VOn解 码VO合 成视 频输 出交 互(a)(b) 接纳端接纳端 经解复用经解复用DEMUX,Demultipex多路信号分别，多路信号分别， 将将各个各个VO分别解码，分别解码， 然后将解码后的然后将解码后的VO合成场景输出。合成场景输出。 解复用和解复用和VO合成时合成时同样可以参与用户交互控

60、制。同样可以参与用户交互控制。 视频对象视频对象(VO)编码器包括三个部分：编码器包括三个部分： 外形编码外形编码 运动补偿运动补偿 纹理编码纹理编码 在电视平安监控中对图像进展数字录像时，在电视平安监控中对图像进展数字录像时， 常采用常采用MPEG-4规范进展紧缩，规范进展紧缩， 由于电视监控图像背景是固定由于电视监控图像背景是固定不变的，不变的， 人物较少，人物较少， 活动缓慢，活动缓慢， 基于对象编码能得到基于对象编码能得到较高的数据紧缩率。较高的数据紧缩率。 MPEG-4 Video的编码算法的编码算法 以下图描画了以下图描画了MPEG-4 Video的编码算法，用来对矩形和任的编码算