多媒体数据压缩技术 (2).ppt

第三章多媒体数据压缩技术,第一节多媒体数据压缩技术概述第二节静态图像压缩编码国际标准JPEG第三节运动图像压缩编码国际标准MPEG,一、多媒体数据压缩编码的必要性二、多媒体数据压缩的可能性三、数据压缩技术的分类四、数据压缩技术的性能指标,第一节多媒体数据压缩技术概述,信息时代的重要特征是信息的数字化。早期的计算机系统采用模拟方式表示信息，但存在着明显的缺点：经常会产生噪音和信号丢失，并且在复制过程中逐步积累噪音和误差。模拟信号不适合数字计算机加工处理。,一、多媒体数据压缩编码的必要性,数字化后未经压缩的视频和音频等媒体信息的数据量是非常大的。1.图像数据量的大小可用下面的公式来计算：图像数据量图像的总像素色彩深度8（单位为Byte，简写为B）例如，一幅640480、24位（bit）真彩色的图像，其文件大小为：640480248921.6KB,一、多媒体数据压缩编码的必要性,2.双通道立体声激光唱盘，采用脉冲码调制采样，采样频率为44.1KHz，采样精度16位，其一秒钟时间内的采样数据量为：44.110001628176.4KB一个650MB的CDROM，大约可存1小时的音乐。,一、多媒体数据压缩编码的必要性,3.对动态图形和视频图像。例如对于彩色电视信号，设代表光强Y的带宽为4.2MHz、色彩I为1.5MHz和色饱和度Q为0.5MHz，采样频率2倍原始信号频率，各分量均被数字量化为8位，从而1秒钟电视信号的数据量为：（4.21.50.5）281000000812.3MB,一、多媒体数据压缩编码的必要性,容量为650MB的CDROM仅能存1分钟的原始电视数据。若为高清晰度电视（HDTV）其1秒钟数据量约为150MB（1.2Gbps8），一张CDROM还存不下5秒钟的HDTV图像。巨大数字化信息的数据量对计算机存储资源和网络带宽有很高的要求，解决的办法就是要对视、音频的数据进行大量的压缩。播放时，传输少量被压缩的数据，接收后再对数据进行解压缩并复原。,1.空间冗余一幅图像中一般都有连续的有规则物体和规则背景的颜色分布，使图像数据在空间上表现出相关性，我们可以通过改变物体表面颜色的像素存储方式来利用空间相关性，达到减少数据量的目的。例:图象中的“A”是一个规则物体。光的亮度、饱和度及颜色都一样，因此，数据A有很大的冗余。,二、多媒体数据压缩的可能性,2.时间冗余图像序列中的相邻帧图像往往包含相同的背景和移动物体，只不过移动物体所在的空间位置略有不同。我们把一帧图像中的某物体或场景可以由其他帧图像中的物体或场景进行处理后重构出来，可以大大减少时间冗余。3.结构冗余有些图像从大体上看存在着非常强的纹理结构，这些纹理具有较强的相似性称此为结构冗余。如草席图结构上存在冗余。,二、多媒体数据压缩的可能性,4.知识冗余有许多图像的理解与某些基础知识有相当大的相关性。这类规律性的结构可由先验知识和背景知识得到，我们称此类冗余为知识冗余。例:人脸的图像有同样的结构：嘴的上方有鼻子，鼻子上方有眼睛，鼻子在中线上5.视觉冗余人类视觉系统对图像场的敏感性是非均匀和非线性的，人眼并不能察觉图像场的所有变化，人类视觉系统的分辨能力约为64灰度等级，而一般图像量化采用256灰度等级，这类冗余称视觉冗余。,二、多媒体数据压缩的可能性,6.听觉冗余人耳对不同频率的声音的敏感性是不同的，并不能察觉所有频率的变化，对某些频率不必特别关注，因此存在听觉冗余。,二、多媒体数据压缩的可能性,根据多媒体数据冗余类型的不同，解码后数据与原始数据是否完全一致、质量有无损失来进行分类，压缩方法可被分为有失真编码和无失真编码两大类。无失真压缩法也称无损压缩，一般是利用数据的统计特性来进行数据压缩，对数据流中出现的各种数据进行概率统计编码，使得数据流经压缩后形成的代码流总位数大大减少。无失真压缩的特点是压缩比较小，大约在2l至5l之间，主要用于文本数据、程序代码和某些要求严格不丢失信息的环境中，常用的无失真压缩编码有如哈夫曼编码等。,三、数据压缩技术的分类,三、数据压缩技术的分类,有失真压缩法也称有损压缩，允许一定程度的失真，会丢失一些人眼和人耳所不敏感的图像或音频信息，而且丢失的信息不可恢复，即解压缩后并不能完全恢复成原来的数据，但是根据人的视觉和听觉的主观评价是可以接受的，有失真压缩法的冗余压缩取决于初始信号的类型、前后的相关性、信号的语义内容等，压缩比可以从几到几百倍。常用的有失真压缩编码技术有预测编码、变换编码、模型编码、混合编码方法等。主要用于压缩图像、声音等信息。,常用的图像和视频压缩方法如图2-1所示：,三、数据压缩技术的分类,四、数据压缩技术的性能指标,节省图象或视频的存储容量，增加访问速度，使数字视频能在PC机上实现，需要进行视频和图象的压缩。有三个关键参数评价一个压缩系统压缩比图象质量压缩和解压的速度另外也必须考虑每个压缩算法所需的硬件和软件。,1压缩比,压缩性能常常用压缩比定义（输入数据和输出数据比）例：512480，24bit/pixel(bpp)输出15000byte输入737280byte压缩比737280/1500049,2图象质量,压缩方法：无损压缩（图象质量不变）有损压缩有损压缩：失真情况很难量化，只能对测试的图象进行估计。模拟图象质量的指标：信噪比、分辨率必须观察实际图象以后估计。,3压缩解压速度,在许多应用中，压缩和解压可能不同时用，在不同的位置不同的系统中。所以，压缩、解压速度分别估计。静态图象中，压缩速度没有解压速度严格；动态图象中，压缩、解压速度都有要求，因为需实时地从摄像机或VCR中抓取动态视频。,4硬软件系统,有些压缩解压工作可用软件实现。设计系统时必须充分考虑：算法复杂压缩解压过程长算法简单压缩效果差目前有些特殊硬件可用于加速压缩/解压。硬接线系统速度快，但各种选择在初始设计时已确定，一般不能更改。因此在设计硬接线压缩/解压系统时必须先将算法标准化。,2.2静态图像压缩国际标准-JPEG,2.2.1静态图像压缩编码JPEG概况2.2.2JPEG压缩编码的基本系统（1）数据块准备（2）离散余弦正变换DCT（3）量化（4）DCT系数Z形扫描（5）DC系数编码（6）AC系数编码2.2.3JPEG压缩编码的扩展系统,2.2.1静态图像压缩编码JPEG概况,JPEG(JointPhotographicExpertsGroup)是一个由ISO和IEC两个组织机构联合组成的一个专家组，负责制定静态的数字图象数据压缩编码标准，因此又称为JPEG标准。JPEG是一个适用范围很广的静态图象数据压缩标准，适应于彩色和单色多灰度或连续色调静止数字图像的压缩标准。,JPEG是国际上彩色、灰度、静止图像的第一个国际标准。用来在低分辨率到高分辨率的较宽范围内支持较高的图像分辨率。它不仅适用于黑白、彩色照片和印刷图片（高分辨率）等静止图像的压缩，而且适用于传送彩色传真、电话会议、新闻图片（低分辨率）的静止图像的压缩，以及电视图像序列的帧内图像的压缩编码也常采用JPEG压缩标准。,2.2.1静态图像压缩编码JPEG概况,2.2.1静态图像压缩编码JPEG概况,它满足以下要求：（1）达到或接近当前压缩比图像保真度的技术水平，能覆盖一个较宽的图像质量等级范围，能得到“很好”到“极好”的评估，与原始图像相比，人的视觉难以区分。（2）能适用于任何种类的连续色调的图像，且长宽比都不受限制，同时也不受限于景物内容、图像的复杂程度和统计特性等。（3）计算机的复杂性是可控制的，其软件可在各种CPU上完成，算法也可用硬件实现。（4）JPEG算法具有4种操作方式。第一，为顺序编码，每个图像分量按从左到右，从上到下扫描，一次扫描完成编码；第二，累进编码，图像编码在多次扫描中完成，接收端收到图像是一个由粗糙到清晰的过程；第三，无失真编码；第四，分层编码，对图像按多个分辨率编码，接收端按其显示分辨率有选择地解码。,变换编码的基本思路：1编码时略去某些能量很小的高频分量以降低码率。2变换编码还可以根据人眼对不同频率分量的敏感程度而对不同系数采用不同的量化台阶，以进一步提高压缩比。JPEG开发的压缩编码算法有三种工作方式：1基本系统（单次扫描）。2扩展系统（常采用累进编码或分层编码方式）。3无损压缩编码。,2.2.1静态图像压缩编码JPEG概况,2.2.2JPEG压缩编码的基本系统,下面是一个基于离散余弦正变换DCT的有失真JPEG编码的工作原理，图2-11是基于DCT的JPEG编码的过程框图。,2.2.2JPEG压缩编码的基本系统,顺序编码运行方式,2.2.3JPEG压缩编码的扩展系统,1.基于DCT的累进编码运行方式累进编码方式要扫描多次,2.2.3JPEG压缩编码的扩展系统,2.分层编码运行方式水平方向和垂直方向分辨率以2的倍数因子下降（降低原始图像的空间分辨率），导出若干低分辨率的原图像，分层后再采用JPEG的压缩编码方法进行编码，随后以上重复步骤，直到图像达到完整的分辨率编码为止。,2.2.3JPEG压缩编码的扩展系统,3.无损压缩预测编码运行方式,无损压缩预测编码运行方式,Px,2.3运动图像压缩编码的国际标准MPEG,2.3.1运动图像压缩编码MPEG概况2.3.2MPEG标准简介2.3.3MPEG标准化算法帧间编码技术运动补偿技术2.3.4MPEG视频压缩数据流结构2.3.5MPEG音频简述,MPEG本是MovingPicturesExpertsGroup,动态图象专家组的英文缩写，这个专家组始建于1988年，专门负责为CD建立视频和音频标准，其成员均为视频、音频及系统领域的技术专家。对于今天我们所范指的MPEG-X版本，是指一组由ITU(InternationalTelecommunicationsUnion)和ISO(InternationalStandardsOrganization)制定发布的视频、音频、数据的压缩标准。,2.3.1运动图像压缩编码MPEG概况,2.3.1运动图像压缩编码MPEG概况,MPEG的缔造者们原先打算开发四个版本：MPEG1-MPEG4，以适用于不同带宽和数字影像质量的要求。后由于MPEG3被放弃，所以现存只有三个版本的MPEG：MPEG-1，MPEG-2，MPEG-4。总体来说，MPEG在三方面优于其他压缩/解压缩方案。首先，它做为一个国际化的标准，MPEG具有很好的兼容性。其次，MPEG能够比其他算法提供更好的压缩比，最高可达200:1。再次，MPEG在提供高压缩比的同时，对数据的损失很小。,2.3.1运动图像压缩编码MPEG概况,MPEG专家组工作将整个过程分为三步：要求提出要求有双重的目的：目标,竞争的原则。竟争提出了14个不同的方案。集中测试和评价，并综合出一个最佳方案。,2.3.2MPEG标准简介,MPEG标准有：MPEG-1：1992年正式发布的数字电视标准;MPEG-2：数字电视标准;MPEG-3：于1992年合并到高清晰度电视（HDTV）工作组;MPEG-4：1999年发布的多媒体应用标准;MPEG-7：多媒体内容描述接口标准，,活动图像专家组在91年11月提出了“用于数据速率大约高达1.5MB/s的数字存储媒体的电视图像和伴音编码”，作为ISO11172号建议，于92年通过，习惯上通称MPEG-1标准。此标准主要是针对当时具有这种数据舆率的CD-ROM开发的，用于在CD-ROM上存储数字影视和上传输数字影。PAL制为352288pixel/frame25frame/sNTSC制为352240pixel/frame30frame/s。,1.MPEG1标准,MPEG-1主要用于活动图像的数字存储，它包括MPEG-1系统、MPEG-1视频、MPEG-1音频三个部分MPEG-1系统：将视频信号及其伴音以可接收的重建质量压缩到约1.5MB/s的码率，并复合成一个单一的MPEG位流，同时保证视频和音频的同步。MPEG-1视频：用于满足日益增长的多媒体存储与表现的需要，即以一种通用格式在不同的数字存储介质如VCD、CD、DAT、硬盘和光盘中表示压缩的视频。该压缩算法采用三个基本技术：运动补偿预测编码、DCT技术和变字长编码技术。MPEG-1音频：规定声音数据的编码和解码。,1.MPEG1标准,1.MPEG1标准,设计目标是把每秒传送30帧、分辨率为360240的亮度信号，分辨率为180120的色度信号的电视图像压缩成数据率为1.2Mbps的编码图像。MPEG1电视图像的压缩算法采用两种基本压缩技术：为减少时间冗余度，采用1616个像素组成的图像块的运动补偿技术。为了减少空间冗余度，采用88图像化的DCT变换技术。,1.MPEG1标准,声音压缩编码技术支持高压缩的音频数据流，其采样率为48，44.l或22KHz，量化精度为16位的声音压缩(如CD-DA音频1.4Mbps压缩为0.192Mbps)。支持两个声道，可设置成单声道（mono）、双声道（dual）或立体声（stereo）。例如采用MPEG1算法可以把位速率降到0.192Mbps。MPEG1系统采用多路复合技术，把数字电视图像和声音复合成单一数据位流，MPEG1的数据位流分成内外两层，外层为系统层，内层为压缩层。,2.MPEG2标准,MPEG-2的标准号为ISO/IEC13818，标准名称为“信息技术电视图像和伴音信息通用编码”。它是声音和图像信号数字化的基础标准，将广泛用于数字电视（包括HDTV）及数字声音广播、数字图像与声音信号的传输，多媒体等领域。MPEG-2标准是一个直接与数字电视广播有关的高质量图像和声音编码标准，MPEG-2视频利用网络提供的更高的宽带来支持具有更高分辨率图像的压缩和更高的图像质量。,2.MPEG2标准,设计目标是把以166Mbps速度传送每秒30帧、帧分辨率为720572高分辨率的广播级视频图像，压缩后的传送数据率约为3Mbps。MPEG2标准是HDTV、DVD以及新型数字式交互有线网所采用的数字视频压缩标准。MPEG2标准是MPEG1标准的扩充、丰富和完善，并与MPEG1标准相兼容。,2.MPEG2标准,MPEG2标准主要分为四部分：第一部分：系统。第二部分：视频。第三部分：音频。第四部分：一致性测试。MPEG2标准使计算机处理全彩色、全屏幕、全动态的视频图像，同时也能使有线、无线、CDROM等传输和存储介质有效地传送视频图像，并且具有CD的音质，使多媒体技术与通信和广播等技术结合起来。,2.MPEG2标准,MPEG-2系统：规定电视图像数据、声音数据及其他相关数据的同步性。MPEG-2视频：定义了不同的功能档次，每个档次又分为几个等级，来适应不同应用的要求，并保证数据的可交换性。目前共有5个档次，依功能增强逐次为：简单型、基本型、信噪比可调型、空间可调型、增强型。4个等级为：（1）低级（35228829.79，面向VCR并与MPEG-1兼容）。（2）基本级（72046029.79或72057625，面向NTSC制式的视频广播信号）。（3）高1440级（1400108030或1400115225，面向HDTV）。（4）高级（1920108030或1920115225，面向HDTV）MPEG-2音频：MPEG-2音频的基本特性之一是与MPEG-1音频向后兼容，并且支持5.1或7.1通道的环绕立体声。,3.MPEG4标准,用来支持低比特率下的多媒体通信（公用电信网14.419.2Kbps），还支持用于通信、访问和数字视听数据处理的新方法。注重多媒体系统的交互性和灵活性，以最少量的数据、极低的音频/视频压缩码率来显示建立精确的画面，达到具有高效编码、高效存储与传播以及可交互操作的特性。,3.MPEG4标准,它是为视听数据的编码和交互播放开发算法和工具，是一个数据速率很低的多媒体通信标准。其目标是要在异构网络环境下能够高度可靠地工作，并且具有很强的交互功能。为此它引入了对象基表达的要领，用来表达视听对象（AVO），并扩充了编码的数据类型，由自然数据对象扩展到计算机生成的合成数据对象，采用合成对象、自然对象混合编码算法。在实现交互功能和重用对象中引入了组合，合成和编排等重要要领,4.MPEG7标准,正式名称为多媒体内容描述接口。MPEG7标准只规定信息内容描述格式，而不规定如何从原始的多媒体资料中抽取内容描述和查询、检索方法。MPEG7标准不针对特定的应用领域，而是尽可能支持广泛的应用领域。,下图表示了MPEG-7的处理链（ProcessingChain）,这是高度抽象的方框图。,MPEG-7的应用领域很广，包括：数字图书馆。例如，图像目录、音乐词典等。多媒体目录服务。例如，黄页等。广播式媒体的选择。例如，无线电频道、TV频道等。个人电子新闻服务、多媒体创作等。教育、娱乐、新闻、旅游、医疗和电子商务等。,视频压缩算法用到了三项基本技术：帧间编码技术和基于块的运动补偿技术。空间压缩（也称为帧内压缩）JPEG技术。熵编码，使用Huffman编码技术。MPEG标准所用的编码模型与JPEG的编码模型类似，分为5个阶段：帧间编码和运动补偿、变换编码、量化、直流分量DC及交流分量AC的编码和熵编码。,2.3.3MPEG标准化算法,1.帧间编码技术,利用的时间相关性可进一步消除视频其相邻帧之间具有冗余信息，提高压缩比。将图像分成三种类型：1.参考帧（I）（JPEG编码）以自身图像的相关性进行压缩处理，必须要传送。2.预测帧（P）用前面的参考帧或预测帧作为参照图像信息进行预测编码，并可作为下一个预测帧（B帧图像或P帧图像）的参照图像信息。但因此可能引起预测误差。,1.帧间编码技术,3.双向预测帧（B）又称插补帧，在预测时，既可以使用前面或后面的视频帧（I参考帧，P预测帧）进行双向预测，也可以同时使用前后两个视频帧进行预测编码，但本身不能作为下一个预测帧的参照图像信息。（2001）在编码时，先对参考帧进行变换编码，然后对预测帧进行编码，再对两者之间的双向预测帧进行编码，这个过程对随后的下一个预测帧和双向预测帧重复，直到完成所有帧的编码为止。,1.帧间编码技术,采用下述四种预测技术：帧内编码前向预测后向预测双向预测图3-20显示一个典型的视频图像序列次序。,IBBPBBPBBPBBPBBIBB123456789101112131415161718,I帧和P帧间有两个B帧,每十五帧有一幅I帧图像（0.5秒）,1.帧间编码技术,编码器的输出视频图像序列排列顺序。1423756108IPBBPBBPB9131112161415BPBBIBB发送端编码器的输出到接收端解码器的输入端，经解码器的输出，又恢复为图3-12编码器输入顺序显示。,2.运动补偿技术(块),运动矢量选择二维1616像素块作为一个的运动矢量处理。运动矢量又称为宏块，它有不同的类型：可以是I帧内型，F前向预测型、B后向预测型和A平均值(双向预测）型。概念：当前图像可看作是前一帧图像位移后的结果，其位移的内容包括运动方向和运动幅度。运动补偿方法是跟踪画面内的运动情况并对其加以补偿后，与当前的图像宏块值相减得到预测误差，再进行编码、传送。,2.运动补偿技术(块),讨论预测器计算表达式，设前一参照帧为I0，后一参照帧为I2，当前帧为I1的示意图，求预测值。F前向B后向,2.运动补偿技术(块),表3-13给出了I帧内块、F前向预测块、B后向预测块和