第12章 运动图像压缩标准MPEG

12.1视频编码标准概述12.2第一代的视频编码技术：MPEG12.3MPEG-4：基于对象的视频编码技术12.4基于内容的信息存取与MPEG-7,MPEG家族与H.26X家族,ITU-T（国际电信联盟远程通信标准化组织）与ISO/IEC（国际标准化组织/国际电工委员会)是制定视频编码标准的两大国际组织。ITU-T的标准包括H.261，H.262、H.263、H.264、H.265，主要应用于实时视频通信领域，如会议电视。MPEG系统标准由ISO/IEC制定，制定的标准主要有MPEG-1、MPEG-2、MPEG-4和MPEG-7等。主要应用于视频存储(DVD)、广播电视、因特网和流媒体以及内容服务与管理等方面,H.26x与MPEG标准的发展演进,MPEG标准简述,视频能够压缩的根本原因在于视频数据具有较高的冗余度。压缩就是指冗余的消除，主要基于两种技术：统计学和心理视觉。消除统计冗余的基本依据是视频数字化过程在时间和空间上采用了规则的采样过程。视频画面数字化为规则的像素阵列，其密集程度适于表征每点最高的空间频率，而绝大多数画面帧包含非常少甚至不含这种最高频率的细节。,MPEG-1,MPEG-1标准1992年公布，其任务是在一种可接受的质量下，把视频和伴音信号压缩到速率大约为1.5Mb/s或更高的单一的MPEG数据流。它可对SIF（标准交换格式）分辨率(NTSC制式为352240；PAL制式为352288)的图像进行压缩，每秒播放30帧，具有CD音质，图像质量基本与VHS家用录像机相当。,MPEG-2,MPEG-2是一个直接与数字电视广播有关的高质量图像和声音编码标准。MPEG2所能提供的传输率在310Mbit/s之间，在NTSC制式下的分辨率可达720486，可提供广播级的图像质量和CD级的音质。MPEG-2主要针对高清晰度电视(HDTV)所需要的视频及伴音信号，与MPEG-1兼容。,MPEG-4,MPEG-4采用第一代视频编码的核心技术，如变换编码、运动估计与运动补偿、量化、熵编码外，还提出了一些新的有创见性的关键技术，并在第一代视频编码技术基础上进行了卓有成效的完善和改进。MPEG-4实现基于内容交互的首要任务就是把视频/图像分割成不同对象或者把运动对象从背景中分离出来，然后针对不同对象采用相应编码方法，以实现高效压缩。因此视频对象提取即视频对象分割，是MPEG-4视频编码的关键技术，也是新一代视频编码的研究热点和难点。,MPEG-7,MPEG-7作为MPEG家庭中的一个新成员，正式名称叫作“多媒体内容描述接口”，它将为各种类型的多媒体信息规定一种标准化的描述，这种描述与多媒体信息的内容本身一起，支持用户对其感兴趣的各种资料进行快速、有效的检索。,MPEG-7,MPEG-7既不同于基于波形和基于压缩的表示方式如MPEG-1和MPEG-2，又不同于基于对象的表示方式如MPEG-4，而是将对各种不同类型的多媒体信息进行标准化描述，并将该描述与所描述的内容相联系，以实现快速有效的搜索。MPEG-7的功能与其他MPEG标准互为补充。,视频编码技术的发展的三个阶段,第一代视频压缩编码技术,第一代视频压缩编码也可称之为传统的压缩编码方式，它建立在Shannon信息论的基础上，以经典的集合论为基础，用概率统计模型来描述信源，压缩就是去掉数据的冗余。,第一代视频压缩编码技术,MPEG-1、MPEG-2、H.261、H.262、H.263都是采用第一代压缩编码技术，着眼于图像信号的统计特性来设计编码器。空间域的压缩依赖于图像大块区域中相邻象素间的相似之处。在帧间编码的情况下，每一帧图像划分成宏块以进行运动补偿和编码以压缩时间冗余度。,第一代视频编码技术：基于块的编码与运动补偿,第二代压缩编码技术,以H.264和MPEG-4标准代表了基于对象的第二代压缩编码技术。它以视听媒体对象为基本单元，采用基于内容的压缩编码，充分利用了人眼视觉特性，抓住了图像信息传输的本质，从轮廓、纹理思路出发，支持基于视觉内容的交互功能，这适应了多媒体信息的应用由播放型转向基于内容的访问、检索及操作的发展趋势。,第二代压缩编码技术,MPEG-4则代表了基于模型/对象的第二代压缩编码技术，它充分利用了人眼视觉特性，抓住了图像信息传输的本质，以对象的轮廓、纹理、位移特征，支持基于视觉内容的交互功能，适应了多媒体信息的应用由播放型转向基于内容的访问、检索的发展趋势。,基于视频平面对象（VOP)的编码,基于视频平面对象（VOP)的编码,视频对象平面（VOP，VideoObjectPlane）是MPEG-4视频编码的核心概念。因此视频对象提取即视频对象分割，是MPEG-4视频编码的关键技术，也是新一代视频编码的研究热点和难点.,12.2基于第一代的视频编码技术-MPEG,MPEG的数据分为MPEG视频、MPEG音频和同步信号三个部分，视频流包含画面信息，音频流包含伴音信息，所有播放MPEG图像和伴音数据所需的时钟信息都包含在同步信号流中。,MPEG系统的编码过程,MPEG系统的解码过程,MPEG为更好地表示编码数据，规定了一个分层的结构，自上到下分别是：MPEG流（MPEGstream）图像组（GOP，GroupofPictures）图像（Image）宏块（Macroblock）块（Block）,MPEG流的分层结构,MPEG流的分层结构,MPEG的流结构,MPEG流（MPEGstream）包含音频流和视频流。视频流是由图像组（GOP）构成的图像序列，有表示开始的图像序列头和表示结束的图像终止码。图像组（GOP）是为方便随机存取而加的，其结构和长度均可变。图像组是随机存取视频单位。一个GOP由一串IBP帧组成，起始为I帧。GOP的长度是一个I帧到下一个I帧的间隔。,MPEG的流结构,图像(Image)是独立的显示单位，也是基本编码单位。宏块（Macroblock）是进行运动补偿的基本单位。由一个1616像素的亮度信息和两个88像素的色度信息组成的块称为宏块。块（Block）是由88像素组成的基本单位，是进行DCT运算的单位，块可分为亮度块或色度块。,宏块由1个亮度块和两个色度块组成,MPEG图像的类型,I图（帧内图IntraPicture）是对整幅图像采用JPEG编码的图像，它是一个独立的帧，其信息由自身画面决定，不需要参照其他画面而产生，它是P图和B图的参考图。P图（前向预测帧PredictedPicture）,它参照前一幅I或P图像做运动补偿编码。B图像(双向预测BidirectionalPrediction)，它参照前一幅和后一幅I或P图像做双向运动补偿编码。,MPEG定义的三种帧类型图像,典型的MPEG帧序列,MPEG的I帧、P帧和B帧是由MPEG编码器生成的。当第一帧编码完成后，编码器将其数据进行存储和传送，这就是I帧。紧接着第二帧输入，并以同样的过程和方法对其进行处理，但编码器并非将第二帧完整的数据进行存储和传送，而是将它与第一帧进行比较运算。按此方法对其后的帧进行处理，直到找到某一帧与第一帧的差别超过规定值，则将此帧与第一帧的差别（包括位移量和差值）存储起来，并将此帧排列在第一帧后传送出去，这就是P帧。,典型的MPEG帧序列,帧内图像I的距离为N=9，预测图像(P)的距离为M=3,帧间预测编码:运动估计与运动补偿,运动估计技术是帧间压缩模块的核心环节，因此受到人们的广泛关注。运动矢量（MotionVector，MV）和运动补偿（MotionCompensation，MC）是帧间预测编码中两个最重要的概念。,运动估计与运动矢量,运动估计研究的是视频序列图像中投影坐标在像平面上的变化，获取运动参数，估计运动前后相邻时刻两幅图像上对应点坐标之间的差值，即运动矢量。可以通过运动物体的特征来观察分析物体的运动。运动物体特征是指物体形状或表面特征，如尖锐点、边缘线等。在这里主要是指运动物体在二维图像平面上的投影坐标的对应关系。,运动估计与运动矢量,设t1t2时，物体由P运动至P，即：空间坐标：P(X，Y，Z)P(X，Y，Z)像平面坐标：p(x，y)p(x，y)二维位移（x，y）称为二维运动矢量，标记为d(dx，dy)对于一组点，二维空间位移记为d(dxi，dyi),运动估计与运动矢量,运动补偿算法是当前视频图像压缩技术中使用最普遍的方法之一。运动补偿工作于宏块一级，主要是消除预测图与插补图在时间上的冗余，以提高压缩比。运动补偿是一种预测，它不是对每个像素预测，而是以1616的图像宏块为单位的预测。,运动预测与补偿,基于块匹配的运动补偿,基于块匹配算法（BlockMatchingAlgorithm）的运动估计就是在参考帧（可能是前一帧）的搜索窗口中找到和目标帧中的当前块的最匹配的块。其基本思想是首先要将目标帧和参考帧图像分块，一般宏块为1616像素大小。然后确定搜索范围大小，最后在参考图像相应搜索区域中寻找最匹配的宏块，运动矢量（包括位移和方向）从参考宏块位置指向当前宏块位置。,基于块匹配的运动补偿,基于块匹配的运动估计编码器的结构,运动估计与补偿解码器的结构,12.3MPEG-4：基于对象的视频编码技术,MPEG-4采用了新一代视频编码技术，它在视频编码发展史上第一次把编码对象从图像帧拓展到具有实际意义的任意形状视频对象，从而实现了从基于像素的传统编码向基于对象和内容的现代编码的转变，是视频编码技术突破性的飞跃。,MPEG-4的对象,传统的视频压缩技术都是以一帧画面作为压缩的单位，而MPEG-4将输入视频系列每一帧分割成相应形状的图形区域（即视频对象），以便每一视频对象代表语义上有意义的对象或感兴趣的视频内容。视频对象是构成内容的基本要素。因此原本是一张张画面的视频序列被分割成数个以对象为主的视频序列。,基于对象编码技术的场景示例,基于对象编码技术的场景示例,在这个场景中，对象主要包含了三大类：静态图像（Stillimages，如场景中的背景）视频对象（VideoObjects，如场景中的节目主持人，不含背景）音频对像（AudioObjects，如场景中节目主持人声音),场景中的音视频对象,音视频对象即(AVO：AudiovisualObject）对象是MPEG-4为支持基于内容编码而提出的重要概念。对象是指在一个场景中能够访问和操纵的实体，AV对象是听觉、视觉、或者视听内容的表示单元，它可以是自然的或合成的声音、图像。原始AV对象具有高效编码、高效存储与传输以及可交互操作的特性，它又可进一步组成复合AV对象。,MPEG-4场景中的AV对象及交互,MPEG-4视频编码的数据层次结构,MPEG-4：对象的提取与分割,MPEG-4实现基于内容交互的首要任务就是把视频/图像分割成不同对象或者把运动对象从背景中分离出来，然后针对不同对象采用相应编码方法，以实现高效压缩。因此视频对象提取即视频对象分割，是MPEG一4视频编码的关键，是实现基于对象编码的第一步，也是新一代视频编码的研究热点和难点。,图像分割的主要步骤,VOP视频编码技术,VOP是MPEG-4视频编码的核心概念，视频对象VO是构成内容的基本要素。视频对象平面（VOP）是VO在时间上（即每帧中）的体现。如何得到VOP成为实现MPEG-4的先决条件和关键。将视频/图像分割成不同对象或者把运动对象从背景中分离出来后，就可单独对属于相同视频对象(VO)的VOP的轮廓、运动和纹理信息进行编码和传送，以实现高效压缩。,VOP的编码流程,MPEG-4编解码过程,视频对象编码首先从原始图像中分割出各个视频对象，然后由编码控制机制为不同的对象分配码率，之后对各个对象进行独立编码，最后将各个对象的码流复合成一个码流，形成压缩视频数据流。解码时首先将压缩视频数据流分解，得到每一个对象的编码数据流，然后分别进行对象解码，解码结果组合在一起形成输出视频。,MPEG-4VOP视频编解码器结构,12.4基于内容的信息存取与MPEG-7,MPEG-7的产生，其重点在于影音内容的描述和定义，以有弹性、具延伸性、多层次及明确的数据结构和语法来定义影音数据的内容，经由MPEG-7的定义格式，使用者可以有效率地搜寻、过滤和定义想要的影音数据。MPEG-7在2001年9月被确定为国际标准。在ISO/IEC15938文档中，MPEG-7的正式名称为“多媒体内容描述接口”（multimediacontentdescriptioninterface）。,MPEG-7:基于信息内容的搜索引擎,MPEG-7是属于信息方面的检索和搜寻，而所谓信息，则可以是影像或音乐；MPEG-7在本质上来说就是一个搜索引擎，只不过它提供的是多媒体的信息查询服务。将MPEG-7对图像内容的标准描述应用到实际的CBIR系统中，从而改善检索系统的通用性，并提高检索资源的重复利用率。基于MPEG-7与CBIR这两项技术的研究既有深远的意义，也将面临巨大的挑战。,MPEG-7应用的表示,CBIR：基于内容的图像检索,基于内容的图象检索（CBIR：Content-basedimageretrieval），可看作是介于信息用户和图象数据库之间的一种信息服务系统，它能从数据库中直接找到具有指定特征或含有特定内容的图像。,基于内容的图象检索系统的组成,按图例检索（QueryByExample）：,语义的检索示例,“manwithdogundertree”,使用关联反馈机制参与检索过程示例,CBIR系统的应用,近年来，基于内容的图像检索己成为一个非常活跃的领域，许多大学、研究单位和公司都投入了大量的人力、物力和财力进行研究和开发。无论是在研究方面还是在商业方面，他们都取得了可喜的成就，发展了许多技术，同时也引出了CBIR中许多值得研究的课题。在这些基础上也产生了一些CBIR系统，他们的处理框架大致相同，只是在特征的选取、查询算法以及用户接口的设计等方而各有不同而已。,IBM的QBIC系统,QBIC实现了基于颜色、纹理或形状的组合查询以及文字关键字的查询，在用颜色特征查询时允许用户指定各种颜色的百分比；在用纹理特征查询时允许用户从给定纹理库中选取有代表性的纹理图案；在用形状特征查询时允许用户指定一个已有目标，也允许用户勾画草图来表示形状。,根据用户草图形状所匹配的查询