第四讲 视频处理技术.doc

第四章、视频处理技术数字视频信息是多媒体元素中信息携带最丰富、表现能力最强的一种多媒体元素。在多媒体技术中，视频信息的获取和处理具有举足轻重的地位，视频处理技术在现在和将来都是多媒体技术研究和应用的一个热点。 一、视频基本概念就其实质而言，视频是一组连续变化的图像画面。所以，视频也称之为运动图像。根据视觉暂留原理，连续的图像以超过一定的速度变化时，人眼就无法辨别单独静止的图像画面，而形成平滑连续的视觉效果。图像与视频是两个既有联系又有区别的概念：静止的称为图像、运动的称为视频，视频中每帧单独画面形成一幅数字图像，而连续的图像序列又形成了视频，所以，图像就是离散的视频，视频就是连续的图像。除此以外，视频中还包括声音内容。1、模拟视频和数字视频模拟视频是一种用于传输图像和声音且随时间连续变化的电信号。早期视频的获取、存储和传输都是采用模拟方式，所用的存储介质、处理设备以及传输网络都是模拟的。人们在电视上所见到的视频图像就是以模拟电信号的形式来记录的，井由模拟调幅的手段在空间传播，再用磁带录像机将其模拟信号记录在磁带上。模拟视频具有以下特点： 以连续的模拟信号的形式来记录； 使用磁带录像机以模拟信号记录在磁带上。 依靠模拟调幅的手段在空间传播：传统的视频都以模拟方式进行存储和处理，不适于网络传输，其信号在处理与传送时会有一定的衰减，并且不便于分类、检索和编辑。数字视频是以离散的数字信号表示、存储、处理和传输的视频信息，所用的存储介质、处理设备以及传输网络都是数字的。例如，采用数字摄像设备直接拍摄的视频画面，通过数字宽带网络（光纤网、数字卫星网）传输，使用数字设备（数字电视接收机或模拟电视+机顶盒）接受播放，用数字存储设备（如光盘、磁盘、数字磁带）等存储。数字视频具有以下特点： 以离散的数字信号的形式来记录； 使用数字存储媒体存储视频信息； 用数字化设备编辑 通过数字化宽带网络传播；多媒体技术中的数字视频，主要指以多媒体计算机为核心的数字视频处理体系。要使多媒体计算机能够对视频进行处理，除了直接拍摄数字视频信息外，还必须把来自模拟视频源模拟摄像机、录像机、影碟机等设备的模拟视频信号转换成计算机要求的数字视频形式。与模拟视频相比，数字视频还具有以下优点：1）便于计算机编辑处理。数字视频信号可以在多媒体计算机中进行采集、编码、存储、处理，很容易进行创造性地编辑与合成，进行各种特技效果的处理。2）再现性好。模拟信号由于是连续变化的，所以不管复制时采用的精确度多高，失真总是不可避免的，经过多次复制以后，失真现象就更明显。数字视频可以不失真地进行无限次拷贝，它不会因存储、传输和复制而产生图像质量的变化，因而能够准确地再现图像。3）适合于网络应用。在网络环境中。数字视频信息可以很方便地实现资源的共享和传输。通过网络链路，数字视频可以很方便地从一个地方传到另一个地方，且支持不同的访问方式（点播、广播）视频数字信号可以长距离传输而不会产生任何衰减。数字视频的缺陷是数据量巨大，因而需要进行适当的数据才能适合进行处理和传输，这样在处理和传输的过程中都要进行压缩和解压缩的处理，从而影响处理速度。显示设备采用DVI接口具有主要有以下两大优点：一、速度快DVI传输的是数字信号，数字图像信息不需经过任何转换，就会直接被传送到显示设备上，因此减少了数字模拟数字繁琐的转换过程，大大节省了时间，因此它的速度更快，有效消除拖影现象，而且使用DVI进行数据传输，信号没有衰减，色彩更纯净，更逼真。二、画面清晰计算机内部传输的是二进制的数字信号，使用VGA接口连接液晶显示器的话就需要先把信号通过显卡中的D/A（数字/模拟）转换器转变为R、G、B三原色信号和行、场同步信号，这些信号通过模拟信号线传输到液晶内部还需要相应的A/D（模拟/数字）转换器将模拟信号再一次转变成数字信号才能在液晶上显示出图像来。在上述的D/A、A/D转换和信号传输过程中不可避免会出现信号的损失和受到干扰，导致图像出现失真甚至显示错误，而DVI接口无需进行这些转换，避免了信号的损失，使图像的清晰度和细节表现力都得到了大大提高。最后，DVI接口可以支持HDCP协议，为将来看带版权的高清视频打下基础。不过要想让显卡支持HDCP，光有DVI接口是不行的，需要加装专用的芯片，还要交纳不斐的HDCP认证费，因此目前真正支持HDCP协议的显卡还不多。HDMI的英文全称是“High Definition Multimedia”，中文的意思是高清晰度多媒体接口。HDMI接口可以传送无压缩的音频信号及高分辨率视频信号。同时无需在信号传送前进行数/模或者模/数转换，可以保证最高质量的影音信号传送。应用HDMI的好处是：只需要一条HDMI线，便可以同时传送影音信号，而不像现在需要多条线材来连接；同时，由于无线进行数/模或者模/数转换，能取得更高的音频和视频传输质量。对消费者而言，HDMI技术不仅能提供清晰的画质，而且由于音频/视频采用同一电缆 ，大大简化了家庭影院系统的安装。2、电视信号制式电视信号是视频处理的重要信息源，各国的电视有不同的标准，标准也就是电视的制式。目前各国的电视制式不尽相同，不同制式之间的主要区别在于不同的刷新速度、颜色编码系统和传送频率等。目前世界上常用的电视制式有中国、欧洲使用的PAL制，美国、日本使用的NTSC 制及法国等国所使用的SECAM 制。1） NTSC 制NTSC ( National Television Standard Committee）是美国国家电视系统委员会在1953 年制定的一种兼容的彩色电视制式，是目前常用的视频标准，在美国、日本和其他国家广为使用。它定义了彩色电视机对于所接受的电视信号的解码方式、色彩的处理方式、屏幕的扫描频率。例如NTSC 制规定水平扫描线有525 条，以每秒30 帧速率传送。每一帧画面由两次扫描完成每一次扫描画出一个场（需要l60s ) ，两个场构成一帧。2 ）PAI制PAI制（Phase Alternate Lock）是联邦德国1962 年制定的一种兼容电视制式。意为“相位逐行交变”，我国和大部分西欧国家使用这种制式。PAL制式将水平扫描线提高到625 行，但是扫描速率降到了每秒25 帧，也是隔行扫瞄，每场需要1/50秒。 3）SECAM 制SECAM 制(Sequential Color and Memory）称为顺序传送彩色与存储，该标准主要用于法国、俄罗斯及东欧以及中东一些国家。3、帧视频是由一系列单独的图像组成的，每一幅单独的图像称之为一“帧”。因为人脑可以暂时保留单独的图像，当把单独的每帧图像连续放映，就会产生动态的回面效果。连续播放速率为24帧每秒时，就会产生平滑和连续的效果。帧速率是描述视频信号的一个重要概念。电影是24帧/秒，PAL制式电视系统，其帧速率为25帧/秒，NTSC制式电视系统，帧速率为30帧秒。 4、隔行扫描和逐行扫描在电视台发射的信号中，每帧图像都是逐行“画”成的，技术术语叫做“扫描”。在电视技术中，扫描就是电子束在荧光屏上做扫描运动。通常将电视从左至右的一次扫描成为扫描了一线，而将一幅完整画面所需要完成的所有扫描次数称为线数。扫描有两种方式，一种是隔行扫描，一种是逐行扫描。隔行扫描指显示屏在显示一幅图像时，先扫描奇数行，全部完成奇数行扫描后再扫描偶数行，因此每幅图像需扫描两次才能完成，隔行扫描的缺点是画面有轻微的闪烁感，但隔行扫描能节省频带，硬件实现比较简单。逐行扫描是指显示屏显示图像进行扫描时，从屏幕左上角的第一行开始逐行进行，整个图像扫描一次完成。因此图像显示画面闪烁小，显示效果好。显示器大都采用逐行扫描方式。二、模拟视频的数字化要让计算机处理视频信息，首先要解决的是将模拟视频信号转换为数字视频信号。与音频信号数字化类似，计算机也要对输入的模拟视频信号进行采样与量化，并编码使其变成数字化信号。1、视频采样模拟视频的数字化包括不少技术问题，如电视信号具有不同的制式而且采用复合的YUV信号方式，而计算机工作在RGB空间；电视机是隔行扫描，计算机显示器大多逐行扫描；电视图像的分辨率与显示器的分辨率也不尽相同，等等。因此，模拟视频的数字化主要包括色彩空间的转换、光栅扫描的转换以及分辨率的统一。模拟视频的数字化一般采用分量数字化方式，先把复合视频信号中的亮度和色度分离，得到YUV。然后用三个模数转换器对三个分量分别进行数字化，最后再转换成RGB空间。有两种采样方法，一种是使用相同的采样频率对图像的亮度信号和色差信号，这样可以保持较高的图像质量，但会产生巨大的数据量；另一种是对亮度信号和色差信号采用不同的采用频率进行采用（通常是色差信号的采样频率低于亮度信号的采样频率），这样采样可以减少采样数据量，是实现数字视频压缩的一种有效途径。视频采样的基本原理是依据人的视觉系统所具有的两个特性：一是人眼对色度信号的敏感程度比对亮度信号的敏感程度低，利用这个特性可以把图像中表达颜色的信号去掉一些而使人觉察不到。用Y：U：V来表示Y、U、V三个分量的采样比例，数字视频常用的采样格式有4：4：4，4：2：2，4：1：1，4：2：0四种。实验表明，使用这些采样格式，人的视觉系统对采样前后显示的图像质量不会感到有明显差异。1图6-3 三种采样格式的采样空间位置图示1）4：4：4采样格式这种采样格式指在每条扫描线上每4个连续采样点取4个亮度Y样本、4个红色差Cr样本和4个蓝色差Cb样本，这种采样相当于每个像素用三个样本表示，因而也成为“全采样”。2）4：2：2采样格式这种采样格式指在每条扫描线上每4个连续采样点取4个亮度Y样本、2个红色差Cr样本和2个蓝色差Cb样本，这种采样平均每个像素用2个样本表示。3）4：1：1采样格式这种采样格式指在每条扫描线上每4个连续采样点取4个亮度Y样本、1个红色差Cr样本和1个蓝色差Cb样本，这种采样平均每个像素用1.5个样本表示。4）4：2：0采样格式这种采样格式在采样位置上与以上几种有所不同，它指水平和垂直两个方向上每2个连续的（共4个）采样点上各取2个亮度Y样本、1个红色差Cr样本和1个蓝色差Cb样本，平均每个像素用1.5个样本表示。常用的DV、MPEG-1和MPEG-2等均使用这种格式。然而，尽管是同一种格式，MPEG-1和MPEG-2在采样空间位置上还有一定的差别。MPEG-1中的色差信号位于4个亮度信号的中间位置，而MPEG-2中的色差信号在水平方向上与左边的亮度信号对其，没有半个像素的位移。2、视频量化与位图量化相似，视频量化也是进行图像幅度上的离散化处理，如果信号的量化精度为8位二进制，信号就有28=256个量化等级。对于以上不同的采样格式，如果用8位的量化精度，则每个像素的采样数据为：采样格式样本个数/像素采样数据位数（bits）/像素4:4:4338=244:2:2228=164:1:11.51.58=124:2:0量化位数越多，量化层次就分得越细，但数据量也成倍上升。每增加一位，数据量就翻一倍。例如，DVD播放机视频量化位数最多为10位，灰度等级达到1024级，而数据量是8位量化的4倍。所以量化精度的选择要根据应用需求而定。一般用途的视频信号均采用8位或10位量化，而信号质量要求较高的情况下可采用12位量化。1994年，松下公司推出了D-5格式数字分量录像机。D-5格式由许多技术特点，是采用10bit量化的优秀的数字分量记录格式，记录码率170Mbps.在1988年，SONY开发了世界上第一个不进行任何压缩的以原始数据流记录的Digital-HDVS格式：HD1！它采用的是磁带宽度达到了 1英吋的特制的金属磁带，由于磁带的宽度达到了 1英吋，所以无法将它密封在盒子里，所以当时的这种记录设备为开盘式。但由于是原始码流的不压缩记录，所以其拥有高得惊人的图像质量。HD1格式的记录清晰度达到了令人吃惊的：1035线！（远远高过现在经过压缩的 7、8线的高清系统）。但由于是不压缩的记录，所以造成其记录码流空前庞大，其每秒的传输数据带宽达到了：10Gbps以上！而且其记录系统极度的精密复杂，整个系统非常庞大（足足有一个人高）。主记录单元：HDD-1000和配套的分体解码器：HDDP-1000的造价竟然高达：60万美元一套！由于价格太过昂贵，当时即便连NHK这样的航母级电视台都很难承受。所以 HD1的不压缩高清数字格式 SONY总共只制造了100套，其中NHK使用了其中的10套系统，另外的都使用于极高端的胶片转数字（俗称：胶转磁）的母带记录领域。这就是世界上第一个数字高清晰系统：HDD-1000+HDDP-1000（价值：60万美元）。码流高达：10Gbps，每记录一个小时的信号所需要的磁带的价格为：$2,500美元。一卷60分钟的磁带重达10磅！由于不压缩的系统太过复杂和昂贵（即便是专业领域都很难接受其价格），所以SONY还是决定开发压缩的数字格式。1993年诞生了世界上第一个压缩的数字记录格式：Digital-Betacam（88Mbps码流，价格只有 HD1系统的 1/8）。但对于民用来说价格依然十分昂贵，但广播级领域已经可以接受其价格。而且其：4:2:2的10Bit数字分量的记录方式，依然提供了极其高的图像质量，所以Digital-Betacam成为了数字标准清晰度时代的通用母带格式）。而且由于Digital-Betacam使用了 1/2英吋的磁带（远远小于HD1所使用的1英吋磁带），所以SONY以Digital-Betacam为基础，开发出了世界上第一代的数字摄、录、放一体机（现在的DV、HDV、AVCHD等等，其实都是基于这种开发理念）。3、视频压缩与编码与声音、图像相比，视频的信息量更大，因而视频数据的要所编码问题更为突出。在多媒体系统中，数字视频信号也要经过编码压缩后才能以视频文件的形式存储或传输，最后由解码器将压缩后的数字视频还原输出，实现视频播放。视频压缩的目标是在尽可能保证视觉效果的前提下减少视频数据串。视频压缩比一般指压缩后的数据量与压缩前的数据量之比。由于视频是连续的静态图像，因此其压缩编码算法与静态图像的压缩编码算法有某些共同之处，但是运动的视频还有其自身的特性，因此在压缩时还应考虑其运动特性才能达到高压缩的目标。在视频压缩中常需用到以下的一些基本概念： 有损和无损压缩：在视频压缩中有损和无损的概念与静态图像中基本类似。无损压缩也即压缩前和解压缩后的数据完全一致。多数的无损压缩都采用RLE行程编码算法。有损压缩意味着解压缩后的数据与压缩前的数据不一致。在压缩的过程中要丢失一些人眼和人耳所不敏感的图像或音频信息，而且丢失的信息不可恢复。几乎所有高压缩的算法都采用有损压缩，这样才能达到低数据串的目标。丢失的数据率与压缩比有关，压缩比越小，丢失的数据越多，解压缩后的效果一般越差。此外，某些有损压缩算法采用多次重复压缩的方式，这样还会引起额外的数据丢失。 帧内和帧间压缩：帧内（Intraframe Compression)压缩也称为空间压缩Spatial Compression)。当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，这实际上与静态图像压缩类似。帧内一般采用有损压缩算法由于帧内压缩时各个帧之间没有相互关系，所以压缩后的视频数据仍可以以帧为单位进行编辑。帧内压缩一般达不到很高的压缩。采用帧间(Interframe Compression)压缩是基于许多视频或动画的连续前后两帧具有很大的相关性，或者说前后两帧信息变化很小的特点。也即连续的视频其相邻帧之间具有冗余信息，根据这一特性，压缩相邻帧之间的冗余量就可以进一步提高压缩量，减小压缩比。帧间压缩也称为时间压缩(Temporal Compression)，它通过比较时间轴上不同帧之间的数据进行压缩。帧间压缩一般是无损的。帧差值(Frame Difference)算法是一种典型的时间压缩法，它通过比较本帧与相邻帧之间的差异，仅记录本帧与其相邻帧的差值，这样可以大大减少数据量。 对称和不对称编码：对称性(Symmetric)是压缩编码的一个关键特征。对称意味着压缩和解压缩占用相同的计算处理能力和时间，对称算法适合于实时压缩和传送视频，如视频会议应用就以采用对称的压缩编码算法为好。而在电子出版和其他多媒体应用中，一般是把视频预先压缩处理好，尔后再播放，因此可以采用不对称Asymmetric)编码。不对称或非对称意味着压缩时需要花费大量的处理能力和时间，而解压缩时则能较好地实时回放，也即以不同的速度进行压缩和解压缩。一般地说，压缩一段视频的时间比回放(解压缩)该视频的时间要多得多。例如，压缩一段三分钟的视频片断可能需要10多分钟的时间，而该片断实时回放时间只有三分钟。目前有多种视频压缩编码方法，但其中最有代表性的是MPEG数字视频格式和AVI数字视频格式。4、MPEG编码技术1）MPEG1和MPEG2的编码MPEG由三种类型的图像组成： I帧（帧内图，Intra Picture），是对整幅图像采用JPEG编码的图像，它是一个独立的帧，其信息由自身画面决定，不需要参照其他画面而产生，它是P帧和B帧的参考图。 P帧（前向预测帧，Predicted Picture），它参照前一幅I帧或P帧图像做运动补偿编码。 B帧（双向预测，Bidirectional Prediction），它参照前一幅和后一幅I帧或P帧图像做双向运动补偿编码。 I帧是对整幅图像编码的帧，提供一个参考点，作为其他帧产生的基础。P帧是用前一个 I帧（或P帧）来进行运动补偿预测所产生的图像，与I帧相同的信息不传送，只传送主体变化的差值，这样就省略了大部分细节信息。新生成的P帧又可以作为其下一帧的参考帧。B帧是利用前、后的I帧或P帧来进行运动补偿预测所产生的图像，它只反映I、P画面的运动主体变化情况，因此在重放时既要参考I帧内容，又要参考P帧内容，所以B帧被称为双向预测帧。从压缩的程度来看， I帧的压缩率最小；由于P帧只存储当前帧和参考帧的误差信号，因此P帧得到了较大的压缩；而B帧的压缩率是最大的，这也是B帧不能作为预测的依据。使MPEG获得较大的压缩率的方法是消除连续帧中的时间冗余。这意味着无论你在视频上看到如何激烈的动作，两幅连续帧之间的差别总是很小的。由于JPEG只压缩一幅单独图像的信息，所以MPEG必须处理时间冗余。从根本上讲，这种属于差分编码的技术首先必须在发送端发送一个基本帧，然后才能比较后续帧的区别并进行编码，压缩后加以传送。接收端能够根据第一个基本帧和接收到的差值重建所有的帧。把这种思想加以扩展就是MPEG所做的工作，当然，MPEG 要比这复杂。计算当前帧与前一个帧的差别来处理那些在人的视野中移动的图形是非常有效的，因为那些图形就在前一个帧中。但它不适用于那些不在前一个帧中的图像。比如说，一个全新的情景就不能这样压缩。新老情景间的差别很大，这时很可能不得不发送新的场景。综上所述，MPEG标准的视频压缩主要以两个基本技术为基础，一是采用DCT的帧内压缩，其目的是为了减少空间冗余度。二是采用基于运动补偿的帧间压缩技术，用以减少时间（运动）冗余度。2）.MPEG-4 的基于对象编码.MPEG-4采用了新一代的视频编码技术，他第一次把编码对象从图像帧扩展到具有实际意义的任意形状视频对象，从而实现了从基于像素的传统编码向基于对象和内容的编码的转变。MPEG-4 技术的标准是对运动图像中的内容进行编码，其具体的编码对象就是图像中的音频和视频，术语称为AV 对象，而连续的AV 对象组合在一起又可以形成AV 场景。AV 对象是MPEG-4 为支持基于内容编码而提出的重要概念。对象是指在一个场景中能够访问和操纵的实体，对象的划分可根据其独特的纹理、运动、形状、模型和高层语义为依据。在MPEG-4 中所见的视音频已不再是过去MPEG-1、MPEG-2 中图像帧的概念，而是一个个视听场景（AV场景），这些不同的AV场景由不同的AV 对象组成。AV 对象是听觉、视觉、或者视听内容的表示单元，其基本单位是原始AV 对象。因此，MPEG4 标准就是围绕着AV 对象的编码、存储、传输和组合而制定的，高效率地编码、组织、存储、传输A V 对象是MPEG4 标准的基本内容。由于MPEG4 只处理图像帧与帧之间有差异的元素，而舍弃相同的元素，因此大大减少了合成多媒体文件的体积。MPEG-4标准的基本内容是对AV 对象进行高效编码、组织、存储与传输。AV对象的提出，使多媒体通信具有高度交互及高效编码的能力，AV 对象编码就是MPEG-4 的核心编码技术。MPEG-1 、MPEG-2 、MPEG-4主要技术指标对比MPEG的主要技术指标MPEG-1MPEG-2MPEG-4公布时间1992年1995年1998年最大分辨率35228819201080720576最高音频采样48kHz96kHz96kHz最多音频通道数288最大码率3Mb/s80Mb/s510Mb/s视频质量中等好或很好好编码的硬件要求低高很高解码的硬件要求很低中等高Divx和Xvid1998年以前, 在 PC 上能用的唯一 MPEG-4 编码器就是由微软所开发的, 包括 MS MPEG4 V1、MS MPEG4 V2、MS MPEG4 V3 的系列编码核心。其中前面两种都可以用来制作 AVI 档案, 至今都作为 Windows 的默认组件。不过 V1 和 V2 的编码质量都还不太好, 直到 MS MPEG4 V3 开始, 画面质量有了显着的进步。不过微软却决定仅将这个 MS MPEG4 V3 的视频编码核心封闭在 Windows Media 流媒体技术, 也就是我们熟知的 ASF 档案之中, 不再能用于 AVI 档案。ASF 档案当然有一些好处, 但是过于封闭甚至不能被编辑, 惹恼了天不怕地不怕的电影骇客。很快便有小组修改了微软的 MS MPEG4 V3, 解除了不能用于 AVI 档案的限制, 并开放了其中一些压缩参数,由此, 也就诞生了我们今天所熟悉的 MPEG4 编码器 DivX;-)3.11。用它编码的视频文件不仅最大程度上还原了DVD原本的画面质量，而且可以允许你选择几乎所有格式的音频，包括VBRMP3甚至AC3！所以，严格的说，DivX是一种单机拷贝、储存、共享影视文件的最佳方案！这就是为什么说人称它是DVD杀手的原因吧。DivX广泛流行, 成为 DVDRip 的标准, 问题是, 它的基础技术是非法盗用微软的,只能在地下里流传却上不了台面, 无法进行更广泛的产品化, 更无法生产硬件播放机。在这种情况下, 一些精通视频编码的工程师 (包括原 DivX 3.11 的开发者) 成立了一家名为 DivX Networks Inc. 的公司, 简称 DXN。DXN 发起一个开放原始码项目 Project Mayo, 目标是开发一套全新的、开放原始码的 MPEG4 编码软件。特别是完全符合 ISO MPEG4 标准的 Open DivX CODEC 吸引了许多软件高手参与, 并很快开发出Open DivX 编码器和译码器原型, 之后又开发出更高性能的编码器 Encore 2 等等。就在一切都看起来进展顺利的时候, 好戏上演了。DXN 在设计授权协议时留了一手,另搞了一个 DIVX.COM 网站, 封闭了原始码, 发布了他们自己的 DivX 4。 DivX 4 (以及后续的收费版本DivX 5) 等成了私有财产, 许多人为打破微软垄断而无偿付出的智能和劳动仅仅是帮助了 DXN 公司发财, 这种结果当然是不能被接受的。为此, 整个 0dayz 组织永远的拒绝了 DXN 公司的 DivX4/5, 而原 Open DivX 开发组中的幸存者, 逐渐重新聚拢开发力量, 在最后一个 Open DivX 版本的基础上, 发展出了 XviD。劫后余生的 XviD 到现在又度过了近 1 年时间, 它继承并发展了 Open DivX Encore 2, 性能得到极大提高, 被认为目前世界上速度最快的 MPEG4 CODEC。XviD重写了所有代码, 并吸取前车之鉴依照 GPL 发布。因为 MPEG4 还存在专利权的问题, 所以 XviD 只能仿照 LAME 的做法, 仅仅作为对如何实现 ISO MPEG-4 标准的一种研究交流, 网站上只提供原始码, 如果要使用就要自己编译原始码或者到第三方网站下载编译好的可运行版本。想当初 Gaj 之流的几个家伙搞 Open DivX 的时候, 一开始是很像一个像模象样的开放原始码项目, 很多人都被吸引过去一起开发, 测试。直到后来, 那几个家伙一夜之间露出骗子的本来面目了, 把 Open DivX 的成果一股脑带走, 变成了封闭源代码的 DivX4, 而后进一步变成现在的收费的 DivX 5 了。本来很好的 Open DivX 被逼流产, 不过也就促成了今天 XviD 的诞生、发展和壮大。现在的 XviD 更可以说超越了 DivX 5, 以更好的质量, 更强的功能挑战着新一代的 MPEG4 应用战场。MPEG-7标准被称为“多媒体内容描述接口”，为各类多媒体信息提供一种标准化的描述，这种描述将与内容本身有关，允许快速和有效的查询用户感兴趣的资料。它将扩展现有内容识别专用解决方案的有限的能力，特别是它还包括了更多的数据类型。换而言之，MPEG-7规定一个用于描述各种不同类型多媒体信息的描述符的标准集合。MPEG-7是属于信息方面的检索和搜寻，而所谓信息，则可以是影像或音乐；换句话说，MPEG-7在本质上来说就是我们常常在网上使用的搜索引擎，只不过它提供的是多媒体的信息查询服务。在我们的日常生活中，日益庞大的可利用音视频数据需要有效的多媒体系统来存取、交互。这类需求与一些重要的社会和经济问题相关，并且在许多专业和消费应用方面都是急需的，尤其是在网络高度发展的今天，而MPEG-7的最终目的是把网上的多媒体内容变成象现在的文本内容一样，具有可搜索性。这使得大众可以接触到大量的多媒体内容，MPEG-7标准可以支持非常广泛的应用。制定MPEG-21标准的目的是：(1)将不同的协议、标准、技术等有机地融合在一起；(2)制定新的标准；(3)将这些不同的标准集成在一起。MPEG-21标准其实就是一些关键技术的集成，通过这种集成环境就对全球数字媒体资源进行透明和增强管理，实现内容描述、创建、发布、使用、识别、收费管理、产权保护、用户隐私权保护、终端和网络资源抽取、事件报告等功能。三、数字视频文件格式1、AVI格式(Audio Video Interleaved)它于1992年被Microsoft公司推出，随Windows3.1一起被人们所认识和熟知。所谓“音频视频交错”，就是可以将视频和音频交织在一起进行同步播放。这种视频格式的优点是图像质量好，可以跨多个平台使用，其缺点是体积过于庞大，而且更加糟糕的是压缩标准不统一，最普遍的现象就是高版本Windows媒体播放器播放不了采用早期编码编辑的AVI格式视频，而低版本Windows媒体播放器又播放不了采用最新编码编辑的AVI格式视频，所以我们在进行一些AVI格式的视频播放时常会出现由于视频编码问题而造成的视频不能播放或即使能够播放，但存在不能调节播放进度和播放时只有声音没有图像等一些莫名其妙的问题，如果用户在进行AVI格式的视频播放时遇到了这些问题，可以通过下载相应的解码器来解决。是目前视频文件的主流。 这种格式的文件随处可见，比如一些游戏、教育软件的片头，多媒体光盘中，都会有不少的AVI 。2、MPEG（Motion Pictures Experts Group）格式MPEG标准主要有以下五个，MPEG-1、MPEG-2、MPEG-4、MPEG-7及MPEG-21等。该专家组建于1988年，专门负责为CD建立视频和音频标准，而成员都是为视频、音频及系统领域的技术专家。及后，他们成功将声音和影像的记录脱离了传统的模拟方式，建立了ISO/IEC1172压缩编码标准，并制定出MPEG-格式，令视听传播方面进入了数码化时代。因此，大家现时泛指的MPEG-X版本，就是由ISO(International Organization for Standardization)所制定而发布的视频、音频、数据的压缩标准。MPEG标准的视频压缩编码技术主要利用了具有运动补偿的帧间压缩编码技术以减小时间冗余度，利用DCT技术以减小图像的空间冗余度，利用熵编码则在信息表示方面减小了统计冗余度。这几种技术的综合运用，大大增强了压缩性能。这类格式可是影像阵营中的一个大家族，也是我们平时所见到的最普遍的一种视频格式。1）MPEG-1MPEG-1制定于1992年，为工业级标准而设计，可适用于不同带宽的设备，如CD-ROM、Video-CD、CD-i。MPEG-1被广泛应用在VCD的制作和一些视频片段下载方面，其中最多的就是VCD， VCD使用MPEG-1格式压缩的(Dat格式的文件)。可以把一部120分钟长的电影(原始视频文件)压缩到12GB左右大小。标准分辨率NTSC制为352X240；PAL制为352X288，传输速率为1.5Mbits/sec，每秒播放30帧，具有CD(指激光唱盘)音质，质量级别基本与VHS相当。MPEG的编码速率最高可达4-5Mbits/sec，但随着速率的提高，其解码后的图象质量有所降低。2）MPEG-2MPEG-2制定于1994年，设计目标是高级工业标准的图象质量以及更高的传输率。MPEG-2所能提供的传输率在3-10Mbits/sec间,其在NTSC制式下的分辨率可达720X486，MPEG-2也可提供并能够提供广播级的视像和CD级的音质。MPEG-2的音频编码可提供左右中及两个环绕声道,以及一个加重低音声道，和多达7个伴音声道(DVD可有8种语言配音的原因)。使用MPEG2的压缩算法制作一部120分钟长的电影(原始视频文件)在4G到8GB大小左右。MPEG-2的另一特点是，其可提供一个较广的范围改变压缩比，以适应不同画面质量，存储容量，以及带宽的要求。由于MPEG-2的出色性能表现，已能适用于HDTV，使得原打算为HDTV设计的MPEG-3，还没出世就被抛弃了。除了做为DVD的指定标准外，MPEG-2还可用于为广播，有线电视网，电缆网络以及卫星直播(Direct Broadcast Satellite)提供广播级的数字视频。3）MPEG-4MPEG-4在1995年7月开始研究，1998年11月被ISO/IEC批准为正式标准，它不仅针对一定比特率下的视频、音频编码，更加注重多媒体系统的交互性和灵活性。MPEG-4的出现是由于MPEG-1和MPEG-2的压缩技术，不能将它放在网络上作为影音资料传递之用，所以MPEG-4不再是采用每张画面压缩的方式，而是采用了全新的压缩理念。先将画面上的静态对象统一制定规范标准，例如文字、背景、图形等，然后再以动态对象作基础的方式将画面压缩，务求以最少数据获得最佳的画质，并将之作为网络上传送之用。MPEG-4的优点有： 特别针对低带宽等条件设计算法，因而MPEG4的压缩比更高，使低码率的视频传输成为可能。在公用电话线上可以连续传输视频，并能保持图像的质量，这是其它技术做不到的。 节省存储空间。同等条件如场景、图像格式和压缩分辨率条件下，经过编码处理的图像文件越小，所占用的存储空间越小。由于MPEG-4算法较MPEG-1、MPEG-2更为优化，因而在压缩效率上更高。 图像质量好。 MPEG4的最高图像清晰度为768X576，远优于 MPEG1的352X288，可以达到接近 DVD的画面效果。这使得它的图像高清晰度非常好。另外，其它的压缩技术由于算法上的局限，在画面中出现快速运动的人或物体和大幅度的场景变化时，图像质量下降。而MPEG4采用基于对象的识别编码模式，从而保证良好的清晰度。利用MPEG-4的高压缩率和高的图像还原质量可以把DVD里面的MPEG-2视频文件转换为体积更小的视频文件。经过这样处理，图像的视频质量下降不大但体积却可缩小几倍，可以很方便地用CD-ROM来保存DVD上面的节目。4）MPEG-7 MPEG-7(它的由来是1+2+4=7, 因为没有MPEG-3、MPEG-5、MPEG-6)于1996年10月开始研究。确切来讲，MPEG7并不是一种压缩编码方法，其正规的名字叫做“多媒体内容描述接口”，其目的是生成一种用来描述多媒体内容的标准，这个标准将对信息含义的解释提供一定的自由度，可以被传送给设备和电脑程序，或者被设备或电脑程序查取。MPEG-7并不针对某个具体的应用，而是针对被MPEG-7标准化了的图象元素，这些元素将支持尽可能多的各种应用。建立MPEG-7标准的出发点是依靠众多的参数对图象与声音实现分类，并对它们的数据库实现查询，就象我们今天查询文本数据库那样。可应用于数字图书馆，例如图象编目、音乐词典等；多媒体查询服务，如电话号码簿等；广播媒体选择，如广播与电视频道选取；多媒体编辑，如个性化的电子新闻服务、媒体创作等。 5）MPEG21 MPEG在1999年10月的MPEG会议上提出了“多媒体框架”的概念，同年的12月的MPEG会议确定了MPEG-21的正式名称是“多媒体框架”或“数字视听框架”，它以将标准集成起来支持协调的技术以管理多媒体商务为目标，目的就是理解如何将不同的技术和标准结合在一起需要什么新的标准以及完成不同标准的结合工作。MPEG21还处于需求调研阶段。常见误解： MPEG-4等如DIVX不少人都以为DIVX即是MPEG-4，但其实DIVX是将影像部分以MPEG-4来压缩、音效部分以MP3压缩处理，再以AVI档格式存在的制成品，故档案较MPEG-2小，而画质表现就介乎MPEG-1与MPEG-2之间。MP3即是MPEG-3正如前述