多媒体技术-数字视频.ppt

计算机科学与技术学院,1,多媒体技术,计算机科学与技术学院,2,第七章数字视频,视频信息的数字化视频卡MPEG标准,计算机科学与技术学院,3,7.1模拟视频和数字视频,数字视频是指以数字化方式记录的连续变化的图像信息。例如VCD电影、DVD电影,模拟视频,模拟视频是指在时间和幅度上(空间)都是连续的信号。比如：电视机、录像机等均采用模拟视频。,数字视频,计算机科学与技术学院,4,7.2视频数字化,模拟视频采样方式的复杂性,是空间的函数也是时间的函数隔行扫描方式,计算机科学与技术学院,5,模拟视频数字化过程,一般采用分量数字化方式,1)先把复合视频信号中的亮度和色度分离，得到YUV或YIQ分量,2)然后用三个模/数转换器对三个分量分别进行数字化,3)最后再转换成RGB空间。,计算机科学与技术学院,6,采样格式,根据电视信号的特征，亮度信号的带宽是色度信号带宽的两倍,数字化时可采用幅色采样法，即对信号的色差分量的采样率低于对亮度分量的采样率,用Y：U：V来表示YUV三分量的采样比例，则数字视频的采样格式分别有4：1：1、4：2：2和4：4：4三种。,分量采样时采到的是隔行样本点，要把隔行样本组合成逐行样本，然后进行样本点的量化，YUV到RGB色彩空间的转换等等，最后才能得到数字视频数据。,计算机科学与技术学院,7,数字视频标准,CCIR601标准广播级质量的数字电视编码标准,目的：在PAL、NTSC和SECAM电视制式之间确定共同的数字化参数,该标准对采样频率、采样结构、色彩空间转换等都作了严格的规定。,计算机科学与技术学院,8,2、分辨率与帧率,1、采样频率为fs13.5MHz,3、不同的采样格式下的数字视频数据量：,计算机科学与技术学院,9,在视频信息的处理及应用过程中压缩和解压缩技术十分必要。视频压缩包括对视频信息本身的压缩以及伴随在视频信息中的音频信息的压缩。目前的标准：MPEGI、MPEGII、MPEG4,7.3视频文件的压缩,计算机科学与技术学院,10,7.4视频卡及其分类,基于PC机的一种多媒体视频信号处理平台,可以汇集的信息源有：视频源音频源激光视盘机录像机摄像机,计算机科学与技术学院,11,视频卡工作过程：,信源,数字化,硬件,压缩,存储,传输,解压缩,计算机科学与技术学院,12,作用将视频信号连续转换成计算机存储的数字视频信号，保存在计算机中或显示在屏幕上。,视频采集卡,计算机科学与技术学院,13,视频信号采集模块,音频信号采集模块,总线接口模块,将模拟视频信号转换成数字视频信号，并送到计算机中,音频信息采集过程中完成对声音的预处理和模数转换。,实现对视频、音频信息采集的控制，并将采样、量化后的数字信息存储到计算机内部,视频采集卡,计算机科学与技术学院,14,图形加速卡,对二维或三维图形数据进行硬件加速处理,计算机科学与技术学院,15,视频解压卡,用于视频重放，可以十分快速地将压缩保存的数字视频信号解压缩并在显示器上播放出来。,计算机科学与技术学院,16,电视卡,电视转换卡,将标准的电视信号(NTSC、PAL等)转换成VGA信号在计算机显示。,计算机科学与技术学院,17,将计算机VGA信号转换成标准电视信号在电视上播放或进行录像。,TV编码器,计算机科学与技术学院,18,即使是运动的部分，也多为简单的平移。,7.5视频的压缩MPEG标准,帧与帧之间的时间相关性：,动态图像以每秒24或25帧播放，在如此短的时间内，画面常不会有大的变化。,在画面中变化的只是运动的部分，静止的部分往往占有较大的面积。,计算机科学与技术学院,19,动态图像压缩的基本思路,用差异帧代替原来的帧，以揭示帧间的相关性，这是动态图像压缩的基本出发点。,帧与帧之间存在相关性，因此可以将相邻的画面相减。,例如将第1帧记作A，第2帧记作B，定义B=B-A。,两帧相减是将后一帧画面B中的每一个点的像素值减去前一帧画面A中相应点的像素值，其结果称为差异帧。,计算机科学与技术学院,20,由于差异帧的压缩是有损的。上述方式在压缩和解压缩时将发生误差的积累，积累到一定程度，会造成很大的失真。,差异帧也带来了新的问题,如果只保留第1帧，其他帧采用差异帧。那么后面的每一帧都需要从前一帧计算出来，恢复时也必须一帧帧顺序进行。这样就无法从想跳到的某一点进行播放，很不方便。一旦某一帧数据出了问题，后面的帧更无法恢复。,计算机科学与技术学院,21,关于后两点，可以采取运动补偿的方法加以解决。通过计算两个画面中运动对象的运动矢量，跟踪画面中的运动部分进行预测，并通过画面移动去“迎合”后续帧的方式来产生差异帧的方法，叫做“运动补偿”。,图像整体运动也是动态图像经常采用的表现手法，若干次简单的相减，差异帧就不能很好地揭示相邻帧之间的相关性，也不可能得到高的压缩比。差异帧只能揭示活动图像中静止部分的相关性。对差异帧比对原来的帧更难压缩。,计算机科学与技术学院,22,MPEG标准,MotionPictureExpertsGroup,MPEG-I,MPEG-II,MPEG-IV,MPEG-VII,MPEG-21,计算机科学与技术学院,23,MPEG-标准（ISO/IEC11172-）的目标,传输速率,1.5Mbps,视频信号,电视质量,亮度信号的分辨率,360240,色度信号的分辨率,180120,每秒30帧,计算机科学与技术学院,24,MPEG-标准的内容,MPEG系统（ISO/IEC11172-1）,MPEG视频（ISO/IEC11172-2）,MPEG音频（ISO/IEC11172-3）,测试验证（ISO/IEC11172-4）,MPEG涉及的问题是视频压缩、音频压缩及多种压缩数据流的复合和同步问题。,计算机科学与技术学院,25,MPEG对视频和音频压缩的方法、压缩后数据的储存和传输的格式等方面均作了详细的规定。例如：在视频压缩方面，采用运动补偿来减少帧序列间的时间冗余信息；用离散余弦变换(DCT)技术来减少帧序列间的空间冗余信息；为解决高压缩比和随机播放的要求，还采用了预测和插补等帧间技术。,计算机科学与技术学院,26,时间冗余量的减少,为了减少时间冗余量，MPEG将1/30秒时间间隔的帧序列电视图像，以三种类型的图像格式表示：内码帧（I）预测帧（P）插补帧（B）另有第四种类型帧是D帧，它是一种专用帧格式，仅仅用于实现快速查询中。,计算机科学与技术学院,27,I帧，又称内码帧，是完整的独立编码的图像，是不能由其他帧构造的帧，必须存储或传输。P帧，也称为预测帧，通过对它之前的I帧进行预测，对预测误差作有条件的存储和传输。B帧，又称为双向帧或插补帧，是根据其前后的I帧或者P帧的信息进行插值编码而获得。该过程有时也称为双向插值。,计算机科学与技术学院,28,运动补偿,运动补偿预测法,运动补偿插补法,画面上的运动部分在帧与帧之间必然有连续性，预测法根据这一特性，将当前的图像画面看作是前面某时刻图像的位移，位移的幅度和方向在图像画面的各处可有不同。,用插补的方法进行运动的补偿，可以大幅度地压缩运动图像的信息。,计算机科学与技术学院,29,MPEG的位流分层结构,有效性是MPEG压缩算法需要对附加信息，如位移域、量化器步长、预测器或插值类型等，提供有效的管理。,MPEG视频图像数据流是一个分层结构。,目的是把位流中逻辑上独立的实体分开，防止语意模糊，并减轻解码过程的负担。,对分层的要求是支持通用性、灵活性和有效性。,通用性的含义是使MPEG标准的语法规定可满足不同的应用要求；,灵活性可通过视频序列头上所定义的许多参数来说明；,计算机科学与技术学院,30,MPEG视频位流分层结构共包括6层：,图像序列层,图像组层,图像层,宏块片层,宏块层,块层,随机存取单元：上下文,随机存取单元：视频编码,基本编码单元,重同步单元,运动补偿单元,DCT单元,计算机科学与技术学院,31,每一个层的开始有一个头，作为说明参数。在图像序列层的头中，装有视频序列参数，如图像宽度、图像高度、像素长宽比、桢率、位率、缓冲区尺寸等。,每一层支持一个确定的函数，或是一个信号处理函数（DCT，运动补偿），或是一个逻辑函数（同步，随机存取点）等。,计算机科学与技术学院,32,计算机科学与技术学院,33,MPEG-II系统支持的基本功能：解码时多压缩流的同步；将多个压缩流交织成单个的数据流；解码时缓冲器初始化；缓冲区管理和时间识别。,MPEG-II标准,包括MPEG系统、MPEG视频、MPEG音频和一致性四大部分内容。,MPEG-II标准的系统功能是将一个或更多的音频、视频或其他的基本数据流合成单个或多个数据流，以适应于存储和传送。,计算机科学与技术学院,34,MPEG-视频,视频分量的位速率范围大约为2到15Mbps,与MPEG-视频体系向下兼容,力求满足数字存储媒体、可视电话、数字电视、高清晰度电视（HDTV）、通信网络等领域的应用。,分辨率,低（352288）,中（720480）,次高（14401080）,高（19201080）,计算机科学与技术学院,35,高速压缩基于内容交互基于内容分级扩展具有基于内容方式表示的视频数据,MPEG-IV标准,MPEG-是以内容为中心的描述方法，对信息元的描述更加符合人的心理，不仅可以获得比现有标准更为优越的性能，还提供了各种新的功能。,特点,计算机科学与技术学院,36,复合。将各个VO的码流复合成一个符合MPEG-4标准的位流。,基于内容的视频编码过程,VO的形成。先从原始视频流中分割出VO。,编码。对各VO分别独立编码，即对不同VO的运动信息、形状信息和纹理信息这三类信息分别编码，分配不同的码字。,在编码和复合阶段可以加入用户的交互控制或由智能化算法进行控制。,计算机科学与技术学院,37,7.6视频文件格式,一种MPEG多媒体格式用于压缩和储存音频和视频分辨率为352x240象素帧速率为每秒25帧(PAL)可提供与录像带同等质量的视频。,MPEG1,计算机科学与技术学院,38,MPEG2,一种MPEG多媒体格式用于压缩、储存音频及视频供广播质量的应用程序使用定义了支持添加封闭式字幕和各种语言通道功能的协议。,计算机科学与技术学院,39,AVI,Audio/VideoInterleave（音频/视频交错）,在AVI文件中，运动图像和伴音数据是以交织的方式存储，并独立于硬件设备。,读取视频数据流时能更有效地从存储媒介得到连续的信息。,一种用于Windows系统的Microsoft多媒体视频格式。,计算机科学与技术学院,40,AVI格式主要参数,视频参数,视窗尺寸(Videosize),帧率(Framespersecond),音频参数,WAV文件参数,视频与伴音的交织参数,同步控制（Synchronization）,压缩参数,计算机科学与技术学院,41,AVI格式的特点,提供无硬件视频回放功能,实现同步控制和实时播放,可以高效地播放存储在硬盘和光盘上的AVI文件,提供了开放的AVI数字视频文件结构：,AVI文件可以再编辑,计算机科学与技术学院,42,AVI的压缩算法,没有统一标准,Microsoft公司推出AVI文件格式时，同时推出了一种压缩算法,由于AVI的开放性，其它公司的压缩算法也可加入其中。,实现方法把该算法的驱动加入到Windows系统中,计算机科学与技术学院,43,计算机科学与技术学院,44,DIVXMPEG4,使用MPEG4压缩算法,可以实现高压缩比。,文件扩展名AVI,计算机科学与技术学院,45,对计算机配置的要求,CPU主频300MHz以上64兆的内存8兆显存的显卡,播放软件,计算机科学与技术学院,46,MOV,Moviedigitalvideotechnology,Apple公司推出的一种视频格式,相应的视频应用软件为QuickTime。,可以采用不压缩或压缩的方式,压缩算法包括Cinepak、IntelIndeoVideoR3.2和Video编码。,计算机科学与技术学院,47,RealVideo,RealNetworks公司,流媒体(StreamingVideo)文件格式,文件扩展名RA、RAM、RMVB,RealNetworks编码,RealProducer,RealProducerPlus/Pro,增强功能，需付费购买,基本功能，可免费下载,在用56KMODEM拨号上网的条件下实现不间断的视频播放,计算机科学与技术学院,48,ASF,AdvancedStreamingFormat,采用MPEG4的压缩算法,一种