第4章视频信息处理

1、普通高等教育普通高等教育“十一五十一五”国家级规划教材国家级规划教材多媒体技术及应用多媒体技术及应用赵英良赵英良 冯博琴冯博琴 崔舒宁崔舒宁清华大学出版社2009第第4章章 视频信息处理视频信息处理制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心2第第4 4章章 视频信息处理视频信息处理u视频是运动的图像视频是运动的图像u既可提供高速信息传送，也可显示瞬间的相互关既可提供高速信息传送，也可显示瞬间的相互关系。系。u视频是由相继拍摄并存储的图像组成的。视频是由相继拍摄并存储的图像组成的。u除了有图像的高速信息传送特性外，由于加入了除了有图像的高速信息传送特性外，由于加入

2、了随同图像的时间因素，因而有视频更多的信息。随同图像的时间因素，因而有视频更多的信息。u视频也是动态的。视频也是动态的。u视频可以完整再现事件的全过程视频可以完整再现事件的全过程. . 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心34.1 电视技术基础电视技术基础 n电视广播在我国开始于电视广播在我国开始于1958年年7月月1日。当时日。当时及以后的约及以后的约20年的时间内，播出的是黑白电年的时间内，播出的是黑白电视，采用的都是直播方式视，采用的都是直播方式. .n7070年代有了磁带录像机，于是，电视广播出年代有了磁带录像机，于是，电视广播出现了录播方式现了录

3、播方式 n随着技术的发展，相继出现了卫星广播方式随着技术的发展，相继出现了卫星广播方式和有线电视网广播方式。和有线电视网广播方式。n今后，星网结合的电视广播方式会成为供用今后，星网结合的电视广播方式会成为供用户接收的基本手段。户接收的基本手段。 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心41. 电视信号电视信号 n电视信号主要由图像信号电视信号主要由图像信号(视频信号视频信号)和伴音和伴音信号信号(音频信号音频信号)两大部分组成。两大部分组成。u图像信号的频带为图像信号的频带为 06 MHzu伴音信号的频带一般为伴音信号的频带一般为 20 Hz20 kHz。n发

4、射台将图像信号和伴音信号分别采用调幅发射台将图像信号和伴音信号分别采用调幅和调频方式调制在射频载波上，形成射频电和调频方式调制在射频载波上，形成射频电视信号从电视发射天线发射出去，供各电视视信号从电视发射天线发射出去，供各电视机接收。机接收。 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心5基本概念基本概念n活动图像利用人的眼睛有视觉暂留特性活动图像利用人的眼睛有视觉暂留特性n我国电视每秒放送我国电视每秒放送2525幅图像幅图像( (帧帧) ) n把每幅图分先后两次来放送，这样，光亮度把每幅图分先后两次来放送，这样，光亮度变化的次数就增加到变化的次数就增加到5050

5、次秒次秒 n具体的做法就是具体的做法就是隔行扫描隔行扫描 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心6电视扫描方式电视扫描方式 n电视扫描电视扫描指显示图像的方式。扫描有隔行扫指显示图像的方式。扫描有隔行扫描描(interlaced scanning)和非隔行扫描之分。和非隔行扫描之分。n非隔行扫描也称非隔行扫描也称逐行扫描逐行扫描。在非隔行扫描中，。在非隔行扫描中，电子束从显示屏的左上角一行接一行地扫到电子束从显示屏的左上角一行接一行地扫到右下角，在显示屏上扫一遍就显示一幅完整右下角，在显示屏上扫一遍就显示一幅完整的图像的图像n每秒钟扫描多少行称为每秒钟扫描多

6、少行称为行频行频fH；每秒钟扫描；每秒钟扫描多少场称为多少场称为场频场频ff；每秒扫描多少帧称；每秒扫描多少帧称帧频帧频fF。 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心7电视扫描方式电视扫描方式制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心8n逐行扫描逐行扫描 n场场 (Field)n帧帧（Frame）n奇数场奇数场 （Odd FieldOdd Field） n偶数场偶数场（Even FieldEven Field）n扫描行数扫描行数 电视图像的扫描行数通常指水平行的数电视图像的扫描行数通常指水平行的数目。扫描行数越多，电视清晰度越

7、高。我国的电视目。扫描行数越多，电视清晰度越高。我国的电视制式规定水平扫描行数为制式规定水平扫描行数为625625。扫描行数也称为。扫描行数也称为垂垂直分辨率直分辨率（Vertical ResolutionVertical Resolution）制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心9n同步同步 在传送电视节目的过程中，接收端与发在传送电视节目的过程中，接收端与发送端按照相同的步调（顺序）扫描像素时，送端按照相同的步调（顺序）扫描像素时，才能重显完整而稳定的图像，这叫做收发两才能重显完整而稳定的图像，这叫做收发两端同步。端同步。u接收与发送两端同步包含水平和

8、垂直两个方向的接收与发送两端同步包含水平和垂直两个方向的扫描同步。当扫描时，在每一行使收发两端同步扫描同步。当扫描时，在每一行使收发两端同步称为水平同步或叫做称为水平同步或叫做行同步行同步，在每一场使其同步，在每一场使其同步称为垂直同步也叫做称为垂直同步也叫做场同步场同步 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心10n光栅光栅 u在电视机显像管的荧光屏上涂有荧光物质，高速在电视机显像管的荧光屏上涂有荧光物质，高速运动的电子束轰击荧光屏时，就能发出光来。当运动的电子束轰击荧光屏时，就能发出光来。当电子束受水平和垂直两个方向的综合控制而迅速电子束受水平和垂直两个方

9、向的综合控制而迅速扫描荧光屏时，即可出现扫描荧光屏时，即可出现由一行一行的亮线组成由一行一行的亮线组成的矩形发光图案，通常称为光栅的矩形发光图案，通常称为光栅 n帧频帧频 每秒钟传送的电视图像帧数称为帧频每秒钟传送的电视图像帧数称为帧频 n场频场频 场频是帧频的二倍，对应于场频是帧频的二倍，对应于25Hz帧频时帧频时的场频为的场频为50Hz 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心11n白平衡白平衡 u用彩色电视机收看黑白电视节目时将色彩饱和度用彩色电视机收看黑白电视节目时将色彩饱和度减低为减低为0时，要求不出现彩色，称为白平衡，否时，要求不出现彩色，称为白平

10、衡，否则就是白平衡失调。则就是白平衡失调。 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心12什么是白平衡什么是白平衡n白平调整就是指对在不同光线下的白色基准物进行白平调整就是指对在不同光线下的白色基准物进行校准。校准。n因为在不同的光线下，物体会发生颜色的偏差，如因为在不同的光线下，物体会发生颜色的偏差，如在白炽灯光照射下物体成微红色，而在日光灯下的在白炽灯光照射下物体成微红色，而在日光灯下的物体偏蓝色，这就是色温问题。物体偏蓝色，这就是色温问题。n白色是拍摄与制作照片时必须校准的基色，因此只白色是拍摄与制作照片时必须校准的基色，因此只要对白色的物体进行校准，其余

11、颜色都会自动校准。要对白色的物体进行校准，其余颜色都会自动校准。n普通的数码照相机都设有自动白平衡功能，它能根普通的数码照相机都设有自动白平衡功能，它能根据不同的色温情况，自动调节色彩，以得到更接近据不同的色温情况，自动调节色彩，以得到更接近自然的色彩。但在一些光照很复杂的情况下，往往自然的色彩。但在一些光照很复杂的情况下，往往会使自动白平衡产生偏差，这时需要手动设定白色会使自动白平衡产生偏差，这时需要手动设定白色平衡。平衡。制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心13信号类型信号类型n分量信号分量信号 u电视中使用亮度（电视中使用亮度（Y）和色差（）和色差（

12、C1/C2）表示彩）表示彩色图象色图象, ,每个基色分量作为独立的电视信号每个基色分量作为独立的电视信号。用。用Y/C1/C2表示的彩色视频信号称为分量信号表示的彩色视频信号称为分量信号（Component signal）。）。u分量信号可以获得非常好的图像质量，但它需要分量信号可以获得非常好的图像质量，但它需要三个分量信号很好地同步，而且需要三个分量信号很好地同步，而且需要3倍的带宽倍的带宽 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心14n复合视频信号复合视频信号u将色差信号在亮度信号之上进行编码将色差信号在亮度信号之上进行编码,作为单个信号与亮作为单个信号与

13、亮度信号拥有相同的带宽。度信号拥有相同的带宽。u由于亮度信号和色差信号是穿插在一起的，在信号重放由于亮度信号和色差信号是穿插在一起的，在信号重放时很难恢复完全出原来的色彩。时很难恢复完全出原来的色彩。u其信号带宽较窄，一般只有水平其信号带宽较窄，一般只有水平240线左右的分辨率。线左右的分辨率。u不包含伴音，一般与视频输入、输出端口配套的还有音不包含伴音，一般与视频输入、输出端口配套的还有音频输入、输出端口（频输入、输出端口（AudioIn、AudioOut）u复合视频接口也称为复合视频接口也称为AV（Audio Video）接口）接口 制作：西安交通大学制作：西安交通大学 计算机教学实验中心

14、计算机教学实验中心15n分离电视信号分离电视信号S-Videou是一种两分量的视频信号，它把亮度和色度信号是一种两分量的视频信号，它把亮度和色度信号分成两路独立的模拟信号，分成两路独立的模拟信号，一条用于亮度信号，一条用于亮度信号，另一条用于色差信号，这两个信号称为另一条用于色差信号，这两个信号称为Y/C信号信号u亮度和色度都具有较宽的带宽亮度和色度都具有较宽的带宽. .由于亮度和色度由于亮度和色度分开传输，可以减少其互相干扰，分开传输，可以减少其互相干扰，u水平分解率可达水平分解率可达420420线。线。uS-VideoS-Video使用使用4 4针连接器，通常称为针连接器，通常称为S S端

15、子端子 。 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心16S端子端子制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心17n全电视信号全电视信号u将视频的亮度信号、色度信号、同步信号和伴音信号复将视频的亮度信号、色度信号、同步信号和伴音信号复合在一起，称为全电视信号合在一起，称为全电视信号u为了在空中传播，需将它们调制成高频信号，也叫射频为了在空中传播，需将它们调制成高频信号，也叫射频（RFRadio Frequency）信号）信号u每个信号占用一个频道。每个信号占用一个频道。 (6MHz)(6MHz)u电视接收机能够将所接收到的高频电视

16、信号还原成视频电视接收机能够将所接收到的高频电视信号还原成视频信号和低频伴音信号，并能够在荧光屏上重现图像，在信号和低频伴音信号，并能够在荧光屏上重现图像，在其扬声器上重现伴音。其扬声器上重现伴音。u射频信号的接口形式就是常见的天线接口或有线电视接射频信号的接口形式就是常见的天线接口或有线电视接口口。 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心182. 电视制式电视制式 n实现电视的特定方式，称为电视的制式实现电视的特定方式，称为电视的制式n制式的区分主要在于其帧频（场频）、分解制式的区分主要在于其帧频（场频）、分解率、信号带宽以及载频、色彩空间的转换关率、信号

17、带宽以及载频、色彩空间的转换关系不同等系不同等 uNTSCNTSC（National Television System CommitteeNational Television System Committee）制、制、uPALPAL（Phase Alternation LinePhase Alternation Line）制）制uSECAM(SECAM(法文法文:Sequential Coleur:Sequential Coleur Avec Memoire) Avec Memoire)制制 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心19NTSC（Natio

18、nal Television System CommitteeNational Television System Committee）n1952年由美国国家电视标准委员会制定的彩年由美国国家电视标准委员会制定的彩色电视广播标准色电视广播标准n采用正交平衡调幅的技术方式，故也称为采用正交平衡调幅的技术方式，故也称为正正交平衡调幅制交平衡调幅制。n美国、加拿大等大部分西半球国家以及中国美国、加拿大等大部分西半球国家以及中国的台湾、日本、韩国、菲律宾等均采用这种的台湾、日本、韩国、菲律宾等均采用这种制式。制式。 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心20PAL

19、（Phase Alternation LinePhase Alternation Line）n西德在西德在1962年制订的彩色电视广播标准，年制订的彩色电视广播标准，n采用采用逐行倒相正交平衡调幅逐行倒相正交平衡调幅的技术方法，克的技术方法，克服了服了NTSC制相位敏感造成色彩失真的缺点。制相位敏感造成色彩失真的缺点。n西德、英国等一些西德、英国等一些西欧西欧国家，新加坡、国家，新加坡、中国中国大陆及香港，澳大利亚、新西兰等国家采用大陆及香港，澳大利亚、新西兰等国家采用这种制式。这种制式。 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心21SECAM ( (法文法文

20、:Sequential Coleur:Sequential Coleur Avec Memoire) Avec Memoire)n法文的缩写，意为法文的缩写，意为顺序传送彩色信号与存储顺序传送彩色信号与存储恢复彩色信号制恢复彩色信号制n由法国在由法国在1956年提出，年提出，1966年制定的一种新年制定的一种新的彩色电视制式。的彩色电视制式。n它也克服了它也克服了NTSC制式相位失真的缺点，但制式相位失真的缺点，但采用时间分隔法来传送两个色差信号。采用时间分隔法来传送两个色差信号。n使用使用SECAM制的国家主要集中在法国、前苏制的国家主要集中在法国、前苏联及联及东欧东欧和和中东中东一带。一带

21、。制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心22PAL制电视的扫描特性制电视的扫描特性u(1) 625行行(扫描线扫描线)/帧，帧，25帧帧/秒秒(40 ms/帧帧) u(2) 高宽比高宽比(aspect ratio)：4:3 u(3) 隔行扫描，隔行扫描，2场场/帧，帧，312.5行行/场场u(4) 颜色模型：颜色模型：YUV制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心23u行扫描频率是行扫描频率是15 625 Hz(625*25)，u(行扫描行扫描)周期为周期为64s(1,000,000/15625)；u场扫描频率是场扫描频率是

22、50 Hz(25*2),周期为周期为20 ms(50/1000)；u帧频是帧频是25 Hz，是场频的一半，周期为，是场频的一半，周期为40 ms。u在发送电视信号时，每一行中传送图像的时间是在发送电视信号时，每一行中传送图像的时间是52.2s，其余的其余的11.8s不传送图像，是行扫描的逆程时间，同时不传送图像，是行扫描的逆程时间，同时用作行同步及消隐用。用作行同步及消隐用。u每一场的扫描行数为每一场的扫描行数为625/2=312.5行，其中行，其中25行作场回扫，行作场回扫，不传送图像，传送图像的行数每场只有不传送图像，传送图像的行数每场只有287.5行，因此行，因此每每帧只有帧只有575行

23、有图像显示行有图像显示。制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心24不同电视制式的技术指标不同电视制式的技术指标 TVTV制式制式NTSCNTSCPALPALSECAMSECAM帧频（帧频（HzHz）303025252525行行/ /帧帧525525625625625625亮度带宽（亮度带宽（MHzMHz）4.24.26.06.06.06.0彩色幅载波（彩色幅载波（MHzMHz）3.583.584.434.434.254.25色度带宽（色度带宽（MHzMHz）1.3(I)1.3(I)，0.6(Q)0.6(Q)1.3(U)1.3(U)，1.3(V)1.3(V)1

24、.0(U)1.0(U)，1.0(V)1.0(V)声音载波（声音载波（MHzMHz）4.54.56.56.56.56.5制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心253. 电视信号数字化电视信号数字化 n数字化方法数字化方法u（a）先从复合彩色电视图像中分离出彩色分量，然后数）先从复合彩色电视图像中分离出彩色分量，然后数字化。对彩色全电视信号，通常是首先把模拟的全彩色字化。对彩色全电视信号，通常是首先把模拟的全彩色电视信号分离成电视信号分离成YCbCr，YUV，RGB彩色空间中的分量彩色空间中的分量信号，然后用三个信号，然后用三个A/D（模（模/数数Analog

25、Digital）转换器分）转换器分别对它们数字化。别对它们数字化。u（b）首先用一个高速）首先用一个高速A/D转换器对彩色全电视信号进行转换器对彩色全电视信号进行数字化，然后在数字域中进行分离，以获得所希望的数字化，然后在数字域中进行分离，以获得所希望的YCbCr，YUV或或RGB分量数据分量数据 n国际无线电咨询委员会国际无线电咨询委员会CCIR制定了彩色电视图像制定了彩色电视图像数字化标准数字化标准ITU-R BT.601。制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心26n采样频率采样频率对对PAL制、制、SECAM制，采样频率制，采样频率fs为为fs=625

26、25N=15625N=13.5 MHz, N=864其中，其中，N为每一扫描行上的采样数目为每一扫描行上的采样数目。n有效显示分辨率有效显示分辨率对对PAL制和制和SECAM制的亮度信号，每一条扫描行制的亮度信号，每一条扫描行采样采样864个样本。每一扫描行的个样本。每一扫描行的有效样本数均为有效样本数均为720个个。 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心27ITU-R BT.601标准标准 n推荐使用推荐使用4 2 2的彩色电视图像采样格式。的彩色电视图像采样格式。Y用用13.5 MHz的采样频率，的采样频率，Cr，Cb用用6.75 MHz的采样频率的采

27、样频率彩色电视数字化参数摘要彩色电视数字化参数摘要制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心28图像子采样图像子采样 n对彩色电视图像进行采样时，可以采用两种对彩色电视图像进行采样时，可以采用两种方法。方法。u一种是使用相同的采样频率对图像的亮度信号和一种是使用相同的采样频率对图像的亮度信号和色差信号进行采样，色差信号进行采样，u另一种是对亮度信号和色差信号分别采用不同的另一种是对亮度信号和色差信号分别采用不同的采样频率进行采样。如果对色差信号使用的采样采样频率进行采样。如果对色差信号使用的采样频率比对亮度信号使用的采样频率低，这种采样频率比对亮度信号使用的采样

28、频率低，这种采样就称为就称为图像子采样图像子采样(subsampling)。 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心29图像子采样格式图像子采样格式n 4:4:4 指在每条扫描线上每指在每条扫描线上每4个连续的采样点取个连续的采样点取4个个亮度亮度Y样本、样本、4个红色差个红色差Cr样本和样本和4个蓝色差个蓝色差Cb样样本，这就相当于每个像素用本，这就相当于每个像素用3个样本表示。个样本表示。n4:2:2 在每条扫描线上每在每条扫描线上每4个连续的采样点取个连续的采样点取4个亮个亮度度Y样本、样本、2个红色差个红色差Cr样本和样本和2个蓝色差个蓝色差Cb样本

29、，样本，平均每个像素用平均每个像素用2个样本表示。个样本表示。n4:1:1 在每条扫描线上每在每条扫描线上每4个连续的采样点取个连续的采样点取4个亮个亮度度Y样本、样本、1个红色差个红色差Cr样本和样本和1个蓝色个蓝色差差Cb样本，样本，平均每个像素用平均每个像素用1.5个样本表示。个样本表示。n4:2:0 在水平和垂直方向上每在水平和垂直方向上每4个连续的采样点上取个连续的采样点上取4个亮度个亮度Y样本、样本、1个红色差个红色差Cr样本和样本和1个蓝色差个蓝色差Cb样本，平均每个像素用样本，平均每个像素用1.5个样本表示。个样本表示。 制作：西安交通大学制作：西安交通大学 计算机教学实验中心

30、计算机教学实验中心30彩色图像彩色图像YCbCr样本空间位置样本空间位置 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心314.2 数字视频数字视频 n数字视频的内容是被计算机捕捉并数数字视频的内容是被计算机捕捉并数字化了的摄像机或电影的胶片。字化了的摄像机或电影的胶片。n通过把图形图像放在一起创建动画也通过把图形图像放在一起创建动画也可以获得数字视频。可以获得数字视频。n数字视频结合了图形和音频的特征，数字视频结合了图形和音频的特征，为数字媒体产品创建了动态的内容。为数字媒体产品创建了动态的内容。制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实

31、验中心321.视频数字化视频数字化 n视频采集视频采集 u视频采集卡接收模拟视频信号，然后把它转化成视频采集卡接收模拟视频信号，然后把它转化成数字视频数据数字视频数据 从摄像机传输数字视频从摄像机传输数字视频数据到硬盘上数据到硬盘上, ,使用采集使用采集软件的控制功能找到需软件的控制功能找到需要传输的片段，然后点要传输的片段，然后点击击“record（录制）（录制）”按钮。通过按钮。通过DV编码器，编码器，视频数据以整幅图片大视频数据以整幅图片大小、小、25fps的速度传送的速度传送到硬盘上到硬盘上 .制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心33n视频的数字化

32、不仅要在空间上采样，还要在时间上视频的数字化不仅要在空间上采样，还要在时间上采样，即每隔一定的时间进行一次空间上的采样。采样，即每隔一定的时间进行一次空间上的采样。uPAL制式的采样帧速率是制式的采样帧速率是25帧帧/秒秒uNTSC制式的文件采样帧速率是制式的文件采样帧速率是29.97帧帧/秒，秒，u数字视频中，帧速率是可以更改的，数字视频中，帧速率是可以更改的，u一般动画的帧速是一般动画的帧速是12帧帧/秒或更低秒或更低 n通常用时间码通常用时间码u动画和电视工程师协会动画和电视工程师协会SMPTE时间码标准时间码标准:小时小时:分钟分钟:秒秒:帧帧u一段一段PAL制式时间码标记为制式时间码

33、标记为00:02:31:15的视频片段的播的视频片段的播放时间为放时间为2分钟分钟31秒秒15帧，如果以每秒帧，如果以每秒25帧的速率播放，帧的速率播放，则播放时间为则播放时间为2分钟分钟31.5秒。秒。制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心342. 数字视频的文件格式数字视频的文件格式 n(1)AVIuAVIAVI（Audio Video InterleaveAudio Video Interleave）音频视频交错音频视频交错是一种音频是一种音频和视频交叉记录的数字视频文件格式和视频交叉记录的数字视频文件格式 u 19921992年初年初Microsof

34、tMicrosoft公司推出。公司推出。u在在AVIAVI文件中，运动图像和伴音数据是以交织的方式存储，文件中，运动图像和伴音数据是以交织的方式存储，并独立于硬件设备。并独立于硬件设备。u它可以在任何它可以在任何WindowsWindows环境下工作，而且还具有扩展环境环境下工作，而且还具有扩展环境的功能。用户可以开发自己的的功能。用户可以开发自己的AVIAVI视频文件，在视频文件，在WindowsWindows环境下可随时调用环境下可随时调用u根据根据AVIAVI格式的参数，其窗口、分辨率和帧速率可以根据格式的参数，其窗口、分辨率和帧速率可以根据播放环境的硬件能力和处理速度进行调整播放环境的

35、硬件能力和处理速度进行调整制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心35(2).Windows Media (2).Windows Media 视频视频n主要有主要有2 2种不同的扩展名，种不同的扩展名，asfasf文件和文件和wmvwmv文件。文件。uASFASF (Advanced Streaming Format) (Advanced Streaming Format)是微软所制订的一种是微软所制订的一种媒体播放格式媒体播放格式, ,也是一个可以在也是一个可以在InternetInternet上实现实上实现实时播放的标准，使用时播放的标准，使用MPEG-4

36、MPEG-4的压缩算法。的压缩算法。uASFASF包括音频、视频、图像以及控制命令脚本等多媒体信包括音频、视频、图像以及控制命令脚本等多媒体信息。通过这种格式，以网络数据包的形式传输，实现流息。通过这种格式，以网络数据包的形式传输，实现流式多媒体内容发布。式多媒体内容发布。u优点是体积小，适合网络传输。优点是体积小，适合网络传输。uASF格式的视频中可以带有命令代码，用户指定在到达格式的视频中可以带有命令代码，用户指定在到达视频或音频的某个时间后触发某个事件或操作视频或音频的某个时间后触发某个事件或操作 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心36(3) Re

37、alMedia文件格式文件格式 nRMRM格式格式 uRMRM格式是格式是RealNetworksRealNetworks公司开发的一种流媒体视公司开发的一种流媒体视频文件格式频文件格式 .u可以根据网络数据传输的不同速率制定不同的压可以根据网络数据传输的不同速率制定不同的压缩比率，从而实现在低速率的缩比率，从而实现在低速率的InternetInternet上进行视上进行视频文件的实时传送和播放频文件的实时传送和播放 .u在数据传输过程中可以边下载边播放，而不必完在数据传输过程中可以边下载边播放，而不必完全下载后再播放。也可以利用全下载后再播放。也可以利用RealVideoRealVideo对

38、重大对重大事件进行实时转播。事件进行实时转播。 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心37(4) QuickTime电影电影(Movie) nApple公司的公司的QuickTime电影文件现已成为是数字电影文件现已成为是数字媒体领域的工业标准。媒体领域的工业标准。uQuickTime文件格式中媒体描述和媒体数据是分开存储文件格式中媒体描述和媒体数据是分开存储的，媒体描述或元数据（的，媒体描述或元数据（meta-data）叫做电影）叫做电影（movie）,包含轨道数目、视频压缩格式和时间信息。包含轨道数目、视频压缩格式和时间信息。u媒体数据是所有的采样数据，

39、如视频帧和音频采样，媒体数据是所有的采样数据，如视频帧和音频采样，u媒体数据可以与媒体数据可以与QuickTime movie存储在同一个文件中，存储在同一个文件中，也可以在一个单独的文件或者在几个文件中。也可以在一个单独的文件或者在几个文件中。uMOV视频影像，采用有损压缩方法，使用视频影像，采用有损压缩方法，使用QuickTime播播放，比放，比AVI画面质量要好画面质量要好制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心38(5) Mpeg文件文件 nMPEGMPEG是压缩视频的基本格式。以这种压缩算是压缩视频的基本格式。以这种压缩算法记录的视频称为法记录的视频

40、称为MPEGMPEG文件，通常有文件，通常有.mpg.mpg的的文件后缀名。文件后缀名。nMPGMPG还有两个变种还有两个变种MPVMPV和和MPAMPA。MPVMPV只有视频不只有视频不含音频，含音频，MPAMPA是则只记录了音频没有视频。是则只记录了音频没有视频。nVCD中的中的DAT文件，实际上是在文件，实际上是在MPG文件头文件头部加上了一些运行参数形成的变体。可以使部加上了一些运行参数形成的变体。可以使用软件将其转换成标准的用软件将其转换成标准的Mpg文件。文件。 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心39(6)DV(6)DV格式格式uDV（Dig

41、ital Video）格式是一种国际通用的数字视频标）格式是一种国际通用的数字视频标准，是由准，是由10余家公司共同开发的，可以在一盘余家公司共同开发的，可以在一盘1/4英寸的英寸的金属蒸镀带（金属蒸镀带（MiniDV格式）上记录高质量的数字视音频格式）上记录高质量的数字视音频信号。信号。uDV格式是数字摄像机在格式是数字摄像机在MiniDV磁带上的记录方式磁带上的记录方式u要传输到电脑中，通常使用要传输到电脑中，通常使用IEEEl394接口接口. .它起源于它起源于AppleApple开发的一个名为开发的一个名为FireWireFireWire（火线）的高速、实时串（火线）的高速、实时串行接

42、口标准，数据传输率高达行接口标准，数据传输率高达400Mb/s400Mb/s。19951995年被国际电年被国际电子电气工程师协会采纳为子电气工程师协会采纳为IEEE1394IEEE1394标准。标准。u DV/1394采集采集:720*576, 25frames/second,制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心404.3 数字视频标准数字视频标准 n国际标准化协会国际标准化协会ISOISOu(International Standardization Organization-ISO)，n国际电子学委员会国际电子学委员会IECIECu(Internat

43、ional Electronics Committee-IEC)，n国际电信协会国际电信协会ITUITUu(International Telecommunication Union-ITU)n20世纪世纪90年代制定了三个重要的多媒体国际标准。年代制定了三个重要的多媒体国际标准。uJPEG标准、标准、MPEG标准和标准和H261标准标准 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心411. MPEG-1 标准标准 n于于1992年底正式被年底正式被ISO/IEC采纳采纳 n其视频是面向比特率大约为其视频是面向比特率大约为1.5Mb/s的视频信号的的视频信号的压缩

44、压缩n其其音频是面向每通道速率为音频是面向每通道速率为64Kb/s、28Kb/s和和192Kb/s的数字音频信号的压缩的数字音频信号的压缩n其最终目标要解决数字视频和数字音频等多样压缩其最终目标要解决数字视频和数字音频等多样压缩数据流的复合和同步的问题。数据流的复合和同步的问题。n所以，所以，MPEG-1是将数字视频信号和与其相伴随的是将数字视频信号和与其相伴随的音频信号在一个可以接受的质量下，能被压缩到比音频信号在一个可以接受的质量下，能被压缩到比特率约特率约1.5Mb/s的一个的一个MPEG单一比特流单一比特流 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心42

45、2. MPEG视频压缩算法视频压缩算法 n动态图像由一序列静态图像构成，对静态图像的压动态图像由一序列静态图像构成，对静态图像的压缩方法同样适用于动态图像的压缩缩方法同样适用于动态图像的压缩n动态图像在帧与帧之间的特点动态图像在帧与帧之间的特点: :u动态图像以每秒动态图像以每秒25 25 帧播放，在如此短的时间内，画面通帧播放，在如此短的时间内，画面通常不会有大的变化；常不会有大的变化；u在画面中变化的只是运动的部分，静止的部分往往占有在画面中变化的只是运动的部分，静止的部分往往占有较大的面积；较大的面积；u即使是运动的部分，也多为简单的平移即使是运动的部分，也多为简单的平移 n处理办法处理

46、办法: :u 帧间压缩帧间压缩u若干帧之后就记录一幅原始的帧若干帧之后就记录一幅原始的帧 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心43nI帧帧,帧帧内图像内图像,JPEG压缩压缩, 不参照任何过去的不参照任何过去的或者将来的其他图像帧或者将来的其他图像帧 nP为预测帧，利用相邻为预测帧，利用相邻I I帧或帧或P P帧的统计信息帧的统计信息进行预测进行预测 nB图像称为双向预测帧图像称为双向预测帧, ,利用前后的利用前后的I,PI,P帧帧制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心443. 其它其它MPEG标准标准 n(1) MPE

47、G-2标准标准 uMPEG组织于组织于1994年推出年推出MPEG-2压缩标准，以压缩标准，以实现视实现视/音频服务与应用互操作的可能性。音频服务与应用互操作的可能性。uMPEG-2标准是针对标准数字电视和高清晰度电标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定，视在各种应用下的压缩方案和系统层的详细规定，编码码率从每秒编码码率从每秒3兆比特兆比特100兆比特。兆比特。uMPEG-2特别适用于广播级的数字电视的编码和特别适用于广播级的数字电视的编码和传送，被认定为传送，被认定为SDTV和和HDTV的编码标准。的编码标准。uMPEG-2还专门规定了多路节目的复分接方

48、式。还专门规定了多路节目的复分接方式。制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心45MPEG-2标准的主要应用标准的主要应用n视音频资料的保存视音频资料的保存n非线性编辑系统及非线性编辑网络非线性编辑系统及非线性编辑网络n卫星传输卫星传输n电视节目的播出电视节目的播出 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心46(2) MPEG-4 标准标准uMPEG 于于1999年年2月正式公布月正式公布MPEG-4的的第一版本。同年第一版本。同年年底年底MPEG-4第二版亦告底定，且于第二版亦告底定，且于2000年年初正式成年年初正式成为国

49、际标准。为国际标准。uMPEG-4不只是具体压缩算法，它是针对数字电视、交互不只是具体压缩算法，它是针对数字电视、交互式绘图应用（影音合成内容）、交互式多媒体等整合及式绘图应用（影音合成内容）、交互式多媒体等整合及压缩技术的需求而制定的国际标准。压缩技术的需求而制定的国际标准。uMPEG-4标准将众多的多媒体应用集成于一个完整的框架标准将众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环境提供标准的算法及工内，旨在为多媒体通信及应用环境提供标准的算法及工具，从而建立起一种能被多媒体传输、存储、检索等应具，从而建立起一种能被多媒体传输、存储、检索等应用领域普遍采用的统一数据格式。用

50、领域普遍采用的统一数据格式。制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心47uMPEG-4在编码时将一幅景物分成若干在时间和在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频对象，分别编码后，空间上相互联系的视频音频对象，分别编码后，再经过复用传输到接收端，然后再对不同的对象再经过复用传输到接收端，然后再对不同的对象分别解码，从而组合成所需要的视频和音频。这分别解码，从而组合成所需要的视频和音频。这样既方便我们对不同的对象采用不同的编码方法样既方便我们对不同的对象采用不同的编码方法和表示方法，又有利于不同数据类型间的融合，和表示方法，又有利于不同数据类型间

51、的融合，制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心48与与MPEG-1、MPEG-2相比，相比，MPEG-4具有具有如下独特的优点：如下独特的优点：n基于内容的交互性基于内容的交互性 u提供了基于内容的多媒体数据访问工具，如索引、超级链提供了基于内容的多媒体数据访问工具，如索引、超级链接、上下载、删除等。接、上下载、删除等。 n高效的压缩性高效的压缩性 u能对同时发生的数据流进行编码能对同时发生的数据流进行编码 u一个场景的多视角或多声道数据流可以同步地合成为最终一个场景的多视角或多声道数据流可以同步地合成为最终数据流。可用于虚拟三维游戏、电影、飞行仿真练习等数

52、据流。可用于虚拟三维游戏、电影、飞行仿真练习等 n通用的访问性通用的访问性 u提供易出错环境的鲁棒性，保证其在网络及存储介质中的提供易出错环境的鲁棒性，保证其在网络及存储介质中的应用。应用。u支持基于内容的可分级性，即把内容、质量、复杂性分成支持基于内容的可分级性，即把内容、质量、复杂性分成许多小块来满足不同用户的不同需求，支持具有不同带宽，许多小块来满足不同用户的不同需求，支持具有不同带宽，不同存储容量的传输信道和接收端不同存储容量的传输信道和接收端制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心49MPEG-4主要应用主要应用n因特网视音频广播、因特网视音频广播、

53、n无线通信、无线通信、n静止图像压缩、静止图像压缩、n电视电话、电视电话、n计算机图形、计算机图形、n动画与仿真动画与仿真n电子游戏等电子游戏等制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心50(3) MPEG-7 n正式名称是正式名称是“多媒体内容描述接口于多媒体内容描述接口于1998年年10月提出，于月提出，于2001年最终完成并公布年最终完成并公布n旨在解决对多媒体信息描述的标准问题，并旨在解决对多媒体信息描述的标准问题，并将该描述与所描述的内容相联系，以实现快将该描述与所描述的内容相联系，以实现快速有效的搜索速有效的搜索.n该标准不包括对描述特征的自动提取该

54、标准不包括对描述特征的自动提取nMPEG-7的目标是根据信息的抽象层次，提的目标是根据信息的抽象层次，提供一种描述多媒体材料的方法以便表示不同供一种描述多媒体材料的方法以便表示不同层次上的用户对信息的需求层次上的用户对信息的需求 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心51u以视觉内容为例，较低抽象层将包括形状、尺寸、以视觉内容为例，较低抽象层将包括形状、尺寸、纹理、颜色、运动（轨道）和位置的描述。纹理、颜色、运动（轨道）和位置的描述。u对于音频的较低抽象层包括音调、调式、音速、对于音频的较低抽象层包括音调、调式、音速、音速变化、音响空间位置。音速变化、音响空

55、间位置。u最高层将给出语义信息：如最高层将给出语义信息：如“这是一个场景：一这是一个场景：一个鸭子正躲藏在树后并有一个汽车正在幕后通个鸭子正躲藏在树后并有一个汽车正在幕后通过。过。”u抽象层与提取特征的方式有关：许多低层特征能抽象层与提取特征的方式有关：许多低层特征能以完全自动的方式提取，而高层特征需要更多人以完全自动的方式提取，而高层特征需要更多人的交互作用的交互作用 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心52MPEG-7标准的应用标准的应用u数字图书馆、数字图书馆、u多媒体目录服务、多媒体目录服务、u广播媒体选择、多媒体编辑、广播媒体选择、多媒体编辑、u

56、教育、娱乐、医疗应用教育、娱乐、医疗应用u地理信息系统等领域都有潜在的应用价值地理信息系统等领域都有潜在的应用价值 u既可应用于存储（在线或离线），既可应用于存储（在线或离线），u也可以用于流式应用也可以用于流式应用u还可在实时或非实时的环境下应用还可在实时或非实时的环境下应用 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心53(4) MPEG-21 n正式名称为正式名称为 Multimedia Framework ，u其目的是建立一个具规范且开放的多媒体传输平台，让其目的是建立一个具规范且开放的多媒体传输平台，让所有的多媒体播放装置都能透过此平台接收多媒体资料所有

57、的多媒体播放装置都能透过此平台接收多媒体资料u使用者可以利用各种装置、透过各种网路环境去取得多使用者可以利用各种装置、透过各种网路环境去取得多媒体内容，而不需要知道多媒体资料的压缩方式及使用媒体内容，而不需要知道多媒体资料的压缩方式及使用的网路环境。的网路环境。u多媒体内容提供者或服务业者也不会受限于使用者的装多媒体内容提供者或服务业者也不会受限于使用者的装置及网路环境，针对多种不同压缩方法来提供多媒体内置及网路环境，针对多种不同压缩方法来提供多媒体内容。容。u该标准正是致力于在大范围的网络上实现透明的传输和该标准正是致力于在大范围的网络上实现透明的传输和对多媒体资源的充分利用对多媒体资源的充

58、分利用 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心544. H.261/263 n1980年年 H.261建议被通过建议被通过 ,是是CCITT制定的制定的国际上第一个视频压缩标准国际上第一个视频压缩标准 nH261标准的名称为标准的名称为“视听业务速率为视听业务速率为Px64Kb/s的视频编译码的视频编译码”，因此，因此H.261又称又称Px64标准，标准，u其中其中P为为64kb/s的取值范围，是的取值范围，是1到到30的可变参的可变参数，数，n最初是针对在最初是针对在ISDN上实现电信会议应用特别上实现电信会议应用特别是面对可视电话和视频会议而设计的是面对

59、可视电话和视频会议而设计的 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心55nH.261与与MPEG不兼容不兼容nH.261在实时编码时比在实时编码时比MPEG所占用的所占用的CPU运算量少得多运算量少得多 n剧烈运动的图像比相对静止的图像质量要差剧烈运动的图像比相对静止的图像质量要差 n码率变化范围在码率变化范围在64kbps至至1.92Mbps之间之间 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心56H.263nH.263关于低于关于低于64Kb/s比特率的窄带通道视比特率的窄带通道视频编码建议，其目的是能在现有的电话网上频编码建

60、议，其目的是能在现有的电话网上传输活动图像传输活动图像 uH.263的编码速度快，其设计编码延时不超过的编码速度快，其设计编码延时不超过150ms；u码率低，在码率低，在512K乃至乃至384K带宽下仍可得到相当带宽下仍可得到相当满意的图像效果，满意的图像效果，u十分适用于需要双向编解码并传输的场合十分适用于需要双向编解码并传输的场合,如可视如可视电话和网络条件不是很好的场合电话和网络条件不是很好的场合 uH.263建议草案于建议草案于1995年年11月完成月完成 制作：西安交通大学制作：西安交通大学 计算机教学实验中心计算机教学实验中心574.4 数字视频处理数字视频处理 n线性编辑线性编辑