视频与图像基础

多媒体视频第一页，共80页。内容提要视觉系统对颜色的感知图像的颜色模型图像的分辨率图像的象素深度数字视频基础运动图象压缩标准视频编辑软件流媒体第二页，共80页。一、视觉系统对颜色的感知第三页，共80页。视觉系统对颜色的感知人们获取的信息的70％来自视觉系统颜色是视觉系统对可见光的感知结果。可见光是波长在380nm-780nm之间的电磁波，我们看到的大多数光不是一种波长的光，而是由许多不同波长的光组合成的。研究表明，人的视网膜有对红（Red）、绿(

Green)、蓝(Blue)颜色敏感程度不同的三种锥体细胞，另外还有一种在光功率极端低的条件下才起作用的杆状细胞，因此颜色只存在于眼睛和大脑。第四页，共80页。人的视觉系统对颜色的感知可归纳出如下几个特性：眼睛本质上是一个照相机红、绿和蓝三种锥体细胞对不同频率的光的感知程度不同，对不同亮度的感知程度也不同自然界中的任何一种颜色都可以由R、G、B这3种颜色值之和来确定第五页，共80页。色彩三要素色调：颜色的种类，与颜色明暗无关亮度：明亮程度饱和度：彩色光所呈现颜色的深浅或纯洁程度，对同一色调的彩色光，饱和度越高，颜色就越纯，如红＋白->粉红这个过程中基本色调没有变化，但饱和度降低了人的眼睛能分辨大约128种色调，5～10种饱和度，而对亮度非常敏感，可分辨的颜色大约35万种第六页，共80页。三基色基色是指互为独立的单色，任一基色不能由其他基色混合产生根据人眼对彩色视觉的大量实验，采用红、绿、兰这三种相互独立的基色，按照不同比例组合，可以配出大部分颜色与自然界色彩相符。互补色：两种颜色混合得白色，则为互补色第七页，共80页。二、图像的颜色模型（RGB模型与CMYK模型）用来确定和生成各种颜色的一套规则和定义，成为颜色模型或色彩模型。第八页，共80页。图像的颜色模型一个能发出光波的物体称为有源物体，它的颜色由该物体发出的光波决定，使用RGB相加混色模型；一个不发光波的物体称为无源物体，它的颜色由该物体吸收或者反射哪些光波决定，用CMY相减混色模型。第九页，共80页。1显示彩色图像用RGB相加混色模型电视机和计算机显示器使用的阴极射线管是一个有源物体。CRT使用3个电子枪分别产生红(Red)、绿(Green)和蓝(Blue)三种波长的光，并以各种不同的相对强度综合起来产生颜色第十页，共80页。彩色显像管产生颜色的原理第十一页，共80页。从理论上讲，任何一种颜色都可用三种基本颜色按不同的比例混合得到。三种颜色的光强越强，到达我们眼睛的光就越多，它们的比例不同，我们看到的颜色也就不同，没有光到达眼睛，就是一片漆黑。当三基色按不同强度相加时，总的光强增强，并可得到任何一种颜色。某一种颜色和这三种颜色之间的关系可用下面的式子来描述：颜色＝R(红色的百分比)＋G(绿色的百分比)＋B(蓝色的百分比)第十二页，共80页。相加混色Red(红)+Green（绿）=Yellow（黄）Red(红)+Blue（蓝）=Magenta（品红）Green（绿）+Blue（蓝）=Cyan（青）第十三页，共80页。一幅彩色图像可以看成由许许多多的点组成的，如图所示。第十四页，共80页。图像中的单个点称为像素(pixel)每个像素都有一个值，称为像素值，它表示特定颜色的强度。一个像素值往往用R、G、B三个分量表示。第十五页，共80页。如果每个像素的每个颜色分量用二进制的1位来表示，那么每个颜色的分量只有“1”和“0”这两个值。这也就是说，每种颜色的强度是100%，或者是0%。在这种情况下，每个像素所显示的颜色是8种可能出现的颜色之一。第十六页，共80页。8色RGB 颜色000 黑001 蓝010 绿011 青RGB 颜色100 红101 品红110 黄111 白第十七页，共80页。三、图像的分辨率第十八页，共80页。三、图像的分辨率我们经常遇到的分辨率有三种：显示分辨率图像分辨率像素分辨率。第十九页，共80页。1显示分辨率显示分辨率是指显示屏上能够显示出的像素数目。例如，显示分辨率为640×480表示显示屏分成480行，每行显示640个像素，整个显示屏就含有307200个显像点。屏幕能够显示的像素越多，说明显示设备的分辨率越高，显示的图像质量也就越高。第二十页，共80页。LCD与CRT电脑显示器包括两种：液晶显示LCD(liquidcrystaldisplay)一般都采用CRT显示电脑CRT显示器类似于彩色电视机中的CRT。显示屏上的每个彩色象点由代表R、G、B三种模拟信号的相对强度决定，这些彩色象点就构成一幅彩色图像。第二十一页，共80页。2图像分辨率图像分辨率是指组成一幅图像的像素密度的度量方法。对同样大小的一幅图，如果组成该图的图像像素数目越多，则说明图像的分辨率越高，看起来就越逼真。相反，图像显得越粗糙。在用扫描仪扫描彩色图像时，通常要指定图像的分辨率，用每英寸多少点表示，即DPI(dotsperinch)。如果用300DPI来扫描一幅8″×10″的彩色图像，就得到一幅2400×3000个像素的图像。分辨率越高，像素就越多。第二十二页，共80页。图像分辨率与显示分辨率是两个不同的概念。图像分辨率是确定组成一幅图像的像素数目，而显示分辨率是确定显示图像的区域大小。如果显示屏的分辨率为640×480，那么一幅320×240的图像只占显示屏的1/4；相反，2400×3000的图像在这个显示屏上就不能显示一个完整的画面。第二十三页，共80页。像素分辨率像素分辨率是指显像管荧光屏上一个像素点的宽和长之比。例如：在捕捉图像时，如果显像管的象素分辨率为2：1，而产生图像的显像管的象素分辨率为1：1，这时该图像会发生变形。第二十四页，共80页。四、像素深度第二十五页，共80页。象素深度像素深度是指存储每个像素所用的位数，它也是用来度量图像的分辨率。（声音数字化时的采样位数）像素深度决定彩色图像的每个像素可能有的颜色数，或者确定灰度图像的每个像素可能有的灰度级数。第二十六页，共80页。例如，一幅彩色图像的每个像素用R、G、B三个分量表示，若每个分量用8位，那么一个像素共用24位表示，就说像素的深度为24，每个像素可以是224=16777216种颜色中的一种。在这个意义上，往往把像素深度说成是图像深度。表示一个像素的位数越多，它能表达的颜色数目就越多，而它的深度就越深。第二十七页，共80页。五、真彩色、伪彩色与直接色第二十八页，共80页。1真彩色真彩色是指在组成一幅彩色图像的每个像素值中，有R、G、B三个基色分量，每个基色分量直接决定显示设备的基色强度，这样产生的彩色称为真彩色。例如用RGB5∶5∶5表示的彩色图像，R、G、B各用5位，用R、G、B分量大小的值直接确定三个基色的强度，这样得到的彩色是真实的原图彩色。第二十九页，共80页。如果用RGB8:8:8方式表示一幅彩色图像，就是R、G、B都用8比特来表示，每个基色分量占一个字节，共3个字节，每个像素的颜色就是由这3个字节中的数值直接决定，可生成的颜色数就是224＝16777216种。第三十页，共80页。用3个字节表示的真彩色图像所需要的存储空间很大，而人的眼睛是很难分辨出这么多种颜色的，因此在许多场合往往用RGB5:5:5来表示，每个彩色分量占5个比特，再加1比特显示属性控制位共2个字节，生成的真颜色数目为215=32K。第三十一页，共80页。2伪彩色伪彩色图像的含义是，每个像素的颜色不是由每个基色分量的数值直接决定，而是把像素值当作彩色查找表CLUT(colorlook-uptable)的表项入口地址，去查找一个显示图像时使用的R、G、B强度值，用查找出的R、G、B强度值产生的彩色称为伪彩色。第三十二页，共80页。彩色查找表CLUT(colorlookuptable)是一个事先做好的表，表项入口地址也称为索引号。例如16种颜色的查找表，0号索引对应黑色，...，15号索引对应白色。彩色图像本身的像素数值和彩色查找表的索引号有一个变换关系。第三十三页，共80页。第三十四页，共80页。3直接色每个像素值分成R、G、B分量，每个分量作为单独的索引值对它做变换，也就是通过相应的彩色变换表找出基色强度，用变换后得到的R、G、B强度值产生的彩色称为直接色。它的特点是对每个基色进行变换。第三十五页，共80页。直接色与真彩色、伪彩色的比较直接色与真彩色相比，相同之处是都采用R、G、B分量决定基色强度，不同之处是前者的基色强度直接用R、G、B决定，而后者的基色强度由R、G、B经变换后决定。因而这两种系统产生的颜色就有差别。试验结果表明，使用直接色在显示器上显示的彩色图像看起来真实、很自然。直接色与伪彩色系统相比，相同之处是都采用查找表，不同之处是前者对R、G、B分量分别进行变换，后者是把整个像素当作查找表的索引值进行彩色变换。第三十六页，共80页。六、图形与图像第三十七页，共80页。矢量图与点阵图（位图）在计算机中，表达图像和计算机生成的图形图像有两种常用的方法：一种叫做是矢量图(vectorbasedimage)法，另一种叫点阵图(bitmappedimage)法。虽然这两种生成图的方法不同，但在显示器上显示的结果几乎没有什么差别。第三十八页，共80页。图形（矢量图） 图形（Graphic）是指从点、线、面到三维空间的黑白或彩色几何图。 图形的格式是一组描述点、线、面等几何图形的大小、形状及其位置、维数的指令集合。 在图形文件中只记录生成图的算法和图上的某些特征点，因此也称矢量图。第三十九页，共80页。图像（位图/点阵图） 图像（Image）是由像素点阵组成的画面。 静止的图像是一个矩阵，阵列中的各项数字用来描述构成图像的各个点（称为像素点pixel）的强度与颜色等信息。这种图像也称为位图（bit-mappedpicture）。第四十页，共80页。图像与图像的比较 位图文件占据的存储器空间比较大。影响点位图文件大小的因素主要有两个：图像分辨率和像素深度。 分辨率越高，就是组成一幅图的像素越多，则图像文件越大；像素深度越深，就是表达单个像素的颜色和亮度的位数越多，图像文件就越大。 而矢量图文件的大小则主要取决于图的复杂程度。第四十一页，共80页。矢量图与位图相比，显示位图文件比显示矢量图文件要快；矢量图侧重于“绘制”、去创造，而位图偏重于“获取”、去“复制”；矢量图和位图之间可以用软件进行转换，由矢量图转换成点位图采用光栅化(rasterizing)技术，这种转换也相对容易；由点位图转换成矢量图用跟踪(tracing)技术，这种技术在理论上说是容易，但在实际中很难实现，对复杂的彩色图像尤其如此。第四十二页，共80页。七灰度图与彩色图第四十三页，共80页。1灰度图灰度图(gray-scaleimage)按照灰度等级的数目来划分。只有黑白两种颜色的图像称为单色图像(monochromeimage)。图中的每个像素的像素值用1比特存储，它的值只有“0”或者“1”，一幅640×480的单色图像需要占据37.5KB的存储空间。第四十四页，共80页。标准单色图和标准灰度图第四十五页，共80页。彩色图像彩色图像(colorimage)可按照颜色的数目来划分，例如256色图像和真彩色(224＝16777216种颜色)等。第四十六页，共80页。256色标准图像转换成的256级灰度图像第四十七页，共80页。上图是一幅用256色标准图像转换成的256级灰度图像，彩色图像的每个像素的R、G和B值用一个字节来表示，一幅640×480的8比特彩色图像需要307.2KB的存储空间；（640×480×1＝307200byte）（这副彩色图像是真彩色还是伪彩色？）第四十八页，共80页。真彩色图像转换成的256级灰度图像第四十九页，共80页。上图是一幅真彩色图像转换成的256级灰度图像，每个像素的R、G、B分量分别用一个字节表示，一幅640×480的真彩色图像需要921.6KB的存储空间。（640×480×3＝921600byte）第五十页，共80页。许多24比特彩色图像是用32比特存储的，这个附加的8比特叫做alpha通道，它的值叫做alpha值，它用来表示该像素如何产生特技效果。使用真彩色表示的图像需要很大的存储空间，在网络传输也很费时间。由于人的视角系统的颜色分辨率不高，因此在没有必要使用真彩色的情况下就尽可能不用。第五十一页，共80页。数字视频基础第五十二页，共80页。1.什么是视频？若干有联系的图像数据连续播放便形成了视频。图像是离散的视频，视频是连续的图像常见的视频信号是电影和电视第五十三页，共80页。2.模拟视频与数字视频模拟视频以模拟电信号的形式来记录、依靠模拟技术在空间传播的视频技术。数字视频基于数字技术及其他更为拓展的图象显示标准。两层涵义：模数转换后制成的数字视频产品；数字摄像机拍摄的视频图象。第五十四页，共80页。3.帧和帧速率视频是由一系列单独的图象组成的帧：一幅幅单独的图像帧速率：每秒钟连续播放的帧数。典型的为24帧/秒,25帧/秒,30帧/秒．Flash默认为12帧/秒.由于视频播放是利用人眼的视觉暂留特性产生运动影像，因此对每秒钟扫描多少帧有一定的要求。PAL制电视系统，帧速率为25帧/s，NTSC制电视系统，帧速率为30帧/s。根据实验，人眼可觉察到低于1/50s速率刷新的图象中的闪烁，在不增加带宽的情况下，采用了隔行扫描的技术。当计算机对模拟视频进行数字化时，就必须要在规定时间内（如1/30）完成量化、压缩和存储等多项工作。第五十五页，共80页。4.视频信号的格式根据亮度/色度原理，将RGB信号分成两个部分：亮度部分Y，它是控制图象亮度的单色视频信号；色度部分，包括图象的着色信号，色度部分实际上是两个色差信号B-Y,R-Y。由于人眼对图象的色度细节分别能力低，而对亮度细节分别力高，因此可对两个色差信号的频带怪度进行压缩处理，而不回大量损失可视细节。第五十六页，共80页。5.视频制式标准是指电视显示的标准常见的三种电视制式NTSC制式：30帧/秒，525行，宽高比4：3，隔行扫描，场扫描频率60hz,美国、加拿大等大部分西半球国家，以及日韩，菲律宾和中国的台湾地区PAL制式：25帧/秒，625行，宽高比4：3，隔行扫描，场扫描频率50hz，德国、中国、朝鲜等采用SECAM制式：同PAL制式，不同的是色度信号是频率调制，法国、前苏联以及东欧国家采用HDTV：高清晰度电视，标准尚未统一，帧扫描频率1000行以上，宽高比16：9，逐行扫描，传送频率全部数字化。第五十七页，共80页。6.视频的数字化数字化过程：扫描采样量化编码大多数视频处理系统采用YUV分量格式分3路进行数模转换采样格式4:4:44:2:24:1:14:2:0第五十八页，共80页。7.颜色深度视频数字化后，能否真实反应初原始图像的颜色，引出了颜色深度的概念颜色深度指每个象素可显示初的颜色数，它与数字化中量化数有着密切的关系，即与量化位数有关。真彩色24位高彩色16位位彩色8位第五十九页，共80页。8.数据量和图像质量视频是利用快速变换帧的内容而达到运动的效果。不计压缩，视频的数据量应是帧速乘以每幅图像的数据量。图像质量除了原始数据质量外，还与视频数据压缩的倍数有关。有时为了减少数据量而减慢了帧速，例如只有16帧/秒。第六十页，共80页。二.视频卡第六十一页，共80页。插在PC机主办上，用于处理视频信息的配件卡，主要功能是将模拟视频信号转换成数字化视频信号或将数字信号转换成模拟信号。根据其功能可分为：视频采集卡压缩/解压缩卡视频输出卡电视接收卡第六十二页，共80页。三、运动图像压缩标准第六十三页，共80页。为什么要压缩？长度为半分钟，图象尺寸为640*480像素，30帧/s的非压缩视频的数据量为：30*640*480*24*30/8=829440000字节＝791M(不含音频信息)所以压缩和解压技术非常重要第六十四页，共80页。压缩的空间空间的冗余度：相邻像素之间的相关性造成频谱冗余度：不同彩色平面之间的相关性造成时间冗余度：数字视频中不同帧之间的相关性造成人眼不能辨别的多余信息压缩第六十五页，共80页。运动压缩的基本原理运动补偿找出运动图像的相邻帧之间存在的冗余，并以帧速度进行预测压缩当视频中没有任何运动物体时，只需传送这个景物的第一帧两个基本问题怎样区分图像是运动的还是静止的？如果是运动的，如何提取图像中的运动部分？第六十六页，共80页。MPEG视频压缩标准MPEG:MovingPictureExpertsGroup,运动图像专家组MPEG-1:1992年发布应用领域：光盘、数字音频磁带（DAT）、磁带设备等，最典型的应用是VCDMPEG-2:1994年被批准为国际标准主要应用：数字电视、DVD、TV机顶盒第六十七页，共80页。MPEG-4:1998年发布，1999年公布第二版多媒体应用标准MPEG-7:正在研究多媒体内容描述接口规范MPEG-21:2000年批准制定标准的计划多媒体框架，将标准集成起来相互支持和相互协调以管理多媒体商务。第六十八页，共80页。MPEG视频压缩工具豪杰超级解霸3000RealProducer各种视频格式转RM（流媒体）第六十九页，共80页。四.视频文件格式第七十页，共80页。AVI文件AudioVideoInterleaved的缩写Microsoft开发的用于Windows环境，现被Windows、OS/2采用允许音频和视频交错在一起同步播放支持256色和RLE压缩主要应用在多媒体光盘上，用来保存电影、电视等第七十一页，共80页。MOV文件Apple公司开发用于苹果机的视频文件格式播放软件：QuickTimeMPEG文件运动图象压缩算法的国际标准平均压缩比为50:1,最高可达200:1DAT文件是VCD和卡拉OKCD数据文件的扩展名，也是基于MPEG压缩技术的一种文件格式第七十二页，共80页。五、流媒体（扩展内容）第七十三页，共80页。什么是流媒体？流媒体文件格式是支持采用流式传输及播放的媒体格式。流式传输方式是将动画、视音频等多媒体文件经过特殊的压缩方式分成一个个压缩包，由视频服务器向用户计算机连续、实时传送。在采用流式传输方式的系统中，用户不必像非流式播放那样等到整个文件全部下载完毕后才能看到当中的内容，而是只需经过几秒或几十秒的启动延时即可在用户的计算机上利用相应的播放器或其它的硬件、软件对压缩的动画、视音频等流式多媒体文件解压后进行播放和观看，多媒体文件的剩余部分将在后台的服务器内继续下载。第七十四页，共80页。与单纯的下载方式相比，这种对多媒体文件边下载边播放的流式传输方式具有以下优点：启动延时大幅度地缩短，