第三章：数字图像与视频处理技术

第三章：数字图像与视频处理技术1MultimediaTechnology&Application一、概述图形：抽象化，以指令集合的形式存在与图像的比较图形由图元（图形指令）组成，图像由像素组成图形显示过程按图元顺序进行，图像则按像素顺序进行图形缩放变换不失真，图像则不一定图元相对独立，可单独修改、编辑，图像则不行对图像抽象得到的图形可能会丢失一定信息图像获取像素：两值图象，灰度图象，彩色图象压缩表达：调色板与真彩色MultimediaTechnology&Application2一、概述动画(flc,mmm,swf等)视频（avi,mov,mpeg等）获取分类：模拟视频/数字视频压缩编码标准技术参数：帧速（24～34f/s）、图像质量、数据量MultimediaTechnology&Application3二、数字图像数据的获取与表示获取采样分色量化编码表示单色图像灰度图像彩色图像MultimediaTechnology&Application4三、图像描述分辨率显示分辨率：像素点数目，点距图像分辨率：像素点数目，dpi象素深度颜色深度Alpha通道(复盖(叠)位/中断位/预乘技术)象素深度MultimediaTechnology&Application5三、图像描述颜色空间RGB颜色模型HSL颜色模型CMYK颜色模型Lab颜色模型其他颜色模型MultimediaTechnology&Application6光的特性光(电磁波):电磁波谱中，可见光波长范围（0.38～0.76

m），其低频端红色，高频端紫色。从高到低颜色的变化为紫、蓝、青、绿、黄、橙、红。若光源发射可见光谱中全部频率则产生白色光。当白光投射到物体上时，某些频率被反射，某些则被吸收。反射光中混合的频率确定我们所感受的物体颜色。MultimediaTechnology&Application7观察光源时，眼睛对颜色（或主频率）和亮度（即感受到的光明度）、纯度（或饱和度）作出反应。通常用色度说明纯度和主频率这两种颜色特征。迄今为止人类发现可成像的射线已有多种，如：

γ射线：0.003～0.03nm；

X射线：0.03～3nm；紫外线：3～300nm；红外线：0.8～300μm；微波：0.3～100cm。MultimediaTechnology&Application8常用颜色模型1.RGB颜色模型

国际照明委员会选择红色（波长

=700.00nm)、绿色（波长

=546.1nm)、蓝色（波长

=435.8nm)三种单色光作为表色系统的三基色，就是CIE的RGB颜色表示系统。通常使用的彩色光栅显示器采用的就是RGB颜色模型系统。

RGB颜色模型是相加混色，称为加色系统。白光可以由RGB三种基本色相加得到。产生1lm(流明)的白光所需要的三基色近似值可以用下面的亮度方程来表示：

1lm(白光)﹦0.30lm(红)﹢0.59lm(绿)﹢0.11lm(蓝)即产生白光时，三基色的比例关系是不等的，这给实际使用带来一些不方便。MultimediaTechnology&Application92.CMY(CMYB/CMYK)颜色模型以品红、青、黄(Cyan,Magenta,Yellow)作为三基色所构成的颜色模型，是一种模拟不发光物体颜色的减色系统。CMY减色系统和RGB加色系统颜色互为补色。所谓某颜色的补色是从白色中减去这种颜色后所得的颜色。品红是绿色的补色，青色是红色的补色，黄色是蓝色的补色。即相加系统的补色就是相减系统的基色(R+G=黄，G+B=青，R+B=品红）。MultimediaTechnology&Application10三、图像常见颜色模型及应用颜色模型（colormodel）是用来精确标定和生成各种颜色的一套规则和定义。某种颜色模型所标定的所有颜色就构成了一个颜色空间。颜色空间通常用三维模型表示，空间中的颜色通常使用代表三个参数的三维坐标来指定。计算机显示：RGB彩色印刷：CMY视觉系统：HSI/HSL彩色电视信号：YUVYIQ数字信号：YCrCbRGB、CMY和YUV/YIQ模型主要是面向设备的，即，生成的颜色与生成颜色的设备有关MultimediaTechnology&Application11三、图像白青红黑饱和度明度品红蓝绿黄UVQI33。33。MultimediaTechnology&Application12三、图像真彩色、伪彩色、直接色MultimediaTechnology&Application13三、图像常用图象文件格式BMP：位图文件(位图-文件，BMP)格式是窗口采用的图像文件存储格式，在窗口环境下运行的所有图像处理软件都支持这种格式窗口。窗口3.0以前的BMP位图文件格式与显示设备有关，称为设备相关位图(装置-依赖的位图，DDB)文件格式。窗口3.0以后的BMP位图文件格式与显示设备无关，称为设备无关位图(装置-独立的位图,DIB)格式，目的是为了让窗口能够在任何类型的显示设备上显示BMP位图文件。BMP位图文件默认的文件扩展名是BMP或者bmp。MultimediaTechnology&Application14三、图像GIF(GraphicsInterchangeFormat)格式：CompuServe公司于1987年为制定彩色图像传输协议而开发，支持256色到16M颜色的调色板，单个文件的多重图像及与硬件无关性。主要采用LZW编码TIFF(TaggedImageFileFormat)格式：Alaus和Microsoft公司为扫描仪和桌上出版系统开发的通用图像文件格式，有较好的兼容性。支持多种压缩JPEG：国际压缩标准，DCT变换，Huffman编码PCX格式：Zsoft公司开发的，支持256色或16色PCD(PhotoCD)格式:Kodak公司的photoCD专用软件，应用面广。MultimediaTechnology&Application15三、图像图像处理颜色与灰度：分解、灰度变换、直方图处理、多图算术操作空间:滤波(模板算子/统计滤波)、亚采样频谱:滤波(DFT/DCT/K-L/DWT变换、乘积与卷积)形态学与区域扩展、图论图像特征形状:矩、边界描述子、区域描述子纹理:共生矩阵颜色:直方图MultimediaTechnology&Application16视频信号：连续的随着时间变化的一组图象（24，25，30帧/秒），又叫运动图象或活动图象常见视频信号：

电影，电视，动画视频信号的特点：高分辨率、色彩逼真、信息量最丰富(人类接受的信息70%来自视觉)、最直观、生动等。视频信息的处理是多媒体技术的核心视频信号按其特点可分为模拟与数字两种MultimediaTechnology&Application17

真实的图形和声音是基于光亮度和声压值的。他们是空间和时间的连续函数,将图像和声音转换成电信号是通过合适传感器的使用来完成的。电视摄像机便是一种将自然界中真实图像转换为电信号的传感器。

(1)模拟视频MultimediaTechnology&Application18(3)视频信号的空间特性aspectratio(长宽比

4:3or16:9)

即图像水平扫描线的长度与图像竖直方向所有扫描线所复盖距离的比。verticalresolution（垂直分辨率）

同一帧面扫描线的数量。扫描线越多,垂直分辨率就越高。广播电视系统利用了每个帧面525(北美)或625(欧洲)线的垂直分辨率。horizontalresolution（水平分辨率）当摄像机扫描点在线上横向移动时,传感器输出的电子信号连续地变化以反映传感器所见图像部分的光亮程度。扫描特性可用水平分辨率来衡量.水平分辨率是指重新产生水平线的精细程度，即能再现黑白相间的垂直线条的数目。它依赖于扫描感光点的大小。MultimediaTechnology&Application19progressivescanning/interlacedscanning（同步----逐行扫描/隔行扫描）逐行扫描是在每一个Δt时间内对一个完整的图象进行扫描，它被称之为一帧。计算机行业对高分辨率采用逐行扫描的Δt为1/70秒。电视行业使用2:1隔行扫描。其间依次对称为奇数场和偶数场的奇数行和偶数行进行扫描。这样做目的是：在一个固定带宽下可降低闪烁。MultimediaTechnology&Application20同步(Synchronization)

假如视频信号被用于调节阴极射线管电子束的亮度时,它能以和传感器刚好一样的方式被扫描。将重新产生原始图像(显示扫描的原始图像),这在家用电视机和视频监视器中能精确地进行。因此,电子信号被送到监视器必须包含某些附加的信息,以确保监视器扫描与传感器的扫描同步。这个信息被称为同步信息。MultimediaTechnology&Application21(4)视频信号的时间特性视频信号的时间特性用视频帧率（Videoframerate）来刻画。帧率越高,图像的运动就越流畅,大于每秒15帧便可产生连续的运动图象MultimediaTechnology&Application22连续

(>=15f/s)无闪烁

(>=50c/s)(PAL制式:25frames/s,interlacedNTSC制式:30frames/s,interlaced)576625全屏光点总数:576*(4/3)*576=440kb(P)484*(4/3)*484=310kb(N)信号最高频率:440k*25/2=5.5MHz(P)310k*30/2=4.65MHz(N)行频:625x25=15.625kHz(P);525x30=15.75kHz(N)MultimediaTechnology&Application232.彩色电视制式PAL制式颜色模型YUV(亮度

Y=0.3*R+0.59*G+0.11*B色度U=(B-Y)*0.493色度V=(R-Y)*0.877)625行/帧，25帧/s高宽比为4：3隔行扫描，2场/帧，312.5行/场NTSC制式颜色模型YIQ(亮度Y=0.3*R+0.59*G+0.11*B色度I=0.6*R-0.28*G-0.32*B色度

Q=0.21*R-0.52*G+0.31*B)525行/帧，30帧/s高宽比为:电视4:3,电影3:2,高清晰度电视16:9隔行扫描，2场/帧，262.5线/场保留20扫描线为控制信息，可视485线每行63.5微秒，水平回扫时间10毫秒，显示时间53.5毫秒SECAM制式MultimediaTechnology&Application243.视频信号的传输为便于电视信号远距传输，把三个分量信号以及同步信号复合成一个信号，然后才进行传输CVBS=Y+a*U*Sin(Wsc*t)+b*V*Cos(Wsc*t)(Wsc

为副载波频率)伴音信号与视频信号也复合在一起传输亮度色度6MHz(NTSC)-1.00.01.02.03.04.0图象载波声音载波色度副载波音频MultimediaTechnology&Application25复合视频信号

(VHS,用户级)为保证视频信号质量，近距离时可用分量视频信号传输

(R,G,B或Y,U,V)(Betacam，广播级或专业级)介于复合视频信号与分量视频信号之间的S-video(Y/Cvideo)信号，由亮度和复合的色度信号组成。彩色空间转换(RGB=>YUV)显示信号编码信号复合RGBYUVCVBSVSyncHSync复合彩电信号4.视频信号的存储

录象带（模拟）、照相胶片、LD光盘（模拟+数字）、VCD光盘（数字）、DVD光盘（数字）等MultimediaTechnology&Application26获取途径数字化设备视频（捕获）卡视频存储设备视频输入源：摄像机、录像机或光盘驱动器视频软件：视频捕获、压缩、播放和基本的视频编辑视频质量依赖的因素视频窗口大小视频帧率（0～30f/s）色彩表示能力(色彩深度、色彩空间分辨率)六、视频数字化MultimediaTechnology&Application27视频信息的获取视频卡结构videograbbervideobufferoverlayconversionTVcoderVGAgraphicsVGAVRAMMMCPUDSPCodecdiscPCIbusvideoRGBmonitorTVsetMultimediaTechnology&Application28视频信号的采样样式4：4：44：2：24：1：14：2：0（H.261,H.263,MPEG-1/MPEG-2）R0R1R2R3G0G1G2G3B0B1B2B3Y0Y1Y2Y3CbCbCrCrY0Y1Y4Y5Y2Y3Y6Y7CbCbCrCrY0Y1Y2Y3CbCrMultimediaTechnology&Application29七、数字视频标准彩色空间之间的转换RGB----YCbCr采样频率PAL/SECAM：625*25*NN=864NTSC：525*29.97*N N=858有效显示分辨率720(PAL、SECAM:864/NTSC:858)ITU-RBT.601标准摘要4:2:2:13.5MHz/6.75MHz/6.75MHz4:4:4CIF、QCIF和SQCIFMultimediaTechnology&Application30八、数字视频的压缩编码

及其标准化31MultimediaTechnology&Application视频压缩编码技术的分类

(1)基于图像信源统计特性的方法预测编码、变换编码、矢量量化、子带－小波编码、神经网络编码等。

(2)考虑感知系统特性的方法基于方向滤波的图像编码法、基于图像轮廓/纹理的编码法。

(3)考虑图像传递的景物特征的方法分形编码、基于模型的编码等。

MultimediaTechnology&Application32标准化涉及多媒体标准的国际组织是IEC、ISO和ITU(1)国际标准由国际标准化组织(ISO)、国际电工委员会(IEC)

和国际电信联盟(ITU)制定。

(2)国家标准由各国国家标准委员会制定.如中国的GB,美国的

ANSI,德国的DIN和日本的JIS等。

(3)公共规范（地区标准）由多家公司或一些地区性的联合组织共同开发。如早期的网络协议TCP/IP标准等。

(4)企业(实用)标准它由一家公司开发,并被市场接受,如MSWin95软件标准。MultimediaTechnology&Application33十、数字视频的应用

应用分类

VCD/DVD

远程教学数字电视广播交互电视(ITV)

视频会议（VideoConference)34MultimediaTechnology&Application应用分类分配（出版）方式：

VCD,DVD,Video-Game,CD-ROMTitle服务对象：

CAI、远程教学、远程医疗等广播方式：

ITV,HDTV,DistanceLearning,NetworkPublishing(MoviesonDemand,NewsonDemand,KaraokeonDemand)通信方式：视频电话,视频会议,Telework,Telemedicine,Teleshopping监控方式：数字视频监控系统MultimediaTechnology&Application35VCD/DVD

容量650MB4.7GB/8.5GB

片长74