第2章图像与视觉基础

1、第二章第二章 图像与视觉基础图像与视觉基础 本章主要内容：本章主要内容：采样和量化采样和量化 图像的颜色模型图像的颜色模型 象素间联系象素间联系 图像运算图像运算1.1.采样和量化采样和量化 一幅图像必须在空间和灰度上都离散 化计算机才可以处理。 空间采样空间坐标的离散化。 灰度量化灰度的离散化。 1.1 1.1 均匀采样和量化均匀采样和量化例如:只取交叉点象素的灰度值，记为：f(x,y)，构成图像文件数字图像 若x，y不变均匀采样。 yx1.1 1.1 均匀采样和量化均匀采样和量化图像空间分辨率N：MN采样。 图像f(x,y)中0 xM，0yN265x180133x9066x4533x221

2、.1 1.1 均匀采样和量化均匀采样和量化图像密度分辨率K：灰度级G量化256灰度级灰度级16灰度级灰度级8灰度级灰度级4灰度级灰度级1.2 1.2 非非均匀采样均匀采样若MN固定，改变x，y。比如：对人的脸x，y取小，背景x，y取大。原则：在灰度变化大时用较密的采样。缺点：要确定边缘。 对含有较少均匀区域的图像也不使 用，例如人群照片。 1.3 1.3 非非均匀均匀量化量化人眼在灰度变化剧烈区估计灰度的能力差。 较少的灰度级,对边缘用较少的灰度级。 在灰度变化平缓区估计灰度的能力好。 较多的灰度级 1.3 1.3 非非均匀均匀量化量化马赫带效应 (Mach band effect) 1.3

3、1.3 非非均匀均匀量化量化原因：T亮度感觉实际突变时有放大作用警灯闪的原因视觉暂留 2.2.图像的颜色模型图像的颜色模型 2.1 2.1、视、视觉系统对颜色的感知系统对颜色的感知 颜色是视觉系统对可见光的感知结果。可见光是波长在380nm-780nm之间的电磁波。 2.12.1视觉系统对颜色的感知视觉系统对颜色的感知2.12.1视觉系统对颜色的感知视觉系统对颜色的感知 我们看到的大多数光不是一种波长的光，而是由许多不同波长的光组合成的。人的视网膜有对红、绿、蓝颜色敏感程度不同的三种锥体细胞，另外还有一种在光功率极端低的条件下才起作用的杆状体细胞，杆状细胞主要提供视野的整体视象，对低照度较敏感

4、。 2.1 2.1 视觉系统对颜色的感知视觉系统对颜色的感知 红、绿和蓝三种锥体细胞对不同频率的光的感知程度不同，对不同亮度的感知程度也不同，如图2.2所示。 2.2 2.2 常用颜色常用颜色模型模型 常用颜色模型分为两类：面向设备 如：CMY、RGB、YUV、YIQ、YCrCb 面向视觉系统 如：HSV、HIS等面向计算 如：CIE-XYZ2.2.1 2.2.1 RGBRGB相加混色模型相加混色模型 计算机显示器使用的阴极射线管CRT (cathode ray tube)是一个有源物体。CRT使用3个电子枪分别产生红(Red)、绿(Green)和蓝(Blue)三种波长的光，并以各种不同的相对

5、强度综合起来产生颜色。 2.2.1 2.2.1 RGBRGB相加混色模型相加混色模型2.2.1 2.2.1 RGBRGB相加混色模型相加混色模型 从理论上讲，任何一种颜色都可用三基色按不同的比例混合得到。它们的比例不同，我们看到的颜色也就不同。某一种颜色和这三种颜色之间的关系可用下面的式子来描述： 某一彩色rRgGbB 其中r,g,b分别为RGB分量的份数2.2.1 2.2.1 RGBRGB相加混色模型相加混色模型当三基色等量相加时，得到白色；等量的红绿相加而蓝为0值时得到黄色（Yellow）；等量的红蓝相加而绿为0时得到品红(magenta)；等量的绿蓝相加而红为0时得到 青色(cyan)。

6、三基色相加的结果如图所示。 2.2.1 2.2.1 RGBRGB相加混色模型相加混色模型象素值，它表示特定颜色的强度。一个象素值往往用R、G、B三个分量表示。2.2.1 2.2.1 RGBRGB相加混色模型相加混色模型 RGB彩色空间也可以由图所示的立方体来表示。 2.2.2 2.2.2 CMYCMY相减混色模型相减混色模型 用彩色墨水或颜料进行混合，这样得到的颜色称为相减色。在理论上说，任何一种颜色都可以用三种基本颜料按一定比例混合得到。这三种颜色是青色(Cyan)、品红(Magenta)和黄色(Yellow)，通常写成CMY，称为CMY模型。用这种方法产生的颜色之所以称为相减色，乃是因为它

7、减少了为视觉系统识别颜色所需要的反射光。 2.2.2 2.2.2 CMYCMY相减混色模型相减混色模型在相加混色中：白色RGBC RC互补色。 （青色颜料吸收红光，显示青色）白色GRBM GM互补色。白色BRGY BY互补色 2.2.2 2.2.2 CMYCMY相减混色模型相减混色模型这些三基色相减结果如图所示 CY白RBGCMY白RGB黑 2.2.2 2.2.2 CMYCMY相减混色模型相减混色模型彩色打印机采用的就是这种原理，印刷彩色图片也是采用这种原理。由于彩色墨水和颜料的化学特性，用等量的三基色得到的黑色不是真正的黑色，因此在印刷术中常加一种真正的黑色(black ink)，所以CMY

8、又写成CMYK。 2.2.2 2.2.2 CMYCMY相减混色模型相减混色模型相加色与相减色之间有一个直接关系，如下表所示。利用它们之间的关系，可以把显示的颜色转换成输出打印的颜色。相加混色和相减混色之间成对出现互补色。例如，当RGB为111时，在相加混色中产生白色，而CMY为111时，在相减混色中产生黑色。从另一个角度也可以看它们的互补性。从表中可以看到，在RGB中的颜色为1的地方，在CMY对应的位置上，其颜色值为0。例如RGB为010时，对应CMY为101。 2.2.2 2.2.2 CMYCMY相减混色模型相减混色模型 相加混色 相减混色 生成的颜色 RGB CMY 000111黑 K00

9、1110蓝 B 010101绿 G011100青 C100011红 R101010品红 M110001黄 Y111000白 W2.2.2 2.2.2 CMYCMY相减混色模型相减混色模型 CMY彩色空间也可以使用图示的立方体来表示。 2.2.3 2.2.3 YUVYUV与与YIQYIQ模型模型在彩色电视制式中，使用YUV和YIQ模型来表示彩色图像。电视信号在发射时，转换成YUV或YIQ形式，接收时再还原成RGB三基色信号，由显像管显示。 YUV：Y表示亮度，UV用来表示色差，U、V是构成彩色的两个分量；(PAL制和SECAM) YIQ：其中的Y表示亮度，I、Q是两个彩色分量。 (NTSC制)2

10、.2.3 2.2.3 YUVYUV与与YIQYIQ模型模型优点：(1)YUV表示法的重要性是它的亮度信号(Y)和色度信号(U、V)是相互独立的，也就是Y信号分量构成的黑白灰度图与用U、V信号构成的另外两幅单色图是相互独立的。由于Y、U、V是独立的，所以可以对这些单色图分别进行编码。此外，黑白电视能接收彩色电视信号也就是利用了YUV分量之间的独立性。 2.2.3 2.2.3 YUVYUV与与YIQYIQ模型模型(2)可以利用人眼的特性来降低数字彩色图像所需要的存储容量。人眼对彩色细节的分辨能力远比对亮度细节的分辨能力低。若把人眼刚能分辨出的黑白相间的条纹换成不同颜色的彩色条纹，那末眼睛就不再能分

11、辨出条纹来。由于这个原因，就可以把彩色分量的分辨率降低而不明显影响图像的质量，因而就可以把几个相邻象素不同的彩色值当作相同的彩色值来处理，从而减少所需的存储容量。 2.2.3 2.2.3 YUVYUV与与YIQYIQ模型模型例如：要存储RGB 888的彩色图像，即R、G和B分量都用8位二进制数表示，图像的大小为640480象素，那末所需要的存储容量为640480 3921 600字节。如果用YUV来表示同一幅彩色图像，并且Y、U、V分量仍然各用8位表示，而对每四个相邻象素(22)的U、V值分别用相同的一个值表示，那末存储同样的一幅图像所需的存储空间就减少到6404801+ 6404802/4=

12、460800字节。这实际上也是图像压缩技术的一种方法。2.2.3 2.2.3 YUVYUV与与YIQYIQ模型模型 RGB和YUV的对应关系可以近似地用下面的方程式表示： Y = 0.299R + 0.587G + 0.114B U = - 0.147R - 0.289G + 0.436B V = 0.615R - 0.515G - 0.100B2.2.3 2.2.3 YUVYUV与与YIQYIQ模型模型或者写成矩阵的形式：2.2.3 2.2.3 YUVYUV与与YIQYIQ模型模型 RGB和YIQ的对应关系用下面的方程式表示： Y = 0.299R + 0.587G + 0.114B I =

13、 0.596R - 0.275G - 0.321B Q = 0.212R - 0.523G + 0.311B2.2.3 2.2.3 YUVYUV与与YIQYIQ模型模型或者写成矩阵的形式：2.2.4 2.2.4 YCrCbYCrCb模型模型数字域中的彩色空间与模拟域的彩色空间(YIQ、YUV)不同。它们的分量使用Y、Cr和Cb来表示，是JPEG数字图像标准和MPEG数字视频标准。它是从YUV系统衍生出来的。其中Y还是指亮度，Cr和Cb是将U、V作少量调整而得到的。适用于计算机用的显示器。2.2.4 2.2.4 YCrCbYCrCb模型模型它与RGB空间的转换关系如下： Y0.299R0.578

14、G0.114B Cr(0.500R0.4187G0.0813B)128 Cb=(-0.1687R0.3313G0.500B)1282.2.4 2.2.4 YCrCbYCrCb模型模型或者写成矩阵的形式： 或写成如下的形式 ： 这个模型基于两个重要的事实：其一，I分量与图像的彩色信息无关；其二，H和S分量与人感受颜色的方式是紧密相连的。这种彩色系统格式的设计反映了人类观察彩色的方式。如：红色又分为浅红和深红色等等。 2.2.5 2.2.5 HSIHSI模型模型 I（Intensity）亮度。表示光照强度。它确定了像素的整体亮度，而不管其颜色是什么。通常用0（黑色）100（白色）的百分比来度量。若

15、I从0100，即从黑变到白。对任一个I，R=G=B。（灰度图）降低亮度时，颜色就暗，相当于掺入黑色。 2.2.5 HSI2.2.5 HSI模型模型 H（Hue）色调。反映了该颜色的光谱波长。在HIS模型中由角度表示。0o为红色，120o为绿色，240o为蓝色。0 o到240o覆盖了所有可见光谱的颜色，240o到300o是人眼可见的非光谱色（紫色）。2.2.5 HSI2.2.5 HSI模型模型 S（Saturation）饱和度。它反映的是纯色中加入白光的多少。饱和度参数是色环的原点到彩色点的半径长度。在环的外围圆周是纯的或称饱和的颜色，其饱和度值为1。在中心是中性（灰）影调，即饱和度为0。2.2

16、.5 HSI2.2.5 HSI模型模型2.2.5 HSI2.2.5 HSI模型模型 1. RGB到HSI的转换：BGRBGRS),min(31BGBGH2)()()()(cos2211BGBRGRBRGR2.2.5 HSI2.2.5 HSI模型模型I)(31BGRI2. HSI到RGB的转换1）)60cos()cos(1 3HHSRI)1 (3SBIBRIG3时当1200 H2.2.5 HSI2.2.5 HSI模型模型2. HSI到RGB的转换2）2.2.5 HSI2.2.5 HSI模型模型)180cos()120cos(1 3HHSGI)1 (3SRIGRIB3时当240120 H2. HS

17、I到RGB的转换3）2.2.5 HSI2.2.5 HSI模型模型时当300240 H)300cos()240cos(1 3HHSBI)1 (3SGIBGIR32.2.6 2.2.6 CIE CIE色度图色度图 前已说明了几种选择三基色的方法，实用中要求三基色必须容易获得，且配出的颜色要尽可能多。为此国际照明委员会（CIE）规定红、绿、蓝三原色的波长分别为700nm、546.1nm、435.8nm。 2.2.6 2.2.6 CIE CIE色度图色度图 在颜色匹配实验中，当这三原色光的相对亮度比例 R:G:B=1.0000：4.5907：0.0601时就能匹配出等能白光，所以CIE选取这一比例作为

18、红、绿、蓝三原色的单位量。即（R）：（G）：（B）=1：1：1。 尽管这时三原色的亮度值并不等，但CIE却把每一原色的亮度值作为一个单位看待，所以色光加色法中红、绿、蓝三原色光等比例混合结果为白光，即 1（R）+1（G）+1（B）=白。 任一颜色可表示为：C=rR+gG+bB2.2.6 2.2.6 CIE CIE色度图色度图 这种物理三基色使用起来不便，用它计算各种彩色时，三色系数有时会出现负值（这是因为待配色为单色光，其饱和度很高，而三原色光混合后饱和度必然降低，无法和待配色实现匹配）。为此，CIE提出了一种虚拟的计算三基色（XYZ）标准色度系统。 2.2.6 2.2.6 CIE CIE色度

19、图色度图 定义了虚拟的三基色(X),(Y),(Z)。任一颜色可表示为： C=X(X)+Y(Y)+Z(Z)(X)(Y)(Z)与(R)(G)(B)的转换关系为： (X)(Y)(Z)0.4185 -0.0912 0.0009-0.1587 0.2524 -0.0025-0.0828 0.0157 0.1786(R)(G)(B)2.2.6 2.2.6 CIE CIE色度图色度图 用m=X+Y+Z来归一化： x=X/m y=Y/m z=Z/m 则：x+y+z=12.2.6 2.2.6 CIE CIE色度图色度图 用x,y,z画出相对色系数图称为：XYZ色度图。 由于x+y+z=1，所以只要画出x,y坐标

20、，z的坐标可以计算出来。 2.2.6 2.2.6 CIE CIE色度图色度图 在色度图中： 舌形图中每点对应一种可见颜色。 边界上的点为饱和色（纯色），非边界 上的点为非饱和色。 2.2.6 2.2.6 CIE CIE色度图色度图 作用：（1）测量任一种颜色的主波长和饱和度。 BAMNABA色与B色的色调相同A色的饱和度AC/BC2.2.6 2.2.6 CIE CIE色度图色度图 作用：（2）确定互补色 MN 互为互补色 BAMN对N点的波长只能用互补色的波长来表示。2.2.6 2.2.6 CIE CIE色度图色度图 作用：（3）确定若干种颜色能混合出的色域色度图中任意两点的连线表示这两种颜色

21、能混和出来的颜色。CMY与RGB色域不同。 3 3 象素间的联系象素间的联系 3.1 3.1 象素的邻域象素的邻域 对于坐标为（x,y）的象素P，与它在水平与垂直方向上相邻的有四个象素，这些象素组成了（x,y）的4-邻域，记为 如图： P)(4PN3.1 3.1 象素的邻域象素的邻域象素P的4个对角近邻象素 与P的4-邻域象素一起，组成P的8邻域，记为 如图： P)(8PN)(PND PND（P）N8（P）3.2 3.2 象素的连接象素的连接要确定两个象素是否连接有两个条件：两个象素是否接触（例如是否为4近邻象素）；灰度值是否满足特定的相似准则（如灰度相同）。用V来定义连接的灰度集合。例如在一

22、幅灰度图中，考虑灰度在816之间象素的连通性。则V=8，9，10，11，12，13，14，15，16 3.2 3.2 象素的连接象素的连接定义：定义：4连接：2个象素p和r在V中取值，且r在 中8连接：2个象素p和r在V中取值，且r在 中m连接：2个象素p和r在V中取值且满足下列条件之一： a）r在 b）r在 中，且 为空集)(8pN)(4pN)(4pN)( pND)(4pN)(4rN3.2 3.2 象素的连接象素的连接例如V=1,20 1 10 2 00 0 1l它是一个8连接，不是一个4连接l由于允许8连接就产生了歧义性（即中心象素与右上角象素之间有两条连线）用m连接即可消除（斜线的m连接

23、不成立）3.2 3.2 象素的连接象素的连接m连接0 1 10 2 00 0 13.3 3.3 连通性连通性 设p和q是1个图像子集S中的两个象素，如果存在1条完全由在S中象素组成的从p到q的通路，那么称p在S中与q相连通。 对S中的任1个象素p，所有与p相连通又在S中的象素的集合（包括p）称为S的1个连接成分。 3.3 3.3 连通性连通性 在二值图像连接成分的场合，若“1”象素用8连接/4连接，那么“0”象素必须用相反的4连接/8连接，否则会出错。 0 0 0 0 00 1 1 0 00 1 0 1 00 1 1 1 00 0 0 0 0“1”用8连接，“0”就必须用4连接。否则被包围的“

24、0”象素就会与右上角的“0”象素相连3.3 3.3 连通性连通性 在“0”的连接成分中，若存在和图像外围的1行或1列的“0”象素不相连的成分，则称为孔。包含孔的“1”的连接成分叫多重连接成分。不包含孔的“1”的连接成分叫单连接成分。 3.3 3.3 连通性连通性 单连通成分0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 1 0 0 0 0 0 1 0 1 1 0 0 0 1 1 1 0 0 0 1 1 1 1 1 0 0 1 1 1 1 0 0 1 0 0 0 1 0 0 1 1 1 1 0 0 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0

25、 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 多连通成分孔3.3 3.3 连通性连通性 欧拉数E连通成分数C孔数C 上例中E=1 3.4 3.4 象素间的距离象素间的距离 给定三个象素p、q、r，坐标分别为(x,y)，(s,t)，(u,v)，则其距离度量函数应满足如下三个条件： 1） （ 当且仅当 p=q） 2） 3） 0),qpD（0),qpD（),(),(pqDqpD),(),(),(rqDqpDrpD3.4 3.4 象素间的距离象素间的距离点p(x,y),q(s,t)之间的欧式距离定义为： 根据这个距离度量，与（x,y）的距离小于或等于某个值d

26、的象素都包括在以（x,y）为中心的以d为半径的园中。2122),(tysxqpDE2121012123.4 3.4 象素间的距离象素间的距离555555222255欧式距离3.4 3.4 象素间的距离象素间的距离 D4 距离（城区距离）： 根据这个距离度量，与（x,y）的 D4距离小于或等于某个值d的象素组成以（x,y）为中心的菱形。tysxqpD),4（3233212321012321233233.4 3.4 象素间的距离象素间的距离D4距离3.4 3.4 象素间的距离象素间的距离 D8 距离（棋盘距离）： 根据这个距离度量，与（x,y）的距离小于或等于某个值d的象素组成以（x,y）为中心的

27、正方形。),max(),8tysxqpD（22222211122101221112222223.4 3.4 象素间的距离象素间的距离D8距离4. 4. 图像的运算图像的运算4.1 4.1 算术和逻辑运算算术和逻辑运算 算术运算一般用于灰度图像。 两个象素p、q间的算术运算有： 加法 记为 p+q 减法 记为p-q 乘法 记为p*q(pq或pq) 除法 记为Pq 4.1 4.1 算术和逻辑运算算术和逻辑运算图像加法一般用于对同一场景的多幅图像求平均效果，以便有效地降低具有叠加性质的随机噪声。给一幅图像的每一个象素加上一个常数，可以使图像的亮度增加。生成图象叠加效果。4.1 4.1 算术和逻辑运算

28、算术和逻辑运算图像减法是医学成像中的基本工具之一，主要用来去除固定的背景信息，检测变化及运动物体。（左图：背景 中图：前景 右图：变化区域 ）4.1 4.1 算术和逻辑运算算术和逻辑运算图像乘法主要用于校正由于照明或传感器非均匀造成的图像灰度阴影。例如给图像乘以一个常数k，若k1，可以增加图像的亮度，若k1，可以使图像变暗。因为这种操作能更好的维持图像的相关对比度，所以它可以产生比简单添加象素偏移量自然的多的明暗效果。也可以用来实现掩模处理，即屏蔽掉图像的某些部分。 4.1 4.1 算术和逻辑运算算术和逻辑运算除法运算可用于校正成像设备的非线性影响，在特殊形态的图像（如断层扫描等医学图像、遥感

29、图像）处理中用到。也可以用来检测两幅图像间的区别，但是除法操作给出的是相应象素的比率，而不是绝对差异，所以也称为比率变换。 4.1 4.1 算术和逻辑运算算术和逻辑运算逻辑运算： 与 AND p AND q 或 OR P OR q 非（补） NOT p逻辑运算只用于二值图像。4.2 4.2 几何运算几何运算二维几何变换：平移、旋转、比例、镜象变换，转置等 与图形学中所讲的变换公式相同，但是有图像的特点。4.2.1 4.2.1 平移平移(translation)(translation) 平移变换是几何变换中最简单的一种。4.2.1 4.2.1 平移平移(translation)(transla

30、tion)平移公式：x1y111 0 tx0 1 ty0 0 1x0y01=4.2.1 4.2.1 平移平移(translation)(translation)图形变换只需要知道坐标，而对图像不仅需要知道坐标，还需要知道平移后的图像中每个像素的颜色。例如我们想知道，新图中左上角点的RGB值是多少？很显然，该点是原图中的某一点经过平移后得到的，这两点的颜色肯定是一样的，所以只要知道了原图那点的RGB值即可。那么到底新图中的左上角点对应原图中的哪一点呢？4.2.1 4.2.1 平移平移(translation)(translation)用上述变换的逆变换： x0y011 0 tx0 1 ty0 0

31、 1x1y11=4.2.1 4.2.1 平移平移(translation)(translation)问题：如果新图中有一点（x1,y1），按照公式(2)得到的(x0,y0)不在原图中该怎么办？通常的做法是，把该点的RGB值统一设成(0,0,0)或者(255,255,255)。 4.2.1 4.2.1 平移平移(translation)(translation)问题：平移后的图像是否要放大？一种做法是不放大，移出的部分被截断。这种处理，文件大小不会改变。 左图为原图，右图为移动后的图。4.2.1 4.2.1 平移平移(translation)(translation) 还有一种做法是：将图像放大

32、，使得能够显示下所有部分。这种处理，文件大小要改变。 4.2.2 4.2.2 旋转旋转(rotation) (rotation) 旋转有一个绕着什么转的问题。通常以图像的中心为圆心旋转。将一个点绕原点顺时针旋转a角后的坐标变换公式以矩阵的形式表示：x1y11cos() sin() 0-sin() cos() 0 0 0 1x0y014.2.2 4.2.2 旋转旋转(rotation) (rotation) 通常旋转是以图像的中心为原点，向右为x轴正方向，向上为y轴正方向（坐标系II） 。而屏幕上显示图像的坐标系I以左上角点为原点，向右为x轴正方向，向下为y轴正方向。4.2.2 4.2.2 旋转

33、旋转(rotation) (rotation) x2y211 0 -0.5w0 -1 0.5h 0 0 1x1y11=x1y111 0 0.5w0 -1 0.5h0 0 1x2y21它们之间的转换关系：设图像的宽为w,高为h,容易得到逆变换为4.2.2 4.2.2 旋转旋转(rotation) (rotation) 有了上面的公式，我们可以把旋转变换分成3步：将坐标系I变成II；将该点顺时针旋转a角；将坐标系II变回I。这样，我们就得到了变换矩阵，是上面三个矩阵的级联。4.2.2 4.2.2 旋转旋转(rotation) (rotation) 1 0 0.5Wnew0 -1 0.5Hnew0 0 11 0 0.5Wold0 1 0.5Hold0 0 1x1y11x0y01cos() sin() 0-sin() cos() 0 0 0 1 要注意的是，因为新图变大，所以公式中出现了 Wold，Hold，Wnew，Hnew 4.2.2 4.2.2 旋转旋转(rotation) (rotation) 如左图旋转30度（顺时针方向）后的图像如右图所示： 用Wold，Hold，Wnew，Hnew，表示原图和新图的宽高。 Wnew=max(|x4-x1|,|x3-x2|)； Hnew=max(|y4-y