数字图像处理基础

1、1北京航空航天大学仪器科学与光电工程学院School of Instrumentation Science & Optoelectronics Engineering数字图像处理Digital Image Processing2第二章 数字图像处理基础要想成功，就必须弄清基础问题。 亚里士多德 3本章的主要目的-数字图像处理的一些基本概念 2.1节简述人类视觉系统的机理。 2.2节讨论光、电磁波谱的其他分量及它们的成像特点。 2.3节讨论成像传感器及怎样使用它们产生数字图像。 2.4节介绍均匀图像取样及灰度量化的概念。 2.5节介绍像素间的各种基本关系。 2.6节介绍本书用到的主要数学工具。4

2、2.1 视觉感知要素52.1.1 人眼的基本构造角膜虹膜睫状肌睫状小带视轴玻璃体中央凹盲点视网膜神经和鞘脉络膜巩膜晶状体前房睫状体6上图显示了人眼的一个简化水平剖面。眼睛的形状近似为一个球体，其平均直径约为20mm。有三层薄膜包围着眼睛：1、角膜与巩膜外壳；2、脉络膜；3、视网膜。1、角膜是一种硬而透明的组织，覆盖着眼睛的前表面。2、巩膜与角膜相连，巩膜是一层包围着眼球其余部分的不透明的膜。 73、脉络膜位于巩膜的正下方。 4、脉络膜的最前面分为睫状体和虹膜。 5、虹膜的收缩和扩张控制着进入眼睛的进光量。虹膜中间的开口（瞳孔）的直径是可变的，范围大约在28mm。6、晶状体由同心的纤维细胞层组成

3、，并由附在睫状体上的纤维悬挂着。87、眼睛最里面的膜是视网膜，它布满了整个后部的内壁。当眼睛适当地聚焦时，来自眼睛外部物体的光在视网膜上成像。由视网膜表面分布的不连续的光感受器提供了图案视觉。有两类光感受器：锥状体和杆状体。9每只眼睛中的锥状体数量在600-700万之间。它们主要位于视网膜的中间部分，称之为中央凹，且对颜色高度敏感。通过这些锥状体，人可以充分地分辨图像细节。锥状体视觉称为白昼视觉或亮视觉。10杆状体的数量更多：约有7500-15000万个杆状体分布在视网膜表面。杆状体用来给出视野内的一般的总体图像。它们没有彩色感觉，而对低照明度敏感。杆状体视觉称为暗视觉或微光视觉。 11视网膜

4、杆状体和锥状体的分布盲点杆状体（夜视觉）锥状体（白昼视觉）中央凹12中央凹本身是视网膜中直径约为1.5mm的圆形凹坑。我们可以把中央凹看成是大小为1.5mm1.5mm的方形传感器阵列。在视网膜这一区域中，锥状体的密度大约为15万个/mm2。基于这一近似，眼睛中最高敏感区域中央凹的锥状体数量约为33.7万个。从自然分辨能力的角度看，恰好与一个中等分辨率的电荷耦合元件CCD成像芯片具有的元素数量相当，接收器阵列不大于5mm5mm。 13顶尖学术期刊Cell2019年2月21日新出炉的一期，封面格外吸引人的“眼球”：我们人类的一位大兄弟正聚精会神地“看”着什么人类的视觉出类拔萃，比如我们能够阅读，分

5、辨人脸。这些功能可不简单，需要视觉能够分辨极细微的差异，并能迅速对焦。高清视觉全得归功于视网膜中间一个极小的特殊区域中央凹，也就是眼底黄斑的中心。中央凹的直径不到1.5毫米，面积只占视网膜的不到1%，但大脑获得的视觉信息却有50%来自这里。14中央凹的特殊，还不仅是因为视线的“焦点”落在此处提供清晰影像，只有部分灵长类生物进化出了这个结构，比如人类。中央凹处的细胞检测到表达与外周不一样的基因。非常有意思的是，这些基因的表达和中央凹独特的视觉信息处理极为相关，科学家们相信，可能这才是中央凹功能特殊的原因。15162.1.2 人眼的成像过程在普通照相机中，镜头有固定的焦距，各种距离的聚焦是通过改变

6、镜头和成像平面间的距离实现的，CCD成像芯片放置在成像平面上。在人眼中，则与此相反。晶状体和成像区域（视网膜）之间的距离是固定的，实现正确聚焦的焦距是通过改变晶状体的形状来得到的，睫状体中的纤维可实现这一功能，在远离或接近目标物时纤维会分别变扁或加厚晶状体。17如何得到一幅在视网膜上形成的图像的尺度？h表示视网膜图像中物体的高度h=2.55mm18视网膜图像主要聚焦在中央凹区域。然后，光接收器的相对刺激作用产生感知，把辐射能转变为电脉冲，最后由大脑解码。复旦Nature Communications“人工视网膜”来了，帮助恢复小鼠视觉失明的原因有很多，不过其中之一就是视网膜的视锥和视杆细胞发生

7、了病变，无法顺利使光信号转变为电信号。这些光感受器细胞如果不能行使正常的功能，即使眼睛的其他部分都是健康的，也不能够产生有质量的视觉。19视网膜中的光感受器一旦损伤或退变，由于不能自行修复，往往会导致失明。如果能够使用人工光感受器来替代原有的视网膜功能，对于黄斑变性等疾病的患者来说，将是巨大的希望。来自复旦大学的研究团队开发了一种“人工视网膜”，这是一种光敏感的纳米线阵列感受器。研究人员将之植入失明小鼠的眼底，成功使得小鼠的视觉得到了恢复。20相关研究题为Nanowire arrays restore vision in blind mice，2018年3月6日发表在Nature Commun

8、ications上。这种光感受器使用的是金/氧化钛纳米线阵列，阵列由二氧化钛纳米线组成，上面用金纳米颗粒修饰。21研究人员将这种“人工视网膜”植入了小鼠的眼底。当接收光照射时，小鼠的瞳孔会缩小，视网膜中的神经节细胞恢复了对光的响应。神经节细胞能把视觉信号经视神经向大脑视觉中枢传递。这是由于纳米线阵列吸收光线后，产生光电压并触发附近神经元的电活动，从而恢复小鼠对光的敏感性。22这种纳米线光感受器有效地替代了原有视网膜中的视杆细胞和视锥细胞，因而，在植入后能够观察到视觉中枢的神经元也恢复了对光的响应，同时，瞳孔对光的反射也有所改善。这种新一代可植入人工光感受器为黄斑变性等视网膜疾病提供了一个新的治

9、疗选择：通过人工光感受器的植入，帮助患者恢复对视觉的响应。23具有光响应、可植入视网膜的纳米线阵列恢复盲小鼠视觉24中国科大在实现动物裸眼红外图像视觉上取得进展中国科学技术大学生命科学与医学部与美国马萨诸塞州州立大学医学院合作，结合视觉神经生物医学与创新纳米技术，首次实现动物裸眼红外光感知和红外图像视觉能力。该研究成果于2019年2月28日在线发表于国际顶级期刊Cell上，并被Cell杂志选为本期唯一科普视频进行重点推广。25能被我们眼睛感受的可见光只占电磁波谱里很小的一部分，这是由眼睛视网膜里感光细胞中的感光蛋白所固有的物理化学特性所决定的。在生物进化历程中，没有出现任何基于感光蛋白的，能够

10、感知超过700nm的红外光的动物感光细胞，更无法在大脑中形成红外光图像视觉。26为解决上述问题并发展裸眼无源红外视觉拓展技术，尝试利用一种可吸收红外光发出可见光的上转换纳米材料，导入动物视网膜中以实现红外视觉感知。在视网膜下腔注射pbUCNP纳米颗粒的小鼠不仅获得感知红外线的能力，还可以分辨复杂的红外图像。在获得红外视觉的同时，小鼠的可见光视觉没有受到影响。27这项技术不仅能赋予我们超级视觉能力，通过开发具有不同吸收和发射光谱参数的纳米材料，还有可能辅助修复视觉感知波谱缺陷相关疾病，例如红色色盲。28292.1.3 亮度适应和辨别因为数字图像作为离散的灰度集来显示，所以眼睛对不同亮度级别之间的

11、辨别能力在显示图像处理结果中是一个重要的考虑因素。 30人的视觉系统能够适应的光强度级别范围是很宽的从暗阈值到强闪光约有1010个量级。实验数据指出，主观亮度（即由人的视觉系统感知的亮度）是进入人眼的光强的对数函数。31光强度与主观亮度的关系曲线光强的对数亮视觉暗阈值强闪光 主观亮度 适应范围暗视觉32感知亮度不是简单的强度的函数 视觉系统往往会在不同强度区域的边界处出现“下冲”或“上冲”现象。 马赫带：厄恩斯特马赫于1865年首次描述了这一现象。 33感知区域的亮度并不简单地取决于其强度。 所有的中心方块都有相同的强度，但是当背景变亮时，它们就逐渐变暗。34在错觉中，眼睛填充了不存在的信息或

12、者错误地感知了物体的几何特点。 352.2 光和电磁波谱36电磁波谱37电磁波谱及可见光谱彩色光的电磁能谱跨越0.43m（紫色）-0.79m（红色）的范围。38人眼感受颜色的性质人感受物体的颜色由物体反射光的性质决定。以所有可见波长相对平衡地反射光的物体，对观察者而言是白色的。一个物体在可见光谱的有限范围内反射时会呈现各种颜色色调。例如，绿色物体反射波长范围为500570nm的光，而吸收其它波长的大部分能量。39没有颜色的光称为单色光或无色光。单色光的唯一属性是它的强度或大小。单色光的强度：黑色灰色白色。从黑到白的单色光的度量值范围通常称为灰度级，而单色图像常称为灰度图像。40描述彩色光源的质

13、量的三个量有三个基本量用于描述彩色光源的质量：发光强度、光通量和亮度：发光强度：是从光源流出能量的总量，通常用瓦特(W)来度量。流明数(lm)：用流明数度量的光通量给出观察者从光源感受到的能量。（例如远红外光谱感受不到）亮度：是光感知的主观描绘子，它实际上不能度量。它具体体现了强度的无色概念，是描述彩色感觉的参数之一。 41 原理上，如果可以开发出一种传感器来检测由一种电磁波谱发射的能量，那么我们就可以在该波段上对感兴趣的事件成像。但要注意的一点是，要求“看到”一个物体的电磁波的波长必须小于等于物体的尺寸。42图像成像的途径与方式成像以电磁波发射的能量为基础；物体反射的声波也可用于形成超声波图

14、像；电子显微镜的电子束成像； 用于图形与可视化的合成图像。432.3 图像感知和获取44我们感兴趣的多数图像都是由“照射”源和形成图像的“场景”元素对光能的反射或吸收而产生的。照射可以由电磁波谱的能源引起。场景元素可能是熟悉的物体，也可以是分子、沉积岩或人类的大脑。 45依赖光源的特性，照射被物体反射或透射。第一类例子是从平坦表面反射。第二类例子是为了产生一幅X射线照片，让X射线透过病人的身体。46将照射能量变换为数字图像的传感器配置：通过将对特殊类型检测能源（电磁波谱的某个谱段）敏感的传感器材料相组合，把输入能源转变为电压。输出电压波形是传感器的响应，通过把传感器响应数字化，从每一个传感器得

15、到一个数字量。472009年度诺贝尔物理学奖2009年度诺贝尔物理学奖授予：美国科学家威拉德S博伊尔(Willard S. Boyle)和乔治E史密斯(George E. Smith)CCD（Charge Coupled Device）电荷耦合器件图像传感器48威拉德S博伊尔和乔治E史密斯因为1969年发明了成像半导体电路电荷藕合器件图像传感器CCD获此殊荣。这一发明使得数码相机、带有摄像头的手机等电子设备风靡全球，人类已经进入了全民数码影像的时代，每一个人都可以随时、随地、随意地用影像记录每一瞬间。49CCD图像传感器的发明，实际上是应用爱因斯坦有关光电效应理论的结果，即光照射到某些物质上，

16、能够引起物质的电性质发生变化。但是从理论到实践，道路却并不平坦。科学家遇到的最大挑战，在于如何在很短的时间内，将每一个点上因为光照而产生改变的大量电信号采集并且辨别出来。50经过多次试验，博伊尔和史密斯终于解决了上述难题。他们采用一种高感光度的半导体材料，将光线照射导致的电信号变化转换成数字信号。它革新了摄影术，使得光可以被电子化地记录下来，取代了胶片。这一数字形式极大地方便了对图像的处理和发送。51图像传感器的基本原理成像物镜将外界照明光照射下的（或自身发光的）景物成像在物镜的像面上，形成二维空间的光强分布（光学图像）。能够将二维光强分布的光学图像转变成一维时序电信号的传感器称为图像传感器。

17、 52 2.3.1 使用单个图像传感器获取图像53单个传感器通过运动来生成二维图像 胶片转动线性运动胶片每旋转一个增量且传感器完整地从左向右线性移动一次，输出一行图像。单个传感器542.3.2 使用条带图像传感器获取图像平板扫描仪航空成像55使用一个线性传感器带获取图像 每线性运动一个增量，输出图像的一行线性运动传感器条带成像区域56使用一个环形传感器带获取图像：医学和工业计算机轴向断层(CAT)成像的基础 Computerized Tomography计算机化X射线轴向分层成像 Magnetic Resonance Imaging 核磁共振成像 Positron Emission compu

18、ted Tomography 正电子发射断层成像 57以圆环形方式安装的传感器带用于医学和工业成像，以得到三维物体的剖面（“切片”）图像。传感器的输出必须由重建算法处理，重建算法的目的是把感知数据转换为有意义的剖面图像。582.3.3 使用图像传感器阵列获取图像每个传感器单元的响应正比于投射到传感器表面的光能总量。59固体自扫描图像传感器固体自扫描图像传感器是20世纪70年代发展起来的新型图像传感器件，如面阵CCD器件，CMOS图像传感器件等。CCD器件按其感光单元的排列方式分为线阵CCD和面阵CCD两类。60这类器件本身具有自扫描功能，例如面阵CCD固体摄像器件的光敏面能够将成像于其上的光学

19、图像转换成电荷密度分布的电荷图像。电荷图像在驱动脉冲的作用下按照一定的规则一行行地输出，形成图像信号。61线阵CCD结构简单，成本较低。可以同时储存一行电视信号。由于其单排感光单元的数目可以做得很多，在同等测量精度的前提下，其测量范围可以做的较大。并且由于线阵CCD实时传输光电转换信号和自扫描速度快、频率响应高，能够实现动态测量，并能在低照度下工作。62所以线阵CCD广泛地应用在产品尺寸测量和分类、非接触尺寸测量、条形码等许多领域。 线阵CCD的优点是一维像元数可以做得很多，而且像元尺寸比较灵活，帧幅数高，特别适用于一维动态目标的测量。63面阵CCD对于面阵CCD来说，应用面较广，如面积、形状

20、、尺寸、位置，甚至温度等的测量。面阵CCD的优点是可以获取二维图像信息，测量图像直观。缺点是像元总数多，而每行的像元数一般较线阵少，帧幅率受到限制。64由于生产技术的制约，单个面阵CCD的面积很难达到一般工业测量对视场的需求。线阵CCD的优点是分辨力高，价格低廉，但要用线阵CCD获取二维图像，必须配以扫描运动，而且为了能确定图像每一像素点在被测件上的对应位置，必须配以光栅等器件以记录线阵CCD每一扫描行的坐标。65加拿大达尔萨(DALSA)公司 IT-P1-4096线阵CCD传感器彩色线阵CCD图像传感器分辨率：4096像元尺寸：10m10m帧频：4通道，23.7fps时钟：425MHz动态范

21、围：70dB66加拿大达尔萨(DALSA)公司 FTF4052M/C全帧面阵CCD传感器黑白/彩色全帧CCD图像传感器分辨率：40085344像元尺寸：9m9m帧频：4通道，3.6fps时钟：425MHz动态范围：72dB，线性67输出数字图像CCD成像芯片的图像平面场景光源成像系统数字图像获取过程682.3.4 简单的图像形成模型我们用形如f(x,y)的二维函数来表示图像。在空间坐标(x,y)处，f的值或幅度是一个正的标量，其物理意义由图像源决定。当一幅图像由物理过程产生时，其亮度值正比于物理源（如电磁波）所辐射的能量。因此，f(x,y)一定是非零的和有限的，即 0f(x,y)69函数f(x

22、,y)可由两个分量来表征：(1) 入射到被观察场景的光源照射总量；(2) 场景中物体所反射的光照总量。这两个分量分别称为入射分量和反射分量，且分别表示为i(x,y)和r(x,y)。两个函数作为一个乘积合并形成f(x,y)。70对于X射线成像，用透射系数代替反射函数。 71令单色图像在任何坐标(x0,y0)处的强度（灰度）表示为l=f(x0,y0)，则l的取值范围为Lminl Lmax。区间Lmin, Lmax称为灰度级（或强度级）。实际情况下常常令该区间为0, L-1，其中l=0为黑色，l=L-1为白色。所有中间值是从黑色到白色之间变化的灰度色调。72计算机图像处理所使用的数字图像函数通常表示

23、成矩阵的形式，因而其坐标是整数。图像函数的定义域是平面的一个区域 R。 其中xm, yn表示最大的图像坐标。732.4 图像取样和量化74各种获取图像的方法的目的是就是从感知的数据生成数字图像。多数传感器的输出是连续的电压波形，这些波形的幅度和空间特性都与感知的物理现象有关。为了产生一幅数字图像，我们需要把连续的感知数据转换为数字形式。这种转换包括两种处理：取样和量化。752.4.1 取样和量化的基本概念为了用计算机来处理图像，图像必须用适当的离散数据结构来表达，例如，矩阵。传感器获取的图像是平面上两个坐标的连续函数f(x,y)。图像数字化是指将f(x,y)采样(sampled)为一个M行N列

24、的矩阵。76图像量化(quantization)给每个连续的样本数值f一个整数数字。图像函数f(x,y)的连续范围被划分为K个区间。采样及量化越精细（即M，N，K越大），对连续函数的近似就越好。77一幅图像的x和y坐标及幅度可能都是连续的。为将它转换为数字形式，必须在坐标上和幅度上都进行取样操作。对坐标值进行数字化称为取样，对幅值数字化称为量化。 78有两个与图像采样有关的问题需要确定：其一是采样的间隔，即相邻两个采样图像点的距离，其二是采样点的几何排列（采样栅格）。79一、采样一个连续的图像函数f(x,y)可以用平面上离散的栅格点来采样。图像的采样点是：x=ix，y=jy，i=0, , M-

25、1，j=0, , N-1。两个相邻的采样点在x轴上相差x，在y轴上相差y。距离x和y为（x或y轴上的）采样间隔(sampling interval)。80采样的矩阵f(ix, jy)构成了离散图像。规格化栅格上的理想采样s(x,y)可以用一组狄拉克分布来表示：81采样后的图像fs(x,y)是连续图像函数f(x,y)和采样函数s(x,y)的乘积：公式中的狄拉克分布组合可以看作是周期为x和y的周期函数并展开为傅立叶级数。828384在图像分析中Shannon采样定理的一个简单的物理解释是：设已知图像中感兴趣的最小细节的尺寸，采样间隔应该比它的一半要小。在实际的数字转换器中采样函数不是狄拉克分布，而

26、是有限冲击函数。85一个连续图像在采样点处被数字化。这些采样点是在平面上排列的，称它们之间的几何关系为栅格。栅格一般是方的。因此数字图像是一个数据结构，通常是矩阵。86栅格中一个无限小的采样点对应数字化图像中的一个像元或称像素(pixel)；全体像素覆盖了整个图像，实际的数字转换器捕捉的像素具有有限的尺寸，这是因为采样函数不是一组理想的狄拉克冲激，而是一组有限冲激。87从图像分析的角度看，像素是不能再分割的一个单位。我们也常用一个“点”来指一个像素。88不同采样分辨率情况下的图像89从低分辨率图像重采样成高分辨图像90二、量化在图像处理中，采样的图像数值fs(ix, jy)用一个数字来表示。将

27、图像函数的连续数值（亮度）转变为其数字等价量的过程是量化(quantization) 。为了使人能够觉察出图像的细微变化，量化的级别要足够的高。91大部分数字图像处理仪器都采用L个等间隔的量化方式。如果用k位来表示像素亮度的数值，那么亮度阶就是L=2k。92通常采用每个像素8位的表示方式，也有采用6位或4位。二值化图像，可以用1位来表示像素。有时也使用12位或更多位来表示一个像素。数字图像的质量取决于取样和量化中所用的取样数和灰度级。93 取样数字化坐标 量化数字化幅度值94连续图像投影到传感器阵列 图像取样和量化的结果32256灰度级的灰度斜坡9596256, 128, 64, 32灰度级的

28、图像9716, 8, 4, 2灰度级的图像1比特8比特的图像98992.4.2 数字图像表示有三种基本方法表示f(x,y)：用两个坐标轴决定空间位置，第三个坐标是以两个空间变量x和y为函数的f值（灰度值）；显示f(x,y)出现在监视器或照片上的情况；将f(x,y)的数值简单地显示为一个阵列（矩阵）。100画为表面图形的图像显示为可视灰度阵列的图像显示为二维数值阵列的图像101图像的MN的数值阵列表示图像的矩阵表示102数字图像的原点位于左上角，其中正x轴向下延伸，正y轴向右延伸。这种方便的表示基于这样的事实：许多图像显示（譬如电视显示器）扫描都是从左上角开始扫描第一行，然后向下移动一行，继续逐

29、行扫描。更重要的事实是矩阵的第一个元素按惯例应在阵列的左上角。因此，将f(x,y)的原点选择在左上角于数学上是讲得通的。103原点在左上角，纵坐标垂直向下，横坐标水平向右。104数字化过程要求针对M值、N值和离散灰度级数L做出判定：M和N：必须取正整数；L：L2k 105图像系统的动态范围 图像系统的动态范围定义为系统中最大可度量灰度与最小可检测灰度之比。作为一条规则，上限取决于饱和度，下限取决于噪声。基本上，动态范围由系统能表示的最低和最高灰度级来确定。因此，也是图像具有的动态范围。 106饱和度是指超过这个值的灰度级将被剪切掉这样的一个最高值（注意整个饱和区域具有恒定的高灰度级） 噪声10

30、7图像的对比度 我们定义一幅图像中最高和最低灰度级间的灰度差为对比度。当一幅图像中像素可感知的数值有高的动态范围时，那么我们认为该图像具有高的对比度。相反，具有低动态范围的图像就很呆滞，看上去像冲淡了灰度。 108低对比度高对比度109低对比度高对比度110存储数字图像所需的比特数存储数字图像所需的比特数b为：当M=N时，该式变为：下表中显示了N和k取不同值时需要用来存贮方形图像的比特数。括号中的数字表示对应于每个k值的灰度级数。111存储不同大小和不同灰度级图像所需的比特数N和k取不同值时存储所需的比特数，L是灰度级数。当一幅图像有L=2k个灰度级时，实际上通常称该图像为一幅“k比特图像”。

31、 1122.4.3 空间和灰度分辨率空间分辨率是图像中可辨别的最小细节的度量。在数量上，空间分辫率可以有很多方法来说明。其中每单位距离线对数和每单位距离点数（像素数）是最通用的度量。假设我们用交替的黑色和白色垂直线来构造一幅图形，其中线宽为W个单位（W可以小于1)。线对的宽度就是2W，每单位距离有1/2W个线对。例如，如果一条线的宽度是0.1mm，每单位距离（mm）就有5个线对。广泛使用的图像分辨率的定义是每单位距离可分辨的最大线对数量（譬如每毫米100个线对）。113每单位距离点数是印刷和出版业中常用的图像分辨率的度量。在美国，这一度量通常使用每英寸点数（dot per inch, dpi）

32、来表示。例如，报纸用75 dpi的分辨率来印刷，杂志是133 dpi，光鲜的小册子是175 dpi，书页是以2044 dpi印刷的。114灰度分辫率是指在灰度级中可分辨的最小变化。基于硬件考虑，正如前一节中提到的那样，灰度级数通常是2的整数次幂。最通用的是2的8次幂=256个灰度级。不像空间分辨率必须以每单位距离为基础才有意义，而灰度分辨率指的则是用于量化灰度的比特数。例如，通常说一幅被量化为256级的图像有8比特的灰度分辨率。 115降低空间分辨率的典型效果1250 dpi300 dpi150 dpi72 dpi116具有少量细节的图像 具有中等程度细节的图像 具有大量细节的图像 研究N和k

33、之间的关系：三类图像的典型等偏爱曲线。位于等偏爱曲线上的点对应于有相等的主观判定质量的图像。等偏爱曲线：人为主观感受到的图像的质量1172.4.4 图像内插内插是在诸如放大、收缩、旋转和几何校正等任务中广泛应用的基本工具。 从根本上看，内插是用已知数据来估计未知位置的数值的处理。 118几何变换的目的几何变换可以消除图像获取时所出现的几何变形。如果我们需要匹配同一物体的两幅不同的图像，也需要用到几何变换。几何失真的形成119几何失真的校正120几何失真的校正121122图像的桶形和枕形畸变桶形畸变正常图像枕形畸变123几何变换包括的两个步骤空间变换：对图像平面上的像素进行重新排列以恢复原空间关

34、系；灰度插值：对空间变换后的像素赋予相应的灰度值以恢复原位置的灰度值。124一、空间变换设原图像为f(x,y)，受到几何形变的影响变成g(x,y)，这里(x,y)表示失真图像的坐标，它已不是原坐标(x,y)了。上述变化在一般情况下可表示为：其中s(x,y)和t(x,y)代表产生几何失真图像的两个空间变换函数。125最简单的情况是线性失真：对一般的非线性二次失真：如果知道s(x,y)和t(x,y)的解析表达，就可以通过反变换来恢复图像。126在实际中通常不知道解析表达，为此需要在恢复过程的输入图（失真图）和输出图（校正图）上找一些其位置确切知道的点（称为约束对应点），然后利用这些点根据失真模型计

35、算出失真函数中的各个系数，从而建立两幅图像间其它像素空间位置的对应关系。127下图中给出了一个在失真图上的四边形区域和在校正图上与其对应的四边形区域。这两个四边形的顶点可作为对应点。设在四边形区域内的几何失真过程可用一对双线性等式表示。（是一般非线性二次失真的一种特例）128失真图校正图两个四边形区域共有4组（8个）已知对应点，所以上面两式中的8个系数可以全部求得。129二、灰度插值的两种方案下图中左边是理想的原始不失真图，右边是实际采集的失真图。几何校正就是要把失真图恢复成原始图。原始的不失真图实际采集的失真图原始图失真图130由图可见，由于失真，原始图中整数坐标点(x,y)映射到失真图中的

36、非整数坐标点(x,y)，而该点的灰度值是没有定义的。前面讨论的空间变换可将应在原图(x,y)处的(x,y)点变换回原图(x,y)处。现在要做的是估计点(x,y)的灰度值以赋给原图(x,y)处的像素。131前向映射和后向映射的定义灰度插值在实现时可以有两种方案：前向映射：把实际采集的失真图像的像素灰度赋给原始的不失真图像的像素。例如，如果一个失真图像的像素映射到不失真图像四个像素之间（非整数点），则将失真图像素的灰度根据插值算法分配给不失真的那4个像素。132前向映射实际采集的失真图原始的不失真图原始图失真图133后向映射：把灰度从原始的不失真图像中映射到实际采集的失真图像上。例如，如果一个不失

37、真图像的像素映射到失真图的四个像素之间（非整数点），则先根据灰度插值算法计算出该位置的灰度，再将其映射到不失真图像的对应像素。134后向映射实际采集的失真图原始的不失真图失真图原始图135前向映射和后向映射的比较前向映射：（失真图像不失真图像）由于在前向映射中，有一定数量的失真图像的像素有可能会映射到不失真图像之外，所以有些计算方面的浪费。另外，不失真图像中的许多像素的最后灰度是由许多失真图像像素的贡献之和决定的，这也需要较多的寻址。136后向映射：（不失真图像失真图像）相对来说，后向映射效率比较高。不失真图像是逐个像素得到的，每个像素的灰度值是由进一步的插值确定的，所以后向映射在实际中用得更

38、广泛。被许多空间变换的商业实现所采用，例如MATLAB。 137三、灰度插值的计算对灰度插值的计算方法有多种。最近邻插值；双线性插值；三次线性插值。1381、最近邻插值最近邻插值就是将离(x,y)点最近的像素的灰度值作为(x,y)点的灰度值赋给原图(x,y)处的像素。计算量小，但不够精确。原始的不失真图实际采集的失真图理想图失真图1392、双线性插值为了提高精度，可采用双线性插值。它利用点(x,y)的四个最近邻像素的灰度值来计算(x,y)点处的灰度值。设(x,y)点的四个最近邻像素为A、B、C、D。其坐标分别为(i, j), (i+1, j), (i, j+1), (i+1, j+1)。其灰度

39、值分别为g(A)、g(B)、g(C)、g(D)。140141将双线性插值的思路推广，只利用(x,y)点的任意3个不共线的近邻像素的灰度值就可计算(x,y)点处的灰度值。1423、三次线性插值如果需要更高的精度，还可以采用三次线性插值方法。它利用点(x,y)的16个最近邻像素的灰度值，根据下面的方法计算点(x,y)处的灰度值。设点(x,y)的16个最近邻像素为：A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P，则计算点(x,y)的插值公式为：商业图像编辑程序的标准内插方法，例如Adobe Photoshop和Corel Photopaint。143其中

40、g()表示相应16个最近邻像素的灰度值。Wx为横坐标插值的加权值，Wy为纵坐标插值的加权值，分别计算如下：144如果g()的横坐标值与x的差值dx小于1（即B, C, F, G, J, K, N, O），则：如果g()的横坐标值与x的差值dx大于1（即A, D, E, H, I, L, M, P），则：145如果g()的纵坐标值与y的差值dy小于1（即E, F, G, H, I, J, K, L），则：如果g()的纵坐标值与y的差值dy大于1（即A, B, C, D, M, N, O, P），则：146复杂的几何变换可以通过将图像分解为更小的矩形子图像来近似。对于每个子图像可以用对应的像素对来

41、估计一个简单的几何变换。这样几何变换就可以在每个子图像中分别修复了。147最近邻插值双线性插值双三次插值由213162像素放大到36922812像素由426324像素放大到36922812像素148字母T的300 dpi图像旋转21 最近邻插值 双线性插值 双三次插值 1492.5 像素间的一些基本关系150一幅数字图像由有限大小的像素组成，像素反映图像特定位置处的亮度信息。通常像素按照矩阵采样栅格布置。我们用两维矩阵来表示这样的数字图像。矩阵的元素是整数，对应于亮度范围的量化级别。1512.5.1 像素间的邻域关系邻域 4-邻域 D-邻域 8-邻域 1524邻域：像素p(x,y)的4邻域是(

42、x+1, y)，(x 1, y)，(x, y+1)，(x, y 1)。记为N4(p) 。D邻域：像素p(x,y)的D邻域是(x+1, y+1)，(x+1, y1)，(x1, y+1)，(x1, y1)。 记为ND(p)。1538邻域：像素p(x,y)的4个4-邻域近邻像素加上4个对角邻域像素合起来构成p的8-邻域，记为N8(p)。1541552.5.2 像素间的邻接和连通（一）像素的邻接：两个像素邻接的两个必要条件是：两个像素的位置在空间上是否接触；两个像素的灰度值是否满足某个特定的相似性准则（例如它们的灰度值相等，或在同一个灰度值集合V中取值）。156令V是用于定义邻接性的灰度值集合。在二值

43、图像中，如果把具有1值的像素归入邻接的，则V=1。在灰度图像中，概念是一样的，但是集合V一般包括更多的元素。157例如，对于具有可能的灰度值在0到255范围内的像素的邻接性，集合V可能是这256个值的任何一个子集。考虑三种类型的邻接性，p, q为特殊像素。4-邻接、8-邻接、m-邻接（混合邻接）。1584-邻接的定义：如果q在集合N4(p)中，则具有V中数值的两个像素p和q是4-邻接的。1598-邻接的定义：如果q在集合N8(p)中，则具有V中数值的两个像素p和q是8-邻接的。160m-邻接（混合邻接）的定义：对于具有V中数值的两个像素p和q，如果满足条件1或者条件2：q在集合N4(p)中；q

44、在集合ND(p)中；并且N4(q)N4(p)中没有来自V中数值的像素。注意：和两个条件必须同时满足。161m邻接非m-邻接满足以上1或者2两个条件之一，则称具有V中数值的这两个像素q和p是m-邻接的，即4-邻接和D-邻接的混合邻接，消除了8邻接的二义性。162 8邻接像素m-邻接像素像素的排列163（三）像素的连通：在像素邻接的基础上，可进一步讨论和定义像素的连通。像素邻接可以看作是像素连通的一种特例。为讨论连通先来定义两个像素间的通路。164从具有坐标(x,y)的像素p，到具有坐标(s, t)的像素q的通路是特定像素序列，其坐标为：(x0, y0), (x1, y1), . , (xn, y

45、n)其中(x0,y0)=(x, y) 和 (xn, yn)=(s, t)，(xi, yi) 邻接于(xi-1, yi-1)，1in，n是通路的长度。165可以由邻接类型定义4-通路、8-通路和m-通路。4-通路8-通路m-通路166令S是图像中的一个像素子集。如果S的全部像素之间存在一个通路，则可以说两个像素p和q在S中是连通的。对于S中的任何像素p，S中连通到该像素p的像素集称为S的连通分量。如果S中仅有一个连通分量，则集合S称为连通集。考虑S是否是连通集？167关于连通集概念：如图所示的一个图像子集S，如果按照四邻接定义，那么包括2个连通分量，因此S不是一个连通集；但是如果按照8邻接定义，

46、就只包括1个连通分量，因此S是连通集。（连通集是对图像子集来讲的）1682.5.3 区域、边界和边缘令R是图像中的一个像素子集。如果R是连通集，则称R为一个区域。区域的概念使用了“连通性”的概念。因此，我们可以说区域是彼此连通的像素的集合。两个区域，如果它们联合形成一个连通集，则区域Ri和Rj称为邻接区域。定义区域邻接时，考虑4邻接，8邻接和m-邻接。169考虑两个图像子集S1和S2，对于V=1，问题？确定S1和S2是： 4邻接； 8邻接； m-邻接。170假设一幅图像包括有K个不连接的区域，即Rk, k=1,2,K，且它们都不接触图像的边界。令Ru代表所有K个区域的并集，并且令(Ru)c代表

47、其补集。我们称Ru中的所有点为图像的前景，而称(Ru)c中的所有点为图像的背景。171区域R的边界是它自身的一个像素集合，其中的每个点具有一个或更多个不在R中的邻点，即边界是区域的界限上的点的集合。边界点之一172前述定义有时更加具体的称为区域的内边界，以便与其外边界相区分。外边界对应于背景边界。在开发追踪边界的算法时这一区别很重要。为了保证结果形成一个闭合的通路，通常是沿着外边界来追踪边界。173边界追踪算法-寻找外边界1值区域的内边界是该区域本身，这一边界并不满足闭合通路的定义。1值区域的外边界形成了一个围绕该区域的闭合通路。基于4邻域和8邻域的内、外边界174175基于4邻域的内边界基于

48、4邻域的外边界176基于8邻域的内边界基于8邻域的外边界177边缘(edge)是更深一步的概念。它是一个像素和其直接邻域的局部性质，它是一个有大小和方向的矢量。边界是与区域有关的全局概念，而边缘表示图像函数的局部性质。178边缘是由具有某些超过预先设定的阈值的导数值的像素形成的。边缘的概念就是基于在进行灰度级度量时不连续点的“局部”概念。可以把边缘点连接成边缘线段。边缘和边界吻合的一个例外是二值图像的情况。微积分学中用导数描述连续函数的变化。图像函数依赖于两个变量，即图像平面的坐标。因此，描述边缘的检测算子使用偏导数。图像函数的变化可以用指向图像函数最大增长方向的梯度来表示。179边缘的幅值是

49、梯度的幅值，边缘方向是梯度方向旋转-90的方向。梯度方向是函数最大增长的方向。在图像分析中，边缘一般用于寻找区域的边界。梯度方向（与边缘方向垂直）上的边缘剖面对于边缘具有典型性。180181182在2D图像中，沿一定方向上剖面的4个参数进行边缘模型化位置：边缘最大灰度变化处；斜率：边缘在其朝向上的倾斜程度；均值：分属边缘两边像素的灰度均值；幅度：边缘两边灰度均值间的差（反映了不连续或局部突变的程度）。183描述边缘的4个参数1841852.5.4 像素之间的距离像素之间距离函数的定义：欧氏距离；D4距离（城市距离）；D8距离（棋盘距离）。186给定3个像素p，q，r，坐标分别为(x, y)，(

50、s, t)，(u, v)，如果下列条件满足的话，称函数D是距离函数或度量。187距离总是正的（两像素相同，距离为零）。距离与起、终点无关。两像素最短距离沿直线。188欧氏距离p和q之间的欧基里德距离定义为：这个距离，是具有与(x,y)距离小于等于某个值r的那些像素，或是包含在以(x,y)为圆心以r为半径的圆环中的那些点。189D4距离（城市距离）城区（city-block）距离：具有与(x, y)距离小于等于某个值 r 的那些像素形成一个菱形。例如距点(x, y)的D4距离小于等于2的像素形成下列轮廓。 190具有D4=1的像素是(x, y)的4-邻域：191D8距离（棋盘距离）棋盘（ches

51、sboard）距离：具有D8=1的像素是(x,y)的8-邻域。D8距离小于r的像素围成一个矩形。192欧氏距离=5D4距离=7D8距离=4pqpqpq193p和q之间的D4和D8距离与任何通路无关，通路可能存在于各点之间，因为这些距离仅与点的坐标有关。然而，如果选择m-邻接，则两点间的Dm距离由点间最短的通路定义。在这种情况下，两像素间的距离将依赖于沿通路的像素值以及它们的邻点值。194考虑值为1的像素邻接，V=1 。考虑一下p到p4的m通路长度。1952.6 数字图像处理中所用数学工具196目的介绍在本书中所用的各种数学工具；通过把它们用于各种基本图像处理任务来介绍如何使用这些工具。 1972.6.1 阵列与矩阵操作包含一幅或多幅图像的阵列操作是以逐像素为基础执行的。图像可以等价地被看成是矩阵。图像间的操作是用矩阵理论执行的。阵列与矩阵操作间的区别必须搞清楚。 198本书采用阵列相乘考虑下面的22图像：和 阵列相乘矩阵相乘199我们假设阵列操作贯穿全书：当对一幅图像的求幂时，意味着每个像素