数字图像基础视觉系统

数字图像基础视觉系统第一页，共七十四页，2022年，8月28日人类视觉系统成像传感器及其工作原理图像采集、量化与表示图像像素间的基本关系及基本数据结构图像文件格式图像显示图像运算与操作第二页，共七十四页，2022年，8月28日一、视觉系统、视觉感知要素

与视觉特性（现象）图像处理的研究需要了解人类视觉机理：人们能够区分的光强度差别有多大？我们眼睛的空间清晰度是多少？对运动的感觉如何?我们估计和比较距离和面积的精度是多少？人类特性视觉的光谱是什么样的?人的视觉中彩色如何形成？起什么作用？人类是如何获得视觉感知，如何认知周围事物的？人们对于自己视觉机理的生理物理过程，以及神经运动、精神心理方面的了解还处于低级阶段，认识还很不完善，有一定局限性。第三页，共七十四页，2022年，8月28日重点：人眼形成图像的机理与参数人类和电子图像的比较人的直觉和分析在选择一种技术时起着核心作用。视觉现象(视觉特性)——

视觉的外在表现(1)相对视敏函数；(2)对比度的灵敏度和同时对比度；(3)马赫带(MachBands)和视觉系统的调制传输函数MTF；(4)视觉的瞬时性质(TemporalPropertiesofVision)；(5)彩色视觉特性……视觉感知——

视觉的内在表象第四页，共七十四页，2022年，8月28日从外到内：角膜巩膜外壳脉络膜视网膜1.人眼的结构从前到后：角膜晶状体玻璃体视网膜视神经鞘图2.1人眼结构第五页，共七十四页，2022年，8月28日●

杆细胞细长而薄，对亮度灵敏，无彩色分辨能力。 提供暗视视觉。

7,500~15,000万，离视轴约20°时密度最大。●

中央凹直径约1.5mm●锥状细胞结构上短而粗，光灵敏度低，对颜色灵敏度高， 分为三种（红、绿、兰），提供明视视觉。

600~700万，主要集中在中央凹可以看作1.5mm×1.5mm的方形传感器阵列锥状细胞数目约为337,000个。行分辨能力=中等分辨率的CCD(<5mm×5mm)

光图像激活视杆体或视锥体时,发生光电化学反应，同时产生视神经脉冲。视觉系统散布视神经中有80万神经纤维，这些神经纤维传播视神经脉冲给大脑相应处理中枢。许许多多的视杆体和视锥体相互连接到神经纤维上。第六页，共七十四页，2022年，8月28日图2.2灵长类生物视网膜结构1.锥细胞(Conereceptor)2.杆细胞(Rodreceptor)5.杆状双极细胞(Rodbipolarcell)6.无长突细胞(Amacrinecell)7.水平细胞(Horizontalcell)8.侏儒节细胞(Midgetganglioncell)9.弥散节细胞(diffuseganglioncell)3.扁平双极细胞(Flatbipolarcell)4.侏儒双极细胞(Midgetbipolarcell)第七页，共七十四页，2022年，8月28日图2.3杆细胞和锥细胞光谱响应属性(实心黑点曲线代表杆细胞响应)第八页，共七十四页，2022年，8月28日距视轴（中央凹的中心）的度数每平方毫米杆细胞和锥体细胞的数目盲点——锥细胞------杆细胞图2.4视网膜上杆细胞和锥状细胞的分布第九页，共七十四页，2022年，8月28日高级感知层次图2.5视觉通道示意图第十页，共七十四页，2022年，8月28日2.眼睛中图像的形成

晶状体

光学透镜

焦距10cm~无穷连续可调范围有限

视觉系统从外界获取图像，就是在眼睛视网膜上获得周围世界的光学成像，然后由光接收器(杆状体和锥状体在视网膜上作为光接收器)将光图像信息转化为视网膜的神经活动电信息，最后通过视神经纤维，把这些图像信息传送入大脑,由大脑获得图像感知。第十一页，共七十四页，2022年，8月28日大脑对视神经纤维传送来的图像信息进行分析和理解，通过图像获得对周围世界感知的信息和知识。人们对大脑的高级感知层次至今知之甚少，仍是生理学、神经科学、生物物理学、生物化学研究的重要课题。图2.6On-中心型与Off-中心型感受野第十二页，共七十四页，2022年，8月28日整体视觉过程

视觉＝“视”＋“觉”

第十三页，共七十四页，2022年，8月28日3.视觉特性（现象）图像是周围世界的一种映射。周围世界是一个能量场，可以描述为：E(x,y,z,,t)图像I(x,y,)是客观世界的一次摄影的结果，是能量场E的一个映射运动图像——x、y、z都是时间t的函数 若在连续的不同时间获取图像，可以获得序列图像{I1,I2,…,In}。按不同波段获取图像，可获得彩色图像或不同波段的图像信号(如医学图像、航空图像等)。第十四页，共七十四页，2022年，8月28日视觉现象包括：视觉对光强的感应——相对视敏函数；对比度的灵敏度和同时对比度视觉对各种波长、彩色的光谱效应——彩色视觉特性视觉对物体边缘等空间频率变化的响应——马赫带和视觉系统的调制传输函数视觉对时间瞬时变化运动的响应——视觉的瞬时性质第十五页，共七十四页，2022年，8月28日(1)相对视敏函数人眼对不同波长的光有不同的敏感度，不同波长而幅射功率相同的光不仅给人以不同的色彩感觉，而且亮度感觉也不同。视杆体和视锥体的相对视敏曲线有所不同对视锥体情况，在

=555nm

时绿光亮度最敏感，对视杆体暗视情况，则

=505nm

时最敏感。第十六页，共七十四页，2022年，8月28日(2)亮度适应和视觉灵敏度人眼视觉系统对亮度的响应具有对数性质，是单调的非线性系统。实验证明，接近1/3的幂指数函数。人眼对光强的响应范围（动态范围）：1010人眼里用改变其整个灵敏度来实现大的动态范围响应——亮度适应现象第十七页，共七十四页，2022年，8月28日眼睛对光强的响应是非线性的。一块光强为I+⊿I

小块被背景强度I

所包围，则可觉察的差值⊿I

是I的函数。——对视觉敏感的是对比度，而不是亮度值本身背景照明恒定时，人眼的单色分辨力：

12~24级证据：马赫带、同时对比度第十八页，共七十四页，2022年，8月28日

实际亮度

感觉亮度马赫带

不同强度边界周围的“欠调”或“过调”。第十九页，共七十四页，2022年，8月28日感觉的亮度区域并非简单取决于强度，而与背景有关。各图中心方块具有相同的强度同时对比度：第二十页，共七十四页，2022年，8月28日视觉错觉

眼睛填充了不存在的信息或错误地感知物体的几何特点。第二十一页，共七十四页，2022年，8月28日(4)彩色视觉特性与颜色模型基础光和彩色光的彩色感觉由其光谱成分（波长组成）决定。物体的颜色由物体的反射光性质决定。图2.7可见光范围电磁波谱第二十二页，共七十四页，2022年，8月28日图2.8白光通过棱镜是看到的彩色谱物体的颜色由物体的反射光性质决定。白色：在整个可见光谱频带内具有相同能量的光。物体对所有反射的可见光相对平衡。第二十三页，共七十四页，2022年，8月28日彩色的表示TomasYoung提出的三基色原理： “任何彩色可以用合适的三种基本色混合而再生”三基色原理的生理基础：视网膜中有叁种视锥体，具有不同的吸收光谱S1()、S2()、S3()，380nm780nm。 吸收光谱响应的峰值分别在光谱的红(黄绿)、绿、兰区域。吸收曲线有相当多的部分是相互重叠的。第二十四页，共七十四页，2022年，8月28日三基色相加混色： 红(Red)

绿(Green)

蓝(Blue)三基色相减混色：

黄(Yellow)

品红(Magenta)

青(Cyan)三基色第二十五页，共七十四页，2022年，8月28日彩色心理感知

——亮度(I)、色调(H)、色饱和度(S)亮度表示色彩明亮度。色调表示观察者接收的主要颜色（说某物体是红色是指其色调）。饱和度是彩色中包含白光的多少。色调与饱和度一起称为彩色。颜色用亮度和彩色表征。视觉的彩色感知能区分纯彩色数目：

上百种图2.8彩色空间的感知表示第二十六页，共七十四页，2022年，8月28日图2.9基于圆形彩色平面的HSI彩色模型（圆形平面垂直于强度轴）第二十七页，共七十四页，2022年，8月28日(5)视觉的瞬时性质处理运动图像和图像显示设计时十分重要。视觉暂留（视觉惰性）：光脉冲刺激人眼时，视觉的建立和消失都需要一定的过程。光源消失后，景物影响会在视觉中保留一段时间——视觉暂留或视觉惰性。视觉暂留时间：0.05s~0.2s融合频率：>20Hz，人眼感觉到连续画面。第二十八页，共七十四页，2022年，8月28日闪烁（明暗交替）感觉：闪烁频率高于临界闪烁频率(50～60Hz)时，与具有同样平均强度的稳定发光感觉相同。——电视换幅频率和场频的选择依据。时空效应：

对高空间频率的闪烁，眼睛的敏感度高。对运动图像的编码时，除了边缘以外的任何地方可以进行亚取样，以压缩码率。非隔行光栅的监视器（闪烁频率高，可保留良好的高清析度细节）相比隔行光栅（闪烁频率低，对低空间频率已足够），可以提供高空间解析度的图像显示。第二十九页，共七十四页，2022年，8月28日(6)人类视觉分辨力视角：13×10~35×20

分辨角θ：1'~1.5'——电视系统扫描行数设置依据分辨力：1/θ分辨力与景物运动连续感的关系：人眼对运动景物的分辨力低于对静止景物的分辨力，其分辨角约是静止景物时的5倍：7.5'第三十页，共七十四页，2022年，8月28日(7)人类视觉感知能力的特点人类视觉系统在对物体的识别上有特殊强大的功能；但在对灰度、距离和面积的绝对的估计上却有某些欠缺。与传感器单元的数目比较：视网膜包含接近130millions光接收器，远远大于CCD芯片上的传感器单元数；和计算机的时钟频率相比：神经处理单元的开关时间将比之大约慢104~108

倍；人类的视觉系统能实时分析复杂的景物

——人能对事物即时反应。第三十一页，共七十四页，2022年，8月28日二、图像感知和获取应用图像传感器将照射量（电磁波或其他）变为数字图像原理： 光电感应等第三十二页，共七十四页，2022年，8月28日1.单个传感器获取图像（光二极管等）

单一传感器+二维机械运动可以得到高分辨率图像，廉价速度较慢第三十三页，共七十四页，2022年，8月28日2.带状传感器获取图像(线性或环形)用途：平板扫描仪航空、遥感医学(CT、MRI、PET)工业成像特点：可以有>10000个传感器*一次给出图像的一行第三十四页，共七十四页，2022年，8月28日图像重建三维物体的横截面图像传感器环第三十五页，共七十四页，2022年，8月28日3.传感器阵列获取图像典型器件：CCD、CMOS用途广泛，可以直接得到完整的图像第三十六页，共七十四页，2022年，8月28日4.简单的图像形成模型一幅图像可定义为一个二维函数f(x,y)f为正值，物理意义由图像源决定f正比于物理源的辐射能量f(x,y)可由两个分量来表征：光源入射总量i(x,y)物体反射光总量r(x,y)第三十七页，共七十四页，2022年，8月28日

图2.10

彩色图像增强举例左图：原始图像，细节不清晰，偏色右图：增强后的图像第三十八页，共七十四页，2022年，8月28日单色图像在任意坐标处(x0,y0)的强度称为图像在该点的灰度级l区间[Lmin，Lmax]称为灰度级实际应用中，常令Lmin=0(黑色),Lmax=L-1（白色）所有中间值是从黑到白的各种灰色调第三十九页，共七十四页，2022年，8月28日三、图像取样和量化

大多数传感器输出的是连续电压波形，这些波形的幅度和空间特性都与感知的物理现象有关。产生一幅数字图像——将连续的感知转换为数字形式1.采样和量化的基本概念 采样：数字化坐标值 量化：数字化幅度值包括两种处理：采样和量化第四十页，共七十四页，2022年，8月28日图2.11获取数字图像的过程第四十一页，共七十四页，2022年，8月28日连续图像投影到传感器阵列(b)图像采样和量化的结果(a)(b)第四十二页，共七十四页，2022年，8月28日2.数字图像表示采样和量化的结果是一个实际矩阵。一幅图像被取样后，产生的数字图像有M行和N列。第四十三页，共七十四页，2022年，8月28日图2.12本课程使用的数字图像的坐标第四十四页，共七十四页，2022年，8月28日3.空间和灰度级分辨率(1)

空间分辨率

——图像中可辨别的最小细节。

采样值是决定一幅图像空间分辨率的主要参数。(2)灰度分辨率

——在灰度级别中可分辨的最小变化。 多数情况下，取灰度分辨率为8比特（位）。通常把大小为M×N，灰度为L级的数字图像称为空间分辨率为M×N

像素、灰度分辨率为L级的数字图像。第四十五页，共七十四页，2022年，8月28日数字图像

图像（水平）尺寸M：图像（垂直）尺寸N：像素灰度级数G(k-bit)：图像所需的位数b：

M=N时，一幅图像有256个可能的灰度级，称为8比特图像。第四十六页，共七十四页，2022年，8月28日存储数字图像需要的比特数b是:b=N2k存储1幅3232，16个灰度级的图需要4,096bit存储1幅128128，64个灰度级的图需要98,304bit存储1幅512512，256个灰度级的图需要2,097,152bit表2.1N和k变化时存储的比特数第四十七页，共七十四页，2022年，8月28日图2.13(a)~(f)的空间分辨率依次为512×512、256×256、128×128、64×64、32×32、16×16像素，8bit图像。图像空间分辨率（采样点数）变化对图像质量的影响第四十八页，共七十四页，2022年，8月28日256256

12812864643232图2.14原始空间分辨率依次为256×256、128×128、64×64、32×32像素，8bit图像。第四十九页，共七十四页，2022年，8月28日图2.15(a)~(f)的量化级数依次为256、64、16、8、4、2;512×512像素。图像灰度分辨率（量化级数）变化对图像质量的影响第五十页，共七十四页，2022年，8月28日

L=16

L=8L=4L=2图2.16量化级数依次为16、8、4、2;256×256像素。第五十一页，共七十四页，2022年，8月28日图2.17不同灰度分辨率图像(a)453×374，256灰度级图像；(b)~(d)保持空间分辨率不变，灰度级为128、64和32的图像第五十二页，共七十四页，2022年，8月28日图2.17（续）(e)~(h)灰度级16、8、4和2的图像第五十三页，共七十四页，2022年，8月28日图像空间和灰度分辨率同时变化对图像质量的影响图2.17(a)~(f)的空间分辨率依次为256×256、181×181、128×128、90×90、64×64，45×45像素。(a)~(f)的量化级数依次为128、64、32、16、8、4。第五十四页，共七十四页，2022年，8月28日考虑空间分辨率和灰度分辨率之间可能存在的关系——细节右图：Nk平面的等偏爱曲线，右上为好。细节增加，所需灰度级减少。第五十五页，共七十四页，2022年，8月28日四、图像显示显示：将数字图像转化为适合人们使用的形式，便于人们观察和理解。一般直接用计算机的图形终端显示图像，图像窗口只是图形用户界面的一个普通的窗口。为方便处理，通常图像都表现为一矩形区域的位图形式（Bitmapformat）。第五十六页，共七十四页，2022年，8月28日CRT显示（LED、LCD）方向比（4:3）1024x768,800x600…

分辨率，像素，调色板(查找表)gamma校正

打印分辨率，空间灰度→区域上点数图案法抖动法基本方法：混色第五十七页，共七十四页，2022年，8月28日五、像素间的一些基本关系

以及基本数据结构1.像素(x,y)的相邻像素4邻域（用N4(p)表示）(x+1,y),(x-1,y),(x,y+1),(x,y-1)4邻域+4个对角的相邻像素4个对角邻像素（用ND(p)表示）:4个水平和垂直的相邻像素8邻域（用N8(p)表示）(x+1,y+1),(x+1,y-1),(x-1,y-1),(x-1,y-1)第五十八页，共七十四页，2022年，8月28日2.邻接性、连通性、区域和边界(1)邻接性 两像素p和q灰度值属于灰度值集合V

4邻接：qN4(p)，p和q是4邻接的。

8邻接：qN8(p)，p和q是8邻接的。m邻接(混合邻接)：

(1)qN4(p)(2)qND(p)，且N4(p)N4(q)没有V值的像素第五十九页，共七十四页，2022年，8月28日(a)(b)(c)图2.18邻接关系(a)像素分布，(b)中心像素的8邻接像素（虚线表示），(c)m邻接(8邻接的改进，消除8邻接的二义性)第六十页，共七十四页，2022年，8月28日两个像素间连通： 两个像素相邻，且它们的灰度值满足特定的相似性准则（如灰度值相等）两个像素间的通路：从像素p(x,y)到像素q(s,t)存在特定像素序列：(x0,y0),(x1,y1),…,(xn,yn)(这里(x0,y0)=(x,y),(xn,yn)=(s,t))，且像素(xi,yi)和(xi-1,yi-1)(1in)是邻接的。闭合通路：(x0,y0)=(xn,yn)(2)连通性第六十一页，共七十四页，2022年，8月28日令R表示图像的像素子集。区域：若R是连通集，则称R为一个区域。边界（也可称为边缘或轮廓）：区域R中像素的集合，该区域有一个或多个不在R中的邻点。注意边界：一个有限区域的边界形成一个闭合通路，是一个“整体”的概念。边缘：由具有某些导数值的像素形成，基于不连续点进行灰度级测量的局部概念。二值图像中，边缘和边界是吻合的。(3)区域和边界第六十二页，共七十四页，2022年，8月28日3.距离度量距离量度函数 像素p(x,y)，q(s,t)和z(v,w)，如果：

(1)D(p,q)0[D(p,q)=0，当且仅当p=q (2)D(p,q)=D(q,p) (3)D(p,z)=D(p,q)+D(q,z)

则D是距离函数或度量。(1)欧氏距离

De(p,q)=[(x-s)2+(y-t)2]1/2(2)D4(城市街区)距离

D4(p,q)=|x-s|+|y-t|(3)D8(棋盘)距离

D8(p,q)=max(|x-s|,|y–t|)第六十三页，共七十四页，2022年，8月28日

距离计算示例De=5D4=7D8=4图2.19像素间的距离计算第六十四页，共七十四页，2022年，8月28日22122101221222222221112210122111222222(a)D4距离2;(b)D8距离2p和q之间的D4和D8距离与任何通路无关。图2.20等距离轮廓图案第六十五页，共七十四页，20