视觉感知与图像的基本概念

视觉感知与图像的基本概念本章内容简介视觉感知数字图像的概念与描述图像的数字化数字图像的存储格式灰度直方图第2页,共51页，2024年2月25日，星期天2.1视觉感知图像处理的研究需要了解人类视觉机理：人们能够区分的光强度差别有多大？我们眼睛的空间清晰度是多少？对运动的感觉如何?我们估计和比较距离和面积的精度是多少？人类特性视觉的光谱是怎样的?人的视觉中彩色起什么作用？人类是如何获得视觉感知，如何认知周围事物的？人们对于自己视觉机构的生物、生理、物理过程的了解，以及神经、精神方面的了解还处于低级阶段，认识还很不完善，还有很大的局限性。第3页,共51页，2024年2月25日，星期天人眼构造第4页,共51页，2024年2月25日，星期天视杆细胞与视锥细胞视网膜上有杆状细胞和锥状细胞两类视觉接收器；视杆细胞(Rodcell)：细长而薄，数量上约1.2亿个，它们提供暗视(ScotopicVision)，即在低几个数量级亮度时的视觉响应，其光灵敏度高。视锥细胞(Conecell)：结构上短而粗，数量少，约600万~700万，光灵敏度较低，它们提供明视(PhotopicVision)，其响应光亮度范围比视杆细胞要高5～6个数量级。在中间亮度范围是两种视觉细胞同时起作用。视锥体集中分布在视网膜中心。第5页,共51页，2024年2月25日，星期天视觉感知视觉感知是视觉的内在表象。视觉感知包括两个不同的感知层次：视觉的低级感知层次视觉的高级感知层次第6页,共51页，2024年2月25日，星期天视觉低级感知层次视觉系统从外界获取图像。眼睛视网膜上获得周围世界的光学信号，然后视觉接收器发生光电化学反应（杆状细胞和锥状细胞在视网膜上作为视觉接收器），产生视神经脉冲，从而将光图像信息转化为视网膜的神经活动电信息，最后通过视神经纤维，把这些图像信息传送入大脑，由大脑获得图像感知。视觉系统的可视波长范围为=380nm～780nm;视觉系统的可响应的亮度范围是:1～10个量级的幅度范围。第7页,共51页，2024年2月25日，星期天视觉高级感知层次大脑对视神经纤维传送来的图像信息进行分析和理解，通过图像获得对周围世界感知的信息和知识。人们对大脑的高级感知层次至今知之甚少,仍是生理学、神经科学、生物物理学、生物化学研究的重要课题。第8页,共51页，2024年2月25日，星期天视觉和视觉感知“视觉是一个信息处理过程。它能从外部世界的图像中得到一个即对观察者有用又不受无关信息干扰的描述。”“视觉感知又是和过去留存于记忆中的同类活动有关，视觉储积起大量的视觉意象。记忆形象可用于对知觉对象的辨认，解释和补充。”使计算机具有人类视觉能力，研究人类的视觉感知，模仿人类的视觉感知，是研究工作的重要途径。第9页,共51页，2024年2月25日，星期天视觉特性视觉特性是视觉的外在表现；图像是周围世界的一种映射，对于运动图像，空间座标x,y,z都是时间t的函数，若在连续的不同时间获取图像，可以获得序列图像对于按不同波段获取图像，可获得彩色图像或不同波段的图像信号(如遥感图像,医学图像等)。对于按不同视角，即不同的x,y,z间相互关系，可以得到不同视角的不同图像。因此，视觉特性包括有视觉对光强，对各种波长、彩色的光谱效应，对物体边缘等空间频率变化的响应，以及视觉对时间瞬时变化运动的响应。第10页,共51页，2024年2月25日，星期天相对视敏函数人眼对不同波长的光有不同的敏感度，不同波长而幅射功率相同的光不仅给人以不同的色彩感觉，而且亮度感觉也不同。视敏函数：描述人眼视敏特性的物理量为视敏函数和相对视敏函数。在相同亮度感觉的条件下，不同波长光辐射功率的倒数用来衡量人眼对各波长光明亮感觉的敏感程度。对于人眼，是钟形曲线。第11页,共51页，2024年2月25日，星期天相对视敏曲线视杆细胞和视锥细胞的相对视敏曲线有所不同，对视锥细胞情况，在=555nm时绿光亮度最敏感，对视杆细胞暗视情况,则=505nm时绿光最敏感。

第12页,共51页，2024年2月25日，星期天对比灵敏度在均匀照度背景I上，有一照度为I+△I的光斑，称眼睛刚好能分辨出的照度差△I与I的比（△I/I）为对比灵敏度；由于背景亮度I增大，△I也需要增大，因此在相当宽的强度范围内，对比灵敏度是一个常数，约等于0.02，这个比值称为韦伯比（Weber比）。亮度很强（弱）时不为常数。第13页,共51页，2024年2月25日，星期天同时对比度在相同亮度的刺激下,由于背景亮度不同，人眼所感受到的主观亮度不同，这种效应称为同时对比度。由于同时对比是由亮度差别引起的，故也称为亮度对比。相对应的还有色度对比。

第14页,共51页，2024年2月25日，星期天马赫带Mach在1865年讨论了“Mach带”现象“Mach带”一条有均匀黑的区域和均匀白的区域每级阶跃的灰度差相同“Mach带”，人们在观察现象：每个条带内灰度是不均匀的每级阶梯的右边比左边更暗第15页,共51页，2024年2月25日，星期天人类视觉感知能力的特点人类视觉系统在对物体的识别上有特殊强大的功能；但在对灰度、距离和面积的绝对的估计上却有某些欠缺；以传感器单元的数目比较：视网膜包含接近1.3亿个光接收器，这极大的大于CCD片上的传感器单元数；和它每次执行运算的数目比较：和计算机的时钟频率相比，神经处理单元的开关时间将比之大约慢倍；不论这慢的定时和大量的接收器，人类的视觉系统是比计算机视觉系统要强大得多。它能实时分析复杂的景物以使我们能即时的反应。第16页,共51页，2024年2月25日，星期天2.2数字图像的概念与描述所谓的数字图像的描述是指如何用一个数值方式来表示一个图像。数字图像是图像的数字表示，像素是其最小的单位。可以用矩阵来描述数字图像。描述数字图像的矩阵目前采用的是整数阵，即每个像素的亮暗，用一个整数来表示。第17页,共51页，2024年2月25日，星期天数字图像的概念与描述

——

图像的坐标系矩阵是按照行列的顺序来定位数据的，但是图像是在平面上定位数据的，所以有一个坐标系定义上的特殊性。为了实现方便起见，这里以矩阵坐标系来定义图像的坐标。行（i）列（j）矩阵A(i,j)矩阵坐标系X轴（i）Y轴（j）图像f(i,j)直角坐标系第18页,共51页，2024年2月25日，星期天数字图像的概念与描述

——

黑白图像黑白图像是指图像的每个像素只能是黑或者白，没有中间的过渡，故又称为２值图像。2值图像的像素值为0、1。第19页,共51页，2024年2月25日，星期天数字图像的概念与描述

——

灰度图像灰度图像是指每个像素的信息由一个量化的灰度级来描述的图像，没有彩色信息。第20页,共51页，2024年2月25日，星期天数字图像的概念与描述

——

彩色图像彩色图像是指每个像素的信息由RGB三原色构成的图像，其中RGB是由不同的灰度级来描述的。彩色图像不能用一个矩阵来描述了，一般是用三个矩阵同时来描述。第21页,共51页，2024年2月25日，星期天2.3图像的数字化我们日常生活中见到的图像一般是连续形式的模拟图像，可由一个二维连续函数f(x,y)来描述。其中：

(x,y)是图像平面上任意一个二维坐标点，f(x,y)则是该点颜色的深浅。数字图像处理的一个先决条件就是将连续图像经采样、量（离散）化，转换为数字图像。第22页,共51页，2024年2月25日，星期天图像的数字化数字化的过程也称为A/D转换：是将光电传感器产生的模拟量转换为数字量，以便计算机处理；转换过程：采样、量化、编码；转换精度：ADC位数；转换速度：采样速率；量化误差。第23页,共51页，2024年2月25日，星期天图像的数字化经数字化的图像方可用计算机来处理。图像f(x,y)必须在空间上和在颜色深浅的幅度上都进行数字化：空间坐标(x,y)的数字化被称为图像采样；颜色深浅幅度的数字化被称为灰度级量化。第24页,共51页，2024年2月25日，星期天图像的数字化

——采样间隔采样时的注意点是：采样间隔的选取。采样间隔太小，则增大数据量；采样间隔太大，则会发生信息的混叠，导致细节无法辨认。第25页,共51页，2024年2月25日，星期天图像的数字化

——采样指标分辨率分辨率

是指映射到图像平面上的单个像素的景物元素的尺寸。单位：像素/英寸，像素/厘米

（如：三星智能手机GALAXYS4显示屏为441ppi）

分辨率

或者是指要精确测量和再现一定尺寸的图像所必需的像素个数。

单位：像素×像素

（如：数码相机指标1210万像素（4000×3000））第26页,共51页，2024年2月25日，星期天图像的数字化

——量化概念量化是将各个像素所含的明暗信息离散化后，用数字来表示。一般的量化值为整数。充分考虑到人眼的识别能力之后，目前非特殊用途的图像均为8bit量化，即采用0~255的整数来描述“从黑到白”。在3bit以下的量化，会出现伪轮廓现象。第27页,共51页，2024年2月25日，星期天图像的数字化

——量化方法量化可分为均匀量化和非均匀量化。均匀量化是简单地在灰度范围内等间隔量化。非均匀量化是对像素出现频度少的部分量化间隔取大，而对出现频度大的部分量化间隔取小。

一般情况下，对灰度变化比较平缓的部分用比较多的量化级。第28页,共51页，2024年2月25日，星期天图像质量的确定数字化时，关键是要决定：采样点数M×N

（行和列）量化级别G

（灰度级数）为了便于处理，采样点数N与量化级别G都为2的幂次方，即M=2m，N=2n

，G=2k

（m，n，k均为正整数）。记录一幅图像所需的字节（byte）B可由下式计算：

B＝M×N×k÷8实际上：M、N一般取64、128、256、640、1024、1240等值；k一般取1、4、8、16、24、32等值。一般地说，图像质量随M、N和k的增加而增高。第29页,共51页，2024年2月25日，星期天采样传感器采样传感器CCD(ChargeCoupleDevice)：电荷耦合器件；CMOS(ComplementaryMetalOxideSemiconductor)：互补性金属氧化物半导体。第30页,共51页，2024年2月25日，星期天CCDCCD是20世纪70年代初发展起来的半导体器件。CCD以电荷为信号，而不是以电压为信号。CCD利用感光二极管(photodiode)进行光电转换，将图像转换为数字数据.CCD的基本功能是电荷的产生、存储和转移。其基本原理是：通过光学系统将景物成像在CCD象敏面上，象敏面将照在每一个象敏单元上的光照强度转换为电荷存储在象敏单元中，然后再转移到CCD的移位寄存器中，在驱动脉冲的作用下顺序移出器件，形成强弱不同的电信号。第31页,共51页，2024年2月25日，星期天CCD的三层结构第一层“微型镜头”：CCD成像的关键是在于其感光层，为了扩展CCD的采光率，必须扩展单一像素的受光面积，增加感光面积。第二层“分色滤色片”：有两种分色方式，一是RGB原色分色法，另一个则是CMYK补色分色法。这两种方法各有优缺点。第三层感光层：主要是负责将穿过滤色层的光源转换成电子信号，并将信号传送到影像处理芯片，将影像还原。第32页,共51页，2024年2月25日，星期天线阵CCD：单元数有：256，1024，2048，4096等；面阵CCD：第33页,共51页，2024年2月25日，星期天CMOSCMOS和CCD一样都是可用来感受光线变化的半导体。CMOS是利用硅和锗两种元素做成的半导体，通过CMOS上带负电和带正电的晶体管来实现基本功能的。产生的电流即可被处理芯片纪录和解读成影像。CMOS针对CCD最主要的优势是价格低廉、制造工艺较简单且非常省电,其耗电量只有普通CCD的1/3左右。CMOS传感器可以在每个像素基础上进行信号放大，采用这种方法可以进行快速数据扫描；CMOS主要问题是在处理快速变化的影像时，由于电流变化过于频繁而过热。但是现在CMOS绝非只局限于简单的应用，也在发展高清系列。第34页,共51页，2024年2月25日，星期天2.4数字图像的存储格式数字图像是由排成矩形点阵的像素组成的。图像有不同的编码方式：无压缩、无损压缩、有损压缩。图像文件通常与操作系统有关：Windows、Linux、Mac；把一幅图像记录进文件时，必须同时记录下各像素在点阵中的位置及像素的灰度值。实际上我们可以利用各像素在文件中的记录位置来表示其在图像点阵中的位置，这样就可以省去记录像素位置坐标的数据量，而各像素的数据只用来记录其灰度值。第35页,共51页，2024年2月25日，星期天数字图像的存储格式（二）图像的尺寸（长与宽，均以像素为单位）通常记录在文件头（header）中。文件头是有关图像整体的信息数据块，除记录图像的尺寸外，还记录诸如像素的位长、图像的颜色表等有关信息。文件头之后才是图像的数据流。因此，图像数据文件是文件头加数据流。第36页,共51页，2024年2月25日，星期天数字图像的存储格式（三）图像数据的文件格式随着图像的各种信息的内容取舍与记录次序的不同而异。其中，关于图像数据的记录方式基本相同，主要的差异在于header的内容。应用较广，比较常见的静态图像文件格式有：RAW、BMP/DIB、JPEG、Tiff、Gif、WMF。常见的动态图像文件格式有：MPEG4、SWF（ShockwaveFormat）、AVI、nAVI、rm、rmvb、MOV、MKV……第37页,共51页，2024年2月25日，星期天数字图像的存储----位图文件Bmp是MicrosoftWindows设备无关位图（MicrosoftDeviceIndependentBitmap）文件，又称为DIB。是Windows操作系统的标准文件格式。Bmp可以包含每个像素1位、4位、8位或24位的图像。其中1、4和8位图形有彩色映像（调色板），而24位元图像则是全彩（TrueColor）。优点：在MicrosoftWindows下得到广泛使用。缺点：除了MicrosoftWindows外，无法在其他环境下使用。第38页,共51页，2024年2月25日，星期天数字图像的存储位图文件

——文件的总体结构

文件头

BITMAPFILEHEADER

信息头

BITMAPINFOHEADER

调色板

RGBQUAD

数据区

文件头

BITMAPFILEHEADER

信息头

BITMAPINFOHEADER

数据区

像素的RGB值

像素的调色板索引值真彩色模式索引色模式第39页,共51页，2024年2月25日，星期天数字图像的存储位图文件

——文件头信息

文件头BITMAPFILEHEADERbfType文件类型标识“BM”bfSize文件总字节数(包括文件头的14字节)bfOffBits从文件头到实际的位图数据的偏移字节数第40页,共51页，2024年2月25日，星期天数字图像的存储位图文件

——信息头信息biSize信息头结构体长度，为40biWidth图像宽度，单位是像素

biHeight图像高度，单位是像素

biPlanes必须为1，暂无意义

biCompression指定位图是否压缩

biSizeImage实际位图数据所占字节数

biXperlsPerMeter位图水平分辨率，每米像素数

biYperlsPerMeter位图垂直分辨率，每米像素数

信息头

BITMAPINFOHEADER第41页,共51页，2024年2月25日，星期天数字图像的存储位图文件

——索引色模式的调色板

调色板RGBQUAD索引值RGB1R1G1B12R2G2B2

：:::NRNGNBN第42页,共51页，2024年2月25日，星期天数字图像的存储位图文件

——索引色模式的数据区索引值RGB1R1G1B12R2G2B2

：:::NRNGNBN

数据区像素的调色板索引值第43页,共51页，2024年2月25日，星期天矢量图矢量（Vector）图：亦称向量图，是用称之为矢量的直线、曲线、多边形和填充的色块来描绘图形的。可以无限放大图形中的细节，不用担心会造成失真和色块。矢量图文件比点阵图文件存储空间要小很多。一般地，矢量图是图形。A类型：line起点坐标xx.xxx,yy.yyyy终点坐标xx.xxx,yy.yyyy颜色、线型、线宽类型：文字起点坐标xx.xxx,yy.yyyy颜色、字体、字型、字号第44页,共51页，2024年2月25日，星期天常见的静态图像文件格式（一）JPEG全称为（JointPhotographicExptrsGroup，联合图像专家组），是24位的图像文件格式。JPEG文件格式是面向连续色调静止图像的一种压缩标准。

JPEG格式是目前网络上最流行的图像格式。JPEG压缩技术十分先进，它用有损压缩方式去除冗余的图像数据。JPEG格式压缩的主要是高频信息，对色彩的信息保留较好，适合应用于互联网，可减少图像的传输时间。JPEG是一种很灵活的格式，具有调节图像质量的功能，允许用不同的压缩比例对文件进行压缩，支持多种压缩级别，压缩比率通常在10：1到40：1之间，压缩比越大，品质就越低；相反地，品质就越高。第45页,共51页，2024年2月25日，星期天常见的静态图像文件格式（二）TIFF――TagImageFileFormat，标签图像文件格式。是一种跨平台的位图格式，不针对某个特定的操作平台，可用于多种操作平台和应用软件。数据结构是可变的，文件具有可改写性，程序员可以修改原始规范以添加功能或满足特定的需要。