机器视觉测量技术

机器视觉测量技术杨永跃合肥工业大学2007.3目录绪论1.1概述1.2机器视觉的研究内容1.3机器视觉的应用1.4人类视觉简介1.5颜色和知觉1.6光度学1.7视觉的空间知觉1.8几何根底第二章图像的采集和量化2.1采集装置的性能指标2.2电荷藕合摄像器件2.3CCD相机类2.4彩色数码相机2.5常用的图像文件格式2.6照明系统设计第三章光学图样的测量3.1全息技术3.2散斑测量技术3.3莫尔条纹测量技术3.4微图像测量技术第四章标定方法的研究4.1干预条纹图数学形成与特征4.2图像预处理方法4.3条纹倍增法4.4条纹图的旋滤波算法第五章立体视觉5.1立体成像5.2根本约束5.3边缘匹配5.4匹域相关性5.5从x恢复形状的方法5.6测距成像第六章标定6.1传统标定6.2Tsais万能摄像机标定法6.3Weng’s标定法6.4几何映射变换6.5重采样算法第七章目标图像亚像素定位技术第八章图像测量软件〔多媒体介绍〕第九章典型测量系统设计分析9.1光源设计9.2图像传感器设计9.3图像处理分析9.4图像识别分析附：教学实验1、视觉坐标测量标定实验2、视觉坐标测量的标定方法。3、视觉坐标测量应用实验4、典型零件测量方法等。第一章绪论1.1概述人类在征服自然、改造自然和推动社会进步的过程中，面临着自身能力、能量的局限性，因而创造和创造了许多机器来辅助或代替人类完成任务。智能机器或智能机器人是这种机器最理想的模式。智能机器能模拟人类的功能、能感知外部世界，有效解决问题。人类感知外部世界：视觉、听觉、嗅觉、味觉、触觉眼耳鼻舌身所以对于智能机器，赋予人类视觉功能极其重要。机器视觉：用计算机来模拟生物〔外显或宏观〕视觉功能的科学和技术。机器视觉目标：用图像创立或恢复现实世界模型，然后认知现实世界。1.2机器视觉的研究内容1输入设备成像设备：摄像机、红外线、激光、超声波、X射线、CCD、数字扫描仪、超声成像、CT等数字化设备2低层视觉〔预处理〕：对输入的原始图像进行处理〔滤波、增强、边缘检测〕，提取角点、边缘、线条色彩等特征。3中层视觉：恢复场景的深度、外表法线，通过立体视觉、运动估计、明暗特征、纹理分析。系统标定4高层视觉：在以物体为中心的坐标系中，恢复物体的完整三维图，识别三维物体，并确定物体的位置和方向。5体系结构：根据系统模型〔非具体的事例〕来研究系统的结构。〔某时期的建筑风格—据此风格设计的具体建筑〕1.3机器视觉的应用工业检测—文件处理，毫微米技术—多媒体数据库。许多人类视觉无法感知的场合，精确定量感知，危险场景，不可见物感知等机器视觉更显其优越十足。1零件识别与定位生产线机器人足球赛2产品检验外形、外表、装配位置、超声探测内部裂纹和气孔3移动机器人双目识别恢复场景。无人驾驶汽车4遥感图像分析航空摄影、气象卫星、资源卫星航空摄影：利用普通摄影机航拍。制图、制导用气象卫星：红外成像、气象云图海洋资源：合成孔径雷达，获取海辰形象。找矿农作物调查，自然灾害测报，生态环境检测。5医学图像分析X射线、CT〔ComputerTomography〕、核磁共振MRI〔magneticresonanceimaging〕，超声成像。作用：(1)图像增强、标记、染色距离距离X力量速度〔有效作用力〕(2)专家系统，自动研制6平安鉴别、监视跟踪车辆识别、车牌号识别人脸、眼底、指纹、表情7其他体育运动分析：游泳制衣〔人体扫描〕影视制作1.4人类视觉简介1人眼所能看到的光谱范围，只是电磁波辐射范围的很小的一局部，为380nm－780nm，可见光谱红外红外780紫蓝青绿黄橙红380紫外2人眼的构造角膜占外表的1/6具有屈光作用晶状体、玻璃体等都有屈光作用视网膜：杆状细胞〔暗〕玻璃体晶状体(调焦)玻璃体晶状体(调焦)视网膜虹膜瞳孔3视觉信息处理亮度(2)形状〔3〕运动〔4〕颜色〔5〕深度感〔6〕通道〔7〕并行人眼对运动物体特别敏感锥状细胞有三种，分别对430、540、570，敏感，构成了三基色原理的根底。深度感因视差而产生视觉过程：AA1C2B2A2CBA光光刺激视网膜接收光路光路视网膜接收视觉通道大脑皮层处理1存储参考图像2信息处理3特征提取4决策5描述响应响应〔1〕视觉的时间特性视觉在时间上有累积效应对一般的物体进行观察时，接收光的总能量E与物体可见面积、外表宽度L和时间距〔观察时间长度〕T成正比。另外：人对光的感觉有潜伏期，屡次闪光会导致闪烁的知觉。降龙十八章〔2〕视觉的空间特性小而弱的光点单独呈现时可能看不见，但当多个连在一起作为一个大的光点时同时呈现时便能看见了。视觉度表示人所能看到景物细节的准确性。认知认知解像觉察定位觉察：检测在视野中的某个给定物体是否存在定位：对两物体相对位置精确区分的能力解像：对一视觉形状各组成局部之间距离的区分能力认知：综合的能力和方法，包括明度识别，一定的解像力和定位能力。〔3〕形状知觉：轮廓、图形、背景轮廓：轮廓把物体与视野中的其它局部区分开来，轮廓不等于形状。轮廓只是边界，是局部概念，而形状那么是全体概念。主观轮廓：主观轮廓产生的必要条件是有些不完整的因素出现将它完整起来就有一种把它变成简单和稳定正规图案的倾向。〔4〕视觉的相对性视觉感知的结果不仅仅取决于刺激本身，还与经验比照有关系。〔早晨、中午的太阳哪个更近〕前景与背景：前景：视觉关心的主体。背景那么是与前景相关联的其它刺激视觉知觉的比照：〔1〕前景和背景可相互置换〔2〕前景受背景的影响〔5〕视觉的选择性听而不闻视而不见。依赖先验知识而取向。〔6〕视觉的整体性对局部感知之和而产生的一种整体知觉经验〔7〕视觉的恒常性亮度恒常性：黑布、白布各自一半在阳光下，一半在阴影中，我们仍然能够判定它为黑布白布。大小恒常性：物体在视网膜上的象随距离而变化，但我们的感觉那么并不是大小的变化而是距离的变化。〔感觉到远方的牛仍然比近处的狗大〕形状恒常性：直线投影为一点，通过经验加以矫正颜色恒常性：在相当宽的光明变化条件中，能够感受到颜色的恒常。〔8〕视觉的组织性相似性接近性三列点列四行点列三列点列四行点列按列按行按列按行封闭性封闭轮廓更容易够成图形。连续性一条直线和曲线的屡次交汇，心理上倾向于连续。〔9〕错视现象高度高度长度长度平行平行大小大小主从错觉主从错觉………………………………马赫带马赫带Hering方格错觉Hering方格错觉〔10〕眼球微动现象1.5颜色和知觉牛顿用三棱镜研究白光的折射，就此便发现白光可被分解成一系列从紫到红的连续光谱。从而证明白光是由不同颜色的光线相混合而形成的，而这些光实际上是不同频率的电磁波。〔1〕无颜色白灰黑黑白系列颜色〔2〕有颜色除黑白系列之外的各种颜色色觉的产生：光源的光反射或透射视网膜人脑解释物体均匀的反射各种光白色物体只反射某种或某几种颜色彩色CIE国际明度委员会R：700nm〔570〕G：546.1nm〔540〕光的三基色B：435.8nm〔430〕二基色叠加形成三补色颜料的三基色正是光的三补色。人眼的锥状细胞有三种，分别对430，540，570光谱敏感。设三种刺激量分别为：X、Y、Z那么：，，为刺激量的比例系数，称为色系数。可见：x+y+z=1CIE1931色度图eq\o\ac(○,1)三色比例系数x、y、z均大于零。eq\o\ac(○,2)Y的数值正好是彩色光亮度。eq\o\ac(○,3)x=y=z表示标准白光。这样：eq\o\ac(○,1)每一点对应一种颜色。eq\o\ac(○,2)色度图边界上二点代表纯颜色。eq\o\ac(○,3)连接两端点直线上的点可由二端点颜色合成。3端点三角形内的颜色可由三端点颜色合成。3基色不能组合出所有的颜色。补色律：两个以适当比例混合能得到白色或灰色的颜色，互称为补色。中间色律：两个非补色混合，便产生一个新的中间色或混合色，色调的混合比例确定。代替律：如颜色X+Y>>B，A+B>>C那么有A+X+Y>>C颜色模型①RGB模型〔面向显示器、打印机等硬设备〕规划为单位正方体那么所有RGB的值在[0，1]R=700nmG=546.1nmB=435.8nm根据不同需要提出了：RGB、CMY、XYZ、YIQ、HSV〔HIS〕标准白色的RGB光通量、、为：：：=1：4.5907：0.0601这样把光通量为1Lm的红色，4.5079流明的绿光，0.0601流明的蓝光作为三基色的单位基色量。这样某彩色光通量〔C〕=R〔R〕+G〔G〕〕+B〔B〕〔C〕表示光的明亮程度，其色度只取决于R、G、B之间的比例关系。∴合,,r、g、b为色度坐标，r+g+b=1②CMY各种光也都可以用CMY三基色混合而成。RGB,由黑白，增色过程。CMY,由白黑，减色过程。〔绘图，打印机〕颜料。④YIQ保证彩色电视和黑白电视的兼容。NTSC(国际电视系统)协会。Y对应于XYZ中的Y，为亮度信息。选择三色的基色量为R=0.299,G=0.587,B=0.114∴Y=0.299R+0.587G+0.114B规定：I=0.74〔R－Y〕－0.27〔B－Y〕Q=0.48〔R－Y〕+0.41〔B－Y〕综合有：这里RGB为NTSC制式RGB⑤HIS模型H：色调。混合光谱中的主要波长。S：饱和度。一定色调的纯度。纯光谱色是完全饱和，参加反光饱和度逐渐减小。I：密度、亮度〔与反射率成正比〕RGB到HIS转换HIS转到RGB[0，120°][]发光强度定义：光源的单色光，在指定方向辐射强度为1.6光度学光度学：研究光的强弱的学科。〔Photometry〕当光源足够小，或足够远，以至于眼睛无法分辨形状时，光源为点光源。点光源Q沿某个方向r的发光强度I定义为此方向上单位立体角内发出的光通量。单位为流明〔Lm〕。以r为轴取一个立体角元,内的光通量为沿r方向的发光强度为：〔单位角内的光通量〕发光强度的单位为cd〔坎[德拉]〕，1cd=11cd发光强度的点发出的总光通量为4πlm。sr为球面度，球心对球面的总球面度为4π。实际中的光源总有一定的发光面积扩展光源。扩展光源外表的每个面元ds沿某个方向r有一定发光强度dI沿r观察，那么ds′=dscosθ投影面积那么面元ds沿r方向的光度学亮度B定义为在此方向上单位投影面积的发光强度。高度：单位：被照外表照度：一个被光线照射的外表上的照度，为照射在单位面积上的光通量，设面积ds上的光通量为dφ,那么：照度单位：1×〔勒[克斯]〕1=1lm/㎡照度光学系统的像面照度和其他外表的照度是必须了解的光学量。参看图1.4-1，从轴面上的面元dA1、辐射到接收面上的面元dA2的辐射通量为：＝LdA1dΩ，Cosθ式中图xx辐射的传播而从物面辐射到接收面的总辐射通量为设物面是朗伯面，即L与面元dA1的位置无关，那么由此式中F12称为辐射传输系数，它只与外表的形状、位置、大小和方向有关。是一纯粹几何量。F12是一二重积分量，很难计算，不过现在已经对一些典型情况，计算出了结果，并且列出了表格，可供查阅。像面照度光学系统像面上的照度会受两方面的影响：〔1〕光学系统的会聚和发散作用；〔2〕光学系统的吸收、反射、散射和挡光的作用；为了简单起见，将忽略第〔2〕种影响，而对于第〔1〕种影响将通过光学系统的几何度G表示出来，并使这一计算变得很简单。几何度G的定义为式中这是投影立体角，它是接收面dA2对物面dA1所张立体角在物面法线方向的投影的积分。几何度G只和光源的几何尺寸、光源到光学系统的距离、光学系统的入瞳尺寸以及光学系统的结构有关。当光能通过光学系统且不存在损失时，G是不变量，即在光学系统内的不同截面上，G都是相同的。假设从图1.4－2观察那么有Gs=Ge=Gx=Gi式中Gs、Ge、Gx、Gi分别是光学系统的物面S、入瞳面e、出瞳面x、像面i的几何度。图1.4－2从上可以看出;〔1〕几何度G可以表示光学系统传输辐射的能力；〔2〕可以根据易于计算的截面上的G值，计算出任一截面上的照度。例如：〔1〕光能无损失的光学系统像面中心的辐射度由得到式中，是光学系统的纵向放大率。〔2〕视场角为θ处像平面上的辐照度。比拟物方侧物点1和轴上点0所对应立体角的大小。对于物点1，入瞳所对应的立体角为式中Ω0是入瞳对轴上点0所张的立体角，故轴外点像平面的辐照度为上式说明：像面照度与光学系统的相对孔径的平面成正比，又和视场角θ的余弦的4次方成正比；需要特别注意的是：，这将严重影响像面照度的均匀性。但是，对于野外景物，它并不是朗伯体，而是各向均匀发光体，那么。1.7视觉的空间知觉人眼能在高和宽为2D空间上形成的视象得到一个3D视觉空间。非视觉性深度线索眼睛聚焦调节：观察远点不同的物体时，眼睛调节晶状体，使成清晰象，这种调节活动给大脑提供信息，提供深度估计。据此共焦测距法双眼视轴的融合观察远近不同的物体，双眼自动调节使视轴对准视网膜中心，做幅合运动。提供距离信息三角测距法双眼深度线索中央眼确定主观视觉方向，视觉是产生立体知觉和深度知觉。〔单独产生〕〔图像复合后相当于1只眼睛看到〕单眼深度线索大小：尺寸相近的物体，近：成像大；远：成像小物体的遮挡：遮挡来判断物体的前后距离光亮与阴影：近：物体明亮；远：物体灰暗颜色分布：近：黄或红；远：蓝空气透视：近：轮廓清晰；远：模糊不清纹理：近：纹理稀疏；远：纹理密集运动：近：视角变化大；远：视角变化小〔坐车过电线杆，和远处的树〕第二章图像的采集和量化2.1采集装置的性能指标接受外界的鼓励并产生响应，把模拟的响应转化为数字化的信号，从而可被计算机利用。采集装置功能：①接受辐射〔光、声、电〕②进行模数转换。采集装置性能指标：线性响应：输入物理信号的强度与输出响应信号的强度之间关系是否线性。灵敏度：绝对灵敏度用能拾测到的最小光子数表示。相对灵敏度用能使输出发生一级变化所需光子数表示。信噪比：所采集的图像中有用信号与无用干扰的〔能量或强度〕比值。阴影〔不均匀度〕：输入物理信号为常数而输出的数字形式不为常数的现象。象素形状：一般为正方形，但也有其它形状〔如运动〕。频谱灵敏度：对不同频率辐射的相对灵敏度。快门速度：采集拍摄时间。读取速度：信号数据从敏感单元读取〔传输〕的数率。2.2电荷藕合摄像器件面阵CCD原理。〔帧转移型，隔列转移型，线转移型〕面阵CCD的根本特性参数：光电转移特性光电转换因子γ，一般99.7﹪。光谱响应动态范围：输出信号峰值电压与均方根噪声电压之比。噪声源：电荷注入器件引起的噪声。电荷转移过程中，电荷量变化引起的噪声。拾测时产生的噪声。暗电流：正常工作时，MOS电容处于未饱和的非平衡状态，但由于热激发产生的少量载流子使系统趋向平衡。暗电流是判断一个系统好坏的重要标志。分辨率：像元位数高的器件具有更高的分辨率。面阵CCD，只评价其水平分辨率，且用电视线数的评价方法。在一幅图像上，在水平方向能够分辨出的黑白条数――分辨率。填充系数Fb电敏感区域占整个矩阵面的比例b﹪拖影：由存放器电荷移位时留下的剩余电荷量产生。三管CCD彩色摄像机分光棱镜三色三CCD接收RGB信号单管CCD彩色摄像机栅状滤色器三色三CCD接收RGB信号〔例举液晶显示器〕特种CCD图像传感器微光CCD图像传感器〔多帧积累〕直视夜视仪微光透视图像传感器特点：便于图像处理，实现远距传输或遥控，实现自动控制直接用于制导、录像并长期保存。红外CCD图像传感器〔IRCCD〕用于夜视，、跟踪制导、红外侦察、预警。〔海湾战争〕主动红外电视摄像：红外光源〔红外光源，半导体激光器〕红外摄像器件〔CCD〕红外变像管：把不可见的红外线转变成可见光。③X光CCD图像传感器医疗影像＋工业探测目标：小剂量X光照射，图像远程传输。2.3CCD相机①分类:彩色相机黑白相机②按灵敏度划分：普通型〔照度1～3lux〕，月光型〔照度0.1lux〕星光型〔照度0.01lux〕，红外型〔红外照明，天光线〕③按CCD灵敏度尺寸分为1/4inch，1/3inch，1/2inch，1inch相机。④按扫描方式：有面扫描和线扫描方式，面扫描又分为逐行扫描和隔行扫描。⑤按同步方式：内扫描〔普通相机〕，外同步功能相机。CCD相机主要功能调节同步方式选择：内同步〔利用内置的同步信号发生器产生同步信号〕；外同步〔外触发信号〕；电源同步〔利用电源完成垂直同步〕；自动增益控制：CCD信号的视频放大器，对不同照度而随之改变增益，可使相机在较大的光照范围内进行工作。背光补偿：自动补偿〔AGC〕以整个视场平均值来确定〔亮背景，暗前景〕启动背光补偿，那么AGC只对前景视场求平均确定增益。电子快门：CCD仅输出快门开启时的光电荷信号，其余时间那么被泄放。最短电子快门为1/1000S。校正：＝V〔机器视觉＝1〕光〔L〕→CCD→电〔V〕→显示器→光。要保持二次转换中的综合特性具有线性。自平衡〔仅用于彩色相机〕：对景物图像进行色温补偿，分为自动调节和手动调节两种。CCD相机接口：光学接口信号接口：RS422：双绞线，相机具有110终端负载。CameraLink：控制信号、视频信号、串行通讯。LVDS〔低振幅差分信号〕：低电压和低电压驱动实现了低噪声和低功耗。IEEE1394：串行接口〔Firewire〕→400Mbps，不需要集线器就可以连接63台设备，连接电脑可省去图像采集卡。2.4彩色数码相机图像→镜头→CCD→A/D→数字信息存储数码相机的最大特点是它的一系列的二进制数据和标准的图像存储方式把所摄图像存放在机内存储器，并可以通过专用接口与通用计算机联机，实现图像传输和计算机处理的功能。分辨率高达30602036。主要性能：分辨率：常有16001200，1024768，640780。色彩深度：专业的到达36位或24位。焦距：可高达10倍光学变焦，数码变焦。光圈快门：快门1/500～16S广角光圈f2.5～f16；长焦光圈f3.8～f24。图像存储：内置存储卡JPG格式120K。取景器“观看拍摄效果和编辑修改〔液晶〕。接口功能：RS232、SCS1、USB。1394接口。其他接口：自动测光、自动调焦、自动闪光、自拍。2.5常用的图像文件格式BMPGIFTIFF(TIF)JPEG(JPG)〔依据数字图像处理内容简单扩展〕2.6照明系统设计照明系统设计的根本因素：镜头的视场：被测物尺寸→镜头视场→最正确照明〔照亮整个视场〕照明系统与工作间距：镜头到工作距离→照明系统到工作间距→光源到工作距离工件的外形，条纹及颜色：工作外表形状、平坦度、粗糙度、颜色成像物镜自配：针对确定的成像物镜进行光源设计→划痕、缺陷、印纹等能被清晰显现。照度自配：根据CCD的光外表动态响应范围确定适宜的像外表度。照明系统的选择：直接型：沐光方式高环形光反射型低角度方式低环形光漫反射条形方式条形光源聚光方式聚光高亮方式〔激光〕投射型：高亮投射照明导光面〔光板〕投射照明线条光源投射照明同轴光照明：与光轴平行的平行光均匀照明工件。不同频率光线照明〔多彩〕第三章二值图像分析一幅数字图像是一个二维阵列，阵列元素值称为灰度值或强度值．实际上，图像在量化成数字图像前是一个连续强度函数的集合，场景信息就包含在这些强度值中．图像强度通常被量化成256个不同灰度级，对某些应用来说，也常有32、64、128或512个灰度级的情况，在医疗领域里甚至使用高达4096(12bits〕个灰度级．很明显，灰度级越高，图像质量越好，但所需的内存也越大．在机器视觉研究的早期，由于内存和计算能力非常有限，而且十分昂贵，因此视觉研究人员把精力主要集中在研究输入图像仅包含两个灰度值的二值视觉系统上．人们注意到，人类视觉在理解仅由两个灰度级组成的线条、轮廓影像或其它图像时没有任何困难，而且应用场合很多，这一点对研究二值视觉系统的研究人员是一个极大的鼓舞．随着计算机计算能力的不断增强和计算本钱的不断下降，人们普遍开始研究基于灰度图像、彩色图像和深度图像的视觉系统．尽管如此，二值视觉系统还是十分有用的，其原因如下：=1\*GB2⑴计算二值图像特性的算法非常简单，容易理解和实现，并且计算速度很快．=2\*GB2⑵二值视觉所需的内存小，对计算设备要求低．工作在256个灰度级的视觉系统所需内存是工作在相同大小二值图像视觉系统所需内存的八倍．如假设利用游程长度编码等技术〔见3．4节〕还可使所需内存进一步减少．由于二值图像中的许多运算是逻辑运算而不是算术运算，所以所需的处理时间很短．〔3〕许多二值视觉系统技术也可以用于灰度图像视觉系统上．在灰度或彩色图像中，表示一个目标或物体的一种简易方法就是使用物体模板(mask)，物体模板就是一幅二值图像，其中1表示目标上的点，0表示其它点．在物体从背景中别离出来后，为了进行决策，还需要求取物体的几何和拓扑特性，这些特性可以从它的二值图像计算出来．因此，尽管我们是在二值图像上讨论这些方法，但它们的应用并不限于二值图像．一般来说，当物体轮廓足以用来识别物体且周围环境可以适当地控制时，二值视觉系统是非常有用的．当使用特殊的照明技术和背景并且场景中只有少数物体时，物体可以很容易地从背景中别离出来，并可得到较好的轮廓，比方，许多工业场合都属于这种情况．二值视觉系统的输入一般是灰度图像，通常使用阈值法首先将图像变成二值图像，以便把物体从背景中别离出来，其中的阈值取决于照明条件和物体的反射特性．二值图像可用来计算特定任务中物体的几何和拓扑特性，在许多应用中，这种特性对识别物体来说是足够的．二值视觉系统已经在光学字符识别、染色体分析和工业零件的识别中得到了广泛应用．在下面的讨论中，假定二值图像大小为，其中物体像素值为1，背景像素值为0．3．1 阈值视觉系统中的一个重要问题是从图像中识别代表物体的区域〔或子图像〕，这种对人来说是件非常容易的事，对计算机来说却是令人吃惊的困难．为了将物体区域同图像其它区域别离出来，需要首先对图像进行分割．把图像划分成区域的过程称为分割，即把图像划分成区域，使得每一个区域对应一个候选的物体．下面给出分割的严格定义．定义分割是把像素聚合成区域的过程，使得：整幅图像(是一个完备分割)．，(是一个完备分割)．每个区域满足一个谓词，即区域内的所有点有某种共同的性质．不同区域的图像，不满足这一谓词．正如上面所说明的，分割满足一个谓词，这一谓词可能是简单的，如分割灰度图像时用的均匀灰度分布、相同纹理等谓词，但在大多数应用场合，谓词十分复杂．在图像理解过程中，分割是一个非常重要的步骤．二值图像可以通过适当地分割灰度图像得到．如果物体的灰度值落在某一区间内，并且背景的灰度值在这一区间之外，那么可以通过阈值运算得到物体的二值图像，即把区间内的点置成1，区间外的点置成0．对于二值视觉，分割和阈值化是同义的．阈值化可以通过软件来实现，也可以通过硬件直接完成．通过阈值运算是否可以有效地进行图像分割，取决于物体和背景之间是否有足够的比照度．设一幅灰度图像中物体的灰度分布在区间内，经过阈值运算后的图像为二值图像，即：(3．1)如果物体灰度值分布在几个不相邻区间内时，阈值化方案可表示为：(3．2)其中Z是组成物体各局部灰度值的集合．图3．1是对一幅灰度图像使用不同阈值得到的二值图像输出结果．阈值算法与应用领域密切相关．事实上，某一阈值运算常常是为某一应用专门设计的，在其它应用领域可能无法工作．阈值选择常常是基于在某一应用领域获取的先验知识，因此在某些场合下，前几轮运算通常采用交互式方式来分析图像，以便确定适宜的阈值．但是，在机器视觉系统中，由于视觉系统的自主性能〔autonomy〕要求，必须进行自动阈值选择．现在已经研究出许多利用图像灰度分布和有关的物体知识来自动选择适当阈值的技术．其中的一些方法将在3．2节介绍．图3．1一幅灰度图像和使用不同阈值得到的二值图像结果．上左：原始灰度图像，上右：阈值T=100；左下：T=128．右下：T1=100|T2=128．3．2几何特性通过阈值化方法从图像中检测出物体后，下一步就要对物体进行识别和定位．在大多数工业应用中，摄像机的位置和环境是的，因此通过简单的几何知识就可以从物体的二维图像确定出物体的三维位置．在大多数应用中，物体的数量不是很多，如果物体的尺寸和形状完全不同，那么可以利用尺度和形状特征来识别这些物体．实际上在许多工业应用中，经常使用区域的一些简单特征，如大小、位置和方向，来确定物体的位置并识别它们．3．2．1尺寸和位置一幅二值图像区域的面积〔或零阶矩〕由下式给出：〔3．3〕在许多应用中，物体的位置起着十分重要的作用．工业应用中，物体通常出现在外表〔如工作台面〕上，而且摄像机相对台面的位置也是的．在这种情况下，图像中的物体位置决定了它的空间位置．确定物体位置的方法有许多，比方用物体的外接矩形、物体矩心〔区域中心〕等来表示物体的位置．区域中心是通过对图像进行“全局”运算得到的一个点，因此它对图像中的噪声相对来说是不敏感的．对于二值图像，物体的中心位置与物体的质心相同，因此可以使用下式求物体的中心位置：(3．4)其中和是区域相对于左上角图像的中心坐标．物体的位置为：(3．5)这些是一阶矩．注意，由于约定y轴向上，因此方程3．4和3．5的第二个式子的等号右边加了负号．3．2．2方向计算物体的方向比计算它的位置稍微复杂一点．某些形状〔如圆〕的方向不是唯一的，为了定义唯一的方向，一般假定物体是长形的，其长轴方向被定义为物体的方向．通常，二维平面上与最小惯量轴同方向的最小二阶矩轴被定为长轴．图像中物体的二阶矩轴是这样一条线，物体上的全部点到该线的距离平方和最小．给出一幅二值图像，计算物体点到直线的最小二乘方拟合，使所有物体点到直线的距离平方和最小： (3．6)其中是物体点到直线的距离．为了防止直线处于近似垂直时所出现的数值病态问题，人们一般把直线表示成极坐标形式：(3．7)如图3．2所示，是直线的法线与x轴的夹角，是直线到原点的距离．把点坐标代入直线的极坐标方程得出距离：(3．8)图3．2直线的极坐标表示将方程3．8代入方程3．6并求极小化问题，可以确定参数和：(3．9)令对的导数等于零求解得：(3．10)它说明回归直线通过物体中心．用这一值代入上面的，那么极小化问题变为：(3．11)其中的参数：(3．12)是二阶矩．表达式可重写为：(3．13)对微分，并置微分结果为零，求解值：(3．14)因此，惯性轴的方向由下式给出：(3．15)所以由的最小值可以确定方向轴．注意，如果，那么物体就不会只有唯一的方向轴．物体的伸长率是的最大值与最小值之比：(3．16)3．2．3密集度和体态比区域的密集度〔compact〕可用下面的式子来度量：(3．17)其中，和A分别为图形的周长和面积．根据这一衡量标准，圆是最密集的图形，其密集密度为最大值，其它一些图形的比值要小一些．让我们来看一下圆，当圆后仰时，形状成了一椭圆，面积减小了而周长却不象面积减小的那么快，因此密集度降低了．在后仰到极限角时，椭圆被压缩成了一条无限长直线，椭圆的周长为无穷大，故密集度变成了零．对于数字图像，是指物体尺寸〔像素点数量〕除以边界长度的平方．这是一种很好的散布性或密集性度量方法．这一比值在许多应用中被用作为区域的一个特征．密集度的另一层意义是：在给定周长的条件下，密集度越高，围成的面积就越大．注意在等周长的情况下，正方形密集度大于长方形密集度．体态比定义为区域的最小外接矩形的长与宽之比，正方形和圆的体态比等于1，细长形物体的体态比大于1．图3.3所示的是几种形状的外接矩形．图3.3几种外接矩形示意图3．3投影给定一条直线，用垂直该直线的一簇等间距直线将一幅二值图像分割成假设干条，每一条内像素值为1的像素个数为该条二值图像在给定直线上的投影〔projection〕．当给定直线为水平或垂直直线时，计算二值图像每一列或每一行上像素值为1的像素数量，就得到了二值图像的水平和垂直投影，如图3．4所示．由于投影包含了图像的许多信息，所以投影是二值图像的一种简洁表示方式．显然，投影不是唯一的，同样的投影可能对应不同的图像．图3．4一幅二值图像及其水平投影图在某些应用中，投影可以作为物体识别的一个特征．投影既是一种简洁的图像表示，又可以实现快速算法．下面介绍对角线投影的求解方法．对角线投影的关键是计算当前行和列对应的投影分布图位置标号．设行和列的标号分别用和表示．假设图像矩阵为行列，那么和的范围分别为0到和0到．假设对角线的标号用行和列的仿射变换〔线性组合加上常数〕计算，即：(3．18)对角线投影共对应个条，其中仿射变换把右上角像素映射成对角线投影的第一个位置，把左下角像素映射成最后一个位置，如图3.5所示，那么当前行列对应的标号d的公式为：(3．19)图3．5二值图像及其对角线上的投影图3．4游程长度编码游程长度编码(run-lengthencoding)是另一种二值图像的简洁表示方法，它是用图像像素值连续为1的个数〔像素1的长度〕来描述图像．这种编码已被用于图像传输．另外，图像的某些性质，如物体区域面积，也可以从游程长度编码直接计算出来．在游程长度编码中经常运用两种方法，一种是使用1的起始位置和1的游程长度，另一种是仅仅使用游程长度，但须从1的游程长度开始描述，如图3.6所示．0110011100001111110100011111101111111111111110000010000011111的游程〔2,2〕〔6,3〕〔13,6〕〔20,1〕〔4,6〕〔11,10〕〔1,5〕〔11，1〕〔17，4〕1和0的游程长度：0，2，2，3，4，6，1，10，3，6，1，105，5，1，5，4图3．6一幅简单二值图像的游程长度编码．如果用第二种方法来表示图像每行的游程长度，并用代表图像第行的第个游程长度，那么全部1的游程长度之和就是所求物体的面积．(3．20)其中是第行游程个数，取整，表示1的游程个数．由游程长度编码能很容易地计算水平投影而无需变成原来的图像．使用更巧妙的方法也能从游程长度编码计算出垂直和对角线投影．3．5二值图像算法从背景中别离出物体是一个困难的问题，在此将不讨论这个问题．这里假设物体可以从背景中别离，并且使用某一谓词，可以对图像中属于物体的点进行标记．因此，问题就变为如何将一幅图像中所有被标记的点组合成物体图像．这里还假设物体点在空间上是非常接近的．利用空间接近概念可以严格定义，利用此定义研究的算法可以把空间上非常接近的点聚合在一起，构成图像的一个成分〔component〕．下面首先引进一些定义，然后讨论有关算法．3．5．1定义(1)近邻在数字图像中，一个像素在空间上可能非常接近其它一些像素．在用方格表示的数字图像中，一个像素与其它四个像素有公共边界，并与另外四个像素共享顶角．如果两个像素有公共边界，那么把它们称为4－近邻(4-neighbors)．同样，如果两个像素至少共享一个顶角，那么称它们为8－近邻．例如，位于的像素有四个4－近邻：，，，．它的8－近邻包括这四个4－近邻，再加上，，，．一个像素被认为与它的4－近邻是4－连通(4－connected)关系，与它的8－近邻是8－连通关系(如图3．7〕．图3．7矩形像素网格的4－近邻和8－近邻示意图．像素位于图的中心．(2)路径从像素到像素的路径(path)是指一个像素序列，，．．．，，其中像素是像素的近邻像素，．如果近邻关系是4－连通的，那么路径是4－路径；如果是8－连通的，那么称为8－路径．图3．8即为路径的两个简单例子．图3．84－路径和8—路径示意图(3)前景图像中值为1的全部像素的集合称为前景(foreground)，用S表示．(4)连通性像素，如果存在一条从p到q的路径，且路径上的全部像素都包含在S中，那么称p与q是连通的．注意，连通性(connectivity)是等价关系．对属于S的任意三个像素p、q和r，有以下性质：像素p与p本身连通〔自反性〕．如果p与q连通，那么q与p连通〔互换性〕．如果p与q连通且q与r连通，那么p与r连通〔传递性〕．(5)连通成份一个像素集合，如果集合内的每一个像素与集合内其它像素连通，那么称该集合为一个连通成份(connectedcomponent)．(6)背景S〔S的补集〕中包含图像边界点的所有连通成份的集合称为背景(background)．S中所有其它元称为洞．考虑下面的两个图像．首先看左图中有几个洞和几个物体．如果从前景和背景来考虑4－连通，有四个大小为－个像素的物体和一个洞．如果考虑8－连通，那么有一个物体而没有洞．直观地，在这两种情况下出现了不确定性情况．右图为另一个类似的不确定问题．其中如果1是连通的，那么0就应该是不连通的．为了防止这种难以处理的情况，对物体和背景应使用不同的连通．如果我们对S使用8－连通，那么对S就应使用4－连通．(7)边界S的边界(boundary)是S中与S中有4－连通关系的像素集合．边界通常记为．(8)内部内部(interior)是中不属于它的边界的像素集合．的内部等于－．(9)包围如果从S中任意一点到图像边界的4－路径必须与区域T相交，那么区域T包围(surrounds)区域S〔或S在T内〕．图3．9即为一幅简单二值图像和它的边界、内部、包围示意图．图3．9一幅二值图像与它的边界，内部和包围3．5．2连通成份标记在一幅图像中找出连通成份是机器视觉中最常见的运算之一．连通区域内的点构成表示物体的候选区域．机器视觉中的大多数物体都有外表，显然，物体外表点投影到图像平面上会形成空间上密集的点集．这里应该指出，连通成份算法常常会在二值视觉系统中形成瓶颈效应，原因是连通成份运算是一个全局性的运算，这种算法在本质上是序贯的．如果图像中仅有一个物体，那么找连通成份就没有必要；如果图像中有许多物体，且需要求出物体的特性与位置，那么必须确定连通成份．连通标记算法可以找到图像中的所有连通成份，并对同一连通成份中的所有点分配同一标记．图3．10表示的是一幅图像和已标记的连通成份．在很多应用中，要求在标记连通成份的同时算出连通成份的特征，如尺寸、位置、方向和外接矩形．下面介绍两种连通成份标记算法：递归算法和序贯算法[Jain1995]．图3.10一副图像及其连通成分图像〔１〕递归算法递归算法在串行处理器上的计算效率是很低的，因此，这一算法主要用于并行机上．算法3．1连通成份递归算法1．扫描图像，找到没有标记的1点，给它分配一个新的标记L．3．递归分配标记L给1点的邻点．3．如果不存在没标记的点，那么停止．4．返回第一步．〔２〕序贯算法序贯算法通常要求对图像进行二次处理．由于这一算法一次仅运算图像的两行，因此当图像以文件形式存贮且空间不允许把整幅图像载入内存时也能使用这一算法．这一算法(见算法3．2)可以查看某一点的邻点，并且可以给像素值为1的邻点分配一个已经使用过的标记．如果图像的邻点有两种不同的标记，那么用一个等价表(equivalenttable)来记录所有的等价标记．在第二次处理过程中，使用这一等价表来给某一连通成份中所有像素点分配唯一的标记．本算法在从左到右、从上到下扫描图像时，算法仅能查询到某一像素点的4－近邻中的两个近邻点，即上点与左点．设算法已经查到了该像素的这两个近邻点，此时出现三种情况：(1)如果这两个近邻点中没有一点为1，那么该像素点需要一个新的标记．(2)如果这两个近邻点中只有一点为1，且分配了标记L，那么该像素点的标记也为L．(3)如果这两个邻点都为1，且已分配了标记L，那么该像素点的标记还是L；但是当近邻点被分配了不同标记M与N，那么这两个标记被用于了同一组元，应该把它们合并．在这种情况下，应把其中的一个标记〔一般选用最小的那个标记〕分配给该像素点，并在等价表中登记为等价标记．等价表包含了给每一连通成份分配唯一标记的信息．在第一次扫描中，所有属于同一连通成份的标记被视为是等价的．在第二次扫描中，从一个等价集(equivalentset)中选择一个标记并分配给连通成份中所有像素点．通常将最小的标记分配给一个连通成份．第二次扫描将给每一连通成份分配唯一的标记．在找到所有的连通成份后，应该统计等价表，以便删除其中的空格；然后将等价表作为查找表对图像重新进行扫描，以便重新统计图像中的标记．计算每一连通成份的面积、一阶矩、二阶矩是序贯连通成份算法的一个局部．当然，必须使用别离变量来累加每一区域的矩信息．当区域合并后，每一区域的矩累计值也应加到一起．算法3．24－连通序贯连通成份算法1．从左至右、从上到下扫描图像．2．如果像素点为1，那么：(a)如果上面点和左面点有一个标记，那么复制这一标记．(b)如果两点有相同的标记，复制这一标记．(c)如果两点有不同的标记，那么复制上点的标记且将两个标记输入等价表中作为等价标记．(d)否那么给这一个像素点分配一新的标记并将这一标记输入等价表．3．如果需考虑更多的点，那么回到第二步．4．在等价表的每一等价集中找到最低的标记．5．扫描图像，用等价表中的最低标记取代每一标记．3．5．3欧拉数在许多应用中，亏格数(genus)或欧拉数可作为识别物体的特征．亏格数定义为连通成份数减去空洞数，(3．21)其中，，和分别是欧拉数、连通成份数与空洞数．这个式子给出了一个简单的拓朴特征，这种拓扑特征具有平稳、旋转和比例不变特性．图3．11给出了一些例子及其对应的欧拉数．图3．11字母“A”、“B”、“”及它们的欧拉数．注意前景用了8－连通，而背景用了4－连通．3．5．4区域边界连通成份S的边界是那些属于S且与S邻接的点集．使用简单的局部运算就可找到边界点．在大多数应用中，我们都想用一特定的顺序跟踪边界点．一般的算法是按顺时针方向跟踪区域的所有点．此处讨论一个简单的边界跟踪算法．假定物体边界不在图像的边界上〔即物体完全在图像内部〕，边界跟踪算法先选择一起始点，然后跟踪边界直到回到起始点．这种算法概括在算法3．3中．这种算法对尺寸大于1个象素的所有区域都是有效的．用这种算法求区域8－邻点的边界如图3．12(a)所示．为了得到平滑的图像边界，可以在检测和跟踪图像边界后，利用边界点的方向信息来平滑边界。显然，图像边界噪声越大，图像边界点变化越剧烈，图像边界相邻点的方向变化数〔与差分链码有一点区别，链码见第七章〕也越大．根据这一特点，设置一个边界点方向变化数阈值，把方向变化数大于这一阈值的图像边界点滤除，由此可得到平滑的图像边界。图3.12〔b〕所示的是一个经过平滑过的区域边界示意图，其中的方向变化数阈值为1。注意，由于采用8－邻点边界跟踪，因此方向变化数的最大值为4。如果阈值设成4，那么对原始边界没有平滑。边界跟踪和平滑常常结合在一起使用，见计算机作业3.5。图3．12边界跟踪算法结果，(a)图像边界跟踪结果；〔b〕边界跟踪与平滑结果．算法3．3边界跟踪算法=1\*GB3①从左到右、从上到下扫描图像，求区域S的起始点.=2\*GB3②用c表示当前边界上被跟踪的像素点．置，记c左4－邻点为b，．=3\*GB3③按逆时针方向从b开始将c的8个8－邻点分别记为，,=4\*GB3④从b开始，沿逆时针方向找到第一个，=5\*GB3⑤置，，=6\*GB3⑥重复步骤=3\*GB3③、=4\*GB3④、=5\*GB3⑤，直到。3．5．5距离测量在许多应用中，找到一幅图像中两个像素点或两个连通成份之间的距离是很有必要的．目前还没有定义数字图像距离的唯一方法，但对所有的像素点p、q和r，任何距离度量都必须满足以下性质：1．，当且仅当时，2．3．下面是一些常用的距离函数欧几里德距离：(3．22)街区距离：(3．23)棋盘距离：(3．24)3．5．6中轴如果对中像素的所有邻点有下式成立：(3．25)那么中像素到的距离是局部最大值．中所有到的距离是局部最大值的像素点集合称为对称轴或中轴，通常记为．使用4－近邻的中轴变换的一些例子见图3．13．图3．13b说明少量噪声会使中轴变换结果产生显著的差异．由和中每一点到的距离能重构原始像素集．是的简洁表示．可用来表示一个区域的形状．通过去除中与距离较小的像素点，可以生成一个简化的集．中轴可作为物体的一种简洁表示．但是，二值图像中的区域也可用其边界来表示．边界跟踪算法可用来获得表示边界的序列点．在第七章还将讨论用链码来简洁地表示边界的方法．对任意物体，边界将是区域的简洁表示．但要明确给定像素点是否在某一区域内，中轴那么是更好的表示，因为使用中轴上的像素点和每一个给定像素点的最大距离圆盘〔中轴距离变换〕，可以很容易地检测出给定像素是否在中轴定义的区域中．图3．13中轴变换举例3．5．7细化细化(thinning)是一种图像处理运算，可以把二值图像区域缩成线条，以逼近区域的中心线，也称之为骨架或核线．细化的目的是减少图像成份，直到只留下区域的最根本信息，以便进一步分析和识别．虽然细化可以用在包含任何区域形状的二值图像，但它主要对细长形(而不是凸圆形或水滴状)区域有效．细化一般用于文本分析预处理阶段，以便将文本图像中线条图画或字符笔画表示成单像素线条．细化要求如下：连通图像区域必须细化成连通线结构．细化结果最少应该是8－连通〔下面将要解释〕．保存近似终止线的位置．细化结果应该近似于中轴线．由细化引起的附加突刺(短分支)应该是最小的．细化结果应该保证第一条要求中所定义的连通性，这一点是最根本的要求，它保证了连通线结构的数量等于原始图像中连通区域的数量．第二条要求保证所得到的线条总是含有8－连通图像的最小数量．第三条要求说明终止线位置应该保持不变．细化可以通过迭代方式不断去除边界点来实现，重要的是在迭代过程中不要去除端点像素，因为这样不仅会缩短细化线，丢掉结构信息，而且不能保持其位置不变．第四条要求说明所得线段应能最好地逼近原始区域的中线，如两个像素点宽的竖线或水平线的真正中线应该位于这两个像素之间半个像素间距的位置．在数字图像中表示半个像素间距是不可能的，因此得到的结果是一条位于原直线一侧的直线．第五条要求没有明确指出噪声的影响控制到最低程度，因为判断噪声本身是一件很难的事．一般不希望原始区域含有会引起突刺的隆起，但当某些较大隆起是区域特征时，却必须识别它们．应该指出，某些细化算法有去除突刺的参数，不过最好将细化和去除噪声分开进行，这是由于某些情况下不需要的突刺，可能是另一些情况下所需要的短线．因此，最好的方法是先进行细化，然后单独去除长度低于某一特定最小值的任何突刺．一种常用的细化手段是在至少邻域内检查图像的每一点，剥去区域边界．一次剥去一层图像，直至区域被细化成一条线．这一过程是用迭代法实现的，如算法３．4．在每次迭代时，每一个像素点用窗函数检查，为了保持连通性或线末端位置，将单像素厚的边界擦除．在图3．14中将会看到，在每次迭代中，值为1的外层区域就是用这种方式削掉的．当迭代结果没有变化时，迭代过程结束，图像得到细化算法３．４４－近邻细化迭代算法对于每一个像素，如果没有上近邻〔下近邻＼左近邻＼右近邻〕不是孤立点或终止线去除该像素点不会断开区域那么去除该像素点．重复这一步骤直到没有像素点可以去除．图3．14细化手写体“华”的迭代过程．(a)原图像，(b)—(f)为五次迭代过程，每次迭代削去一层边界．3．5．8扩展与收缩图像中的一个连通成份可以进行全方位的扩展(expanding)或收缩(shrinking)．如果某一连通成份可以变化，使得一些背景像素点变成1，这一运算就称为扩展．如果物体像素点全方位地消减或变为0时，那么称为收缩．一种简单的扩展与收缩实现方法如下：扩展：如果近邻点是1，那么将该点从0变为1．收缩：如果近邻点是0，那么将该点从1变为0．这样，收缩可以看作是扩展背景．这类运算的例子见图3．15．需要指出，扩展与收缩这样简单的运算可以完成非常有用而又貌似很复杂的运算．下面引进符号：S扩展倍．：S收缩倍．其中以下性质必须满足：先扩展后收缩算法能补上不希望存在的洞，如图3.15〔b〕〔d〕所示；先收缩后扩展算法那么能去除孤立的噪声点，见图3．15〔c〕〔e〕．请注意，扩展与收缩可用来确定孤立组元或簇．注意，扩展后收缩有效地填满了空洞却没有去除噪声；相反，收缩后扩展能去除噪声却没有填满空洞．在地形图像处理和膨胀与腐蚀运算中，扩展与收缩算法的一般形式被广泛地用于许多任务中．图3．15对字母“h”收缩与扩展算法实验结果．〔a〕原始噪声图像；(b)扩展运算；〔c〕收缩运算；〔d〕扩展后收缩运算；〔e〕收缩后扩展运算．第4章光学图样的测量3.1全息技术使用相干光记录和再现的，通过二布操作完成的成像技术记录激光→→曝光干板二光源有光程差x角相位差延迟ɑ在平板上产生了沿y方向延伸的等间距的平行干预条纹条纹x方向周期2/2，比照度0〔x，y〕，条纹横向位移〔x，y〕来自物体的光以干预条纹的形式被记录下来振幅为条纹的比照度；相位为条纹的横向间距；再现再现全息图时，参考光要和记录时的条线相同，这时平板相当于具有正弦透过率的衍射光栅。再现光通过光栅后沿三个方向出射，形成0级，＋1级，－1级衍射光，由于干预条纹受到原来物光复振幅的调制。这时由衍射光形成再现象。全息光的特征全息技术三个必备条件物光与参考光必须是相干光全息图为极细微的光强分布，需高分辨率记录介质曝光时间内，物体阿和光学系统必须是静止的特点1．不借助透镜，可进行像的记录和再现。2．像中保存着光波的相位信息。3．可得到三维图像。4．物光为漫反射，局部全息缺陷，不影响图像质量5．全息图可高密度的存储信息。6．可对再现图像进行各种处理缺点7．成像面局限于被激光照明的范围。8．物体阴影会对成像产生影响。9．不适用于运动的物体10．受相干照明散斑噪声的影响〔外表粗糙〕④全息干预法：全息只在玻璃和金属研磨面上，而全息干预可以进行一般物体的测量。二次曝光法：使物光和参考光相干，在全息板上做记录，稍微移动一下物体，再进行第二次曝光，那么二次的虚像可同时再现。前后二次的光波形成干预条纹在物体的像上，对应于1/2波可形成一条干预条纹→得到对应于位移分布的等高线。频阀二次曝光法→测量震动的物体双重脉冲二次曝光法→测量运动的物体〔大功率激光器二次照明〕利用计算机全息图的干预：在物体形状的情况下，用计算机计算其衍射光的复振幅，绘到成全息图。用计算机制作的标准光波面与被检物体产生的光波面相干预，就能精确的测量被检物体的形状。3.2散斑测量技术激光投射到使光散射的粗糙面的物体上，就呈现普通光见不到的斑点状的图样，每个斑点称为散斑〔Speckle〕产生原因：各点上的散射光具有外表微观凹凸相对应于的不规那么相位关系，它的相互干预叠加而形成的散斑的微细程度取决于照射外表光点的形状和大小。性质：1.在散射面的被照明范围内，其微观结构的统计性质相同。2.散斑的明暗依赖于散射面上宏观的强度分布，大小与散射面和观察面间的距离成正比。电子散斑干预测量〔ESPI〕物光＝exp〔i〕参考光＝exp〔i〕合成像＝++2cos(-)物体移位后参考光无变化，物光相位△，那么＝exp〔i＋△〕这时成像=++2cos(-+△)当△＝2n时，散斑干预图不发生变化。当△＝〔2n＋1〕，变形前后合成光强度变化最大。这样物外表分布着与△有关的条纹，这种条纹反映出两次散斑干预光强之间的相干性，称为相关条纹。应用：测量变形，位移，震动，运动〔转速，速度，运动轨迹〕，外表粗糙度，透镜检查，视力检查。3.3莫尔条纹测量技术莫尔是指将直线组成曲线组相重叠产生另外一种条纹图样的现象。设pq为参变量，那么光栅间距为a和b的两个直线组，取直角坐标x,y时一组直线光栅x＝bp与之成角的另一组光栅为y＝xctg－〔agsin〕联立上列二式求交，那么有Y＝xctg－〔Nd/Sin〕这里d＝ab/Sin=bSin/这样间隔为d的莫尔条纹会出现在图中的角方向上“和”型、“积”型莫尔条纹两个正弦形光栅〔1＋Cos2x〕〔1+2Cos2x〕“和”型为〔1＋Cos2x〕＋〔1+2Cos2x〕＝1＋Cos(+)xCos(+)x“积”型为〔1＋Cos2x〕×〔1+2Cos2x〕＝xx＝总之，在产生的莫尔条纹中，总要出现两个给定的频率成分具有较高的频率成分，形成精细的结构。具有较低频率成分，形成缓慢变化的强度分布。莫尔条纹的形成光栅与光栅直接重叠〔夹缝内取出一条莫尔条纹〕光栅与光栅像重叠〔测量试中外表畸变〕光栅像与光栅像相重叠。光栅拓扑结特点不需要激光，利用非相干光的测量，容易使用。可对粗糙外表进行测量。可使三位物体的形状图形化。较全息和散斑是灵敏度，能实现位移和震动测量的图样化。可进行运动物体三维形状的图形测量。3.4微图像测量技术1．显微镜2．微小缺陷测量。〔A〕利用微小凹凸产生的散射光4.1区域和边缘区域:相互连结的具有相似特性的一组像素边缘：区域边界上的像素把所有对应于一个物体的像素组合到一起,并进行标记.基于区域的分割基于边缘检测的分割图像分割最简形式:把灰度图转换成二值图图像中的物体、背景各具有一灰度值,灰度分布曲线是由正态分布函数叠加而成．图像直方图将会出现别离的峰值,阈值选波谷最正确.(2)迭代式阈值选择迭代式阈值选择算法1.选一初始阈值，如:灰度均值2.利用阈值把图像分割成两组，R1和R23.计算区域R1和R2的均值v1、v24.选择新的阈值T=(v1+v2)/25.重复2－4步，直到v1和v2的均值不变为止阈值的改良策略是这一方法的关键(3)自适应阈值化方法场景照明不均匀时，一个阈值？把图像分成N×N个子图像，求出子图像的阈值。所有子图像分割的逻辑归并。〔5〕双阈值方法＃数与物体的某些灰度值.＃还有些灰度值可能属于物体,可能属于背景.1)选择两个阈值T1和T2．2)把图像分割成三个区域,R1包含所有灰度值低于T1的像素；R2包含所有灰度值位于T1和T2之间的像素；R3包含所有灰度值高于T2的像素．3)查看分配给区域R2中的每一个像素．如果某一像素邻接区域R1，把这一像素重新分配给R1．4)重复步骤3)直到没有像素被重新分配．5)把区域R2剩下的所有像素重新分配给R3．R1是区域核,R2是边缘区,R3是背景〔5〕直方图方法的局限性 ＃恒定灰度值＃没有利用图像强度的空间信息例如，用直方图无法区分黑白棋格图像具有不同灰度空间分布的图像可能具有类似的直方图．用直方图无法区分随机分布的黑白点图像、黑白棋格图像和黑白各半的图像．直方图的全局特性限制了其在复杂图像中的应用．直方图完全没有考虑由于物体外表的连续性,而使得物体图像点常常在空间上非常密集这一特点．线性变换：图像像素灰度值分布在[a,b]区间第5章干预条纹图像处理光测条纹图像处理的目的是精确地、自动地提取条纹图的相位场分布，从而得出待测的物理量分布。随机噪声：由电子、热、光敏不均，光栅或物体不清造成条纹图噪声。系统噪声：背景光强的变化和条纹幅值的变化使图像质量退化〔比照度弱，背景太强、太弱，变化太大〕。4.1干预条纹图数学形成与特征各种干预条纹图的光强分布可用数学形式表达为：I〔x,y〕=IO(x,y)+I1(x,y)cos(x,y)+In(x,y)其中，IO(x,y)为背景光强，I1(x,y)为条纹幅值(x,y)为相位场In(x,y)为可加性随机噪声△条纹图分布特征：①I〔x,y〕是唯一可测的量，即量，(x,y)为有待测量求解的物理量②条纹图是对相位场(x,y)的余弦调制结果，表现为条纹分布。③IO(x,y)为变化的背景光强场，它主要取决于环境光场及被测物体的外表光学特征④I1(x,y)是变化的条纹幅值，也称条纹比照度。主要取决于光源、环境等条件。⑤条纹间距、条纹密度或条纹的空间频率表示相位场的变化梯度，变化梯度越大，条纹越密。同时决定灰度分布的变化梯度。⑥条纹方位分布表示了相位变化的梯度方向在条纹的切线方向,即在切线上，相位场与灰度变化大约为零所以条纹等值线对应于相位等值线在条纹的法线方向n上：p为某行求导方向所以在法线上，相位场与灰度梯度变化最大⑦由于cos的周期性，只能测量出相位场的二阶主值⑧假设只考虑cos的周期性的影响，条纹的中心线点的相位为n阶⑨由于余弦的偶函数性cos=cos(-),假设没有其它光验信息，那么无法从图像灰度信息中确定相位的符号⑩相位场的物理意义取决于所用的实验技术。即是那种实验干预条纹图〔距离、位移、振幅、变形等〕4.2图像预处理方法①均值滤波滤波：②带有阀值的均值滤波③高斯滤波④中值滤波增强①线形增强②去极值的线形增强③直方图均衡化增强4.3条纹倍增法〔数字条纹倍增法〕①双幅图条纹倍增法在条纹等差线中，有明场和暗场等差线之分，互为相反暗场I0=Id明场Il=Il这里IdIl作如下运算可得：IR(x,y)=相位实现了倍增，即条纹数增加了一倍②任意相移双图条纹倍增法一幅条纹图I(x,y)=使其相位场平移:两幅图作如下运算：其中，，为常量，用来保持条纹倍增后的图象范围在[0，255]中③单幅图条纹两倍倍增法假设将一幅条纹图背景和条纹振幅在全场常数化，这时体噢阿文图表示为：I(x,y)=I0+I1cos(x,y)做简单运算Ⅱ就实现了条纹的二倍倍增④单幅图条纹三倍倍增法对上述正那么化条纹图〔背景和条纹幅值，全场常数化〕利用下面的三角公式：作变换：Ⅲ就实现了三倍倍增〔附图〕4.4条纹图的旋滤波算法普通滤波不能将条纹与噪声信号清楚地分开，在滤掉噪声的同时使条纹模，使条纹特征畸变。旋滤波思想：找出条纹的切线方向，只在切线方向上对条纹图进行低通滤波。〔找出条纹灰度的等值线，在灰度等值线上作低通滤波〕这样既滤掉噪声，又不对条纹产生模糊、畸变效应。构造一个一维滤波窗口→绕当前像素点旋转一周→确定条纹切线方向→在切线方向进行低通滤波。步骤：①以当前点为中心的n×n像素点窗口内等角度间隔的方向滤波〔附图〕②在每条方向滤波线上，计算其灰度平均值A：ij表示当前点的位置，k表示第k个方向，③计算每个方向线上各点灰度值与改线均值之差的绝对值之和，或均方差即或表示了K方向上的灰度分布的变化④在条纹的切线方向取极小值，并用kk表示，这样确定了切线的方向⑤沿条纹切线方向kk进行一维中值滤波或均值滤波中值滤波：将该方向排序为中值得灰度取代当前点的灰度。〔可滤去鼓励的大噪声〕均值滤波：将该方向灰度平均值取代当前点的灰度。〔可滤去高斯分布的随机噪声〕⑥对条纹图全场每个点重复上述步骤。〔旋滤波可对一幅条纹图应用屡次〕第6章立体视觉被动测距传感:视觉系统接收来自场景发射或反射的光能量,形成有关场景光能量分布函数(灰度图象)。主动测距传感:视觉系统首先向场景发射能量,然后接收场景对所发射的能量的反射能量→形成图象。5.1立体成像共轭点：同一幅景点在两个不同图象中的投影点。视差：两幅图象重叠时，共轭点对之间的位置之差。外极平面：通过场景点和两个投影中心的平面外极线：外极平面与图像平面的郊县外极点：同一图像平面的所有外极线交于一点，即外极点〔附图〕垂直视差，外极线假定与图像行重合，即假定垂直视差为零。两摄像机光轴不平行，在空间相交于一点。视差与光轴夹角有关，存在视差为零外表〔附图〕5.2根本约束①外极线约束步骤：一幅图中选一特征点→另一幅中搜索对应特征点二维搜索一幅图中选一特征点→求外极线→另一幅图外极线上求特征点以为搜索②一致性约束左右摄像机的光强可能差异较大，难以进行相似性质而已，需对图像进行标准化处理左图〔i，j〕右图〔i，j〕这样在mn图像窗内标准化图像函数为：//其中u是图像窗内光强的平均值，σ是光强分布函数据此评价函数为差值绝对值之和③唯一性约束一幅图像上每一特征点只能与另一幅图上唯一的一个特征对应④连续性约束光滑物体投影连续视差连续近界处连续约束不成立5.3边缘匹配边缘特征使用高斯函数的一阶导数获得，使用边缘匹配的步骤如下：①使用高斯滤波器对立体图像进行四次滤波，前一次滤波的宽度是下一次滤波器宽度的两倍。〔高斯滤波：去处高频噪声，不破坏边缘特性〕②在某一列上计算各个边缘的位置。③计算比拟边缘的方向和强度粗略地进行边缘匹配〔水平边缘是无法进行匹配的〕④通过精细计算得到更准确的匹配，得到精细的视差估计。5.4匹域相关性边缘匹配计算比拟成熟，但边缘一般对应物体的边界，而边界的深度值大局部情况下是不确定的。在图像对中识别无趣点，匹配两图像对中的相对应的无趣点。无趣点：尽可能容易地被识别和匹配。〔均匀区域不适宜〕具有有限大变化的区域：有足够多相互别离的区域。在以某一点为中心的窗函数中，计算在不同方向上象素的变化量。方向的变化量：s:窗函数中的所有象素，一般为5×5~范围，取其方向变量最小值为中心象素点的无趣值匹配方法：一幅图像中的特征点为中心的一个小窗函数内的象素与另幅图中各潜在对应点为中心的同样窗函数内的象素进行相关值计算。具有最大相关值的特点就是匹配特征〔只有满足外极线约束的点才能是匹配点〕相关系数：〔图像〕特征点对的视差为，被匹配的两个区域中所有象素灰度平均值。5.5从x恢复形状的方法1．光度立体：摄像机和目标静止不动，使用不同方位的三个光源来得到同一场景的三幅图像。确定物体外表的反射特性。计算三个光源照明的所有点的局部外表方位。〔间接深度计算〕2．从明暗恢复形状使用图像明暗变化来恢复物体形状信息。外表方向的变化可转化为图像强度的相应变化，由图像强度的变化可以恢复外表形状。〔间接深度计算〕3．从纹理恢复形状从图像的纹理特性变化，如方向、密度、方位〔间接深度计算〕4．从运动恢复形状使用运动摄像机获取静止图像，场景点的视差取决于场景是否到摄像机的距离。静止摄像机获取运动图像，在图像序列中产生运动视差取决于物体外表点位置和速度。5.6测距成像结构光测距结构光测距时的场景是由几何模式的照射光源照明的。在一个简单的点投影系统中，投影光源和摄像机之间相距一个基线距离b，如下图。物体坐标〔x，y，z〕与被测量的图像坐标(x′,y′)和投影角θ之间的关系如下：其中，f为摄像机的光学焦距。这样一个三角测量系统的距离分辨力可由投影角θ和图像点x′水平位置的测量精度决定。结构光测距法典型的结构光照明系统是将光平面或者二维网格模式投影到场景中,与光源相隔一定距离的摄像机获取投影到场景中物体外表的含有变形的光照模式。该变形由光照模式和物体外表的形状和方向决定。对应于图像平面中的任意点的三维物体坐标可以通过计算摄像机视线和光照平面的交点来决定。结构光测距系统的优点是可以很容易地控制场景照明。该系统一个典型的应用是放在传送带上的运动物体经过一个光束平面，在光带图像中产生变形，然后计算光束平面上物体的轮廓。以规那么间隔重复上述过程即可恢复物体的形状。结构光照明系统的主要缺点是无法获取摄像机或光源看不到的物体点的数据。激光雷达测距在生物界，蝙蝠和海豚是通过接受自己发出的超声波来确定周围物体的存在。根据生物这种感知距离的能力，人类创造了激光雷达测距系统，即向空间发射信号，然后接收反射信号并与发射信号进行比拟，以确定目标的距离和方位。常用的激光雷达测距工作体制有：脉冲飞行时间测距、相位差测距和差频测距。其中以相位差测距应用最广。相位差测距原理如下图。图相位差测距法以相位差测距为例，雷达向被测物发出连续波。深度信息可以通过检测调幅光波发射和接收的相位差来得到。激光器发出的调幅调制光经过平面镜分成二路，一路经过光学扫描装置向被测物进行扫描，另一路进入相位差检测装置与经过物体反射后接受的光信号进行相位比拟。如果，调制频率为f，相位差为φ，那么物体到感知器的距离为：式中c为光速，λ为波长。由于相位差只能检测到0~2π的相位差，因此这种激光雷达的测距范围为D=λ/2。当测量距离超过其整数倍时，测量出的相位差是不变的，也就是说，这种激光测距雷达具有多义性。消除多义性的方法有二种，一是事先知道待测距离的大致范围，二是使用多台具有不同调制频率的激光雷达测距。激光雷达具有波束窄、波长短等独特优点，因而具有极高的角分辨力、距离分辨力和速度分辨。激光雷达可以获得目标的多种信息，如反射特性