毕业论文-基于三维视觉的工件测量技术研究

HUNANUNIVERSITY毕业论文论文题目基于三维视觉的工件测量技术研究学生姓名学生学号专业班级自动化四班学院名称电气与信息工程学院指导老师学院院长2015年5月25日湖南大学毕业设计(论文)第页摘要近些年来，现代工业技术发展迅速，传统的测量方式已很难满足现代工艺生产，视觉测量技术应运而生，以其实时性好、精度高、非接触的特点开始发挥着越来越重要的作用，它结合了光电探测、电子学、计算机科学以及图象处理等学科知识，将计算机视觉引入到工业检测中，实现对工件三维尺寸或位置的快速测量。本论文以工件测量这一实际问题作为切入点，结合了三维视觉解决方案，从全三维空间角度，借鉴人类视觉识别模式，利用三维相机获取的工件的视场图像，并通过一系列的图像处理操作之后提取出工件的边缘轮廓，然后计算出所需尺寸。首先研究三维视觉测量技术获取工件图像的过程以及图像处理过程，然后再利用特征点的提取及匹配过程，在这个过程中主要用到了Harris角点检测算法，该角点检测算法的效率比较高，不过只能提取出二维图像的二维坐标，因此本文提出了首先利用三维相机获取深度数据，再结合Harris角点检测算法来提取三维信息的方法，该方法最终能够很好的实现对三维工件信息的提取。最后利用欧氏距离计算特征点间的距离便能得到工件的几何尺寸。关键词：三维视觉，特征点，角点检测，欧氏距离AbstractInrecentyears,modernindustrialtechnologyhasbeenrapidlydeveloped,putervisiontechnologyhasbeenemergedasthetimerequire,andplayedanimportantrolebecauseofagoodreal-timeperformance,high-precision,fastspeed.Itcombinestheuseofphotoelectricdetection,electronics,computerscience,imageprocessingandotheracademicknowledge,computervisionisintroducedintoindustrialinspection,torealizethefastthree-dimensionalmeasurementwiththesizeorlocationoftheworkpiece.Thisthesismainlystudiesusingtheactualworkpiecemeasurementproblemasastartingpoint,combinesthree-dimensionalvisualsolutions,using

humanvisual

recognitionmodefromthe

fullthree-dimensional

spaceangleandusing3Dcameratoobtainthefieldimageoftheworkpiece,andthroughaseriesofimageprocessingaftertheoperationtoextracttheedgecontouroftheworkpiece,andthencalculatethedesiredsize.Thisarticlefirsttostudytheobtainingprocessofworkpieceimageandtheimageprocessingwitchusingthree-dimensionalvisionmeasurementtechnology.Thenwe

studytheprocess

andmatching

featurepointsextraction,

inthisprocess,

mainlyusedinHarri

cornerdetectionalgorithm.Theefficiencyofthecornerdetectionalgorithmisrelativelyhigh,butcanonlyextracttwo-dimensionalcoordinatesoftwo-dimensionalimage,sowepresentsusing3Dcameratoobtaindepthdata,combinedwithHarriscornerdetectionmethodtoextractthree-dimensionalinformation,whichcaneventuallyachieveagoodextractionofthethree-dimensionalpartsinformation.FinallyusingtheEuclideandistancetocalculatethedistancebetweenfeaturepointsandgetthegeometrysizeofworkpiece.Keywords:3Dvision,featurepoints,cornerdetection,Euclideandistance目录基于三维视觉的工件测量技术研究 I摘要 IAbstract II第一章绪论 11.1研究背景 11.2国内外研究状况 11.2.1国外现状 11.2.2国内现状 21.3研究方法 21.4论文主要研究工作 3第二章三维视觉测量与图像处理 42.1三维视觉测量流程 42.2图像特征信息的提取 52.2.1图像预处理 52.2.2图像分割 62.2.3形状的表示与描述 82.2.4形态学操作 9第三章图像特征点提取 103.1特征提取 103.2角点检测简介 113.2.1基于灰度图像的角点检测 113.2.2基于二值图像的角点检测 123.2.3基于边缘轮廓曲线的角点检测 123.3Harris角点检测 133.3.1Harris角点检测基本思想 143.3.2Harris角点检测算法实现 163.3.3Harris角点的性质 18第四章工件测量 204.1度量简介 204.2欧氏距离 214.3实验测量分析 21论文总结与展望 24总结 24展望 24致谢 25参考文献 26第一章绪论1.1研究背景测量是人类认识和了解世界的重要活动，随着经济的迅速发展，我国工业制造业面临着质量优化的伟大变革，愈来愈多的工业领域对于工件的几何尺寸、表面轮廓、三维坐标等测量有了更高的要求，尤其是对于一些大型工件的测量，其精度要求非常高，而传统的测量方法主要则是采用逐点测量法，这样的结果不仅精度不高并且其测量效率还很低，显然无法满足目前工业上的要求，在此情况下，三维视觉测量技术应运而生。现代工业特别是汽车、造船、高铁、飞机、大型机械加工、新能源等领域，需要从加工制造的各个环节，对各类工件的外部尺寸进行精密的三维测量。三维视觉测量技术成为现代制造业关键环节的趋势已不可阻挡。本论文以工件测量这一实际问题作为切入点，结合了三维视觉解决方案，从全三维空间角度，借鉴人类视觉识别模式，利用三维相机获取的工件的视场图像，并通过一系列的图像处理操作后提取出工件的边缘轮廓，然后计算出所需尺寸。1.2国内外研究状况视觉之于机器人，就像明亮的双眸之于人类一样重要。三维计算机视觉是使用计算机以及相关的设备对生物视觉的一种模拟。其主要任务就是经过对采集的图片或视频进行处理从而获得相应场景的三维信息，并计算出尺寸。三维计算机视觉发展至今已是一门涉及光学、电子学、人工智能、信号处理、计算机科学等多学科综合而成的交叉学科。1.2.1国外现状在国外，三维视觉测量技术已经非常成熟，很多三维视觉产品已经商品化，其中德、美、法、英、日等发达国家的发展最为成熟。早在二十世纪60年代后期发达国家就开始了对三维视觉测量技术的研究，并投入了大量的人力物力，从而取得了非常丰硕的成果。目前，欧盟、美国等发达国家及地区都已通过法律法规明确地规定了产品制造商应当进行视觉检测项目及标准的研究，也有很多厂商已经设计出了高度智能的三维视觉检测的解决方案。愈来愈多的企业也开始在自己的生产线上安装了视觉检测系统。总之，国外的视觉检测技术已经获得了广泛的推广。1.2.2国内现状和发达国家相比，我国的三维视觉测量技术研究开始于二十世纪90年代，因为非接触测量的绝对优势从而才得到了快速的推广，经过了将近20多年的发展，目前在理论模型、实验验证、实用系统建立与改进完善等方面，取得了多项令人满意的成果。但是总体的研究水平还是相对落后，主要表现在测量功能的单一、自动化与智能化程度的不高以及缺乏了高水平的实用产品等方面。不过目前国内有许多研究机构及相关高校都在三维视觉测量研究方面都有着较大的投入，比如天津大学、北京航空航天大学等，不过到目前为止，集开发和产业于一体的经济实体则还未诞生，也并没有真正地生产出商业化的产品。总体上来讲，我国的三维视觉测量技术起步相对较晚，其相关的产品也缺少自主知识产权，大量相关的设备则需要依赖于进口，缺乏了自主的高水平实用产品，如何根据国内工业的需求，从而研发出适用自身的三维测量系统还处在摸索的阶段。1.3研究方法我们的世界是三维立体的，物体都是由三维组成，要实时、可靠、高精度地获取那些未知环境的三维信息，则需要用到三维相机。三维相机与普通相机的根本区别在于普通相机只能够将三维立体压缩成为平面，而三维相机却致力于从二维图像信息中恢复出三维信息，从而能够在复杂的环境中得到真实的三维立体图像。通常环境下的障碍物的结构极其复杂，其形状也很不规则。如何对障碍物目标进行实时准确的识别是三维视觉测量技术研究的关键之一。本论文的研究主要是集中在场景中工件的三维几何尺寸上面，如何通过三维相机来获得工件的三维信息以及灰度信息，从而再利用其深度数据来测量工件的尺寸，包括了三维计算机视觉、图像处理、工件特征点提取及匹配等技术。1.4论文主要研究工作本论文以工件测量这一实际问题作为切入点，结合了三维视觉解决方案，将工件三维图像的处理、角点的检测、特征点的提取及匹配作为主要的研究对象，从全三维空间角度，借鉴人类视觉识别模式，利用三维相机获取的工件的视场图像，并通过一系列的图像处理操作之后提取出工件的边缘轮廓，然后计算出所需尺寸。主要完成的工作包括以下内容：首先是基于三维相机的图像采集及图像处理其次，图像的特征点提取及匹配是三维视觉测量的一个重要的课题，也是本论文的一个研究的重点，用三维相机拍摄出一个大小适中的工件图像，再获取出其三维信息和灰度信息，并利用深度数据来提取出工件的特征点，同时还研究了Harris算法；最后，研究基于三维相机的工件测量的构成以及工作原理，并利用MATLAB编程并提取工件的特征信息，最后再利用欧氏距离来计算工件的几何参数。本论文的大致章节结构安排如下：第一章是绪论，介绍本论文的研究背景、三维视觉测量技术的发展现状，以及三维视觉和计算机视觉相关的概念，并在最后阐述了论文主要的研究工作及其章节结构。第二章介绍三维计算机视觉测量的一些相关知识，以及对于所需图像的处理，包括图像采集、图像预处理、图像分割、图像参数检测等。第三章则主要介绍了工件特征点的测量方法，以及角点检测方法，并主要介绍了目前最常用的特征点匹配方法：Harris检测算法，最后是对使用Harris算法所得到的一些实验数据的分析。第四章则主要介绍了对所得到的实验数据利用欧氏距离来计算出三维工件的几何尺寸。最后则是对整个论文的工作进行总结，同时提出进一步研究的问题与方向。第二章三维视觉测量与图像处理相机是三维计算机视觉测量系统中的关键组成部分，它本质的功能是将光信号转变为有序的电信号，本论文主要研究如何利用三维相机来获取图片的信息，并且获取图片质量的好坏将会直接影响到测量结果的精度，因此需要充分的了解相机模型。2.1视觉测量流程计算机视觉测量系统流程如图2.1所示，视觉测量需经过以下步骤：图2.1图像测量系统流程在已经建立起三维计算机视觉测量系统的基础上，对图像进行采集；由于采集到的图像会受到图像传感器内部的噪声和外部的环境的干扰，不可避免的要出现各种噪声，因此要先对采集的图像进行滤噪和增强等图像预处理；在进行了图像预处理后，图像的质量得到了改善，则下一步就要对图像进行分割，并针对测量的需求，分割测量的目标特征点；在分割目标特征点的基础上，完成图像中目标的二维参数的测量，期中包括了特征点坐标的测量以及图像目标尺寸的测量；在二维图像测量结果的基础上，完成空间三维坐标的测量或空间几何参数的测量；测量输出的结果。2.2图像特征信息的提取图像特征信息的提取是三维计算机视觉以及图像处理中的一个概念。它指的是使用计算机来提取出图像信息，决定每一个图像的点是否是属于一个图像的特征。特征提取的结果是把图像上的点分成不同的子集，而这些子集则往往是属于孤立的点、连续的曲线或者连续的区域。三维工件测量的基本任务之一就是从三维相机中获取工件的图像信息并将其转化成为数字信号，再计算三维空间中工件的几何信息，并根据此信息重建以及识别工件，最终得到所需要的尺寸信息。2.2.1图像预处理将每一个文字图像分检出来再交给识别模块去识别的这一过程就称为图像预处理。图像预处理是最低层的操作，其输入、输出的都是亮度图像，同时需要指出的是，图像的预处理是不会增加新的信息量的。主要的图像预处理可以按照在计算新像素的亮度时所使用的像素领域的大小从而分成四类：1）局部预处理方法；2）像素亮度的变换；3）几何变换；4）图像复原技术。本论文所使用的主要是第一类的局部预处理方法中的图像平滑技术和边缘检测技术。图像平滑指的是用在突出图像的主干部分、宽大区域、低频成分或者抑制图像的噪声和干扰高频成分，使图像的亮度平缓渐变，从而减小突变梯度，改善图像质量的处理方法。图像平滑的方法包括了：1）线性平滑方法；2）插值方法；3）卷积法等。这样的图像处理方法根据图像噪声的不同进行平滑，比如椒盐噪声，就采用第一种线性平滑方法。平滑了之后的图像则需要再进行边缘检测。两个具有不同灰度值的相邻区域间总是存在着边缘，边缘就是灰度值不连续的体现。由于边缘是图像上灰度变化最为剧烈的地方，所以传统的边缘检测就是利用了这一个特点，对图像的各个像素点进行了微分或者求二阶微分从而来确定边缘的像素点。最常用的边缘检测模板有罗伯特算子、索贝尔算子、坎尼算子、罗盘算子以及拉普拉斯高斯算子等等。本论文在图像平滑与边缘检测过程中，使用的是线性平滑的方法与坎尼算子，为后叙的图像分析提供了质量较好的图像。2.2.2图像分割图像分割是指根据灰度、几何形状、空间纹理等特征来把图像分为各个互不相交区域的过程，从而使这些特征在同一区域内，表现出相似性或者一致性，但在不同的区域间又表现明显的不同。简言之，就是把一幅图像中的目标从背景中分离出来，这样不仅压缩了数据量，而且也简化了分析、处理的步骤，以便于进一步的处理。比如我们把观测的景物看成是许多物体的空间组合，那么每一个物体都独立于其它的物体，彼此之间并不相关，因此可以从景物中分离开来。除此之外，物体的每一个部分也可以独立于其他部分而进行单独的描述。不过在很多的情况之下，我们不必事先识别或者描述被分开物体的细节，因为完全地分开一个景物中的物体是不太可能的。我们要做的首先应该是进行景物的分割，因为图像分割的目的是为了获得物体的几何特征。在一般的情况下，这些图像的几何特征都是各不相同的，并且与位置也有关系。所以在进行图像分割时，应该要选择尽可能与其它部分少有联系的特征。图像分割要求：1）物体由点、线和上表面的描述，即是几何型式；2）几何型式的分类；3）确定每一个几何型式之间的关系。第一，一个景物可以完全地描述成由点、线和上表面组成的一个量，对于复杂的描述，则还要确定在复合的景物中的每一个物体的特征，比如其几何关系、位置等等。由此，再利用点、线和上表面，以这些符号形式就可以来描述景物。第二，我们需要对景物进行分类之后，才能识别一个物体，即按类型来分类图像的细节，判断细节之间的关系，也即是相对位置。这些是以细节来分割景物的可能性，仍然保留了这些细节之间的关系以及相对位置。很有意义的是，物体是通过所谓的图像语法来进行研究的，图像语法就是由分解以及组合的规则所组成的。同时，这些规则还得满足物体描述的要求。第一，描述方法的普遍性；第二，方法在应用中的简单性；第三，三维的描述。事实上，物体边缘通常是垂直或者平行的。所以需要考虑到正交性和平行性。我们要重点描述具有平面的物体，从而去观测特征边界对于线性图像的描述的判读作用。其中主要的问题则在于确定边界线是哪些部分，边界线是在组成图像的目标中所抽取的，把平面彼此之间给分开。于是在切点上就只剩两种形式的线了：凹形线以及凸形线。要判断起是凹形线，则物体表面的角度要大于180度，否则就判断其是凸形线。这样的切点组合的限制就可以明确地确定线性图像中的每一条线。这种限制则将通过不同的特征按照每种截面的切点组合来实现，其中特征关系则在图中表示出来。因此，通过应用特征限制的方法来实现图像的判读以及借助线性图像的描述是可能的。总的来说，图像分割是对图像预处理之后的图像数据进行分析之前，最为重要的步骤之一，它的主要目标是将图像划分成与其中含有的真实世界的物体或区域有着强相关性的组成部分。通常，我们可以将图像分割分为三类：1）是有关图像或图像部分的全局知识，这种知识是由图像特征的直方图来表达的；2）是基于边缘的分割；3）是基于区域的分割。在区域增长或者边缘检测中可使用多种不同特征，例如纹理，亮度，速度场等等。本论文采用了第一类方法中的灰度级阈值化分割方法，此分割处理方法最为简单。许多的物体或图像的区域表征为其表面光的吸收率或者是不变的反射率，我们可以确定阈值，来分割物体以及背景。例如，把图像R完全分割成R1……Rs等区域，这些区域是个有限集合，我们可以在简单的场景中通过阈值化处理而得到完全分割。阈值化是输入图像f到输出图像g的一个变换：（2-1）其中：T为阈值，g为物体的图像元素，f为背景的图像元素（反之亦然）。2.2.3形状的表示与描述对于采用了边缘检测的局部预处理和分割后的图像，则需要进一步地将基本的图像元素表达为可以用计算机操作的数据结构。最常见的形状表示与描述方法有：区域标识，基于区域的形状表示与描述，基于轮廓的形状表示与描述等等。本论文主要使用的是基于轮廓的形状表示与描述方法，下面则具体介绍此方法。在二值图像中，假设背景像素的灰度值为0，景物像素的灰度值为1，那么边界轮廓的提取规则如下：如果中心点的像素的值为0，则不管其相邻其余8个像素为何值，一律要保留中心点像素的值0；如果中心点的像素的值为1，并且相邻的其余8个像素的值也全部为1，则改变中心点像素的值为0；除了上述情况之外，则全部将中心点像素的值改为1。根据上述规则，便可得到图像中目标的轮廓。也即是假设背景的颜色是黑色，目标的颜色是白色，那么如果原图像中有一像素点是白色，且它的8个相邻点都是白色时，即可确定该点为内部的点，则将该点删除，也即是把内部点全都掏空，从而得到目标的轮廓。对于所得到的目标轮廓的图像，计算机仍然是不能直接使用的，而是需要将其转化成计算机可以理解并且操作的数据结构。链码就是这样的一种可以作为目标轮廓的数据结构而存储于计算机中。链码是一种改进的坐标增量序列存储结构，它可以用中心的像素指向它的8个相邻点的方向来定义，链码值加1，则其所指的方向就要按逆时针的方向旋转45度。图像中的每一个点都有八邻域，也即是与它相邻的八个点。曲线上的下一点与前一点的相对位置分别用0至7这八个方向码来表示，例如0表示下一点在此点的右侧(x+1，y)的位置，那么1就表示下一点在此点右上方(x+1,y+1)的位置，以此类推，那么7就表示下一点在此点右下方(x-1,y-1)的位置。我们用以下的3步骤来具体实现轮廓的链码跟踪提取，最后能得到图像的轮廓链码：第一步，先从左到右、从下到上对图像进行逐行扫描，在搜索到了第一个目标点之后再将此点作为起始点，然后再接着绕起始点从方向数4开始作逆时针方向的旋转并在此点的八邻域中去搜索下一个点；第二步，在成功地搜索到了第一点之后，再绕此点作逆时针方向的旋转去搜索第二点，方向数按逆时针的方向从起始点并在起始点的八邻域所在方向数下一点开始。例如起始点在第一点的的八邻域中方向数是2，则方向数从3开始，如果起始点在第一点的方向数是7，那么方向数就从0开始；第三步，如此循环下去，最终便可以得到可表示整个轮廓的链码。2.2.4形态学操作经过阈值分割后得到的二值图像中也可能存在着毛刺、断线、凹凸洞等缺陷，尤其是当图像中存在噪声的情况下，如果直接利用带有缺陷的图像进行轮廓提取的话，就会得到包含毛刺、断点、凹凸洞等缺陷的轮廓，便会给轮廓的进一步处理造成很大的困难，因此，必须要采取有效的措施来消除这些缺陷。形态学是一门建立在拓补学和格论基础上的图像处理学科，它是形态学的图像分析的基本理论。数学形态学又是由若干的形态学代数运算子组成的，它的运算最基本的是：腐蚀与膨胀、开闭运算，另外还有流域变换、击中击不中变换、颗粒分析、形态学梯度等等运算。其中，开操作可以使轮廓趋于平滑，还能抑制住物体的边界处的那些尖峰或者小的离散点，用来分离纤细点处的物体、消除较小的物体，而且在平滑比较大的物体的边界时还能并不十分明显地改变它的面积；闭操作可以连接邻近的物体、填充满物体内部的那些细小的空洞、而且在平滑它的边界时还能并不十分明显地改变它的面积。在此我们便可以利用这些措施对图像进行缺陷修补，来消除缺陷对图像的影响。第三章图像特征点提取图像特征指的是图像的原始特性或属性，图像特征的提取与匹配是图像分析和识别的关键技术之一。特征提取指的是从众多的特征中选取出最有效的特征。图像的特征可以分为点、线、面三种。其中特征点的提取是目前最为常用的一种图像特征提取方式。特征点是图像最为基本的特征，它是指那些灰度信息在二维方向上有着明显变化的点，例如角点、圆点等等。图像中的特征点的检测是至关重要的，三维计算机视觉的很多任务，包括运动中探知结构、光流计算、从立体3D场景建模和对象跟踪等都有广泛应用。3.1特征提取图像特征的提取从提取的空间范围的不同可以分为全局特征的提取和局部特征的提取。具体见下图3.1。图3.1我们这里主要使用的是局部特征提取，而局部特征最初的研究又是从角点开始的，下面我们就重点研究角点的检测。3.2角点检测简介角点是图像很重要的特征，对图像图形的理解和分析有很重要的作用。一个特征点的最直观的类型就是角，窗口向任何方向的移动都会导致图像灰度出现明显变化的点都可以称作角点，角点是目前图像匹配中最常用的特征点，它被认为是亮度变化剧烈的二维图像或者图像边缘曲线上的曲率极大值的点，它决定了目标的轮廓特征，因此被广泛应用在摄像机的标定、虚拟场景的重建、图像配准和运动估计等三维计算机视觉的处理任务之中。如图3.2所示的便是不同类型的角点：图3.2不同类型的角点目前的角点检测的方法按照其检测的目标来进行分类可以分成3类：第一类是灰度图像角点检测；第二类是二值图像角点检测；第三类是边缘轮廓曲线角点检测。3.2.1基于灰度图像的角点检测基于灰度图像角点检测又可以分成基于模板、基于梯度和基于模板与梯度组合3类方法，这之中基于模板法主要分析研究的是图像亮度的变化，即像素领域点灰度的变化，并且将和邻点亮度对比足够大的点定义成角点。基于梯度的方法通过计算边缘的曲率来判断角点是否存在，其中角点计算数值的大小不仅与边缘强度有关，而且还与边缘方向的变化率有关，该方法对噪声的敏感度比对基于模板的角点检测方法更高。除此之外，运用电磁场的理论中的矢势鞍点的检测来替代角点检测，则是一种基于模板梯度组合的方法。它是通过图像卷积和高斯模板从而获得边缘映射图像，再计算其边缘矢量以及其梯度就能获取矢势。再对矢势计算平均曲率和高斯曲率从而来判定鞍点的是与否，就应该是对应着图像的角点。不过有人将该方法归到边缘曲线的角点检测，因为它涉及到了曲率的计算。其中，常见的基于模板的角点检测算法有SUSAN角点检测算法、Harris角点检测算法、Kitchen-Rosenfeld角点检测算法以及KLT角点检测算法。值得一提的是，和其他的角点检测算法相比较，SUSAN角点检测算法有着算法简单、抗噪声能力强以及位置准确等特点。3.2.2基于二值图像的角点检测对一幅灰度图像或者彩色图像运用图像分割的方法进行处理，并把其中感兴趣的像素分离出来作为目标像素，取值为1，而把不感兴趣的其余部分作为背景像素，取值为0，就可以得到一幅二值图像。在MATLAB中，二值图像用一个由0和1组成的二维矩阵来表示。这两个可取的值分别对应于了关闭和打开，关闭表征该像素处于背景，而打开则表征该像素处于前景。用这种方式来操作图像可以更容易地识别出图像的结构特征。不过由于二值图像处于灰度和边缘轮廓图像的中间步骤，因此专门针对此类图像的角点检测方法并不多见。3.2.3基于边缘轮廓曲线的角点检测边缘是图像的基本特征之一，它是图像中两个具有不同灰度的均匀区域的边界，它反映的是灰度的突变。图像的边缘可以用它的法线方向、切线方向、强度和位置等等的信息来描述。此角点检测方法首先是要提取出图像的边缘，并连接间断处使之成为光滑的曲线，并把曲线上曲率最大的点作为角点，例如MSM算子和CSS算子。而且由于该算法的复杂度比较低，可以满足实时性的处理要求，因此得到了广大学者的密切关注。不过该算法还需要对图像的边缘进行编码，这很大程度上依赖于图像分割和边缘提取，可由于这两种操作本身就已经具有相当大的难度以及计算量了，况且一旦等到检测目标局部发生变化，例如部分被遮挡后，就很可能会导致图像分割和图像边缘提取操作的失败，因此这种方法的适用范围也很小。总而言之，角点作为图像上的特征点，包含着重要的信息，在目标跟踪、图像融合以及三维重建中有重要的运用价值。不过基于实际应用的需求，从角点检测的鲁棒性、准确性以及快速性等要求来出发，可以看得出各式各样的角点检测算法有着不同的利弊。基于灰度图像的角点检测基本上是在进行全局搜索；而基于边缘轮廓的角点检测所获得的数据量就比较少，可以采用多分辨、多分析并行来处理，要经过两次以上的全局搜索才能从灰度图像得到边缘轮廓曲线，它的速度并不是非常快，不过对角点的漏检和误检则要比直接基于图像的方法要好很多。倘若在进行获取轮廓曲线时用上了一些其他的变换方法，那么计算的速度则会下降不少，因此使用直接基于图像模板的方法是完全可以满足一般较为准确的、快速的角点检测的需要的；而使用基于轮廓线的多尺度分析方法应该在对角点的完备性要求比较高的条件下给予考虑。3.3Harris角点检测好的角点检测算法应当具备如下这几点：1）能检测出图像中“真实的角点”；2）有着很准确的定位功能；3）有着很高的重复检测率，即稳定性好；4）具有较高的计算效率；5）既有对噪声的鲁棒性。Harris算法便是一种比较好的算法，该算法和SUSAN检测算法相比较来说对于旋转前后的图像的角点检测是基本一致的，且SUSAN检测算法还存在了较多的漏检测和误检测，因此本节主要分析的还是Harris算法。同时，Harris算子也是一种非常有效的点特征提取算子，它的优点总结起来有：计算比较简单，且只需要用到灰度的滤波和一阶差分，操作也很简单。提取的特征点的特征均匀并且合理。Harris算法在纹理信息少的区域，提取的特征点则相对较少。不过其他区域却可以提取到大量有用的特征点。而且在有图像的旋转，灰度的变化，噪音影响和视点的变换时，它依旧是一种非常稳定的点特征提取算子。3.3.1Harris角点检测基本思想平坦区域：任意方向移动，灰度变化不明显；边缘：沿着边缘方向移动，灰度变化不明显；角点：沿着任意方向移动，灰度变化明显。具体见下图3.3：图3.3平坦区域、边缘、角点的区别由此我们可以在图像中设计出一个局部检测窗口，并将矩形图像的窗口w沿着各个方向作细小的移动(u，v)，那么其灰度该变量可以定义成：（3-1）其中，是窗口函数，I(x，y)是图像灰度，I(x+u，y+v)是平移后的图像灰度，那么就是图像灰度的梯度值。由I(x+u，y+v)=I(x，y)+QUOTE（3-2）可进一步得到：（3-3）然后对于局部微小的移动量[u，v]，便可以近似的得到下面的表达式：（3-4）其中M是22矩阵，可根据图像的导数求得：（3-5）Harris检测的原理如图3.4所示：图3.4Harris检测原理假定QUOTE，QUOTE是矩阵M的两个特征值，则这两个特征值与局部的自相关函数的主曲率成比例，构成一个对于M的旋转不变数。我们可以通过判断这两个特征值的大小情况从而来判断平坦区、边沿以及角：当QUOTE和QUOTE都比较大并且数值相当的时候，则图像窗口在所有方向上的移动都会产生明显的灰度变化，这说明了局部自相关函数有一个尖峰，这里是一个角点；如果QUOTE和QUOTE都很小，图像窗口在所有方向上的移动都没有明显的灰度变化，那么说明了局部自相关函数很平坦；如果一个特征值大，而另一个特征值小，那么说明局部自相关函数呈现出山脊状，也即E沿着山脊的变化很小，而垂直于山脊的变化很大，这里是一个边沿。可以定义角点的响应函数为（3-6）其中QUOTE，在当某个区域的矩阵M的主对角线之和非常搭时，则表明这是一条边；而当M的行列式非常大时，则表明了这是一个角点或者一条边，k=0.04-0.06。3.3.2Harris角点检测算法实现根据上述的讨论，我们可以将Harris角点检测算法归纳如下：先要计算图像I(x,y)在X和Y两个方向上的梯度。（3-7）再计算图像的两个方向梯度的乘积。（3-8）然后使用高斯函数对进行高斯加权（取σ=1），生成矩阵M的元素A、B和C。（3-9）接着计算每个像素的Harris响应值R，并对小于某阈值t的R置为零。（3-10）最后在3×3或5×5的邻域内进行非最大值抑制，局部最大值点即为图像中的角点。而本论文是用MATLAB来实现Harris检测算法的，在这个过程中首先要做的是将原图像转换成灰度图像来提取其灰度信息，也即灰度转换的过程：而图像的提取过程则是由系统自带函数所操作的，它在读入图像的数据之后会对每一个像素点进行处理的。下图3.5就是工件在利用Harris检测算法提取后得到的特征点。图3.5利用Harris算法提取特征点Harris算法是一种既简单又有效的特征点提取算法，可它只能对二维图像进行获取，无法获取真实场景里的图像的三维数据，而为了更加有效的获取三维图像的x、y、z的三维坐标，我们需要利用三维相机，来进一步的利用深度数据。由于三维相机获取深度图像有一定的有效范围，而本身我们要测量的工件尺寸又比较小，不能提供较为有效的数据信息，所以我们用盒子的组合来替代不同的工件，这样能够取得较好的效果。如图3.6是通过三维相机得到的三维图像：图3.6左为彩色图像，右为深度图像通过三维相机来提取出三维图像的三维信息和灰度信息，再结合Harris算法在深度数据中提取工件的三维坐标从而可以得到特征点如图3.7，图3.7三维图像角点图由上图可以看到，通过Harris算法的实现成功提取出了三维图像的特征点，可是由于我们现在拥有的条件有所限制，最终还是会有许多的伪角点，这主要是和拍摄场景的选择以及所选择的目标工件不规范有着很大的关系。如何来提取有价值的点，我们将会在下一章节中做进一步解释。3.3.3Harris角点的性质1.Harris角点检测算子具有旋转不变性Harris角点检测算子使用的是角点附近的区域灰度二阶矩矩阵。而二阶矩矩阵可以表示成一个椭圆，椭圆的长短轴正是二阶矩矩阵特征值平方根的倒数。当特征椭圆发生转动时，特征值却并不会发生变化，所以判断角点响应值R也不会发生变化，因此就说明了Harris角点检测算子具有旋转不变性。2.Harris角点检测算子不具有尺度不变性当左图被缩小时，在检测窗口尺寸不变的前提下，在窗口内所包含图像的内容却是完全不同的。左侧的图像可能会被检测为边缘或曲线，而右侧的图像则可能被检测为一个角点。如下图3.8所示，图3.8Harris角点检测不具有尺度不变性3.参数α对角点检测的影响增大了α的值，就将减小角点响应的值R，从而降低了角点检测的灵敏性，继而减少了被检测角点的数量；相反，减小了α的值，就将增大角点响应的值R，从而增加了角点检测的灵敏性，继而增加了被检测角点的数量。4.Harris角点检测算子对亮度和对比度的变化不敏感这是由于在进行Harris角点检测时，使用微分算子对图像进行了微分运算，而微分运算对图像密度的拉升或收缩和对亮度的抬高或下降并不敏感。换言之，就是对亮度和对比度的仿射变换并不会改变Harris响应的极值点出现的位置，但是，由于阈值的选择，可能会影响角点检测的数量。图3.9我们从中可以看出Harris角点检测算法还是存在着一定的不足的，还能进行不断的优化，而本论文就不做具体优化操作了，我们只需要提取出角点，目标还是为了测量工件的尺寸信息。特征提取是三维计算机视觉测量中很重要的一部分，它的检测效率和精度将会直接影响到物体尺寸测量的效率和精度。第四章工件测量上一章节我们已经把工件的特征点给提取出来了，但是由于条件限制，得到的有价值的点并不是太多，而且还存在了很多伪角点，我们会先将有价值的角点给删选出来，再接着我们将会进一步地对工件的大小来进行测量，测量尺寸的度量方法有很多种，下面我们先介绍各种度量4.1度量简介常见的度量方法有欧式距离、切比雪夫距离、明科夫斯基距离、曼哈顿距离以及马哈拉诺比斯距离等等。切比雪夫距离起源于国际象棋中的国王的走法，它也是\o"向量空间"向量空间中的一种\o"度量"度量，二点间的\o"距离"距离定义为其各个坐标数值差的最大值。以A(x1,y1)和B(x2,y2)二点为例，则两点间的切比雪夫距离为max(|x2-x1|,|y2-y1|)。切比雪夫距离得名自俄罗斯数学家\o"切比雪夫"切比雪夫。明科夫斯基距离又称明氏距离，是对多个距离度量公式的概括性的表述。是一组距离的定义。\o"曼哈顿"曼哈顿距离来源于城市区块的距离，它是两点在南北方向上的距离再加上在东西方向上的\o"距离"距离，即d(i，j)=|xi-xj|+|yi-yj|。不过，它依赖于坐标系统的转度，而非系统在坐标轴上的平移或映射。马哈拉诺比斯距离表示数据的协方差距离，它排除了变量之间的相关性的干扰。欧氏距离也称为欧几里得度量或欧几里得距离，它是一个常用的距离定义，是在n维空间中向量的自然长度或者说是两个点之间的真实距离。不同的距离度量都有着各自的优缺点，也有着各自合适的应用领域，我们需要研究起特点从而就行灵活选取。本论文我们将采用欧式距离来测量工件，下面就是具体的介绍。4.2欧氏距离欧氏距离变换在数字图像处理中应用的范围非常广泛，是一个很好的参照当对图像的骨架进行提取时。欧式距离在二维或三维空间里的表征便是两点之间的距离。其计算公式如下：二维平面上两点间的距离公式：d=QUOTE（4-1）三维空间两点之间的距离公式：d=QUOTE（4-2）推广到N维空间里：n维的欧氏空间是一个点集，它的每以个向量x或点X都可以用(x[1]，x[2]，…，x[n])来表示，其中的x[i](i=1，2，…，n)是实数，是X的第i个坐标。两个点A=(a[1]，a[2]，…，a[n])和B=(b[1]，b[2]，…，b[n])，它们之间的距离d定义为如下公式：d=QUOTE（4-3）4.3实验测量分析对于我们所提取到的特征点