【《基于机器视觉的物体裂缝检测算法设计》15000字（论文）】

基于机器视觉的物体裂缝检测算法设计中文摘要在日常生活中,我们随处可见路面上存在许多裂缝，它对我们的安全存在一定的隐患。目前国内对于道路裂缝的人工检测主要方法还是基于依靠专业人工，但是人工很难检测的效率较低，且准确度不够高。近年来,随着我们人民生活品质水平的不断提高，车辆也越来越多的成为了我们日常生活的一种必需品，道路上的螺纹裂缝对我们的日常行车安全来说是一个很大的自然威胁，在生活中随处可见"十字"曲线裂缝、"一字"裂缝、网状曲线裂缝、横向曲线裂缝、纵向曲线裂缝等,那我们如何检测到这些生活中随处可见的裂缝呢？基于这种机器人对视觉的这种检测分析方法恰好已经可以有效解决这个关键问题，机器人的视觉就好好像是一个机器在空中使用我们看的人眼一样，具有我们人眼的相关功能，对于要检测的东西进行分析和判断。基于机器视觉的裂缝检测实验方法分析相比人工视觉检测，更快，更准。本文阅读大量资料,分析研究机器视觉方法的原理、优缺点、使用方法,并通过选择合适的摄像头等硬件方面的设计和通过设计物体裂缝视觉检测的算法来对裂缝进行检测,解决了路面裂缝检测的相关问题,为道路自动检测提供了基础方法。关键词：裂缝检测，机器视觉，图像处理，算法设计6219第1章前言 摄像机标定相机的校准在整个计算机视觉系统中起着重要作用。对计算机视觉应用程序的需求使得对相机校准技术的准确性的研究特别重要。摄像机的校准将二维图像平面与三维空间连接起来。根据三维图像中的信息，可以准确计算和得出处于三维空间结构中的每个物体的基本几何结构信息。定义了三维空间中的物体点和表面点的三维空间几何物体位置和三维图像空间中的两个相应物体点之间的三维关系。用于为相机的背景图像创建模型。这些立体几何结构模型中的参数通常是摄像机的重要参数。通常，这些校准参数通常可以通过自动实验校准获得，这个校准过程通常是基于摄像机的自动校准。摄像头的硬件参数主要包括内部软件参数和外部硬件参数。内部光学参数通常是一个摄像机的内部光学几何和其他光学物理参数。摄像头和外部硬件参数分别是三级的。相机轨道坐标系与相机世界轨道坐标系的比例和方向。通过校准相机，你可以连接像素和米之间的关系。标定方法及参数计算相机校准方法主要包括传统的校准方法、自校准方法和活动视觉校准方法。传统的校准方法适合任何精确的相机模型，需要校准块和复杂的计算，但在煤矿里很难实现。自校准方法是非线性校准，其可靠性并不高。但它是灵活和舒适的。在相机的运动不为人知或无法控制的情况下，不能使用主动视网膜校准方法，但它可以是线性的，具有高度可靠性。在这篇限制实验环境的文章中，使用了自我校准的方法。这个实验使用了两个大致相同的相机，它们并排向前移动。图4-4双目视觉成像原理图图4-4显示了双筒望远镜系统的结构模型。分别是左边和右边摄像机的投影中心。“G”和“n”是相机左边和右边的投影平面。Pl(x1、Y1、z1)和PR(2%、Y2、Z2)是m平面上P(x、y、z)的投影点。B、e和e-极是虚线，由PL、EI和PR连接，e-极地线。由P点、OI或极地平面组成的平面。不同的空间点和OI，或形成不同的极地平面，形成一个极地集群。尽管RI和ti转换器从相机的左移到空间点p是相似的，但是RR和tr转换器从相机的右转和tr转换器从转换器的右转到转换点p和T转换器并将右转坐标系移到左侧。这些参数的数学比值如下:Pi=RiP+Ti<Pr=RrP+TrJPi=RT（Pr+T）在同一场景的两个图像之间，由双筒望远镜系统生成，有一个有限的关系，即上极几何关系。在图3-4中，两个摄像头的坐标系只与x轴的基本距离b不同，同一空间点在两个图像平面上的V方向相同，而1-2在U方向上的差异是视差。图像增强图像过程中他受到各种因素影响环境,如照明不均的相机,更多数量的煤尘,聚焦照相机坏,相对运动相机和图像形成过程中,物体之间传输过程中的随机噪声等这些因素影响图像质量恶化和提取有用的信息。因此，在分析和理解图像之前，我们必须消除噪音和过滤图像，以减少随机因素对图像的影响，大大提高图像质量，增加物体与背景的对比。这个过程是图像的改进。增强图像是一个将原始图像转化为目标图像的过程，它包含了特定的信息，使用特定的方法。目标是选择性地突出感兴趣的图像特征，削弱或删除不必要的信息，提高图像的清晰和对比。获得一个容易分析和处理人类和计算机的图像，大大减少图像的数据容量。与此同时，图像处理速度加快，使增强的图像更适合当前应用程序。图像的改善包括噪音的减少、对比的改善、扭曲的纠正、模糊的消除等等，这些都是主观的。特定方法的影响是根据观察者来评估的，算法的性能是通过主观完美图像来比较的，因此通常需要实验来确定改进的方法。图像增强通常有两种过滤方法:相对空间波动区域的图像过滤和相对频率波动区域的图像过滤。空间领域的改进是图像像素的直接处理。空间区域图像的改善包括改善灰色变换，组织学处理，空间过滤平滑，算术逻辑操作，提高清晰度。空间过滤和其他方法。频率处理领域的技术改进主要是基于通过傅里叶频率变换和利用频率处理领域的其他数学计算方法来快速改进高频图像，将位于空间频率区域的高频图像转换成空间频率高的区域。这是一种间接的改进方法。该应用区域主要包括低频偏移滤波器、高频偏移滤波器、同态偏移滤波器、平滑性和频率偏移滤波器、高频频率滤波器等。图像平滑滤波图像信号噪声主要原因是由视频图像信号形成和数据传输时的过程噪声引起的。在相机接收那些受相机环境照明条件和其自身噪声成分图像质量因素影响的噪声图像时,相机的环境照明明亮程度和环境温度变化是导致图像产生噪声的主要影响因素。在各种图像信号传输处理过程中，噪音主要原因是由用于传输图像通道电路中的电磁干扰元件引起的。这些噪音可能会出现在一些假边或假电路的图像中，这些图像会对获取关于管道破裂特性的信息产生一定的影响。平滑图像的目的是减少噪音和突出特征。在对物体裂缝检测系统进行了大量实验分析后，通常会有大量粉末状的闪光点和单独的组点或线。视觉中的噪音主要是由煤尘颗粒、摄像机部件和光线引起的。当管道胶带被检测到时，摄像机的活动程度和温度。传输过程中的噪音主要是由图像传输引起的。它包括附加噪声、高斯噪声、脉冲噪声和随机噪声，这些噪声可能会干扰检测到小裂缝并破坏目标边缘的完整性。声音和图像信号总是交织在一起。如果不适当地平整，图像边缘的轮廓将会减弱，图像质量将会恶化。因此，在平滑过程中，我们试图减少噪音，并保留图像的细节。因此，在选择平滑过滤器时必须小心。有两种平滑过滤器:空间平滑和频率区域过滤。本文选择了一个空间平滑线性滤波器来处理非线性统计分类滤波器，一个低频指数滤波器，巴特沃斯低频滤波器和低频梯形滤波器。物体裂缝检测系统软件开发语义分割之U-Net深度网络通常需要大量的数据进行训练，当样本量较少的情况下，深度网络可能表现没那么好。对于这个问题，本文提出了新的网络架构和图像增强策略网络处理架构通常包括两个encoder和dndecoder(它在论文中分别称为扩展浓缩映射路径(contractingpath)和称为扩展浓缩路径(expandingpath)，实际上它们就是两个encoder和dndecoder)，encoder网络可以有效地快速捕捉每个上下文中的信息，而decoder可以较好地预测位置信息。U-net是基于FCN网络的思想设计的，整个网络只有卷积层，而没有全连接层。在FCN中：网络的浓缩路径，图像分辨率逐渐降低，上下文信息会逐渐增强。在扩展路径中，通过上采样的方式，让特征图的分辨率逐渐增大。同时，为了结合低层featuremap的强位置信息，将浓缩路径中的相应部分结合到扩展路径中。这种架构可以较好地进行位置定位。图5-1-1卷积神经网络卷积神经网络（ConvolutionalNeuralNetworks,CNN）是一类包含\t"/item/%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/_blank"卷积计算且具有深度结构的\t"/item/%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/_blank"前馈神经网络（FeedforwardNeuralNetworks），是\t"/item/%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/_blank"深度学习（deeplearning）的代表算法之一。卷积神经网络具有\t"/item/%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/_blank"表征学习（representationlearning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariantclassification），因此也被称为“平移不变人工神经网络（Shift-InvariantArtificialNeuralNetworks,SIANN）”。卷积核的神经网络直接仿造出了生物的视觉和知觉(visualperception)通过机制层的构建，可以同时进行过程监督性的学习和非过程监督性的学习，其中在隐含结构层内的卷积层与核之间参数数据共享和隐含层层之间连接的数据稀疏性等都使得卷积核的神经网络不仅能够以较小的高级计算机容量来针对格段特点化(grid-liketopology)进行特征,例如针对像素和海量音频特征进行监督学习、有稳定的学习效果且对海量数据分析没有额外的格点特征处理工程(featureengineering)技术要求。基于局部预拟合的方法在本章中我们需要提出另一种需要改进的物体活动图像轮廓预测模型，即对观测目标物体图像的各种局部性和能量活动进行预测模拟和组合。和经典的局部拟合的模型相比，此改进模型的计算量相对较低，而且分割的速度相对较快，与此同时，选择的初始轮廓也会有较好的鲁棒性。本节所提出的改进的模型可以很简单的适用于大多数的经典的基于局部区域拟合能量模型，并且可以提升分割效率，而且使改进后的模型降低初始轮廓的选择要求。根据模型的需要，我们先定义下面需要涉及到的函数：其中，所代表的是图像上某一点y的灰度值，代表的是在给定的图像域内，以x为活动中心的区域，区域的大小为。式中代表平均运算的是mean，代表的平均灰度值的分别为。和有以下的定义：在区域内，所有灰度值小于平均灰度值的像素点组成的区域用来表示，与之相反的是，所有灰度值大于平均灰度值的像素点组成的区域用来表示。根据上述两式，若给定一张图片，假如已经知道了某一点x还有对应的区域的尺寸，那么就可以直接的计算出和的值。如下图5-1中将区域以及分界线还有边缘点x上的和的值都体现出来了。图5-1模型示例图，图中白色粗壮线条为分界线,用来分开和，分割线左侧为，灰度均值为，右侧是，灰度均值为。随后，我们可以提出以下的局部预拟合能量方程：如果选取了某个点x，当曲线的位置刚好处在目标图像的边缘上的时候，就像下图中所示的分界线那样，那么上式中的能量将会取得最小值。通过下面几幅图来我们可以证明一下，当所选取的曲线刚好在目标边缘的时候，像下图，上述的能量函数的第一项近似于0，第2项也近似于0；当所选取的曲线在目标边缘某一侧的时候，像下图，上述的能量函数的第一项远远的大于0，第二项近似于0；当所选取的曲线穿过目标边缘的时候，像下图，上述的能量函数的第一项远远的大于0，第二项也远远的大于0；当所选取的曲线在目标边缘的另一侧的时候，像下图，上述的能量函数的第一项近似于0，第二项远远的大于0；因此，通过上面的对比分析可得，只有当轮廓的位置处在在目标边界上的时候，上述公式得能量值才能被最小化。（b）（c）(d)图5-2曲线在不同位置对应的能量值在普遍使用的局部拟合的活动轮廓模型中，高斯核函数因为它的局部化的特征而被广泛的应用到众多模型中，高斯核函数还可以用来替代局部窗口函数，所以，上述公式我们可以改写为：根据上述分析，为了保证图像域中的所有点的合理性，我们需要将能量函数的积分最小化，随之可得到下面的能量方程：当取得最小值的时候，曲线C会把所有的在边缘上的分界线都包含在其中，但是，我们也会发现在不是边缘的地方也会有一些冗余的曲线，对于出现的这种情况，我们需要加入一个长度约束项,用此约束项来去除冗余的曲线，还可以使曲线变得光滑，随后再将距离正则项嵌入到公式中，用来规避曲线不断进行水平集函数的初始化。因此，合并起来的能量可以写成下式：上式中，分别代表着长度项和正则化项前面的系数，和的定义可以参见之前的公式（补充前面的公式），的定义如下：再利用梯度下降法，将上述公式表示的能量方程的水平集函数进行最小化，从而获得最终的梯度下降流方程：式中的和分别为：在上式中，和是通过计算公式和出来的，我们可以将这两个函数当成拟合函数，用来近似的表示初始轮廓两边的局部图像的灰度值。又因为这两个拟合函数是在曲线演化之前就已经计算出来的，并且没有必要在每次迭代中都自动更新，所以把这两个函数称为局部预拟合函数，其对应的能量就称为局部预拟合能量。在通过比较LBF模型的能量和本节提出来的局部预拟合能量,从这两个能量函数可以看出，拟合函数的不同是它们唯一的区别，也就是原始模型中的拟合函数和被改进过的预拟合函数和所替代。在LBF模型中，和这两个拟合函数在每一次的迭代中均会与水平集函数保持一致，随着的变化而进行同步更新，且拟合函数更新一次，图像卷积都是跟着操作两次，因此计算比较复杂。但是在BLBF模型中，预拟合函数和和水平集函数毫无关系，它们只是在曲线演化开始之前被计算一次，而且不需要在每次迭代中都进行重新初始化。所以，BLBF模型与传统的基于局部拟合能量相比优点就是具有更少的计算量。而且正是由于当给定一张图片及其局部核后，它的预拟合函数和就可以保持不变，因此，BLBF模型很难会陷入局部最小的情况，所以，此改进模型对初始轮廓的选择也没有太高的要求。实验结果与分析算法执行本节将通过输入几张图片对改进的模型进行测试，并且和原来的经典的局部拟合模型进行比较。改进的模型的执行过程如下：步骤一：调整函数式中所涉及到的参数，其中包括初始水平集函数。步骤二：图像中的每一个点都根据上述公式和把和计算出来。步骤三：再通过公式和来不断的初始化水平集函数，当水平集函数收敛到最小时再停止更新。模型分割结果如下图所示，在处理一些分布不一致、边缘处若隐若现、对比度不高道路路面裂缝结果。如下所列所示。原图裂缝图语义分割之U-net的特点5个poolinglayer识别实现了物理网络对基于图像物理特征的多种大尺度图像特征自动识别。上一个采样部分特征会直接融合特征提取部分的特征输出，这样这么做实际上也就是将多个同尺度地图特征网络融合连接在了一起，以上两个采样部分为一实例，它的一个特征不仅仅是来自第一个卷积block的特征输出(同于多尺度地图特征),也同样也是来自上一个采样的特征输出(大于同尺度地图特征)，这样的特征连接方式是可以贯穿整个特征网络的，相当于对应的blfcn整个网络只在最后一层图上进行特征融合。此改进的模型比其他经典的传统算法在分割效率方面有了很大的提高，改进的模型分割误分割率更加准确，而且分割结果比较稳定，初始轮廓的鲁棒性也比较好。总结与展望这篇文章基于对道路裂缝检测方法的研究和观察，使用了计算机视觉技术的检测方法。本文首先介绍了该项目的总体布局和结构，然后选择了硬件。计算机视觉软件遵循结构模式，并根据物体裂缝的基本特征改进和发展检测裂缝的算法。本文的主要内容如下。主要实现了整个物体检测系统的设计，包括工业摄像机的选择，光源的选择，开发最基本的图像探测算法，以及主计算机的设计和开发。本文先采用局部预拟合的方法对目标图像的局部能量进行预拟合，再使用Anaconda+PyTorch相结合的语义分割算法对图像进行裂缝的检测。在本文的研究过程中，难点主要集中于图像提取以及图像提取后的信息处理，由于研究时间和本人水平有限，在算法上仍需要一些改进的地方，本文使用的算法对裂缝比较明显的图像效果较好，但是对于更加细小的裂缝图像分割效果不佳，仍需进一步的改进。参考文献[1]张一杨.基于机器视觉的物体裂缝检测系统设计[J].现代商贸工业,2016,37(34):464-465.[2]直国荣.皮带运输机故障检测方案设计[J].中国金属通报,2020(10):71-72.[3]直国荣.