【《基于十字交叉注意力结构保持神经网络的桥梁底面的裂纹图像检测与测量算法分析》6800字】

43737基于十字交叉注意力结构保持神经网络的桥梁底面的裂纹图像检测与测量算法分析目录TOC\o"1-3"\h\u10312基于十字交叉注意力结构保持神经网络的桥梁底面的裂纹图像检测与测量算法分析 1134051.1引言 1249491.2基于十字交叉注意力结构保持神经网络的裂纹检测 2132701.2.1基于十字交叉注意力的裂纹分割网络结构 217041.2.2递归十字交叉注意力模块 3275231.2.3损失函数 4131681.3结构保持桥梁裂纹图像的测量方法 532961.4桥梁裂纹数据集 7283761.5实验结果分析 9144071.5.1数据集和测评标准 980391.5.2实施细节 9111151.5.3实验结果与分析 9246161.5.4桥梁实际值的估算 1183901.6小结 121.1引言桥梁裂纹图像的检测不仅要解决它的分割的问题，还要保证分割的裂纹图像结构保持的完整性和测量结构保持性完整的裂纹图片的像素值大小并估算出它们的实际值。为了分割桥梁裂纹图像，Long等人[56]提出的基于全卷积网络FCN的语义分割方法取得了显着进展。但是，由于固定的几何结构，传统的FCN固有的限于仅提供短距离上下文信息的局部接收场。上下文信息不足的限制对其分段精度产生了很大的不利影响。为了弥补上述FCN的不足，已经提出了一些工作来引入有用的上下文信息，有利于语义分割任务。Song等[57]进一步介绍了通过传递不变性实现自监督视觉表征学习；基于膨胀卷积的方法[58-59]从周围的几个像素中收集信息，并且实际上无法生成密集的上下文信息；同时，基于池化的方法[60]以非自适应的方式聚合上下文信息，并且所有图像像素均采用同类上下文提取程序，这不能满足不同像素需要不同上下文依赖的要求且分割出来的裂纹难以保持它的完整性。为了解决分割出来的桥梁裂纹图片结构保持完整性的问题，本章使用U-Net的网络、注意力机制和类别一致的损失函数进行桥梁裂纹图像的分割。使用U-Net的网络多尺度可以纠正高分辨率特征中缺少的空间信息，并利用不相邻特征，这可以保持分割出来的裂纹图片的结构保持性。使用注意力机制是为了忽略背景中不相关的信息，比如裂纹图像中凹凸不平的地面，让它更加的关注图片中的裂纹信息。使用类别一致的损失函数，它迫使网络将图像中的每个像素映射到特征空间中的n维向量，以使属于同一类别的像素的特征向量靠在一起，而属于该类别的像素的特征向量则靠得很近，不同的类别相距甚远。这样分割出来的裂纹图像结构保持性会更加的完整，有利于后面对裂纹的测量。但是使用全局注意力机制会提高系统的运行内存，参数量大，消耗大量的检测时间。为了解决使用全局注意力机制产生的速率问题，本文使用几个连续的稀疏连接图代替常见的单个密集连接图[61]，这通常需要低得多的计算资源。在不失一般性的前提下，使用两个连续的十字交叉注意模块，其中每个模块在特征图中的每个位置仅具有稀疏连接(大约N)。对于每个像素位置，十字交叉的注意力模块在其水平和垂直方向上聚合上下文信息。通过串行堆叠两个十字交叉的注意力模块，每个位置都可以从给定图像中的所有像素收集上下文信息。上述分解策略将极大地降低从O(N2)根据计算机视觉来对裂纹分割的图像进行计算，在精度上达不到实际测量的效果，但是可以依据图像测量的具体可以估算出实际值的区间。根据分割裂纹图像结构保持完整性，本文提出了一个新的裂纹图像测量方法，用形态学骨架化、短枝去除等手段去除背景图片带来的影响，然后更具相应的测量公式来测量裂纹的像素长度和宽度，并估算了裂纹实际长宽的大小。1.2基于十字交叉注意力结构保持神经网络的裂纹检测1.2.1基于十字交叉注意力的裂纹分割网络结构本章中，将介绍一个基于十字交叉注意力的裂纹分割的方法，包括网络结构和损失函数。本章的网络结构图如图4-1所示。图4-1基于十字交叉注意力结构保持神经网络本章在U-Net网络的基础上引入了递归十字交叉注意力模块[61]，相对于一般的自然图像而言，桥梁裂纹图像语义较为简单、语义信息没有特别丰富，所以高级语义信息和低级特征都显得很重要，而U-Net的跳层连接和U型结构就很好的综合了高级的语义信息和低级特征。引入递归十字交叉注意力机制模块，可以在获取密集上下文信息，保持长距离空间依赖性的同时，对比全局注意力机制，降低了时间和空间的复杂度。同时引入类别一致性损失，该损失可以增强递归十字交叉注意力模块的识别能力。1.2.2递归十字交叉注意力模块考虑到非局部注意力机制存在计算量大，并且非局部注意力网络的全局上下文在不同位置几乎是相同的，这表示学习到了无位置依赖关系的全局上下文。非局部注意力机制在工业界的实际使用来看，巨大的计算开销使得非局部注意力机制很难在实际工程项目中落地。因此为了减少计算开销，本章引入了一个递归十字交叉的注意力模块(RecurrentCrissCrossAttention，RCCA)。如图4-1所示，递归十字交叉注意力模块是由两个十字交叉模块串联而成，递归十字交叉注意力作为一个独立的模块，它输入和输出的尺寸一致。引用递归十字交叉注意力机制比非局部的注意力机制在时间和空间的复杂性上从原来的O(N2)图4-2循环数为2时的信息传播示例令(x,y),(x',y')为特征图中的任意位置，则Ai,x,y=f(AHu当u和θ在同行或者同列时，它的关系是：Hu一般来说，递归交叉注意模块弥补了十字交叉注意模块的缺陷，无法从所有像素获取密集的上下文信息。与非局部注意力模块相比，递归十字交叉注意模块可以通过减少的计算量来实现更好的性能。1.2.3损失函数递归十字交叉注意力模块可以捕获全局上下文信息，但是同样有可能存在过度平滑的问题。为了解决这个问题，除了用交叉熵损失来惩罚最终预测结果和groundtruth之间的不匹配，还引入类别一致损失来让递归注意力机制模块直接学习类别一致的特征。类别一致是指同一类别的像素之间应该具有更相似的特征，而不同类别的像素之间应具有差别更大的特征。本章引用的损失函数有三项：lvar，ldis，lreg，分别代表了三种情况下的惩罚：lvar惩罚的是类别相同，特征距离较远；lvar=ldis=lreg其中C为小批量图像中存在的一组类，Nc属于类别有效元素的数量，c∈C、hi∈H是空间位置的特征矢量。uc是类别的平均特征，φ是一个分段距离函数。为了减少计算负荷，首先在递归十字交叉注意力模块的输出上使用1x1滤波器的卷积层进行尺寸减少，然后在具有较少通道的特征映射上应用这三个损耗。最终损失是所有损失的加权总和。其中α，l=l1.3结构保持桥梁裂纹图像的测量方法1.3.1桥梁形态学骨架化骨架化是指将具有一定宽度的裂缝变成单像素宽的过程。骨架化后，可以形象的描述裂缝的拓扑结构。骨架化是常见的图像处理方法，由此实现裂缝的骨架提取，便于进一步分析。裂缝二维拓扑结构的提取是后续宽度、长度等信息提取的基础。骨架化可以减少图像中的冗余信息，更简洁地描述裂缝的方向，形态，长度等信息。其中一种定义骨架的方法是基于最大圆盘概念。目标的骨架是由中所有最大内切圆盘的圆心组成，该最大圆盘不是其他任何完全用于的圆盘的子集，并且至少有两点与目标边界轮廓接触。1.3.2短枝消去在骨架化过程中会形成一定的短枝，可以按照一定的思路进行消去。消去思想：检测裂缝的端点，从端点开始进行跟踪，直到最先出现分支点，对跟踪过程中经过的像素数进行计数。如果该像素数即端点到分支点之间的像素数小于给定阈值，则消去跟踪过的路径，这就实现了短枝消去。由于在间断裂缝连接过程后不会再出现裂缝间断问题，所以下面可以直接求取裂缝长度。(1)裂纹的长度计算在利用本章提出的算法得到分割后的裂纹图像之后，采用骨架提出计算裂纹像素的长度和宽度。首先，对裂纹图片进行遍历，找出图中像素值为1且周围的8个点的连通区域至少有一个像素点为0的点(0代表的是背景区域的点，1代表的是裂纹区域的点)，如果找到的点如图4-3所示：图4-3像素点的选取示意图标记的同时要满足以下的式子的条件的边点：2≤NumP(2)裂纹的宽度计算在1.3.1中提出的骨架的方法的基础上，这一部分提出一种基于骨架方向上的图像裂纹的宽度像素的计算方法。骨架上的图像是单像素的图像，根据骨架图像可以求骨架线上每个点的切线方向。设M为骨架图片上的任意一点，则这个M点的8个领域上有2个为1的点。图4-3为点M的八个领域的切线图，N1、N2分别为点M的八个领域中的两个点，其中点M的切线方向是等于MN1KM=当计算出裂缝中各点的切线之后，再计算骨架线上与切线垂直的法线，法线与裂缝边界的交点距离即为裂缝的宽度。如果对每一个点都求取法线方程，然后求出该法线方程与裂缝边界的交点，最后得到两点之间的距离，这个运算量是很大的。尤其是对于图像分辨率高的裂缝图像更是如此。事实上，很多情况下裂缝宽度的变化是缓慢的，或者是逐渐变化的，因此对于每个点都做如上运算会有很多冗余，也没有必要。为了减少计算量，提高效率，可以选取裂缝骨架上的具有一定间隔的点（这个间隔大小根据图像分辨率和裂缝类型等因素综合确定），对这些具有一定间隔的点求取该点处的量化宽度。最后从中选取量化宽度最大的点再对骨架上点前段和后段上的每一点求取量化宽度，量化宽度的最大值就是该段裂缝区域宽度的最大值。1.4桥梁裂纹数据集根据易漏检的裂纹特征，本文制作了一个桥梁裂纹的数据集，如图4-4所示，数据集是中铁桥梁科学研究所桥梁结构健康与安全国家重点实验室提供的桥梁裂纹图像,该数据集一共挑选了合适图片600张，命名为Crack600。图4-4Crack600的桥梁数据集图片Crack600裂纹数据集中包含了10座桥梁数据，并在数据集中综合了不同场景下的裂纹图像，如表4-1所示。其中正样本和负样本分别代表有裂纹图像和无裂纹图像。表4-1Crack600裂纹数据集样本数据集背景影响因素网状裂纹正下边缘受拉区细短裂纹抖动模糊样腹板上竖向裂纹对比度低本横隔板处竖向裂纹背景纹理复杂墩台基础混凝土裂纹水渍干扰蜂窝麻面剥落掉角墙角边缘相似负空洞孔洞突出石子边缘样钢筋锈蚀光照阴影本天空、树木水渍、阴影为了提高模型的泛化能力，选取了不同场景下的600张图像制作数据集。首先，从每张原图上随机裁剪出9张300×300的小图；其次，由于正负样本不均衡（无裂纹图像远远多于有裂纹图像），从小图中筛选出2400张有裂纹图像和3000张无裂纹图像制作数据集，并将其中800张图像作为测试集（正负样本比例2:3）。1.5实验结果分析1.5.1数据集和测评标准本章使用了两个数据集，一个是1.4所制作的数据集，本章也选择在公开的数据集上进行测试，其中公开的GAPs384数据集总共1969个灰度图像，图像分辨率为1920x1080像素，每个图像都被裁剪为6个不重叠的图像区域，大小为640x540像素。仅保留超过1000像素的图像区域。因此，我们获得了509张图像进行训练和测试。本文用平均交并比mIoU和模型处理一张图像的时间Time(ms)来作为评估标准。1.5.2实施细节当使用数据集训练模型时，初始学习率设置为0.0001，批次大小为4，每100个epoch后减小为十分之一，而在500个epoch后停止训练，我们使用Adam的𝛽1=0.9，𝛽2=0.999作为优化程序。所有实验均在带有PyTorch的NVIDIA2080TiGPU上执行。1.5.3实验结果与分析为了验证本章实验的有效性，本文选用几个经典的分割的算法包括FCN[49]算法，RAU-Net算法(即本文第三章的算法)和Mask-CNN[62]的算法来验证本实验的有效性，为了公平比较在自己制作的桥梁数据集和公开的裂纹数据集上进行了验证上进行了验证。从表4-2中可以看出，本文提出的方法虽然对比第3章提出的方法精度有所下降，但是速度有所变快。本章所用方法分割的示意图与各个经典算法的对比如表4-2、4-3所示。表4-2在数据集GAPs384中各个算法的精确度和消耗时间的对比方法mIoUTimeFCN0.473125RAU-Net0.552156MaskR-CNN0.513172Ours0.542118表4-3在数据集Crack600中各个算法的精确度和消耗时间的对比方法mIoUTimeFCN0.432123RAU-Net0.461145MaskR-CNN0.443183Ours0.458128从上面的表格可以看出，虽然RAU-Net的方法的准确度上达到了最高，在表4-3中FCN的检测速率比本文的方法快。但是，发现同样的条件下使用加入CCNet的U-Net可以在精确度上达到一个比较好的结果，同时耗时的时间变少了，而FCN对比本文提出的方法速率是快了，但是它算法的精度更低。所以本章提出的算法可以在精度和速率上达到一个比较好的效果。图4-5各个算法分割的实际效果图在上图4-5的实际效果分割的图片中可以看到本文提出的分割方法的细节保持的更加的完整，其余的分割的效果都有部分的缺损，不能保持裂纹结构的完整性。如第一行中使用本文的方法可以把相对小的裂纹也可清晰的分割处理，而其余的方法缺少小裂纹的细节完整保持。表4-4中R表示的是加入的十字交叉模块的个数，以及它所需要的内存消耗和达到的精度。表4-4加入十字交叉注意力机制的数量方法GFLOPsMemory(M)mIoUbaseline000.481R=18.3530.510R=216.51270.528R=321.72080.530从表4-4可以看出，当R=3时本文提出方法的mIoU是最大的，但是它要的内存大小是R=2差不多两倍，但是mIoU却只提升了0.002，所以我们选择R=2比较符合本文的要求。对于十字交叉的注意力机制，为了达到最好的效果，分别加入了不同的稀疏的注意力机制，表4-4展示了递归循环十字交叉模块采用不同数量的循环在桥梁数据集验证集上的性能。可以观察到，在基线中添加十字交叉注意模块(R=1)可将性能提高2.9％，这可以有效证明十字交叉注意的重要性。此外，将循环数从1增加到2可以进一步将性能提高1.8％，从而证明了密集上下文信息的有效性。最后，将循环数从2增加到3会使性能稍微提高0.2％。同时，随着循环次数的增加，FLOP和GPU内存的使用也在不断增加。这些结果证明，提出的十字交叉注意力可以通过捕获水平和垂直方向的上下文信息来显着提高性能。此外，所应用的RCCA在捕获密集和全局上下文信息方面是有效的，这最终可以使语义分割的性能受益。为了平衡性能和资源使用，在以下所有实验中，本文选择R=2作为默认设置。1.5.4桥梁实际值的估算针对得到实际桥梁裂纹的长度和宽度，本文提出了一个办法。首先我们选用红米K30Pro手机对现实场景的裂纹进行拍摄，并记录拍摄裂纹与拍摄的摄像头的垂直的实际距离，暂时定为40cm，我们可以测量出现在照片中的场景的长度，以及拍摄照片长度和宽度的实际像素，这样我们可以得到实际每个像素的占比，最后根据分割测量出来的桥梁裂纹图像乘以每个像素的实际占比，即可以估算得到图中的裂纹的实际的长度和宽度。其中在应用中我们可以调节摄像头到拍摄裂纹距离的参数，具体的测量结果如表4-5所示。表4-5抽取的两张裂纹图片测量的实际值和测量值比较实验计算长度/cm计算宽度/cm长度误差/%宽度误差/%第一张48.041.013.663.78第二张111.880.37541.571.28为了检测在实际场景中桥梁裂纹的长度和宽度大小，为防止自然光照条件的变化对实验产生影响，屏蔽自然光而采用独立的均匀光源，我们拍摄了大约30张的照片来验证我们方法的准确性。实际的结果表明，30