CN114022770B 基于改进自注意力机制与迁移学习的山体裂缝检测方法 （中山大学）

(19)国家知识产权局(12)发明专利(22)申请日2021.11.11GO6VGO6NGO6N3/0455(2023.01)(56)对比文件(72)发明人吴贺俊李可审查员章婧公司44102专利代理师禹小明GO6V10/40(2022.01)权利要求书3页说明书8页附图2页基于改进自注意力机制与迁移学习的山体(57)摘要本发明提供基于改进自注意力机制与迁移得到的验证集选择训练裂缝检测网络得到的表2S1:对裂缝检测网络的数据集进行预处理得到训S21:使用ImageNet-1k预训练裂缝检测网络的Sw所述Swin-Transformer主干网络包含两种基本网络模块：Swin-TraSwin-Transformer是一种包对中第一个block的输入；¹为第1个基于窗口的多头自注意力层的输出；z¹为第1个SW-MSA将图片划分成较小的patch,之后用窗口将图片划分，每个patch只和同一窗口内其中，Q,K,V是由图片中每个patch经过卷积神经网络embedding之后得到的向量，d为向量K的维度大小；B为预设的偏置项；设每张图片可划分为H×W个patch,每个patch得到的Q,K,V向量长度为C,而每个窗口范围内包含M×M个patch,则自注意力机制MSA与W-MSA的计算时间复杂度分别为：Patch-merging旨在通过对特征图的patch向量进行合并，以对特征图进行近似下采3输入图片首先经过一层Ublock提取特征，再经过patchembbeding之后输入到Swin-Transformer主干网络，Swin-Transformer捕获图像的全局依赖关系，并利用patch-入的特征图尺寸为h×w×c,图像输入Ublock后经过三次残差块间隔两次下采样的组合网络最终输出四个尺寸相同的预测图，并且利用深监督机制将每一个预测都加入损失2.根据权利要求1所述的基于改进自注意力机制与迁移学习的山体裂缝检测方法，其将所有的训练样本与标签样本重新尺寸化以利于计算损失，并且3.根据权利要求1所述的基于改进自注意力机制与迁移学习的山体裂缝检测方法，其将相邻的2×2范围内长度为c的向量进行连接操作得到长度为4c的向量，再将其输入全连接层得到最终长度为2C的向量，设输入的特征4.根据权利要求3所述的基于改进自注意力机制与迁移学习的山体裂缝检测方法，其5.根据权利要求1所述的基于改进自注意力机制与迁移学习的山体裂缝检测方法，其6.根据权利要求5所述的基于改进自注意力机制与迁移学习的山体裂缝检测方法，其S31:输入验证集中采样的道路裂缝图片到网络中，结果输出4张尺寸为4HoUT×WoUT×CoUT的预测图，其中CoUT=2,表示每S32:选择最后一层的预测结果作为最终输出，根据标签像素的值选择通道得到模型的预测结果；7.根据权利要求6所述的基于改进自注意力机制与迁移学习的山体裂缝检测方法，其5技术领域[0001]本发明涉及深度学习领域与计算机视觉领域，更具体地，涉及一种基于改进自注意力机制与迁移学习的山体裂缝检测方法。背景技术[0002]山体裂缝是一种常见的自然隐患，未及时预警的山体裂缝常演化为山体滑坡等自然灾害，造成巨大的财产损失、人员伤亡，因此及时检测山体裂缝十分必要。传统的山体裂缝检测方法大都采用仪器监测加人工识别的方法，这些方法虽然具有一定的检测效果，但[0003]基于深度学习的裂缝检测方法因其自动化程度高有很好的发展前景，但仍存在许多的问题导致其许多场景下因准确率不够而不能实用。具体看，当前主流的基于深度学习的检测方法主要包括基于上、下采样的方法、基于编码器-解码器结构的方法以及基于自注意力机制的方法三类。其中，第一类方法的网络提取的信息不够丰富且没有考虑到不同尺度特征的独特性，检测精度较低。第二类方法由于卷积神经网络难以关注到像素的全局依赖关系，在细粒度上的分割效果仍待提高。第三类方法在网络中加入了自注意力机制以提取像素的全局依赖关系，一定程度地提升了网络的检测精度，但这类方法自注意力权重的存在数据缺乏，影响网络训练的问题。发明内容[0004]本发明提供一种基于改进自注意力机制与迁移学习的山体裂缝检测方法来高效[0005]为了达到上述技术效果，本发明的技术方案如下：[0006]一种基于改进自注意力机制与迁移学习的山体裂缝检测方法，包括以下步骤：[0007]S1:对裂缝检测网络的数据集进行预处理得到训练集和验证集；[0008]S2:利用步骤S1得到的训练集对裂缝检测网络进行训练；[0009]S3:利用步骤S1得到的验证集选择训练裂缝检测网络得到的表现最好的模型；[0010]S4:在不同道路裂缝数据集上测试模型的性能，泛化性；[0011]S5:利用迁移学习方法将步骤S4处理后的模型应用于山体裂缝检测。[0013]将所有的训练样本与标签样本重新尺寸化以利于计算损失，并且去除数据集中噪声过多的样本，之后，将剩余合格样本划分为训练集与验证集，其中训练集用于训练网络，而验证集用于选择性能最佳模型。[0015]S21:使用ImageNet-1k预训练裂缝检测网络的Swin-Transformer主干网络部分；[0016]S22:使用训练集训练整个网络。6[0017]进一步地，步骤S21中的Swin-TransformerSwin-Transformer模块和Patch-merSwin-Transformerblock对，输入在第一个口的多头自注意力层计算并加上残差，之后经过线性归一化层和多层感知机层再加上残[0034]将相邻的2×2范围内长度为c的向量进行连接操作得到长度为4c的向量，再将其7[0037]输入图片首先经过一层Ublock提取特征，再经过patchembbeding之后输入到终输出尺寸相同的预测结果；若输入的特征图尺寸为h×w×c,图像输入Ublock后经过三次残差块间隔两次下采样的组合后，尺寸变为,特征图经过两次上采样和残差块的组合还原为原本尺[0044]S31:输入验证集中采样的道路裂缝图片到网络中，结果输出4张尺寸为Hu×WouT型的预测结果；8[0052]其中TP表示预测结果为正样本并且标签亦为正样本的像素个数，TN表示预测结果为负样本并且标签亦为负样本的像素个数，FP表示预测结果为正样本但标签为负样本的像素个数，FN表示预测结果为负样本但标签为正样本的像素个[0053]S34:综合各个指标选取在验证集上表现最好的模型；[0054]步骤S31中，标签像素值为0选择第一通道，标签像素为1选择第二通道。[0056]本发明对裂缝检测网络的数据集进行预处理得到训练集和验证集；利用得到的训练集对裂缝检测网络进行训练；利用得到的验证集选择训练裂缝检测网络得到的表现最好的模型；在不同道路裂缝数据集上测试模型的性能，泛化性；利用迁移学习方法将处理后的模型应用于山体裂缝检测。本发明面向高精度山体裂缝检测应用场景，研究图片不同尺度特征的提取方式，提出了一种新型的裂缝检测网络结构，并从结构层面和公式层面对新网络进行了详细的阐述。本发明利用不同的数据实验说明了网络如何应用于具体的检测场景，并通过与代表性方法进行性能对比，展现了新型算法的优势所在。附图说明[0057]图1为裂缝检测网络结构图；[0058]图2为W-MSA与SW-MSA计算示意图；[0059]图3为无人机拍摄道路裂缝检测结果图；[0060]图4为山体裂缝检测结果图。具体实施方式[0061]附图仅用于示例性说明，不能理解为对本专利的限制；[0062]为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品[0063]对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解[0064]下面结合附图和实施例对本发明的技术方案做进一步的说明。[0065]本发明提供了一种基于改进自注意力机制与迁移学习的山体裂缝检测方法，主要包括网络训练阶段和模型测试阶段，具体地：[0066]网络训练阶段：[0067]S1:首先对数据集进行预处理。具体地，将所有的训练样本与标签样本重新尺寸化以利于计算损失，并且去除数据集中噪声过多的样本。之后，将剩余合格样本划分为训练集与验证集，其中训练集用于训练网络，而验证集用于选择性能最佳模型；[0068]S2:对裂缝检测网络进行训练，网络结构如附图1所示：[0069]所述步骤S2的具体过程是：[0070]S21:使用ImageNet-1k预训练网络的Swin-Transformer主干网络部分。9连续Swin-Transformerblock对，输入在第一个block中首先经过线性归一化层(LinearNormalization)与基于滑动窗口的多头自注意力层(Window-basedMuti-HeadSelf-attention,W-MSA)计算并加上残差，之后经过线性归一化层和多层感知机层再加上残差，自注意力层变换成了移动的基于窗口的多头自注意力层(ShiftedWindow-basedMuti-将窗口整体的滑动(例如附图2中向左上滑动)可以得到新的窗口划分方式，从而计算原来[0088]步骤S22具体过程为：输入图片首先经过一层Ublock提取特征，再经过patch若输入的特征图尺寸为h×w×c,图像输入Ublock后经过三次残差块间隔两次下采样的组合后，尺寸变为,特征图经过两次上采样和残差块的组合还原为原本尺[0098]S31:输入验证集中采样的道路裂缝图片到网络[0099]S32:选择最后一层的预测结果作为最终输出，根据标签像素的值选择通道(标签[0106]其中TP(TruePositive)表示预测结果为正样本并且标签亦为正样本的像素个Positive)表示预测结果为正样本但标签为负样本的像素个数，FN(FalseNegative)表示示召回率(Recall),F₁表示F1分数(F1-Score),A表示准确率(Accuracy),IoU表示交并比(IntersectionoverUnion);果如表1所示，可知本发明所采用的基于改进自注意力机制与迁移学习的裂缝检测方法有FPHBN0.4920.6870.6140.6750.908