CN118887183B 一种基于关键特征融合的皮带撕裂检测方法和系统 （北京科技大学）

一种基于关键特征融合的皮带撕裂检测方本发明公开一种基于关键特征融合的皮带力机制，增强易漏检撕裂类别特征的感知敏感Cd；轻量化分割决策分支通过误检特征增强模为撕裂的预测结果和对应置信度Cs；将Cd和Cs输时根据目标检测分支的定位结果标出最终检测2S1、收集并预处理多张皮带表面图像，对所述多张所述共享特征层，对所述皮带表面图像进行双分支任务通用的数据增像通过9层卷积核大小为5×5的卷积层进行特征提取，每个卷积操作后均跟随一个批量归再将不同尺度的通用特征信息与池化后的全局特征信息合并后，通S3、将所述融合特征图像输入并训练双流融合网络d和Cs输入并训练双流融合网络的置信度融合器，输出被检测目标的最终分类，所述轻量化检测模块，将所述基础特征输入一个步长为2的3×3的深度可分离卷积层后将逐点卷积输出的特征图再通过h_swish激活函数进行非线性转换，以增强模型的表达将所述融合特征图F_fusion输入双分支感知注意力机制模块，所述3意力机制模块的漏检类别特征感知注意力子模块，输出漏检类别特征加权向量Xlocal，将所述双分支感知注意力机制模块的全局特征感知注意力子模块，经过与下采样后的V_global矩阵相乘，最终提取低频的全局信息，获得全局特征加权向量所述双分支感知注意力机制模块的漏检类别特征感知注意力子模块，将Xglobal和Xlocal二者相拼接，经全连接层转换通道尺寸后获得双分支感知注意力输出4在获取所述单通道特征映射的同时，将第一次使用非线性激活出增强后的全局特征信息，所述误检区域特征增强模块的误检区域细节特征增强子模块，全局最大池化和全局平均池化的结果也分别被连接成2个输出神经元；再通过全连接层输标是否真正属于撕裂的预测结果及其对应的置均是一个所有元素都等于1的向量；5意力机制中此过程完成N次，各通道间线性变换的参数不共享，后将N个Attention向量拼所述误检区域细节特征增强子模块，基于图像背景中易被误检为撕裂的的特征图，后将其传递给一个由3x3深度可分离卷积和0收集预处理划分模块，用于收集并预处理多张皮带表面图共享特征提取模块，用于将训练集中的图像输入并训练双流融合网络的共享特征层，所述共享特征层，对所述皮带表面图像进行双分支任务通用的数据增像通过9层卷积核大小为5x5的卷积层进行特征提取，每个卷积操作后均跟随一个批量归再将不同尺度的通用特征信息与池化后的全局特征信息合并后，通6分割决策模块，用于将所述融合特征图像输入并训练检测模块，用于使用训练完成的双流融合网络，对待检测皮带8.一种电子设备，所述电子设备包括处理器和至少一条指令由处理器加载并执行以实现如权利要求1_6任一项所述基于关键特征融合的7[0002]皮带撕裂检测技术旨在针对皮带表面成像中的纹理、形状等特征信息进行分析，8[0014]所述轻量化检测模块，将所述基础特征输入一个步长为2的3×3的深度可分离卷特征金字塔中自顶向下的方式逐步合并相邻层次的特征图，直到形成融合特征图F_将Xglobal和Xlocal二者相拼接，经全连接层转换通道尺寸后获得双分支感知注意力输出[0016]根据Xoutput，对目标检测锚框和目标类别预测进行定位损失函数、置信度损失函[0018]其中，pt是模型对某个样本为正类别的预测概率，γ作为一个调制参数用于控制[0020]所述双分支感知注意力机制模块的全局特征感知注意力9阿达玛乘积，得到漏检类别特征感知增强后的特征加权向量Xlocal，Xlocal＝Wcontext⊙V_[0027]将Xglobal和Xlocal二者相拼接，经全连接层转换通道尺寸后获得[0031]所述决策模块，将所述轻量化分割模块的特征映射输出，通过重复3次的两层组出对目标是否真正属于撕裂的预测结果及其对应均是一个所有元素都等于1的向量；设计多个平行通道且各通道均使用不同方向的3×3可变向卷积核，利用参数θ,0°<θ<易误检区域特征设置轴向全局注意力和误检区域细节增强双重作用的误检区域特征增强双分支感知注意力，在全局特征感知注意力子模块中加强不同区域低频特征间的相关性，测分支输出的被检出目标的类别置信度和分割决策网络输出的被检出目标的撕裂置信度[0084]本发明实施例在复杂工业场景下利用工业相机定时拍摄皮带运行过程中的皮带[0085]本发明实施例使用labelme标注工具分别进行目标检测任务与分割任务的标注：前者通过矩形工具框选撕裂区域，根据现场需检出的撕裂形态将目标框划分为边缘破损、者通过多边形或画笔工具精细描绘各像素级别的撕裂区域边界，将所有被选区域统一归为[0086]本发明实施例将所有图像一目标检测标签对按照4:1的比例划分为训练集和验证9层卷积核大小为5×5的卷积层进行特征提取，每个卷积操作后均跟随一个批量归一化过[0095]所述轻量化检测模块，将所述基础特征输入一个步长为2的3×3的深度可分离卷将Xglobal和Xlocal二者相拼接，经全连接层转换通道尺寸后获得双分支感知注意力输出[0097]根据Xoutput，对目标检测锚框和目标类别预测进行定位损失函数、置信度损失函出目标检测的定位检测锚框以及目标的类别预测结果，同时输出预测类别对应的置信度[0100]可选地，如图5所示，所述双分支感知注意力机制模块，将输入的融合特征图F_[0101]所述双分支感知注意力机制模块的全局特征感知注意力同时深度可分离卷积层的权重被全局共享，接着计算Q_local和K__local的阿达玛(Hadamard)乘积，使二者合并生成上下文感知的特征矩阵Mcontext，接着通过全连接层与Swish激活函数(Swish激活函数的具体公式如下：其中β为自定义的训练参阿达玛乘积，得到漏检类别特征感知增强后的特征加权向量Xlocal，Xlocal＝Wcontext⊙V_[0108]将Xglobal和Xlocal二者相拼接，经全连接层转换通道尺寸后获得[0113]所述决策模块，将所述轻量化分割模块的特征映射输出，通过重复3次的两层组程并搭配使用sigmoid激活函数，最终输出对目标是否真正属于撕裂的预测结果及其对应图的水平轴向池化结果Qh与垂直轴向池化结果Qv的表达式如均是一个所有元素都等于1的向量；设计多个平行通道且各通道均使用不同方向的3×3可变向卷积核，利用参数θ,0°<θ<[0122]所述误检区域细节特征增强子模块，基于图像背景中易被误检为撕裂的干扰物[0132]如图10所示，本发明实施例还提供了一种基于关键特征融合的皮带撕裂检测系因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central[0142]本领域普通技术人员可以理解实现上述实施例的全部或部