CN119006434B 基于双重视觉状态空间模型的皮带撕裂检测方法和系统 （北京科技大学）

基于双重视觉状态空间模型的皮带撕裂检本发明公开一种基于双重视觉状态空间模皮带表面图像输入训练完成的皮带撕裂图像缺尺寸的图像融合特征；双分支目标检测输出模2S2、将所述待检测皮带表面图像输入训练完成的皮所述双重视觉状态空间皮带撕裂图像特征提取网络，使用双重视觉状所述多尺度特征融合模块，使用基于视觉状态空间特征提取模块的特征金字塔结构，再利用卷积下采操作，将切块后的图像块和局部图像块，分别所述双重视觉状态空间特征提取模块中的第一个双重视觉状态空间特征提取模块构成的全局视觉状态空间分支，提取图像序列间的长距离全局语义类别信息，述局部视觉状态空间分支提取的图像局部特征和所述全局视觉状态空间分支提取的图像所述双重视觉状态空间特征提取模块所提取到的局部细节信息，并不3其中，所述视觉状态空间特征提取模块，将每个图像长所述图像长序列相加得到所述特征序列。其中，自上而下是指将最小尺寸的图像融合特征F4经过上采对于自下而上融合，将P2下采样至与F3同尺寸，再与自上而下融合中将P3下采样至与F4同尺寸，再与自上而下融合中对应的特征拼接一4其中，所述二元交叉熵损失函数，是通过计算类别预测概所述分布焦点损失函数，能够用来让网络快速聚焦到标签附近的数值i和pi+1是模型输出的两个预测边界框交并比是一种描述目标检测的预测边界框与真实测边界框与真实边界框的交并比来衡量框的回归程度，完全交并比损失函数基于这一原2含预测边界框和真实边界框的最小闭区域对角线长度，w和h分别表示预测边界框的宽和gt和hgt分别表示真实边界框的宽和高；Loss＝wbceBCE_Loss+wdflDFL_Loss+wciodflciou分别表示对应的权重。检测模块，用于将所述待检测皮带表面图像输入训练完成的皮带撕5所述双重视觉状态空间皮带撕裂图像特征提取网络，使用双重视觉状所述多尺度特征融合模块，使用基于视觉状态空间特征提取模块的特征金字塔结构，再利用卷积下采操作，将切块后的图像块和局部图像块，分别所述双重视觉状态空间特征提取模块中的第一个双重视觉状态空间特征提取模块构成的全局视觉状态空间分支，提取图像序列间的长距离全局语义类别信息，述局部视觉状态空间分支提取的图像局部特征和所述全局视觉状态空间分支提取的图像6前主流深度学习算法在高分辨率皮带撕裂早期小目标缺陷检测7[0011]S2、将所述待检测皮带表面图像输入训练完成的皮带撕裂图像缺陷检测主干网使用步长为2的卷积进行下采样，缩小图像特征尺寸，分别得到四种尺寸的图像融合特征8与所述图像长序列相加得到所述特征序列。采样到原图尺寸并拼接后接一个1×1卷积调整特征W×4的位置检测结果和H×W×1的交并9[0036]其中，yic表示模型输出的第i个样本的的第c个标签，pic表示输出属于标签的概i和yi+1表示最接近y的预测边界框位置；gt和hgt分别表示真实边界框的宽和高；状态空间建模方式保证较高的推理效率，即本发明综合考虑现有技术在小目标特征提取、[0058]图1是本发明实施例提供的一种基于双重视觉状态空间模型的皮带撕裂检测方法[0061]图4是本发明实施例提供的图像序列化模块及双重视觉状态空间皮带撕裂图像特[0065]图8是本发明实施例提供的基于视觉状态空间特征提取模块的特征金字塔结构的[0067]图10是本发明实施例提供的一种基于双重视觉状态空间模型的皮带撕裂检测系[0072]S2、将所述待检测皮带表面图像输入训练完成的皮带撕裂图像缺陷检测主干网[0077]本发明实施例提供一种基于双重视觉状态空间模型的皮[0079]本发明实施例在皮带工作场景下，使用2048分辨率线阵相机(采集图像分辨率为[0080]S2、将所述待检测皮带表面图像输入训练完成的皮带撕裂图像缺陷检测主干网[0085]本发明实施例所述皮带撕裂图像缺陷检测主干网络的训练使用训练集中的图像[0087]在皮带工作场景下，使用2048分辨率线阵相机(采集图像分辨率为2048×1)拍摄[0089]将收集的图像中的缺陷，根据不同的形状纹理特征以及严重程度划分为C类不同表示目标检测框的中心点坐标，(h,w)表示目标检测框的高度和宽度，x±w/2应该在0~[0100]状态空间模型是一种描述动态系统行为的数学模型，它使用一组一阶微分方程器内存使用和更好的远程依赖建模能力在视觉领域也有了广泛的应用。在图像处理领域，特征(对早期小目标缺陷的检测很重要)的探索较少而导致定位不精确，甚至是漏检的情出了一种双重视觉状态空间特征提取模块来替代当前视觉状态空间模型中的视觉状态空距离全局语义类别信息，同时建模图像序列全局特征和图像微序列局部特征之间的关系，需要从前至后依次扫描一次就可以对语义进行建模)，对所有由若干个图像序列构成的图W×4的位置检测结果和H×W×1的交并[0120]其中，yic表示模型输出的第i个样本的的第c个标签，pic表示输出属于标签的概i和yi+1表示最接近y的预测边界框位置；gt和hgt分别表示真实边界框的宽和高；块10203和双分支目标检测输出模块102[0134]所述双重视觉状态空间皮带撕裂图像特征提取网络10202，使用双重视觉状态空[0135]所述多尺度特征融合模块10203，使用基于视觉状态空间特征提取模块的特征金能结构与本发明实施例提供的一种基于双重视觉状态空间模型的皮带撕裂检测方法相对因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central上述指令可由终端中的处理器执行以完成上述基于双重视觉状态空间模型的皮带撕裂检[0140]