CN119444710A 基于跨模态融合的发电机转子表面缺陷检测方法及系统 （中国长江电力股份有限公司）

基于跨模态融合的发电机转子表面缺陷检本发明涉及一种基于跨模态融合的发电机发电机转子磁极外表面的红外图像和可见光图通过双流目标检测模型主干网络的两个并行分通过基于交叉注意力的图像融合模块将两种模保留各自模态的优势的同时提升整体的缺陷检2将红外图像和可见光图像分别输入到预设的双流目标检测模型中，2.根据权利要求1所述的基于跨模态融合的发电机转子表面缺陷检测方法，其特征在将红外图像和可见光图像分别输入到主干网络的两个并行分支，通过红主干网络的图像融合模块Fusion引入交叉注意力机制，将红外图将不同尺度的特征图输入对应的检测头，输出发电机转子磁极外表面的缺陷检测结3.根据权利要求2所述的基于跨模态融合的发电机转子表面缺陷检测方法，其特征在于，所述主干网络的红外分支包括Conv+C2f组合模块以及设置于红外分支的末端的一个所述Conv+C2f组合模块用于对红外图像进行特红外分支的末端设置的SPPF模块用于对红外图像特4.根据权利要求3所述的基于跨模态融合的发电机转子表面缺陷检测方法，其特征在所述C2f模块用于将Conv模块输出的图像特征在通道维度上进行分割，一部分特征直5.根据权利要求4所述的基于跨模态融合的发电机转子表面缺陷检测方法，其特征在于，所述主干网络的可见光分支包括Conv+C2f_SA组合模块以及设置于可见光分支末端的所述Conv+C2f_SA组合模块用于对RGB图像进行特征提取；所述Conv+C2f_SA组合模块可见光分支末端设置的SPPF模块用于对可见光图像特6.根据权利要求5所述的基于跨模态融合的发电机转子表面缺陷检测方法，其特征在3红外分支使用Conv+C2f组合模块对红外图像进行特征提取，经过SPPF模块进行多尺度池化后送入图像融可见光分支使用Conv+C2f_SA组合模块对RGB图像进行特征提取像特征经过SPPF模块进行多尺度池化后送入图像融7.根据权利要求6所述的基于跨模态融合的发电机转子表面缺陷检测方法，其特征在主干网络的图像融合模块Fusion接收红外分支和可见光分支输出的红外图像特征和使用1x1卷积对输入的红外图像特征和可见光图像特征分别进行特征映射，生成红外对特征映射进行交叉注意力操作，得到红外模态特征与可见光模态特根据红外模态特征与可见光模态特征之间的注意力权重，分别将经过交叉注意力操作后得到的两种模态的特征进行Concat拼接8.一种应用于权利要求1_7中任一项所述基于跨模态融合的发电机转子表面缺陷检测缺陷检测模块，用于将红外图像和可见光图像分别输入到预设的双流目标检测模型述程序或指令被处理器执行时能够实现上述权利要求1至7中任一项所述的基于跨模态融4觉领域的缺陷检测任务的应用中占据主流地位。深度学习模型可以通过CNN等网络对图像5[0010]优选的，所述将红外图像和可见光图像分别输入到预设[0020]所述C2f模块用于将Conv模块输出的图像特征在通道维度上进行分割，一部分特[0021]优选的，所述主干网络的可见光分支包括Conv+C2f_SA组合模块以及设置于可见[0022]所述Conv+C2f_SA组合模块用于对RGB图像进行特征提取；所述Conv+C2f_SA组合[0024]优选的，所述通过红外分支和可见光分支分别对红外图像和RGB图像进行特征提特征经过SPPF模块进行多尺度池化后送入图像融合光图像特征经过SPPF模块进行多尺度池化后送入图像融合模块[0028]主干网络的图像融合模块Fusion接收红外分支和可见光分支输出的红外图像特6如本发明第一方面实施例所述的基于跨模态融合的发电机转子表面缺陷检测方法中的步于跨模态融合的发电机转子表面缺陷检测方目标检测模型主干网络的两个并行分支分别对RGB图像和红外图像进行特征提取，通过基于交叉注意力的图像融合模块将红外图像和可见光图像两种模态的特征进行跨模态特征[0047]图6为本发明提供的基于跨模态融合的发电机转子表面缺陷检测系统的结构框7过双流目标检测模型主干网络的两个并行分支分别对RGB图像和红外图像进行特征提取，通过基于交叉注意力的图像融合模块将红外图像和可见光图像两种模态的特征进行跨模[0053]图1为本发明提供的基于跨模态融合的发电机转子表面缺陷检测方法流程图。如外分支和可见光分支分别对红外图像和RGB图像进[0060]参照图2，主干网络Backbone是一个能够同时处理可见光和红外图像的的双流网8[0062]主干网络的红外分支包括Conv+C2f组合模块以及设置于红外分支的末端的一个[0064]所述C2f模块用于将Conv模块输出的图像特征在通道维度上进行分割，一部分特C2f模块的基础上引入了Transformer的自注意。H和W是特征图的高度和宽度。[0076]Conv+C2f‑SA组合模块能够有效地利用Transformer的自注意力机制来增强CNN的9模块进行多尺度池化后送入图像融合模块Fu输出的红外图像特征FIR和可见光图像特征F[0081]然后，使用1×1卷积对输入的红外图像特征和可见光图像特征分别进行特征映可将光模态的查询QRGB则与红外模态的键KIR进行矩阵乘法。这一操作是为了衡量两种模态为本发明提供的红外模态特征与可见光模态特征融合示意图。图5中，RGBModality是指征在保留各自模态的优势的同时提升整体的缺陷[0090]具体的，FPN(FeaturePyramidNetwork，特征金字塔)+PAN(Path[0093]图6为本发明提供的基于跨模态融合的发电机转子表面缺陷检测系统的结构框[0095]缺陷检测模块602，用于将红外图像和可见光图像分别输入到预设的双流目标检[0099]存储器702在一些实施例中可以是计算机设备的内部存储单元，例如计算机设备算机设备上配备的插接式硬盘，智能存储卡(SmartMediaCard，SMC)，安全数字机设备的内部存储单元也包括外部存储设备。存储器702用于存储安装于计算机设备的应[0103]处理器701在一些实施例中可以是一中央处理器(CentralProcessingUnit，例如执行基于跨模态融合的发电机转子表面