CN119478538A 一种基于rtdetr的滑坡表面巡检方法 （中国长江电力股份有限公司）

本发明公开了一种基于RTDETR的滑坡表面的多尺度自适应卷积特征提取主干网络、基于CNN+Transformer的多尺度特征融合层、以及基于DETR解码层和自适应高阶匹配成本函数的检2步骤S2、构建基于ResNet的多尺度自适应卷积特征提取主干网络、基于CNN+Transformer的多尺度特征融合层、以及基于DETR解码层和自适应高阶匹配成本函数的检步骤S3、将训练集送入步骤S2所得的滑坡表面巡检模型进行训尺度自适应卷积特征提取主干网络提取特征，基于CNN+Transformer的多尺度特征融合层步骤S5、使用超参数调整优化完成后的滑坡表面巡检模对划分后的训练集做特定场景数据增强和常规数据增强操作包括对开源滑坡表面巡检训转并将增强后的图片大小缩放至640x640。基于ResNet的多尺度自适应卷积特征提取主干网络包括三条支路：传统卷积支路基于CNN+Transformer的多尺度特征融合层由尺度内特征交互模块和尺度间特征交互模块其中，尺度内特征交互模块根据特征图的大小分为小尺度3体是输入特征通过一个全连接层得到一个可学习参数，将大于等于该参数的特征展平为嵌入向量并通过self_attention做尺度内的交互得到新特征，将新特征与小于的特征重基于DETR解码层和自适应高阶匹配成本函数的检测头用于生成一个包含首先将特征融合后得到的三层特征s'、s2、s3展平为嵌入向量并拼接在一起形成特征置信度得分前300的query作为初始目标，在解码器每一层对做self_attention操作，然后与尺度间交互后的特征向量s做cross_attentio通过代价函数和梯度下降法优化模型的参数，使得滑坡表面巡检模型使用分类准确率、平均精度和召回率多个指标验证模在测试集上对模型进行全面评估，确认模型的精度和泛化能力4步骤S2、构建基于ResNet的多尺度自适应卷积特征提取主干网络、基于CNN+Transformer的多尺度特征融合层、以及基于DETR解码层和自适应高阶匹配成本函数的检的多尺度自适应卷积特征提取主干网络提取特征，基于CNN+Transformer的多尺度特征融5平翻转并将增强后的图片大小缩放至640[0009]更进一步地，步骤S2中基于CNN+Transformer的多尺度特征融合层由尺度内特征平为嵌入向量并通过self_attention做尺度内的交互得到新特征，将新特征与小于的特首先将特征融合后得到的三层特征s'、s2、s3展平为嵌入向量并拼上述置信度得分前300的query作为初始6匹配成本函数采用自适应高阶匹配成本函数，其中，为分类置信度，iou代表预测框和真实框的交并比，S、a和β是超参数，在不同的迭代周期通过设定不同α图2为本发明实施例基于ResNet多尺图3为本发明实施例检测模型整体框架和构建的大尺度特征注意力模块LSFA的示7翻转并将增强后的图片大小缩放至640×6[0021]步骤S2、构建基于ResNet的多尺度自适应卷积特征提取主干网络、基于CNN+Transformer的多尺度特征融合层、以及基于DETR解码层和自适应高阶匹配成本函数的检具体是输入特征通过一个全连接层得到一个可学习参数，将大于等于该参数的特征展平为嵌入向量并通过self_attention做尺度内的交互得到新特征，将新特征与小于的特征数和双线性插值上采样后与特征Fer拼接到一起，再通过一个Fusion模块得到融合后的特8激活函数后与特征Ft2r上采样后的特征样将特征s2通过3×3卷积和SiLU激活函数后与特征Ftr上采样拼接在一起，通过Fusion模Q做self_attention操作，然后与尺度间交互后的特征向量s做cross_at[0024]所述自适应高阶匹配成本函数的检测头具体是将位得分的线性组合，迭代次数大于等于时匹配成本函数采用自适应高阶匹配成本函数[0025]找到最小的匹配成本对应的类别和位置信息并将其输出即可得到对应的检测结的多尺度自适应卷积特征提取主干网络提取特征，基于CNN+Transformer的多尺度特征融获类似大型石块滚落这种需要更多全局语义信息的特征、采用普通卷积去提取基本特征，9[0030]本发明中，所述基于CNN+Transformer的多尺度特征融合层包含一个尺度内特征大的特征图通过全连接层自适应得到一个可学习参数，将大于该参数视为语义信息丰富背景特征元素重构的二维特征通过卷积层融合[0031]本发明中，所述基于CNN+Transformer的多尺度特征融合层包含一个尺度间特征类分数和定位得分的线性组合构建成本函数，迭代次数大于等于时匹配成本函数采用自坡表面裂缝和大型落石图片的检测结果，图(b)展示的是原始RTDETR对两组滑坡表面裂缝和大型落石图片的检测结果,图(c)中的RTDETR*代表本发明提出的改进后的RTDETR，