CN118864424B 基于RTDETRSat的道路巡检机器人障碍检测方法及系统 （华东交通大学）

基于RT-DETR-Sat的道路巡检机器人障碍检本发明为基于RT_DETR_Sat的道路巡检机器步骤：获取道路巡检过程中巡检区域的道路图碍物图像分为训练集和测试集；构建RT_DETR_理多尺度特征，将混合编码器的输出连接IoU感最终的预测结果，用于道路巡检机器人障碍检2获取道路巡检过程中巡检区域的道路图像，并对道路图像逐构建RT_DETR_Sat目标检测模型，所述RT_DETR_Sat目标检测模型包括主干网络混合编码器包括尺度内特征交互模块AIFI和多尺度特征融合模块F5输入特征经过1*1的卷积、IN归一化处理和激活函数ReLU计算和S4输入特征分别经第一次融合结果再经过1*1的卷积、IN归一化处理和激活函数处理后再与S3输入特征结果的输出经过激活函数处理后与S4输入特征所在支路第二次融合结果经过3*3的卷积、IN归一化处理和激活函数处理后与第一次融合结果处理和激活函数处理后与F5输入特征所在支路的激活函数处理结果分别经过1*1的卷积处理后再进行元素相加的特征拼接获得第三次融合第一次融合结果、第二次融合结果和第三次融合结果进所述解码器包括依次连接的分组查询注意力机制、残差连接和归一化所述解码器的输出作为前馈神经网络的输入，所述前馈神经网络包括线2.根据权利要求1所述的检测方法，其特征在于，3型根据分类评分选择的前K个编码器特征对应的预测框具有较高的分类评分和较高的IoU4.根据权利要求1所述的检测方法，其特征在于，所述RT_DETR_Sat目标检测模型的4(1.4)将获取的标准格式图像与滤波后图像转换到对数域做差，得到对数域的反射图(1.6.3)将(1.5)中得到的结果按照权重矩阵与图像颜色增益的结果重新组合进行连为其尺寸的50％_70如果当前行或列剩余的未覆盖的图像的边长小于正方形滑动窗口5块相连接，利用获得的数据集对RT_DETR_Sat目标检测模型进行训练，训练后的RT_DETR_6[0001]本发明涉及装配式工厂道路巡检技术领域，特别是涉及一种基于RT_DETR_Sat的[0005]本发明的目的是克服了以上技术的缺点，提供了一种基于RT_DETR_Sat的道路巡[0009]构建RT_DETR_Sat目标检测模型，所述RT_DETR_Sat目标检测模型包括主干网络7四种卷积组由两个1*1的卷积核与一个3*3的卷积核组成，这些卷积组会重复不同的次数，第三种卷积组重复6次，输出的通道数为1024，第四种卷积组重复3次，输出的通道数为[0013]F5输入特征经过1*1的卷积、IN归一化处理和激活函数ReLU计算和S4输入特征分[0014]第一次融合结果再经过1*1的卷积、IN归一化处理和激活函数处理后再与S3输入融合结果的输出经过激活函数处理后与S4输入特征所在支路的1[0015]第二次融合结果经过3*3的卷积、IN归一化处理和激活函数处理后与第一次融合一化处理和激活函数处理后与F5输入特征所在支路的激活函数处理结果分别经过1*1的卷积处理后再进行元素相加的特征拼接获得第[0018]所述解码器的输出作为前馈神经网络的输入，所述前馈神经网络包括线性组合、8[0042](1.4)将获取的标准格式图像9[0047](1.6.3)将(1.5)中得到的结果按照权重矩阵与图像颜色增益的结果重新窗口的中心点，使用恒定尺寸的正方形滑动窗口从中心点位置开始在图像上按照从左到围设定为其尺寸的50％_70如果当前行或列剩余的未覆盖的图像的边长小于正方形滑动窗口的滑动步长，则超出滑动步长的部分用0填充，之后向下继续以原来的滑动步长滑理模块相连接，利用获得的数据集对RT_DETR_Sat目标检测模型进行训练，训练后的RT_DETR_Sat目标检测模型用于实现对障碍物的[0059]本发明的系统创造性地将实时端到端检测的RT_DETR_Sat目标检测模型运用到道[0061]图1是本发明基于RT_DETR_Sat的道路巡检机器人障碍检测方法的模型训练过程[0072]构建RT_DETR_Sat目标检测模型，所述RT_DETR_Sat目标检测模型包括主干网络四种卷积组由两个1*1的卷积核与一个3*3的卷积核组成，这些卷积组会重复不同的次数，第三种卷积组重复6次，输出的通道数为1024，第四种卷积组重复3次，输出的通道数为3[0077]第一次融合结果再经过1*1的卷积、IN归一化处理和激活函数处理后再与S3输入融合结果的输出经过激活函数处理后与S4输入特征所在支路的1[0078]第二次融合结果经过3*3的卷积、IN归一化处理和激活函数处理后与第一次融合一化处理和激活函数处理后与F5输入特征所在支路的激活函数处理结果分别经过1*1的卷积处理后再进行元素相加的特征拼接获得第[0081]所述解码器的输出作为前馈神经网络的输入，所述前馈神经网络包括线性组合、[0093]不同尺度的特征作为融合块的输入先进行1*1卷积核的卷积，然后通过元素相加[0094]第一次融合结果经过1*1的卷积、IN归一化处理和激活函数处理后与S3一起作为[0111]本发明混合编码器中多次使用IN归一化技术可以很好的学习到不同障碍物的特[0116]从混合编码器输出序列中选择固定数量的图像特征，作为解码器的初始对象查测的类别和预测的边界框；其中和y分别代表预测和真实值，c和b分别代表类别和边界[0126]其中X表示GroupedQueryAttention的输入，GroupedQueryAttention(X)表示输理模块相连接，利用获得的数据集应用于障碍物检测的RT_DETR_Sat目标检测模型并对其[0153]将测试集输入到训练后的RT_DETR_Sat目标检测模型中，训练后的RT_DETR_Sat目标检测模型可以实现对障碍物的检测；利用训练后的RT_DETR_Sat目标检测模型获得图[0154]将待识别视频图像输入到训练后的RT_DETR_Sat目标检测模型，检测巡检机器人[0161](1.4)将获取的标准格式图像与滤波后图像转换到对数域做差(即将图像中的低[0166](1.6.3)将(1.5)中得到的结果按照权重矩阵与图像颜色增益的结果重新[0168]其中图像像素值改变范围的增益是一个乘法因子，用于调整图像的亮度和对比窗口的中心点，使用恒定尺寸的正方形滑动窗口从中心点位置开始在图像上按照从左到围设定为其尺寸的50％_70如果当前行或列剩余的未覆盖的图像的边长小于正方形滑动窗口的滑动步长，则超出滑动步长的部分用0填充，之后向下继续以原来的滑动步长滑区别在于每次高斯模糊的sigmoid参数不同，分别设置为20、100、180；最后将3个不同[0175](4.2)将待检测的巡检过程中巡检区域的障碍物图像输入训练好的RT_DETR_Sat的处理器执行时，实现上述所述的基于RT_DETR_Sat的道路巡检机器人障碍检测方法的各的基于RT_DETR_Sat的道路巡检机器人障碍[0190]本实施例基于ResNeSat模型的道路巡检机器人障碍检测系统，所述RT_DETR_Sat先进行1*1卷积核的卷积，然后通过元素相加的方式进行融合得到新的特征图作为融合块[0192]第一次融合结果经过1*1的卷积、IN归一化处理和激活函数处理后与S3一起作为[0193]从混合编码器输出序列中选择固定数量的图像特征，作为解码器的初始对象查分类分数的预测框进入解码器，解码器首先经过分组查询注意力机制的的计算，再进入[0204]本发明RT_DETR_Sat网络大大提升了障碍物检测速率，使得系统能够实现实时高[0205]将标注后的图片按照7:3的比例分配为训练集加验证集和测试集，既保证了训练[0209]本发明旨在解决当前巡检机器人速度