CN120298692A 面向巡检机器人的轻量化多目标实例分割方法与系统 （重庆邮电大学）

号面向巡检机器人的轻量化多目标实例分割本发明涉及一种面向巡检机器人的轻量化轻量化YOLOv11网络，其至少通过动态卷积模块意力与通道空间注意力对特征融合进行协同优部署于巡检机器人，实时处理校园场景图像数2获取公开数据集，针对公开数据集进行数据裁剪和数据增强构建改进的轻量化YOLOv11网络，其至少通过动态卷积模块根据输入特征自适应调整将训练完成的轻量化实例分割模型部署于巡检机器人，实时处理校园场景图像数据，2.根据权利要求1所述的一种面向巡检机器人的轻量化多目标实例分割方法，其特征低计算量；C3k2_DynamicConv模块根据输入特征自适应调整权重降低参数量；C3k2_GhostDynamicConv结合Ghost卷积的廉价线性变换与动态卷积，在保持特征表达能力的情输入SPPF模块和C2CGA模块进行多尺度头部网络至少包括若干Upsample上采样模块、Concat拼接模块、C3k2_D先通过Upsample模块进行上采样，再通过Concat模块拼接不同分辨率的特征图，再使用C3k2_DynamicConv、C3k2_GhostDynamicConv和LAWDS进一步处理特征，最后由Segment_Efficient层对不同尺度的目标进行3.根据权利要求2所述的一种面向巡检机器人的轻量化多目标实例分割方法，其特征在于：改进的轻量化YOLOv11网络中的C3k2_DynamicConv动态卷积模块结合动态卷积核与接为向量seR2C,通过小型全连接网络fFC预测动态权重矩阵K表示卷积核34.根据权利要求2所述的一种面向巡检机器人的轻量化多目标实例分割方法，其特征分解标准卷积为多阶段操作来降低计算量；其核心组件GhostModule将特征生成分为两个GhostDynamicConv的计算输入特征图首先经过基础卷积层得到中间特征其中隐藏通5.根据权利要求2所述的一种面向巡检机器人的轻量化多目标实例分割方法，其特征xexe为hidc个3×3卷积核；Gx,Gy)通过(0,1,0,1)填充和池化窗口保W246.根据权利要求2所述的一种面向巡检机器人的轻量化多目标实例分割方法，其特征其中AvgPool(·)为平均池化操作；φ为1×1卷积生成空间位置对应的候选权重，其中，1×1卷积的参数w,E"";Softmax沿最后一维归一化；每个元素Ab,c,i,j,k表示批次b通道c在位置(i,j)处第k个区域的注通过分组卷积生成四倍通道的下采样特征，其分组数G＝C/gr7.根据权利要求2所述的一种面向巡检机器人的轻量化多目标实例分割方法，其特征58.根据权利要求2所述的一种面向巡检机器人的轻量化多目标实例分割方法，其特征gnE"和低特征图进行对齐融合，通过上采样或下采样的方式调整尺寸一致性样将低层特征图调整为与高层特征图相同的空间维度：头部网络中的C3k2_DynamicConv模块、C3k2_GhostDynamicConSegment_Efficient模块包括检测分支和分割分支，检测分支通过多层卷积预测边界检测分支：输入特征图经过stem模块提取特征，然后通过cv2和cT)69.根据权利要求1所述的一种面向巡检机器人的轻量化多目标实例分割方法，其特征其主干网络采用EIEStem模块进行高效初始特征提取，通过C3k2_DynamicConv动态卷头部网络采用Segment_Efficient轻量化分割模块，通过深度可分离卷积与动态上采Ltotal=λclsLcls+λmaskLmask+λboundrayLboun平台核心采用NUC主机作为运算处理器，运行ROS机器人操作系统，要求1_9任一项所述的一种面向巡检机器人的轻量化多目标实例分割方法中构建的改进的平台集成IntelRealSenseD455深度摄像头与激光雷达，分别用于高分辨率RGB_D数通过ROS通信框架，多传感器数据经C2CGA通道_空间全局注意力模块实时优化后输入7内因人群拥挤、车辆与自行车混行引发的安全事故占比超过60其中多数事故因未能及方法与系统。其通过动态轻量化网络架构与通道_空间全局注意力机制为校园场景下的密8[0011]构建改进的轻量化YOLOv11网络，其至少通过动态卷积模块根据输入特征自适应[0012]根据构建的校园场景数据集对改进的轻量化YOLOv11网络进行训练，得到其最优少包括若干EIEStem轻量化特征提取模块、C3k2_DynamicConv动态卷积模块及C3k2_GhostDynamicConv模块和LAWDS复合轻量化模块，以及至少一个SPPF模块和一个C2CGA模的最高尺度特征输入SPPF模块和C2CGA模块进行多尺[0015]头部网络至少包括若干Upsample上采样模块、Concat拼接模块、C3k2_Segment_Efficient层对不同尺度的目标进行[0016]进一步，改进的轻量化YOLOv11网络中的C3k2_DynamicConv动态卷积模块结合动差拼接为向量通过小型全连接网络fFC预测动态权重矩阵K表示卷9分为两个步骤：首先用普通卷积生成部分特征，再通过深度卷积补充细节特征；C3k2_GhostDynamicConv的计算[0026]输入特征图首先经过基础卷积层得到中间特藏通道数C＝C2×e，C2为输出通道数，e∈(0,1)为扩展因子；随后通过n个串联的Gx,gy)W2[0048]A=soft空间注意力的协同优化，其中，针对输入特征图按照通道维度划分为G个子[0066]然后进行交叉融合与权重传递：将通道权重与空间权重逐元素相过上采样将低层特征图调整为与高层特征图相同的[0075]Segment_Efficient模块包括检测分支和分割分支，检测分支通过多层卷积预测[0078]其中，box为回归参数，其形状为B×4×regmax×H×W；anchors为锚点坐标，)[0092]其主干网络采用EIEStem模块进行高效初始特征提取，通过C3k2_DynamicConv动[0093]头部网络采用Segment_Efficient轻量化分割模块，通过深度可分离卷积与动态[0094]训练过程中，采用动态焦点损失与边界感知掩膜损失联合优化的多任务损失函的一种面向巡检机器人的轻量化多目标实例分割方法中构建的改进的轻量化YOLOv11网[0100]通过ROS通信框架，多传感器数据经C2CGA通道_空间全局注意力模块实时优化后[0101]机器人支持自主巡航与远程操控双模式，控制指令经由CAN总线传输至无刷直流[0104]其次，为提升密集目标的分割精度，本发明引入LAWDS轻量自适应加权下采样模[0106]最后，通过Segment_Efficient轻量化分割头的深度可分离卷积与动态上采样设[0109]图1为本发明的实施例中构建的轻量化YOLOv11_seg_multi_object网络的结构示[0116]图8为本发明的实施例中的轻量化模型YOLOv11_seg_multi_object和现有的YOLOv11模型在同一数据集下的多目标实例分割的准确性指标mAP及计算量指标GFLOPs对比示意图，其中，图8(a)为未改进的原YOLOv11模型的训练结果；图8(b)为本发明的YOLOv11_seg_multi_object模型[0122]本实施例提拱了一种面向巡检机器人的轻量化多目标实干网络至少包括若干EIEStem轻量化特征提取模块、C3k2_DynamicConv动态卷积模块及C3k2_GhostDynamicConv、LAWDS复合轻量化模块，以及至少一个SPPF模块和一个C2CGA模提升小目标分割精度；将提取的最高尺度特征输入SPPF模块和C2CGA模块增强多尺度特征[0130]EIEStem模块通过多分支特征提取与融合实现高效特征编码，其处理过程分为四Gx,Gy)[0138]Gx＝[[_1,0,W2[0150]C3k2_DynamicConv动态卷积模块结合动态卷积核与C3结构进行动态特征提取与meR,K表示卷[0161]C3k2_GhostDynamicConv基于轻量化卷积思想，通过分解标准卷积为多阶段操作藏通道数C＝C2×e(C2为输出通道数，e∈(0,1)为扩展因子)。随后通过n个串联的含两个GhostModule的C3k结构(公式中n控制堆叠次数)，否则直接使用单个GhostModule。计算(仅计算m＝c_/s通道的标准卷积)和重用[0168]LAWDS模块(轻量自适应权重下采样)通过动态分配区域权重实现自适应的空间压[0171]其中AvgPool使用3×3核进行特征平滑，φ为1×1卷积(参数)生成空[0174]通过步长2的3×3分组卷积(分组数G＝C/group)生成四倍通道的下采样特征，重[0180]C2CGA(Channel一SpatialCascadedGroupAttention)模块是级联分组注意力[0189]空间注意力：引入可变形卷积(DeformableConvolution)，预测空间偏移量[0197]头部网络至少包括若干Upsample上采样模块、Concat拼接模块、C3k2_先通过Upsample模块进行上采样，再通过Concat模块拼接不同分辨率的特征图，再使用C3k2_DynamicConv、C3k2_GhostDynamicConv和LAWDS进一步处理特征，最后由Segment_设通过上采样将低层特征图调整为与高层特征图相同的空[0205]Segment_Efficient模块继承自Detect_Efficient，在目标检测基础上扩展了实例分割功能。其核心原理分为两部分：检测分支和分割分支。检测分支沿用Detect_和cv3分别输出回归参数和类别概率。回归参数通过DFL(DistributionFocalLoss)解码[0212]系数生成：通过cv4模块(两个3x3卷积+1x1卷积)从各层特征图生成nm个动态系进行高效初始特征提取，通过C3k2_DynamicConv动态卷积模块与C3k2_GhostDynamicConv复合轻量化模块实现多尺度特征抽象，结合LAWDS轻量自适应加权下采样模块保留高频细权重，增强跨层级特征融合能力并抑制校园复杂背景干扰。头部网络采用Segment_Loss)与边界感知掩膜损失(Boundary_AwareMaskLoss)联合优化的多