CN114973054B 基于DCBFFNet的城市河道水上多目标检测方法与系统 （河海大学）

号基于DCBFFNet的城市河道水上多目标检测本发明公开了一种基于DCBFFNet的城市河构建对象尺度敏感的密集连接双向特征融合深特性的特征层选择模块以及基于多尺度特征的本发明通过端到端的模型训练可实现从数据集2构建面向多对象特性的特征层选择模块，分别研究构建基于多尺度特征的密集双向特征融合模块，根特征图设计两种不同结构的传输连接块TCM和TCB，多个相互连接的传输连接块TCM和多个相互连接的传输连接块TCB分别构建自上而下和自下而上的两个互逆传输路径，以选取的设计面向多对象的多层特征图锚框尺寸，利用原始图与不同特征图的采样映射关系，取的各层特征图上的锚框尺寸，其中聚类算法中的距离使用d＝1-IoU(bboxes,anchor)表构建基于多尺度特征的目标检测模块，以密集双向特特征层选择模块由七组顺序连接的卷积结构和分类层、积运算后的特征图以及第一传输连接块TCM输出为输入，融合后输出至第三传输连接块TCM，第三传输连接块TCM以C3、C2卷积运算后的特征图以及第二传输连接块TCM输出为输三传输连接块TCB一路输入为第二传输连接块TCB输出，另一路输入以三个传输连接块TCM32.根据权利要求1所述的一种基于DCBFFNet的城市河道水上多目标检测方法，其特征(b)计算不同特征层的感受野大小，并与(a)中获取的对象的矩形标注框尺度进行比3.根据权利要求2所述的一种基于DCBFFNet的城市河道水上多目标检测方法，其特征4.根据权利要求1所述的一种基于DCBFFNet的城市河道水上多目标检测方法，其特征在于，所述步骤(2)中多个相互连接的传输连接块TCM和多个相互连接的传输连接块TCB间的密集连接采用的是选择连接的方式，将包含低/高层特征的TCM/TCB逐次与包含高/低层5.根据权利要求1所述的一种基于DCBFFNet的城市河道水上多目标检测方法，其特征4深度学习模型，为一种对象尺度敏感的密集连接双向特征融合深度学习模型一类检测对象的尺度参数与不同卷积层的感受野尺度参数及对应尺度下提取特征的差异构的传输连接块TCM和TCB，多个相互连接的传输连接块TCM和多个相互连接的传输连接块框尺寸，其中聚类算法中的距离使用d＝1-IoU(bboxes,anchor)表示，其中IoU(bboxes,anchor)表示矩形标注框bboxes与锚框anchor的交并比；构建基于多尺度特征的目标检测模型训练模块，用于基于最优的锚框尺寸和构建的目标检测数据集，对DCBTCB以第三传输连接块TCM输出以及第二传输连接块TCM输出作为输入，融合后得到的特征接块TCB以第一传输连接块TCB输出以及三个传输连接块TCM输出逐元素融合特征作为输输连接块TCM输出以及C6卷积运算输出逐元素融合特征作为输入，融合后得到的特征图作5述的基于DCBFFNet的城市河道水上多处理器执行时实现根据权利要求1-5任一项所述的基于DCBFFNet的城市河道水上多目标检6[0001]本发明属于图像处理技术领域，具体涉及一种基于深度学习模型DCBFFNet[0007](2)构建一种对象尺度敏感的密集连接双向特征融合深度学习模型DCBFFNet，包7率的特征图设计两种不同结构的传输连接块TCM和TCB，多个相互连接的传输连接块TCM和多个相互连接的传输连接块TCB分别构建自上而下和自下而上的两个互逆传输路径，以选定选取的各层特征图上的锚框尺寸，其中聚类算法中的距离使用d＝1-IoU(bboxes,[0011]构建基于多尺度特征的目标检测模块，以密集双向特征[0012](3)基于最优的锚框尺寸和构建的目标检测数据集，对DCBFFNet模型进行迭代训[0013](4)基于训练好的模型实现水上各类对象的定位和类别预测，并将检测结果可视连接块TCB间的密集连接采用的是选择连接的方式，将包含低/高层特征的TCM/TCB逐次与特征融合时采用同尺度相应通道上对应位置元8TCB以第一传输连接块TCB输出以及三个传输连接块TCM输出逐元素融合特征作为输入，融块TCM输出以及C6卷积运算输出逐元素融合特征作为输入，融合后得到的特征图作为目标[0032]深度学习模型，为一种对象尺度敏感的密集连接双向特征融合深度学习模型一类检测对象的尺度参数与不同卷积层的感受野尺度参数及对应尺度下提取特征的差异9构的传输连接块TCM和TCB，多个相互连接的传输连接块TCM和多个相互连接的传输连接块第一传输连接块TCB以第三传输连接块TCM输出以及第二传输连接块TCM输出作为输入，融输入以三个传输连接块TCM输出以及C6卷积运算输出逐元素融合特征作为输入，融合后得行时实现所述的基于DCBFFNet的城市河道水上多目不同尺度特征图上的锚框的数量和宽高比，从而提升每一层特征图对目标检测的有效性，[0040]2)本发明中构建了一种对象尺度敏感的密集连接双向特征融合深度学习模型DCBFFNet，结合四类水上对象的尺度特征与不同卷积层的感受野大小和提取特征的差异[0041]图1是本发明提供的一种基于对象尺度敏感的密集连接双向特征融合深度学习模型DCBFFNet的城市河道水上多目标检测方法的流[0046]图6是本发明中不同卷积层输出特征图的可视化效果图(以Conv4_3层和Conv5_3[0048]图8是本发明中的DCBFFNet算法与其他经典算法的P-R(Precision-Recall)曲线种等价形式的修改均落于本申请所附权利要求所限定[0050]本发明所述的一种基于深度学习模型DCBFFNet的城市河VideoCaputer方法对不同时间、不同天气和不同场景的河道监控视频进行图像数据截取，够在总面积不变的情况下提升直方图高度，提升的高度表示为L，则最后的直方图可表示[0063]Smax为限定的最大映射函数斜率，可以通过改变Smax和其对应的最大直方图高度[0071](c)可视化(b)中获取的多个特征层(示意图如图6所示)，比较不同卷积层获取的特征的差异性，并从中选取分别包含对象细节信息和高级语义信息的五层特征层，记为连接块TCM输出以及第二传输连接块TCM输出为两路输入，其中一路利用3*3卷积将第三传合后得到的特征图一方面传入第二传输连接块TCB，另一方面作为目标检测模块中第二尺融合后得到的特征图作为目标检测模块中第四尺度特[0088]总损失函数包含特征层选择模块的分类、回归损失函数和目标检测模块的分类、每一类检测对象的尺度参数与不同卷积层的感受野尺度参数及对应尺度下提取特征的差结构的传输连接块TCM和TCB，多个相互连接的传输连接块TCM和多个相互连接的传输连接别预测和回归；模型训练模块，用于基于最优