CN114639038B 一种车辆违法载人检测方法、装置、设备及存储介质 （青岛海信网络科技股份有限公司）

一帧行车图像的目标车辆检测结果包括目标车确定该帧行车图像中的目标车辆的载人判定结述方案可以快速有效地检测目标车辆的违法载2对所述多帧行车图像分别进行目标车辆检测以及行人检测，得到若任意一帧行车图像的目标车辆检测结果包括目标车辆的检测信确定所述多个行人中，与所述目标车辆的检测区域重基于获得的各帧行车图像各自对应的所述目标车辆的载人判定通过目标检测模型对所述多帧行车图像分别进行目标车辆检测以及行第一个卷积层与所述空间注意力机制网络连接，多个卷积层第二个卷积层与所述通道注意力机制网络连接，多个卷积其中，所述回归损失函数将每个图像样本的预测行人区域与5.根据权利要求1至4任一项所述的方法，所述根据所述任意一帧行车图像的所述目标车辆的检测信息和每个行人的检测信息，确定所述任意一帧行车图像中的所述目标车辆与所述每个行人的位置关系及检测区域重根据所述任意一帧行车图像中的所述目标车辆检测区域的位置信息和每个行人检测3将所述目标车辆检测区域与所述每个行人检测区域的中心坐标确定所述目标车辆检测区域与每个行人检测区域的交集和并集的比和并集的比值作为所述目标车辆与所述每个行人6.根据权利要求1至4任一项所述的方法，其特若所述各帧行车图像中，所述目标车辆为载人状态的行车图像检测模块，用于对所述多帧行车图像分别进行目标车辆检测以及行位置确定模块，用于若任意一帧行车图像的目标车辆状态确定模块，用于确定所述多个行人中，与所述目标车辆载人判定模块，用于基于获得的各帧行车图像各自对应9.一种计算机可读存储介质，所述计算机可读存4[0010]根据所述任意一帧行车图像中的所述目标车辆分别与所述多个行人的位置关系[0012]本申请实施例中，对行车视频中的多帧行车图像进行目5述空间注意力机制网络分别与所述第一特征融合述通道注意力机制网络分别与所述第二特征融合[0019]上述结构的目标检测模型中，特征金字塔网络可以实现多尺度的细粒度特征提[0024]所述根据所述任意一帧行车图像的所述目标车辆的检测信息和每个行人的检测[0025]根据所述任意一帧行车图像中的所述目标车辆检测区域的位置信息和每个行人交集和并集的比值作为所述目标车辆与所述每个6[0030]确定所述多个行人中，与所述目标车辆的检测区域重叠度达到预设值的目标行区域重叠度满足条件，且该行人的行人检测区域的中心坐标在该目标车辆检测区域内时，7述空间注意力机制网络分别与所述第一特征融合述通道注意力机制网络分别与所述第二特征融合[0051]根据所述任意一帧行车图像中的所述目标车辆检测区域的位置信息和每个行人交集和并集的比值作为所述目标车辆与所述每个[0055]确定所述多个行人中，与所述目标车辆的检测区域重叠度达到预设值的目标行8[0063]第二方面至第四方面任意一种实现方式所带来的技术效果可参见第一方面中对[0067]图3为本申请实施例中提供的一种目标车辆检测区域与行人检测区域的交并比示[0071]图7为本申请实施例中提供的一种基于空间注意力机制的特征提取网络的结构示[0072]图8为本申请实施例中提供的一种基于通道注意力机制的特征提取网络的结构示9检测模型对每帧行车图像进行目标车辆检测以[0089]步骤S203，若任意一帧行车图像的目标车辆检测结果包[0103]通常地，当一个行人的行人检测区域的中心坐标在一个[0119]步骤S2021，通过目标检测模型对多帧行车图像分别进行目标车辆检测以及行人意力机制网络和通道注意力机制网络，例如，目标检测网络可以是SSD(SingleShot意力机制网络分别与第一特征融合网络连接；第二个卷积层与通道注意力机制网络连接，[0125]其中，特征金字塔网络包括Conv3(Convolution3，第3个卷积)、Conv4、Conv5、意力机制网络采用基于残差块的Down-Up(上下)堆栈沙漏特征提取网络来实现检测目标的2表示池化的步长为2；该网络结构首先采用下采样操作结合残差块对输入特征图进行压然后通过神经网络的激活函数sigmoid函数将特征向量的分量限制在0～1之间，并将通过原始结构中仅使用平均池化操作不同，我们采用全局池化和最大池化的双通道操作方法，可以在保留每个通道平均特征的同时突出其主要特征，使得网络更加关注目标的可见部[0131]上述第一特征融合网络和第二特征融合网络的结构如图9所示，由于不同层的特[0134]具体地，本申请实施例通过一个多任务损失函数联合地对各个网络进行参数调数时，对于正图像样本，通过将预测的行人边界框与实际行人可见区域边界框的交并比[0141]位置确定模块103，用于若任意一帧行车图像的目标车辆检测结果包括目标车辆[0142]状态确定模块104，用于根据任意一帧行车图像中的目标车辆分别与多个行人的[0143]载人判定模块105，用于基于获得的各帧行车图像各自对应的目标车辆的载人判[0153]根据任意一帧行车图像中的目标车辆检测区域的位置信息和每个行人检测区域[0160]若各帧行车图像中，目标车辆为载人状态的行车图像的[0169]根据任意一帧行车图像中的目标车辆分别与多个行人的位置关系及检测区域重[0180]根据任意一帧行车图像中的目标车辆检测区域的位置信息和每个行人检测区域人的位置关系及检测区域重叠度，确定任意一帧行车图像中的目标车辆的载人判定结果[0187]若各帧行车图像中，目标车辆为载人状态的行车图像的[0189]上述实施例中的计算机可读存储介质可以是设备中的处理器能够存取的任何可程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功[0192]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一