CN115035156B 一种车辆跟踪方法、装置、终端及计算机可读存储介质 （浙江大华技术股份有限公司）

A,2015.11.18A,2018.07.03A,2020.10.30A,2020.11.06A,2022.02.08定当前帧图像包含的至少一个目标车辆的车辆车辆部位检测信息确定目标车辆在当前帧图像到位置信息而影响目标车辆跟踪的稳定性和连2对待检测视频中的当前帧图像进行车辆部位检测，确定所述当前帧图像根据所述至少一个目标车辆中各目标车辆在历史帧图像中基于所述各目标车辆在所述当前帧图像中的所述车辆部位预测基于所述各目标车辆对应的所述车辆部位检测信息，确定所述各目所述对待检测视频中的当前帧图像进行车辆部位检测，确定所述当前对所述待检测视频中的所述当前帧图像进行车辆多部位检测，得将所述部件类别图像集包括的不同部件图像集中包含的所述部件所述将所述部件类别图像集包括的不同部件图像集中包含的所述部件图像进行关联，响应于所述目标车辆未检测到对应的车身检基于同一所述目标车辆在所述当前帧图像中的所述车身检测框和在所述当前帧图像帧图像中对应的所述车顶检测框与所述车身检测框的关基于同一所述部件类别图像集中所述部件图像之间的相似度和所述部件图像的置信所述将所述部件类别图像集包括的不同部件图像集中包含的所述部件图像进行关联，3计算得到所述车牌图像集中的各车牌检测框与所述车尾图像集中各车尾检测框之间将所述重叠率对应的所述车牌检测框和所述车尾检测框所述将所述部件类别图像集包括的不同部件图像集中包含的所述部件图像进行关联，响应于一所述车牌检测框与多个所述车尾检测框分别对应的所述重叠率均超过所述第一预设重叠率，则将与所述车牌检测框关联的所述多个车尾检测框的最低边线进行比解除距离所述当前帧图像的下边线非最近的所述最低边线所属的所述车尾检测框与所述将所述部件类别图像集包括的不同部件图像集中包含的所述部件图像进行关联，响应于所述车牌检测框与所述车尾检测框之间的所述重叠率低于所述第一预设重叠率，则计算未关联的所述车牌检测框与所述车头图像集中各所述车头检测框之间的重叠将所述重叠率对应的所述车牌检测框和所述车头检测框所述将所述部件类别图像集包括的不同部件图像集中包含的所述部件图像进行关联，响应于一所述车牌检测框与多个所述车头检测框分别对应的所述重叠率均超过所述第二预设重叠率，则将与所述车牌检测框关联的所述多个车头检测框的最低边线进行比解除距离所述当前帧图像的下边线非最近的所述最低边线所属的所述车头检测框与所述将所述部件类别图像集包括的不同部件图像集中包含的所述部件图像进行关联，计算得到所述车尾检测框与所述车身图像集中各所述将所述重叠率对应的所述车尾检测框与所述车身检测框所述将所述部件类别图像集包括的不同部件图像集中包含的所述部件图像进行关联，4响应于所述车尾检测框与所述车身检测框之间的所述重叠率未超过所述第三预设重响应于未关联的所述车身检测框与所述车头检测框之间的所述重叠率超过第四预设所述将所述部件类别图像集包括的不同部件图像集中包含的所述部件图像进行关联，响应于未关联的所述车身检测框与所述车头检测框之间的所述重叠率未超过所述第响应于未关联的所述车身检测框与所述车牌检测框之间的所述重叠率超过第五预设所述将所述部件类别图像集包括的不同部件图像集中包含的所述部件图像进行关联，计算得到车身检测框与所述车顶图像集中各所述车顶将所述重叠率对应的所述车身检测框与所述车顶检测框所述计算得到车身检测框与所述车顶图像集中各所述车顶检测框分别对应的重叠率，计算得到靠近车顶的部分所述车身检测框与所述所述响应于所述车身检测框与所述车顶检测框之间的所述重叠率超过第六预设重叠响应于靠近车顶的部分所述车身检测框与所述车顶检测框之间的所述重叠率超过所所述基于同一所述目标车辆在所述当前帧图像中的所述车身检测框和在所述当前帧计算得到同一所述目标车辆在所述当前帧图像中的所述车身检测框和在所述历史帧基于所述车身颜色相似度、所述车身纹理相似度和所述车身宽高相似度中的至少一所述基于同一所述目标车辆在所述当前帧图像中的所述车身检测框和在所述当前帧5响应于所述相似评价值未超过所述相似评价帧图像中对应的所述车顶检测框与所述车身检测所述基于所述车身颜色相似度、所述车身纹理相似度和所述车基于所述车身颜色相似度、所述车身纹理相似度和所述车身定同一所述目标车辆在所述当前帧图像中所述车身检测框和在所述历史帧图像中的所述所述将所述部件类别图像集包括的不同部件图像集中包含的所述部件图像进行关联，响应于所述车身检测框与所述车顶检测框之间的所述重叠率未超过第六预设重叠率，响应于未关联的所述车顶检测框与所述车尾检测框之间的所述重叠率超过第七预设所述将所述部件类别图像集包括的不同部件图像集中包含的所述部件图像进行关联，响应于未关联的所述车顶检测框与所述车尾检测框之间的所述重叠率未超过所述第响应于未关联的所述车顶检测框与所述车头检测框之间的所述重叠率超过第八预设所述基于所述各目标车辆在所述当前帧图像中的所述车辆部位预测根据所述目标车辆在所述当前帧图像中的车顶预测框和各车顶检测框之间的匹配度，确定所述车顶预测框对应的所述目标车辆是否与所述车顶检测框对应的所述目标车辆相所述根据所述目标车辆在所述当前帧图像中的车顶预测框和各车顶检测框之间的匹6计算得到所述车顶预测框的中心点位置与所述车顶检测框的中心点位置之间的中心计算得到所述车顶预测框的宽高信息与所述车顶检测框的宽高信息之间的宽高损失基于所述中心损失值和所述宽高损失值中的至少一种，确定所所述损失值对应的所述车顶检测框与所述车顶预测框对应同一所述目所述基于所述各目标车辆对应的所述车辆部位检测信息，确定所根据与所述目标车辆对应的车顶检测框关联的车身检测框，确检测模块，用于对待检测视频中的当前帧图像进行车辆部位检测，像包含的至少一个目标车辆的车辆部位检测信息；所述车辆部位检测信息包括车顶信息；目标车辆在所述当前帧图像中的所述车身检测框和在所述当前帧图像之前的历史帧图像预测模块，用于根据所述至少一个目标车辆中各目标车辆在历史帧图像中的位置信匹配模块，用于基于所述各目标车辆在所述当前帧图像中的所述车辆部位预测信息，确定所述各目标车辆在所述当前帧图像中分别对应的所输出模块，用于基于所述各目标车辆对应的所述车辆部位检测信78车辆进行定位和分类；目标跟踪则是对同一目标车辆持续赋予相同的身份标识号码9[0038]在密集重叠遮挡的场景中，通过YOLO目标检测算法对获如IOUTrack和SORT等，这些算法直接使用泛化性能强的目标检测模型作为目标跟踪的基设备对道路区域或停车位区域进行监控，以使图像采集设备可以获取密集场景的视频流。和车牌图像集中的各部件图像分别进行关联，确定相互关联的部件图像对应同一目标车离当前帧图像的下边线非最近的最低边线所属的车尾检测框与车牌检测框之间的关联关[0054]基于同一目标车辆在当前帧图像中的车身检测框和在当前帧图像之前的历史帧设备对道路区域或停车位区域进行监控，以使图像采集设备可以获取密集场景的视频流。[0081]上述步骤S22中检测得到的部件检测框中包括置信度以及部件检测框在当前帧图[0083]通过上述方法遍历所有的部件类别图像集以及部件类别图像集中所有的部件检[0084]通过上述步骤得到的部件类别图像集中所有的部件检测框分别所属于不同的目[0086]通过上述方法遍历所有的部件类别图像集以及部件类别图像集中所有的部件检于车辆检测得到的部件图像预测用于确定目标车辆的位置信[0092]如图6所示，图6是图2提供的车辆跟踪方法中步骤S24一具体实施例的流程示意[0095]如图7所示，图7是图6提供的车辆跟踪方法中步骤S241一具体实施例的流程示意[0096]S2411：计算得到车牌图像集中的各车牌检测框与车尾图像集中各车尾检测框之[0101]S2413：响应于一车牌检测框与多个车尾检测框分别对应的重叠率均超过第一预多个车尾检测框进行关联，则确定各对车牌检测框与车尾检测框之间的关联关系可能有过比较同一车牌检测框对应的不同的车尾检测框的最低边线与当前帧图像的最低边之间[0105]S2414：解除距离当前帧图像的下边线非最近的最低边线所属的车尾检测框与车[0111]如图9所示，图9是图6提供的车辆跟踪方法中步骤S242一具体实施例的流程示意算未关联的车牌检测框与车头图像集中各车头[0116]遍历车牌图像集中与车尾检测框未关联的所有车牌检测框和车头图像集中的所[0117]S2423：响应于一车牌检测框与多个车头检测框分别对应的重叠率均超过第二预多个车头检测框进行关联，则确定各对车牌检测框与车头检测框之间的关联关系可能有[0120]S2424：解除距离当前帧图像的下边线非最近的最低边线所属的车头检测框与车[0125]如图10所示，图10是图6提供的车辆跟踪方法中步骤S243一具体实施例的流程示[0130]遍历车尾图像集中的所有与车牌检测框关联的车尾检测框和车身图像集中的所车尾检测框关联的各车身检测框进行关联的具[0134]如图11所示，图11是图6提供的车辆跟踪方法中步骤S244一具体实施例的流程示检测框关联的车身检测框之间分别对应的IOU，进而确定车头检测框与各车身检测框之间[0137]S2442：响应于未关联的车身检测框与车头检测框之间的重叠率超过第四预设重[0139]遍历车头图像集中与车牌检测框具有关联关系的所有车头检测框和车身图像集[0141]S245：将车牌图像集中的各车牌检测框与车身图像集中的各车身检测框进行关[0143]如图12所示，图12是图6提供的车辆跟踪方法中步骤S245一具体实施例的流程示[0146]计算与车牌检测框与车身图像集中与车身检测框之间分别对应的IOU，进而确定[0147]S2452：响应于未关联的车身检测框与车牌检测框之间的重叠率超过第五预设重[0151]S246：将车身图像集中的各车身检测框与车顶图像集中的各车顶检测框进行关中与车头检测框具有关联关系的车身检测框和步骤S245中与车牌检测框具有关联关系的车身检测框与车顶图像集中的各车顶检测框进行关联的具[0153]如图13所示，图13是图6提供的车辆跟踪方法中步骤S246一具体实施例的流程示得到靠近车顶的部分车身检测框与车顶检测[0156]计算靠近车顶的部分车身检测框与各车顶检测框之间分别对应的IOU，进而确定[0157]在一具体实施例中，则基于公式1计算得到靠近车顶的部分车身检测框与车顶检过第六预设重叠率，则确定交并比对应的车身检测框与车顶检测框归属于同一目标车辆，[0163]遍历车身图像集中的所有具有关联关系的车身检测框和车顶图像集中的所有车[0167]将车顶图像集中未关联的各车顶检测框与车尾图像集中的各车尾检测框进行关[0168]如图14所示，图14是图6提供的车辆跟踪方法中步骤S247一具体实施例的流程示需要将未与车身检测框进行关联的车顶检测框与车尾检测框或车身检[0171]计算未与车身检测框具有关联关系的车顶检测框与各车尾检测框之间分别对应第七预设重叠率为同一车辆的车顶检测框与车尾检测框[0172]S2472：响应于未关联的车顶检测框与车尾检测框之间的重叠率超过第七预设重[0174]遍历车顶图像集中未与车身检测框关联的所有车顶检测框和车尾图像集中的所[0178]将车顶图像集中未关联的各车顶检测框与车头图像集中的各车头检测框进行关[0179]如图15所示，图15是图6提供的车辆跟踪方法中步骤S248一具体实施例的流程示[0180]S2481：响应于未关联的车顶检测框与车尾检测框之间的重叠率未超过第七预设需要将未与车身检测框进行关联的车顶检测框与车尾检测框或车身[0182]计算未与车身检测框具有关联关系的车顶检测框与各车头检测框之间分别对应第八预设重叠率为同一车辆的车顶检测框与车头检测框[0183]S2482：响应于未关联的车身检测框与车头检测框之间的重叠率超过第八预设重框和/或车牌检测框融合生成该车身检测框在当前帧图像中对应的车顶[0194]通过上述方法可以基于检测得到的部件检测框融合生成未检测生成的车顶检测[0195]S26：根据各目标车辆的车顶检测框在当前帧图像之前的历史帧图像中的位置信[0197]通过卡尔曼滤波算法基于当前帧图像之前的历史帧图像中目标车辆的车顶检测确定车顶预测框对应的目标车辆是否与车顶检测框对应[0203]在一具体实施例中，基于公式2计算得到车顶预测框的中心点位置与预设区域内[0205]公式2中：Spoint为车顶预测框的中心点位置与车顶检测框的中[0207]具体地，基于公式3计算得到车顶预测框的宽高信息与车顶检测框的宽高信息之[0209]公式3中：Sarea为车顶预测框的宽高信息与车顶检测框的宽高信息之间的宽高损小货车的车身检测框与小车的车顶检测框对[0220]为了避免出现一目标车辆的车顶检测框与另一目标车辆的车身检测框对应同一算选取的车身检测框的最低边线与另一目标车辆的车顶检测框具有关联关系的车身检测当前帧图像中车身检测框与历史帧图像中的车身检测框之间的相似度确定当前帧图像中目标车辆的车身检测框与车顶检测框是否具有关联[0221]为了进一步确定目标车辆在当前帧图像中与车顶检测框对应的车身检测框是否[0222]S28：基于同一目标车辆在当前帧图像中的车身检测框和在当前帧图像之前的历[0224]确定同一目标车辆在当前帧图像中的车身检测框和在当前帧图像之前的历史帧个车身检测框对应的车身图像得到一个75维的向量Gi=fct,cf,…,c"},其中n＝75。[0228]在一具体实施例中，基于公式6计算同一目标车辆在当前帧图像中车身检测框和[0232]计算得到同一目标车辆的车顶检测框在当前帧图像中关联的车身检测框中每个颜色通道的8个方向的纹理特征以及在历史帧图像中关联的车身检测框中每个颜色通道的[0233]在一具体实施例中，基于公式7计算得到同一目标车辆在当前帧图像中车身检测框和在历史帧图像中的车身检测框之间的车身纹得到同一目标车辆的车顶检测框在当前帧图像中具有关联关系的车身检测框以及在历史帧图像中具有关联关系的车身检测框之间的车辆宽定同一目标车辆在当前帧图像中车身检测框和在历史帧图像中的车身检测框的相似评价[0245]公式中：TConfi+1为同一目标车辆在当前帧图像中车身检测框与历史帧图像中车标车辆在当前帧图像中对应的车顶检测框与车身检测框的关联更大的可能会导致串ID的问题，此时在匹配结果上将其之前计算的关联损失置为无效标[0250]将相似度评价值对应的车身检测框在当前帧图像中与车顶检测框之间的关联关[0251]通过上述方法可以避免重叠遮挡的目标车辆的ID在不同目标车辆的部件检测框以基于检测得到的目标车辆的车身检测框或基于其他部件检测框生成的车身检测框确定息以及目标车辆的各部件检