CN119399662A 基于视频监控的人车关联方法及检索匹配方法 （深圳市盛视技术有限公司）

区前湾一路1号A栋201室入驻深圳市基于视频监控的人车关联方法及检索匹配本申请公开一种基于视频监控的人车关联一侧的第二相机和车流来向的第三相机对监控机的车辆跟踪中，检测属于同一车辆目标j的在门区域Area;内的人体目标PersonArea，判断前述为Carjopen,再对前述人体目标进行检测跟踪获近度匹配以获得车辆目标Carjopen的车牌信息，2分别基于车道一侧的第一相机采集的第一视频图像和车道另一侧的第二相机采集的在车辆检测跟踪过程中，检测属于同一车辆目标j的在每一帧图像i中的开门区域;识别出现在开门区域Areaf内的人体目标PersonArea，判断人体目标PersonArea是否出基于位于车流来向的第三相机采集的第三视频图像进行车辆获取关于车辆目标Carjopen在一时刻t时的目标框中心点坐标O1，获取第三视频图像在将目标框中心点坐标O1和所有的中心点坐标Om转换至车道上同一参照坐标系下进行接训练二分类识别模型：收集训练数据集，数据集每一帧图像内的开门区域Areaf输入至二分类识别模型；当在第k帧时开门区域Areaf输入至二分类识别模型中识别结果首次出现为真时，表明开门区域Areaf内出现人体目标利用人体识别模型对第k帧的开门区域Areaf框选的区域进行人体目标检测，获得人3.如权利要求2所述的基于视频监控的人车关联方法，其特征在于，判断人目标3中车辆目标j的开门区域的像素点集合，B"表示在第L+1帧图像中车辆目标j的开门区域f的像素点集合；为在第L帧图像中人体目标PersonArea的人体目标框的像素点集合，为在第L+1帧图像中人体目标PersonArea的人体目标框的像素4.如权利要求3所述的基于视频监控的人车关联方法，其特征在于，对人体目标对每一人体目标的检测框boxn框选的区域进行人脸检测，获得每一检测框boxn区域内去除所有的人脸区域Faceboxn中不属于人体目标PersonArea的周边干扰行人的人脸，获得后续N帧图像内属于人体目标PersonAre的基于清晰度、亮度值和人脸偏转角度挑选出人脸区域集合中将后续N帧图像中的任一帧图像n的人体目标PersonArea的检测框在纵轴方向上均匀地如果人脸区域face位于上半部分区域并且人脸区域face的中心点与上半部分区域的标O1和所有的中心点坐标Om转换至车道上同一参照坐标系下进行接近度匹配，以获得车辆基于车道内的设置的参照物将所有相机的的图像坐标系统一至车道上一物理参照坐将中心点坐标O1转换至物理参照坐标系下的物将每一中心点坐标Om转换至物理参照坐标系下的物对所有的欧式距离进行排序，将欧式距离最小值对应的物理坐标值Wm所属的车辆目标以设置于车道内的第一参照点为原点、以车道的车流方向为纵轴Y1且以垂直与纵轴方4测量设置于车道上的多个第二参照点在物理参照坐获取第一相机的图像视野中的每一第二参照点的坐标值P1，获取第二相机的图像视野根据至少四个第二参照点对应的坐标值PC和该至少四个第二参照点对应的坐标值P1，求解描述第一相机的图像坐标系和物理参照坐标系的映射关系的第根据至少四个第二参照点对应的坐标值PC和该至少四个第二参照点对应的坐标值P2，求解描述第二相机的图像坐标系和物理参照坐标系的映射关系的第二单根据至少四个第二参照点对应的坐标值PC和该至少四个第二参照点对应的坐标值P3，求解描述第三相机的图像坐标系和物理参照坐标系的映射关系的第二单8.一种人车匹配检索方法，基于如权利要求1至7任获取查验过程中查验异常的人员Pcurious的人脸图像face'；将人脸图像face'与所述基于视频监控的人车关联方法获得所有的人脸图像Facebest进当匹配成功时，则人员Pcurious的下车车辆为所述基于视频监控的人车关联方法获得的5据某个人和某辆车出现在相同摄像头中的次数和共同出现在相同场所的场所数量来判断[0006]分别基于车道一侧的第一相机采集的第一视频图像和车道另一侧的第二相机采;[0008]识别出现在开门区域Areaf内的人体目标PersonArea，判断人体目标PersonArea是为开门车辆Carjopen,再对人体目标PersonArea进行检测跟踪获取质量最佳的人脸图像过程中对车辆检测跟踪获得每一车辆目标框进行车牌定位[0010]获取关于车辆目标Carjopen在一时刻t时的目标框中心点坐标O1，获取第三视频图6像在时刻t对应的一帧图像F中的所有车辆的目[0011]将目标框中心点坐标O1和所有的中心点坐标Om转换至车道上同[0012]将人脸图像Facebest、车辆目标Carjopen和车辆目标Carjopen的车[0015]判断开门区域Areaf内是否出现人体：将视频图像V中每一帧图像按照出现顺序依次将每一帧图像内的开门区域Areaf输入至二分类识别模型；当在第k帧时开门区域[0016]利用人体识别模型对第k帧的开门区域Areaf框选的区域进行人体目标检测，获f目标框的像素点集合，B""为在第L+1帧图像中人体目标PersonArea的人体目标框的像[0023]在一种可能的实现方式中，对人体目标PersonArea进行检测跟踪获取质量最佳的[0025]对每一人体目标的检测框boxn框选的区域进行人脸检测，获得每一检测框boxn区7[0026]去除所有的人脸区域Faceboxn中不属于人体目标PersonArea的周边干扰行人的人[0028]在一种可能的实现方式中，去除所有的人脸区域Faceboxn中不属于人体目标[0029]将后续N帧图像中的任一帧图像n的人体目标PersonArea的检测框在纵轴方向上均[0032]如果人脸区域face位于上半部分区域并且人脸区域face的中心点与上半部分区[0033]在一种可能的实现方式中，将目标框中心点坐标O1和所有的中[0034]基于车道内的设置的参照物将所有相机的的图像坐标系统一至车道上一物理参[0043]根据至少四个第二参照点对应的坐标值PC和该至少四个第二参照点对应的坐标[0044]根据至少四个第二参照点对应的坐标值PC和该至少四个第二参照点对应的坐标[0045]根据至少四个第二参照点对应的坐标值PC和该至少四个第二参照点对应的坐标8[0047]获取查验过程中查验异常的人员Pcurious[0048]将人脸图像face'与所述基于视频监控的人车关联方法获得所有的人脸图像标PersonArea进行跟踪以判断是否已经下车，对于下车后的行人目标PersonArea获取质量最机内的车辆进行接近度匹配，获得车辆Carjopen的车牌信息，如此实现下车的行人目标PersonArea和行人目标PersonArea乘坐车辆的车牌信息的关联匹配。本申请的人车关联方法[0052]图1为本申请实施例的查验场所的监控区域内的相机部署及物理参照坐标系的示等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有9[0059]现结合附图对本申请的基于视频监控的人车关联方法及检索匹配方法进行具体[0063]步骤S300：识别出现在开门区域Areaf内的人体目标PersonArea，判断人体目标的车辆标记为开门车辆Carjopen,再对人体目标PersonArea进行检测跟踪获取质量最佳的人[0064]步骤S400：基于位于车流来向的第三相机采集的第三视频图像进行车辆检测跟三视频图像在时刻t对应的一帧图像F中的所有车辆的目标框的中[0066]步骤S600：将目标框中心点坐标O1和所有的中心点坐标O于第一视频图像进行车辆检测跟踪和基于第二视频图像进行采用相同的手段进行车辆跟标检测跟踪过程中涉及开门状态下的车辆和不开门状态下的车辆，为了使得yolox模型检[0070]对于步骤S200，利用训练好的第二目标检测模型检测属于同一车辆目标j的在每入至第二目标检测模型，而是将车辆检测跟踪获得车辆目标框输入至第二目标检测模型，体目标的图像和开门区域内不包含人体目标的图像，其中人体目标包括坐于车内状态下、出现顺序依次将每一帧图像内的开门区域Areaf输入至二分类识别模型；当在第k帧时开[0076]步骤S313：利用人体识别模型对第k帧的开门区域Areaf框选的区域进行人体目[0077]进一步地，在上述步骤S313中，进行人体目标检测，具体为：将每一开门区域体目标PersonArea跟踪采用ByteT图像中车辆目标j的开门区域Areaf的像素点集合，B4"表示在第L+1帧图f目标框的像素点集合，B""为在第L+1帧图像中人体目标PersonArea的人体目标框的像[0083]其中，和为计算两个集合之间关系的运算符，表明集合为集合BfB"的子集，B""可与B"相交或者B""完全不在B"内。[0084]对于步骤S300，对人体目标PersonArea进行检测跟踪获取质量最佳的人脸图像[0085]步骤S321：当人体目标PersonArea下车后，获取后续N帧图像中的人体目标N帧图像的中任一帧图像n的人体目标PersonArea的检测[0087]步骤S323：去除所有的人脸区域Faceboxn中不属于人体目标Per人体目标PersonArea是否已经下车，在判断已经下车的那一帧图像开始，对人体目标PersonArea进行检测跟踪，后续在步骤S321至步骤S324在人体目标检测跟踪过程中获取质boxn边干扰人员可能会出现在检测框boxn中，此时通过步骤S322提取检测框boxn内的人脸区域[0091]进一步地，对于步骤S323，去除所有的人脸区域Faceboxn中不属于人体目标[0092]将后续N帧图像中的任一帧图像n的人体目标PersonArea的检测框在纵轴方向上均[0095]如果人脸区域face位于上半部分区域并且人脸区域face的中心点与上半部分区位于人体目标PersonArea的检测框的上半部分的中部的，对于出现在人体目标PersonArea的检测框下半部分的人脸就不为人体目标PersonArea本身的人脸。如果PersonArea的检测框出现两多于一个的人脸，偏离上半部分区域的中部的较大的人脸不为人体目标PersonArea本辆目标j的目标框内检测到开门区域且开门区域内能检测到人体目标时，就将车辆标记为机对的车辆进持续检测和跟踪，且对跟踪过程中每一车辆的目标框进行车牌定位和识别，所属的车辆目标记为车辆目标Carmin，以车辆[0111]根据至少四个第二参照点对应的坐标