CN117830971B 一种基于隧道巡逻机器人的高速隧道交通状态监测方法 （北京数字绿土科技股份有限公司）

KR20230102871A,2023.07.07一种基于隧道巡逻机器人的高速隧道交通本发明公开了一种基于隧道巡逻机器人的以固定摄像头角度进行巡逻之后得到关系M；将连续帧巡逻图像输入多任务头神经网络模型进对目标车辆信息分配ID信息并对目标车辆信息道线检测结果信息分析目标车辆信息对应的车2所述关系M为相邻两帧巡逻图像中各静止物体的像素位移距离与现实场景中对应的静所述预设的巡逻任务包括预设的巡逻机器人移动速度v、预设的相邻两帧待检测图像M＝S'/D'；S50：计算所述目标车辆信息对应的位移距离误差α,所述目标车辆信息对应的位移距然后利用所述位移距离误差α以及所述目标车辆信息及所述车道线检测结果信息判断2.根据权利要求1所述基于隧道巡逻机器人的高速隧道交通状态监测方法，其特征在于，所述关系M为相邻两帧巡逻图像中各静止物体的像素位移距离与现实场景中对应的静3.根据权利要求2所述基于隧道巡逻机器人的高速隧道交通状态监测方法，其特征在4.根据权利要求3所述基于隧道巡逻机器人的高速隧道交通状态监测方法，其特征在M＝S'/D'。5.根据权利要求4所述基于隧道巡逻机器人的高速隧道交通状态监测方法，其特征在3S35：基于所述损失函数Loss利用所述训练集及所述测试集对所述多任务头神经网络6.根据权利要求5所述基于隧道巡逻机器人的高速隧道交通状态监测方法，其特征在7.根据权利要求6所述基于隧道巡逻机器人的高速隧道交通状态监测方法，其特征在车辆目标检测结果信息进行轨迹预测，得到各个所述车辆目标检测结果信息对应的预测S42：将所述连续帧巡逻图像中的第二帧待检测图像的各个所述车辆目标检测结果信S43：基于各个所述第一代价矩阵CM通过匈牙利算法对各个预测框与各个所述第二检S44：根据所述连续帧巡逻图像的顺序进行重复执行上述步4所述级联匹配结果包括轨迹对象级联匹配成功结果、检测框级S46：将所述轨迹对象级联匹配成功结果对应的检测框更新所述级联匹配成功结果对将所述检测框级联失配结果对应的检测框、预测框级联失配结果对CM'＝1_iou'；S47：基于各个所述第二代价矩阵CM'通过匈牙利算8.根据权利要求7所述基于隧道巡逻机器人的高速隧道交通状态监测方法，其特征在目标车辆信息对应的位移距离误差α；所述获取所述目标车辆信息对应的位移距离误差α,S51：根据所述预设的隧道巡逻机器人移动速度vS52：根据所述关系M及所述隧道巡逻机器人的位移距离S计算获取相邻两帧待检测图所述相邻两帧待检测图像中静止物体的像素位移距离D的计算式中，D为相邻两帧待检测图像中静止物体的像素位移距S53：遍历所有所述目标车辆信息；获取所述目标车辆信息对应的检测框的中心点坐中心点坐标的位移距离d及所述相邻两帧待检测图像中静止物体的像素位移距离D计算获取所述目标车辆信息对应的位移距离误差α;59.根据权利要求8所述基于隧道巡逻机器人的高速隧道交通状态监测方法，其特征在于，利用所述位移距离误差α以及所述目标车辆信息及所述车道线检测结果信息判断所述S501：预设车辆停止判断超参数k以及车辆停止判断次对所述目标车辆信息的ID对应的车辆停止次数计数器的车辆停止次数加1；进一步判断所S502：预设车辆逆行判断超参数u以及车辆逆行堵计数器的车辆拥堵次数加1；判断所述车辆逆行次数计数器的车辆逆行次数是否大于所S503：统计获取所述目标车辆信息的数量；判S504：遍历各个所述目标车辆信息，判断所述目辆变道次数加1；判断所述车辆变道判断计数器的车辆变道次数是否大于预设的车辆变道车辆变向异常判断计数器的车辆变向异常次数加1；判断所述车辆变向异常判断计数器的数器的车辆变向异常次数初始为0；所述车辆变道判断计数器的车辆变道判断次数初始为6[0006]本发明的目的在于提供一种基于隧道巡逻机器人的高速[0009]S20：隧道巡逻机器人根据预设的巡逻任务，在隧道内以固定摄像头角度进行巡通过所述关系M获取所述连续帧巡逻图像中物体的运行状态；所述运行状态包括静止、移7位移距离误差α以及所述目标车辆信息及所述车道线检测结果信息判断所述目标车辆信息[0014]分析本发明提供的上述一种基于隧道巡逻机器人的高速隧道交通状态监测方法[0016]图1为本发明提供的一种基于隧道巡逻机器人的高速隧道交通状态监测方法的高[0017]图2为本发明提供的一种基于隧道巡逻机器人的高速隧道交通状态监测方法的高[0018]图3为本发明提供的一种基于隧道巡逻机器人的高速隧道交通状态监测方法的高[0019]图4为本发明提供的一种基于隧道巡逻机器人的高速隧道交通状态监测方法的构[0020]图5为本发明提供的一种基于隧道巡逻机器人的高速隧道交通状态监测方法的追[0021]图6本发明提供的一种基于隧道巡逻机器人的高速隧道交通状态监测方法的获取[0022]图7本发明提供的一种基于隧道巡逻机器人的高速隧道交通状态监测方法的判断[0023]图8本发明提供的一种基于隧道巡逻机器人的高速隧道交通状态监测方法的[0024]图9本发明提供的一种基于隧道巡逻机器人的高速隧道交通状态监测方法的UltraFastLaneDetection8[0025]图10本发明提供的一种基于隧道巡逻机器人的高速隧道交通状态监测方法的[0026]图11本发明提供的一种基于隧道巡逻机器人的高速隧道交通状态监测方法的[0030]步骤S10：隧道巡逻机器人根据预设采集任务，在隧道内采集获取连续帧巡逻图M(关系M即相邻两帧巡逻图像中各静止物体的像素位移距离与现实场景中对应的静止物体[0032]所述预设的巡逻任务包括预设的巡逻机器人移动速度v、预设的相邻两帧待检测[0037]巡逻机器人根据不同的速度和不同的拍摄间隔进行重复上述[0040]所述车辆目标检测结果信息包括车辆目标检测结果信息及车辆目标运行方向信9到车辆目标检测结果信息的个数N及各个所述车辆目标检测结果信息对应的坐标信息(x1，所述位移距离误差α以及所述目标车辆信息及所述车道线检测结果信息判断所述目标车辆的相邻两帧巡逻图像中各静止物体的像素位移距离与现实场景中对应的静止物体的位移[0060]构建好的多任务头神经网络(YOLO_traffic)能够对输入的视频帧进行车辆目标[0063]步骤S35：基于所述损失函数Loss利用所述训练集及所述测试集对所述多任务头[0064]需要说明的是，上述本申请实施例利用步骤S33中得到的训练集和测试集对该多任务模型进行训练，采用动量梯度下降法(Adam算法)不断调整优化神经网络的权重参数，测结果信息创建各个所述车辆目标检测结果信息(即第一车辆目标检测结果信息)对应的[0070]需要说明的是，上述本申请实施例使用deepsort多目标跟踪算法对上述步骤S30中得到的(N组)车辆目标(即上述车辆目标检测结化，基于上述步骤S20得到的连续帧巡逻图像中物体的运行状态通过卡尔曼滤波预测其对[0071]上述预测框指的是利用卡尔曼滤波对车辆目标检测框(即上述轨迹对象)进行预[0072]步骤S42：将所述连续帧巡逻图像中的第二帧待检测图像的各个所述车辆目标检根据所述iou匹配结果计算获取第一代价矩阵(costmatr[0075]步骤S43：基于各个所述第一代价矩阵CM通过匈牙利算法对各个预测框与各个所配结果指的是上述第二检测框与任意一个预测新建轨迹对象进行识别)；上述匹配成功结果指的是上述第二检测站框与上述任意一个预测框匹配成功，则意味着上述第二检测框与上述预测框匹配成功对应的轨迹对象匹配成[0077]上述本申请实施例将上述步骤S42中得到的所有的第一代价矩阵作为匈牙利算法的输入，得到线性的匹配的结果，这时候得到的结果有三种，第一种是Tracks失配的话则要连续达到一定的次数(默认30次)才可以删除)删除；第二种是Detections失配(UnmatchedDetections检测失配)，将这样的Detections初始化为一个新的Tracks(new[0078]步骤S44：根据所述连续帧巡逻图像的顺序进行重复执行上述步会对当前帧的检测框Detections进行级联匹配)进行级联匹配(之前每次只要Tracks匹配[0084]步骤S46：将所述轨迹对象级联匹配成功结果对应的检测框更新所述级联匹配成[0085]将所述检测框级联失配结果对应的检测框、预测框级联失配结果对应的预测框、得到线性的匹配的结果，这时候得到的结果有三种。第一种是Tracks失配(Unmatched续达到一定的次数(默认30次)才可以删除)删除；第二种是Detections失配(Unmatched[0093]需要说明的是，记录追踪到的车辆目标对应的ID信息(deepsort会对追踪到的目测框；进一步的通过连续帧巡逻图像的第二帧进行与预测框匹配计算得到第一代价矩阵；[0100]步骤S52：根据所述关系M及所述隧道巡逻机器人的位移距离S计算获取相邻两帧测框的中心点坐标的位移距离d及所述相邻两帧待检测图像中静止物体的像素位移距离D计算获取所述目标车辆信息对应的位移距离误差α;离和关系M计算出相邻两帧待检测图像中静止物体的像素位移距离，最后结合相邻两帧待检测图像中所述检测框的中心点坐标的位移距离计算出目标车辆信息对应的位移距离误判断所述车辆停止次数计数器的车辆停止次数是否大于所述车辆停止判断次数最大阈值述目标车辆信息；判断所述位移距离误差α的绝对值是所述车辆拥堵计数器的车辆拥堵次数加1；判断所述车辆逆行次数计数器的车辆逆行次数数器的车辆变道次数加1；判断所述车辆变道判断计数器的车辆变道次数是否大于预设的标框穿过内部车道线(隧道两侧车道线之间的车道线)，则根据车辆ID对其记录1次变道并将所述车辆变向异常判断计数器的车辆变向异常次数加1；判断所述车辆变向异常判断信息计算相邻两帧巡逻图像中各静止物体的像素位移距离与现实场景中对应的静止物体待检测图像之间的时间间隔和相邻两帧待检测图像中静止物体的像素位移距离计算得到同时优化了对算法的可靠性；并通过车辆停止判断超参