CN119399736B 车辆后悬检测方法、装置、介质、程序产品 (川开电气有限公司)_第1页
CN119399736B 车辆后悬检测方法、装置、介质、程序产品 (川开电气有限公司)_第2页
CN119399736B 车辆后悬检测方法、装置、介质、程序产品 (川开电气有限公司)_第3页
CN119399736B 车辆后悬检测方法、装置、介质、程序产品 (川开电气有限公司)_第4页
CN119399736B 车辆后悬检测方法、装置、介质、程序产品 (川开电气有限公司)_第5页
已阅读5页,还剩31页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

(19)国家知识产权局(12)发明专利区双流区西南航空港经济开发区空港五路1888号专利权人青岛特中和智慧科技有限公司GO6V20/58(2022.01)本发明提出一种车辆后悬检测方法、装置、标边界框的目标边缘线的任一点作为第一位置目标边界框所属的实测车尾部图像中心线的垂下最小垂直距离对应的实测车尾部图像的第一步骤3度步骤S42获取若干实测车尾部图像;将所述若干实测车尾部图像输入至第一深度学习模型中,生成若干车尾部的候选边界对所有候选边界框筛选,筛选出满足预设筛选条件的目标边界框,其中所述预设筛选条件依据置信度、和/或边界框的尺寸设定;选择所述目标边界框的目标边缘线的一点作为第一位置点;对于每一所述目标边界框,记录所述第一位置点到该目标边界框所属的实测车尾部图像中心线的垂直距离,其中:定义车辆宽度方向为第一坐标轴、车辆长度方向为第二坐标轴,所述第一坐标轴与所述第二坐标轴垂直,所述目标边缘线沿第一坐标轴方向延伸且靠近车尾部,所述实测车尾部图像中心线与所述第二坐标轴呈夹角;选取最小垂直距离对应的实测车尾部图像输入至第二深度学习模型中,识别出后车轮与地面的接触点作为第二位置点,其中所述第二深度学习模型以后车轮与地面的接触点作为模型训练时的关键特征点;依据相机坐标系下所述最小垂直距离对应的实测车尾部图像的所述第一位置点的坐标、所述第二位置点的坐标,求得世界坐标系下的所述第一位置点的坐标与所述第二位置点的坐标,确定所述第一位置点与所述第二位置点之间的距离;依据所述第一位置点与所述第二位置点之间的距离,以及所述第一位置点与所述第二位置点的连线在所述第一位置点与第一坐标轴的夹角或者在所述第二位置点与第二坐标轴的夹角,计算所述后悬的长度,其中:所述后悬的长度d=Lsinθ,θ为所述第一位置点与所述第二位置点的连线在所述第一位置点与所述第一坐标轴的夹角,L为所述第一位置点与所述第二位置点之间的距离;或者所述后悬的长度d=Lcosθ,θ为所述第一位置点与所述第二位置点的连线在所述第二位置点与所述第二坐标轴的夹角,L为所述第一位置点与所述第二位置点之间的距2.根据权利要求1所述的车辆后悬检测方法,其特征在于,所述预设筛选条件依据置信在所有候选边界框中,计算每一候选边界框的置信度;选取置信度最高的候选边界框,并检查该候选边界框的置信度是否超过所述置信度阈若超过该置信度阈值,则保留该候选边界框。3.根据权利要求1或2所述的车辆后悬检测方法,其特征在于,所述预设筛选条件依据根据车辆的平均尺寸和相机的视角,计算每一所述候选边界框的尺寸;若存在一所述候选边界框的尺寸小于所述边界框尺寸阈值,则将该候选边界框滤除;若存在一所述候选边界框的尺寸大于等于所述边界框尺寸阈值,则保留该候选边界4.根据权利要求1所述的车辆后悬检测方法,其特征在于,还包含:3收集若干训练车尾部图像并构造数据集;对所述数据集中的每一图像的车尾部边缘进行边界框标注,围绕车尾部边缘绘制矩形使用标注好的所述数据集来训练所述第一深度学习模型,在训练过程中,所述第一深度学习模型学习识别图像中的车尾部特征,并生成候选边界框。5.根据权利要求1所述的车辆后悬检测方法,其特征在于,还包含:收集若干训练车尾部图像并构造数据集;对所述数据集中的每一图像标注出所述后车轮与地面的接触点;使用标注好的所述数据集来训练所述第二深度学习模型。6.根据权利要求1所述的车辆后悬检测方法,其特征在于,将摄像头安装在停车车位后方顶部,且相机光轴与地面垂直,以采集所述若干实测车尾部图像。7.根据权利要求6所述的车辆后悬检测方法,其特征在于,对所述摄像头进行标定,获取相机的内参矩阵和畸变系数;以停车车位任一点为原点,建立世界坐标系,其中x0y平面与地面平行;依据世界坐标系下的任意点与该任意点在像素坐标系下的对应点,以及相机的内参矩阵,求解相机坐标系相对于世界坐标系的旋转矩阵和平移向量;依据相机坐标系下所述第一位置点的坐标、第二位置点的坐标、相机的内参矩阵、旋转矩阵和平移向量,求得世界坐标系下的所述第一位置点的坐标与所述第二位置点的坐标。8.根据权利要求1所述的车辆后悬检测方法,其特征在于,将所述实测车尾部图像输入至所述第一深度学习模型或者所述第二深度学习模型之前,预先依据相机的内参矩阵和畸变系数对所述实测车尾部图像进行校正和去除畸变。9.根据权利要求1所述的车辆后悬检测方法,其特征在于,其中,所述第一深度学习模型采用yolov5网络,所述第二深度学习模型采用yolov7-10.一种车辆后悬检测装置,其特征在于,采取权利要求1-9任一项所述的车辆后悬检图像获取模块,用以获取若干实测车尾部图像;候选边界框生成模块,用以将所述若干实测车尾部图像输入至第一深度学习模型中,生成若干车尾部的候选边界框;目标边界框筛选模块,用以对所有候选边界框筛选,筛选出满足预设筛选条件的目标边界框,其中所述预设筛选条件依据置信度、和/或边界框的尺寸设定;第一位置点标识模块,用以选择所述目标边界框的目标边缘线的任一点作为第一位置点;对于每一所述目标边界框,记录所述第一位置点到该目标边界框所属的实测车尾部图像中心线的垂直距离,其中:定义车辆宽度方向为第一坐标轴、车辆长度方向为第二坐标轴,所述第一坐标轴与所述第二坐标轴垂直,所述目标边缘线沿第一坐标轴方向延伸且靠近车尾部,所述中心线与所述第二坐标轴呈一夹角;第二位置点标识模块,用以选取最小垂直距离对应的实测车尾部图像输入至第二深度学习模型中,识别出后车轮与地面的接触点作为第二位置点,其中所述第二深度学习模型4以后车轮与地面的接触点作为模型训练时的关键特征点;后悬长度计算模块,用以依据相机坐标系下所述最小垂直距离对应的实测车尾部图像的所述第一位置点的坐标、所述第二位置点的坐标,求得世界坐标系下的所述第一位置点的坐标与所述第二位置点的坐标,确定所述第一位置点与所述第二位置点之间的距离;依据所述第一位置点与所述第二位置点之间的距离,以及所述第一位置点与第二位置点的连线在所述第一位置点与第一坐标轴的夹角或者在所述第二位置点与第二坐标轴的夹角,计算所述后悬的长度,其中:所述后悬的长度d=Lsinθ,θ为第一位置点与第二位置点的连线在所述第一位置点与第一坐标轴的夹角,L为所述第一位置点与所述第二位置点之间的距离;或者所述后悬的长度d=Lcosθ,θ为第一位置点与第二位置点的连线在所述第二位置点与第二坐标轴的夹角,L为所述第一位置点与所述第二位置点之间的距离。11.一种计算机可读存储介质,存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-9中任一所述的车辆后悬检测方法的步骤。12.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-9中任一所述的车辆后悬检测方法的步骤。5车辆后悬检测方法、装置、介质、程序产品技术领域[0001]本发明涉及图像处理技术领域,尤指一种车辆后悬检测方法、装置、介质、程序产背景技术[0002]智慧立体车库的堆垛车位在存放不同车辆的时候,后轮存放的位置是一样的,如果车辆后悬超过堆垛车位设计长度的车辆存入,车尾部会超出堆垛车位区域,侵入穿梭车装后备胎等,导致实际后悬长度不可控。因此有必要在车辆存入堆垛车位之前对车辆实际后悬进行检测,以决定是否允许存入。发明内容该方法基于深度学习模型,可实现可靠准确的后悬检测。[0004]本发明一方面提供一种车辆后悬检测方法,包含:获取若干实测车尾部图像;将所述若干实测车尾部图像输入至第一深度学习模型中,生成若干车尾部的候选边界框,其中所述第一深度学习模型用于预测车尾部最后位置点在地面的投影点所在的边缘线在图像中的位置;对所有候选边界框筛选,筛选出满足预设筛选条件的目标边界框,其中所述预设筛选条件依据置信度、和/或边界框的尺寸设定;选择所述目标边界框的目标边缘线的任一点作为第一位置点;对于每一所述目标边界框,记录所述第一位置点到该目标边界框所属的实测车尾部图像中心线的垂直距离,其中:定义车辆宽度方向为第一坐标轴、车辆长度方向为第二坐标轴,所述第一坐标轴与所述第二坐标轴垂直,所述目标边缘线沿第一坐标轴方向延伸且靠近车尾部,所述中心线与所述第二坐标轴呈一夹角;选取最小垂直距离对应的实测车尾部图像输入至第二深度学习模型中,识别出后车轮与地面的接触点作为第二位置点,其中所述第二深度学习模型以后车轮与地面的接触点作为模型训练时的关键特征点;依据相机坐标系下所述最小垂直距离对应的实测车尾部图像的所述第一位置点的坐标、所述第二位置点的坐标,求得世界坐标系下的所述第一位置点的坐标与所述第二位置[0005]在本发明一实施例中,依据所述第一位置点与所述第二位置点之间的距离,以及所述第一位置点与第二位置点的连线在所述第一位置点与第一坐标轴的夹角或者在所述第二位置点与第二坐标轴的夹角,计算所述后悬的长度。[0006]在本发明一实施例中,所述预设筛选条件依据置信度设定,设定为超过置信度阈值;其中,对所有候选边界框筛选包含:在所有候选边界框中,计算每一候选边界框的置信度;选取置信度最高的候选边界框,并检查该候选边界框的置信度是否超过所述置信度阈[0007]在本发明一实施例中,所述预设筛选条件依据边界框的尺寸设定,设定为超过边6界框尺寸阈值;其中,对所有候选边界框筛选包含:根据车辆的平均尺寸和相机的视角,计算每一所述候选边界框的尺寸;若存在一所述候选边界框的尺寸小于所述边界框尺寸阈值,则将该候选边界框滤除;若存在一所述候选边界框的尺寸大于等于所述边界框尺寸阈[0008]在本发明一实施例中,车辆后悬检测方法还包含:训练所述第一深度学习模型,包含:收集若干训练车尾部图像并构造数据集;对所述数据集中的每一图像的车尾部边缘进行边界框标注,围绕车尾部边缘绘制矩形的边界框,并记录该边界框的左上角、右下角、中心点坐标;使用标注好的所述数据集来训练所述第一深度学习模型,在训练过程中,所述第一深度学习模型学习识别图像中的车尾部特征,并生成候选边界框。[0009]在本发明一实施例中,车辆后悬检测方法还包含:训练所述第二深度学习模型,包含:收集若干训练车尾部图像并构造数据集;对所述数据集中的每一图像标注出所述后车轮与地面的接触点;使用标注好的所述数据集来训练所述第二深度学习模型。[0010]在本发明一实施例中,将摄像头安装在停车车位后方顶部,且相机光轴与地面垂直,以采集所述若干实测车尾部图像。[0011]在本发明一实施例中,对所述摄像头进行标定,获取相机的内参矩阵和畸变系数;以停车车位任一点为原点,建立世界坐标系,其中x0y平面与地面平行;依据世界坐标系下的任意点与该任意点在像素坐标系下的对应点,以及相机的内参矩阵,求解相机坐标系相对于世界坐标系的旋转矩阵和平移向量;依据相机坐标系下所述第一位置点的坐标、第二位置点的坐标、相机的内参矩阵、旋转矩阵和平移向量,求得世界坐标系下的所述第一位置点的坐标与所述第二位置点的坐标。[0012]在本发明一实施例中,将所述实测车尾部图像输入至所述第一深度学习模型或者所述第二深度学习模型之前,预先依据相机的内参矩阵和畸变系数对所述实测车尾部图像进行校正和去除畸变。[0013]在本发明一实施例中,其中,所述第一深度学习模型采用yolov5网络,所述第二深度学习模型采用yolov7-pose网络。[0014]本发明另一方面还提供一种车辆后悬检测装置,采取上述的车辆后悬检测方法,该车辆后悬检测装置至少包含:图像获取模块,用以获取若干实测车尾部图像;候选边界框生成模块,用以将所述若干实测车尾部图像输入至第一深度学习模型中,生成若干车尾部的候选边界框;目标边界框筛选模块,用以对所有候选边界框筛选,筛选出满足预设筛选条件的目标边界框,其中所述预设筛选条件依据置信度、和/或边界框的尺寸设定;第一位置点标识模块,用以选择所述目标边界框的目标边缘线的任一点作为第一位置点;对于每一所述目标边界框,记录所述第一位置点到该目标边界框所属的实测车尾部图像中心线的垂直距离,其中:定义车辆宽度方向为第一坐标轴、车辆长度方向为第二坐标轴,所述第一坐标轴与所述第二坐标轴垂直,所述目标边缘线沿第一坐标轴方向延伸且靠近车尾部,所述中心线与所述第二坐标轴呈一夹角;第二位置点标识模块,用以选取最小垂直距离对应的实测车尾部图像输入至第二深度学习模型中,识别出后车轮与地面的接触点作为第二位置点,其中所述第二深度学习模型以后车轮与地面的接触点作为模型训练时的关键特征点;后悬长度计算模块,用以依据相机坐标系下所述最小垂直距离对应的实测车尾部图像的所述第一位置点的坐标、所述第二位置点的坐标,求得世界坐标系下的所述第一位置点的坐7标与所述第二位置点的坐标,得到所述后悬的长度。[0015]本发明又一方面还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的车辆后悬检测方法的步骤。[0016]本发明又一方面还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的车辆后悬检测方法的步骤。[0017]由以上方案可知,本发明的优点在于:[0018]本发明提供的车辆后悬检测方法,利用第一深度学习模型识别车尾最后位置点的投影点在所的边缘线,并利用第二深度学习模型识别后车轮与地面的接触点作为第二位置点、以及车最后位置点的投影点所在目标边缘线,即可基于目标边缘线的第一位置点与第二位置点的几何关系,确定后悬的长度,实现可靠准确的后悬检测。这种分工使得每个模型都能在其特定领域内进行更深入的学习和优化,从而提高识别的准确性和效率。本发明提供的车辆后悬检测方法、方法、装置、介质、程序产品不仅显著提升了后悬检测的可靠性与准确性,而且相较于传统方法,其自动化程度更高,减少了人为干预带来的误差。该方法不仅适合用于立体车库场景的车辆后悬测量任务,还可以扩展至其他应用场景。附图说明[0019]图1为本发明一实施例揭示的车辆后悬检测方法的总体流程示意图;[0020]图2(a)~图2(c)示出了车辆驶入停车车位过程中,摄像头抓拍车尾部的示意图;其中图2(a)、图2(b)、图2(c)分别示意了车尾部未停入最佳测量位置、正好停入最佳测量位置、超过最佳测量位置的情形;[0021]图3示出了摄像头俯拍的示意图;[0022]图4示出了后悬计算的示意图;[0023]图5示出了后悬计算的示意图;[0024]图6为本发明一实施例揭示的车辆后悬检测装置的结构示意图。[0026]a:后车轮与地面的接触点、第二位置点;[0027]B:车尾部最后位置点在地面的实际垂直投影点;[0028]b:图像中车尾最后位置点在地面的投影点、第一位置点;[0029]ABCD:目标边界框;[0030]A1B1C1D1:实测车尾部图像;[0031]AB:目标边缘线;[0033]0:中心点;[0034]dis1、dis2:垂直距离;[0035]L:第一位置点与第二位置点之间的距离;[0036]d:后悬长度;[0039]10:摄像头;8[0040]20:车位;[0041]200:车辆后悬检测装置;[0042]210:图像获取模块;[0043]220:候选边界框生成模块;[0044]230:目标边界框筛选模块;[0045]240:第一位置点标识模块;[0046]250:第二位置点标识模块;[0047]260:后悬长度计算模块。具体实施方式[0048]需要说明的是,在本申请中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。[0049]在没有更多限制的情况下,由语句“包括一个……"”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。[0050]本发明一实施例中还揭示一种车辆后悬检测方法。参阅图1所示,图1示出了车辆后悬检测方法的总体流程示意图,该车辆后悬检测方法具体包括如下步骤:[0051]步骤S1、获取若干实测车尾部图像。示意了车尾部未停入最佳测量位置、正好停入最佳测量位置、超过最佳测量位置的情形。图3示出了摄像头俯拍的示意图。将摄像头安装在停车车位后方顶部,且相机光轴与地面垂直,车辆驶向停车车位的时候,摄像头以一定的帧率(例如每秒20帧速度)抓拍实测车尾部图像,得到若干实测车尾部图像。该实施例中,通过合理的摄像头安装角度,只需要在车辆经过地点上方布置俯拍的相机即可,即可获取实测的车尾部图像。[0053]如图2(a)~图2(c)、图3中所示,在一实施例中,以停车车位20任一点为原点,建立世界坐标系,其中x0y平面与地面平行。右后车轮与地面的接触点为a点,车尾部最后位置点在地面的实际的垂直投影点为B点,摄像头10拍摄车尾最后位置在地面的投影点为b点,由图2(b)中可以看出,只有当车尾部位于摄像头正下方的时候实际的垂直投影点B点与摄像头拍摄的投影点b点会重合。本实施例中,通过后续步骤S2-S4从车辆驶向停车车位的若干车尾部图像中,筛选出正好停入最佳测量位置时拍摄的图像,以进行后悬长度的计算。[0054]步骤S2、将所述若干实测车尾部图像输入至第一深度学习模型中,生成若干车尾部的候选边界框。[0055]在一实施例中,对于第一深度学习模型,其用于预测车尾部的最后位置点在地面的投影点所在的边缘线在图像中的位置。在将所述若干实测车尾部图像输入至第一深度学习模型中,生成若干车尾部的候选边界框之前,需要预先对该第一深度学习模型进行训练。具体而言,首先收集若干训练车尾部图像并构造数据集,这些图像可以来自不同的场景、角9度和光照条件,以确保模型的泛化能力。在一实施例中,第一深度学习模型用于预测车尾部最后位置点在地面的投影点所在的边缘线在图像中的位置。对所述数据集中的每一图像的车尾部边缘进行边界框标注,围绕车尾部边缘绘制矩形的边界框,并记录该边界框的左上训练过程中,所述第一深度学习模型学习识别图像中的车尾部特征,并生成候选边界框。[0056]在一实施例中,所述第一深度学习模型采用yolov5网络,yolov5网络是一个实时目标检测网络,以其高速和准确性著称,它适用于各种目标检测任务,包括车辆尾部检测。yolov5网络包含主干网络(Backbone)、颈部结构(Neck)和头部结构(Head)。这三部分协同工作,共同实现目标检测的任务。其中,主干网络用于提取图像中的关键特征点。其中主干(SpatialPyramidPoolingFast)模块等。其中Focus结构对输入图像进行切片操作,类似于邻近下采样,将图像的长和宽的信息映射到图像的通道之中,从而减少计算量、参数量和提取能力和计算效率。Conv模块由卷积层(Conv2d)、批归一化层(BatchNorm2d)和激活函数(如SiLU)组成,负责提取图像中的关键特征点。C3模块由三个Conv模块和一个Bottleneck模块组成,通过残差连接和特征融合进一步增强网络的特征提取能力。SPPF模块用于多尺度特征融合,提高了网络的鲁棒性。颈部结构用于进一步融合和增强特征,包含FPN通过自顶向下的路径,将高层语义特征传递给低层,增强了低层特征图的语义信息。PAN模块通过自底向上的路径,将低层图形特征传递给高层,实现了特征的双向融合。头部结构根据提取的特征图生成目标检测的候选边界框和类别预测等,其主要包含Detect模块,由多个1x1卷积层组成,用于对特征图进行升维或降维操作,并生成最终的检测结果。Detect模块通过锚框(anchors)机制,为每个网格单元预测多个候选边界框和对应的类别概率。[0057]最终,利用上述训练好的第一深度学习模型,将所述若干实测车尾部图像输入至第一深度学习模型中,即可生成若干车尾部的候选边界框。该若干车尾部的候选边界框会存在边界框过大、过小、以及不包含目标车尾部等误差情况。因此,需要对候选边界框进一步筛选,以筛选出目标边界框,目标边界框紧密地包围着目标车尾部,并且具有较高的置信度,理想情况下目标边界框为车身各个最外侧的边缘点在地面的投影点形成的矩形边界框,其包含有车尾部最后位置点在地面的投影点。[0058]此外,在一实施例中,将实测车尾部图像输入至所述第一深度学习模型之前,预先依据相机的内参矩阵和畸变系数对所述实测车尾部图像进行校正和去除畸变。将校正和去除畸变后的图像输入至深度学习模型进行训练,可以减少模型对畸变的依赖,从而提高模型的泛化能力和训练效果。同时,校正和去除畸变后的图像更加规范,可以简化深度学习模[0059]步骤S3、对所有候选边界框筛选,筛选出满足预设筛选条件的目标边界框,其中所述预设筛选条件依据置信度、和/或边界框的尺寸设定。[0060]本实施例第一深度学习模型会生成大量的候选边界框,这些边界框可能包含了目去除那些置信度低、尺寸不合理或明显不符合目标特征的边界框,从而提高最终检测结果的准确性,这有助于减少误检和漏检的情况,使检测结果更加可靠。具体而言,在一实施例[0061]在一实施例中,所述预设筛选条件依据置信度设定,设定为超过置信度阈值。具体而言,通过对所有候选边界框中,计算每一候选边界框的置信度;然后选取置信度最高的候选边界框,并检查该候选边界框的置信度是否超过所述置信度阈值;若超过该置信度阈值,则保留该候选边界框。[0062]在一实施例中,所述预设筛选条件依据边界框的尺寸设定,设定为超过边界框尺寸阈值。具体而言,根据车辆的平均尺寸和相机的视角,计算每一所述候选边界框的尺寸;若存在一所述候选边界框的尺寸小于所述边界框尺寸阈值,则将该候选边界框滤除;若存在一所述候选边界框的尺寸大于等于所述边界框尺寸阈值,则保留该候选边界框。[0063]在一实施例中,依据置信度与边界框的尺寸结合构造预设筛选条件,即首先筛选出满足置信度阈值的候选关键框,然后对这部分候选关键框可以进一步依据边界框尺寸阈选边界框的置信度;然后选取置信度最高的候选边界框,并检查该候选边界框的置信度是否超过所述置信度阈值;若超过该置信度阈值,则保留该候选边界框作为第一边界框。然后,将所有所述第一边界框根据车辆的平均尺寸和相机的视角,计算每一所述第一边界框的尺寸;若存在一所述第一边界框的尺寸小于所述边界框尺寸阈值,则将该第一边界框滤除;若存在一所述第一边界框的尺寸大于等于所述边界框尺寸阈值,则保留该第一边界框,由此即可得到最终的目标边界框。[0064]此外,在一实施例中,在依据置信度与边界框的尺寸结合构造预设筛选条件时,还可以首先筛选出满足边界框尺寸阈值的候选关键框,然后对这部分候选关键框可以进一步依据置信度阈值筛选,以筛选出最终的目标车位。对于此方法与上述筛选方法类似,本实施例对此不再详细说明。[0065]如此经过上述的筛选操作,从若干车尾部的候选边界框筛选出目标边界框,目标边界框紧密地包围着目标车尾部,并且具有较高的置信度,目标边界框为车身各个最外侧的边缘点在地面的投影点形成的矩形边界框,其包含有车尾部最后位置点在地面的投影点。该实施例中,筛选出每一实测车尾部图像的目标边界框,需要从这些实测车尾部图像中进一步筛选出如图2(b)中所示的车尾部位于摄像头正下方的时候采集的实测车尾部图像,以进行后悬长度的计算。[0066]步骤S4、选择所述目标边界框第一坐标轴方向的目标边缘线的任一点作为第一位置点;对于每一所述目标边界框,记录所述第一位置点到该目标边界框所属的实测车尾部图像中心线的垂直距离,其中定义车辆宽度方向为第一坐标轴、车辆长度方向为第二坐标轴、所述第一坐标轴与所述第二坐标轴垂直,所述目标边缘线沿所述第二坐标轴方向靠近车尾部,所述中心线与所述第二坐标轴呈一夹角。[0067]本实施例中,在筛选出最终的目标边界框之后,首先对对应的图像构造坐标系,其中定义车辆宽度方向为第一坐标轴、车辆长度方向为第二坐标轴、所述第一坐标轴与所述第二坐标轴垂直。需要注意的是,此处并不限于采集的实测车尾部图像为XY标准方向的图像,只需要定义车辆宽度方向为第一坐标轴、车辆长度方向为第二坐标轴、所述第一坐标轴与所述第二坐标轴垂直即可。11[0068]如图4中所示,图4中以实测车尾部图像为XY标准方向的图像作为示例,第一坐标轴为X轴、第二坐标轴为Y轴。目标边界框为ABCD,目标边界框第一坐标轴方向的目为AB连接线,目标边缘线沿第二坐标轴方向靠近车尾部,目标边缘线上包含车尾部最后位置点在地面的垂直投影点。该目标边界框所对应的实测车尾部图像为A1B1C1D1,中心线E1F1、E2F2为实测车尾部图像A1B1C1D1的中心线。该实施例中,摄像头安装在停车车位后方顶部,且相机光轴与地面垂直,摄像头的中心位置是固定的,其俯拍的车尾部图像为固定视角内的图像,即拍摄的区域是固定的,如图4、图5中所示,两图中的实测车尾部图像A1B1C1D1是固定的,摄像头中心位置在地面的投影点即为图像的中心点0,中心线E1F1、合图2(b)中所示,只有当车尾部位于摄像头正下方的时候实际的垂直投影点B点与摄像头拍摄的投影点b点会重合,此时目标边界框的目标边缘线AB的第一位置点b距离中心线E1F1、E2F2距离最近。为能够比较不同目标边界框的目标边缘线的第一位置点距离中心线的距离,需要具体限定中心线与第二坐标轴呈一夹角,即不能与第二坐标轴平行,若平行则每一目标边界框目标边缘线的第一位置点距离中心线的距离均相同。[0069]本实施例中,选择所述目标边界框第一坐标轴方向的目标边缘线的任一点作为第一位置点,第一位置点b点可以为AB连接线的任一点,例如位于最右侧的边缘点,即车尾最后位置点在地面的垂直投影点。但该实施例中并不仅限于该最右侧边缘点,目标边缘线的任一点均可选定为第一位置点b点。进一步记录所述第一位置点b到该目标边界框所属的实测车尾部图像中心线的垂直距离dis。例如图4中所示,中心线E1F1对应的垂直距离dis1,中心线E2F2对应的垂直距离dis2。[0070]对于每一目标边界框,选定与对应的第二坐标轴呈相同角度的中心线,例如图4中所示,一目标边界框选定与第一坐标轴平行的中心线E1F1(与第二坐标轴呈90°),则每一对比的目标边界框都选定与自身对应的第一坐标轴平行的中心线。记录第一位置点b到中心线的垂直距离,得到垂直距离dis_1、dis_2、dis_n.对比各个目标边界框获得的垂直距离dis_1、dis_2、dis_n,垂直距离越小,表明车尾部后边缘越接近相机光轴,理论上此时车尾部图像中车尾最后位置点在地面的投影点越接近实际中车尾最后位置在地面的垂第二坐标轴呈90°夹角,中心线E1F1与目标边缘线AB重合,即垂直距离为0,此时车尾部位于摄像头正下方的时候实际的垂直投影点B点与摄像头拍摄的投影点b点重合。因此选取最小垂直距离对应的实测车尾部图像输入至第二深度学习模型中,进一步识别出后车轮与地面的接触点。此处需要注意的是,在对比各个目标边界框的第一位置点到中心线的垂直距离时,若中心线与第二坐标轴呈小于90°夹角,则此时各个目标边界框的第一位置点需要固定为同一点,例如均选择为最右侧边缘点。若中心线与第二坐标轴呈90°夹角,即对于同一个目标边界框,每一第一位置点到中心线的距离均相同,此时不需要限定各个目标边界框的第一位置点固定为同一点。[0071]步骤S5、选取最小垂直距离对应的实测车尾部图像输入至第二深度学习模型中,识别出后车轮与地面的接触点作为第二位置点,其中所述第二深度学习模型以后车轮与地面的接触点作为模型训练时的关键特征点。[0072]在一实施例中,在第二深度学习模型对实测车尾部图像进行处理之前,也需要预先训练所述第二深度学习模型,与第一深度学习模型不同的是,第二深度学习模型需要标注关键特征点,该实施例中具体选择选择后车轮与地面的接触点作为关键特征点。实际中摄像头俯拍的图像中不能实际看到后车轮与地面的接触点,因此需要预先在后车轮与地面的接触点位置处放置标志物,识别标志物的坐标,通过相同场景下存在标注物的图像与不存在标志物的图像的对比,以标注后车轮与地面的接触点。具体而言,首先通过收集若干训练车尾部图像并构造数据集,这些图像可以来自不同的场景、角度和光照条件,以确保模型的泛化能力。然后,选择后车轮与地面的接触点作为关键特征点,对所述数据集中的每一图像标注出所述后车轮与地面的接触点。最终使用标注好的所述数据集来训练所述第二深度学习模型。[0073]在一实施例中,第二深度学习模型采用yolov7-pose网络。yolov7-pose网络在YOLOv7的基础上进行了改进,主要增加了关键点检测的功能,其实现了关键点的精准定位。它采用端到端的训练方式,将目标检测与关键点检测任务整合到一个网络中,简化了训练网络等。以本实施例的实测车尾部图像进行处理为例,输入层对输入实测车尾部图像经过于提取实测车尾部图像的关键特征点,即后车轮与地面的接触点。颈部网络负责特征融合,将不同层次的特征图进行融合,以提高关键特征点检测的准确率。头部网络用于预测关键特征点的坐标信息。在yolov7-pose网络中,每个关键特征点都有一个对应的热图输出,表示该关键点的位置概率。yolov7-pose网络的核心在于关键点热图的生成与解析,通过网络的前向传播,生成与输入图像大小相同的关键特征点热图。热图中的每个像素值表示该位置为关键特征点的概率。进而通过对关键特征点热图进行后处理,如阈值处理、非极大值抑制等,提取出关键特征点的坐标信息。[0074]最终,利用训练好的第二深度学习模型,选取最小垂直距离对应的实测车尾部图像输入至第二深度学习模型中,识别出后车轮与地面的接触点作为第二位置点,如图4中所示,第二位置点为a点。从而利用最小垂直距离对应的实测车尾部图像的第一位置点b点与第二位置点a点即可确定后悬的长度。[0075]此外,在一实施例中,将实测车尾部图像输入至所述第二深度学习模型之前,预先依据相机的内参矩阵和畸变系数对需要输入的实测车尾部图像进行校正和去除畸变。将校正和去除畸变后的图像输入至深度学习模型进行训练,可以减少模型对畸变的依赖,从而提高模型的泛化能力和训练效果。同时,校正和去除畸变后的图像更加规范,可以简化深度学习模型的计算过程,从而加快模型推理速度,提高实时性。[0076]步骤S6、依据相机坐标系下最小垂直距离对应的实测车尾部图像的所述第一位置点的坐标、所述第二位置点的坐标,求得世界坐标系下的所述第一位置点的坐标与所述第二位置点的坐标,得到所述后悬的长度。[0077]在一实施例中,通过对安装的摄像头进行标定,获取相机的内参矩阵和畸变系数。如图3所示,并以停车车位任一点为原点,建立世界坐标系,其中x0y平面与地面平行。并依据世界坐标系下的任意点与该任意点在像素坐标系下的对应点,以及相机的内参矩阵,求解相机坐标系相对于世界坐标系的旋转矩阵R和平移向量T。例如,已知n个点在世界坐标系下的坐标P1,P2,...,Pn,对应像素坐标系下的坐标p1,p2,...,pn以及相机的内参矩阵,求[0081]其中,(K-¹p)3表示向量K-¹p的第三个分量,即齐次坐标的w分量,用于归一b点的Z轴坐标都为0;p表示齐次像素坐标量[xy1]。[0082]然后,使用旋转矩阵R的转置R和平移向量T将归一化相机坐标转换为世界坐矩阵和平移向量,求得世界坐标系下的所述第一位置点的坐标与所述第二位置点的坐标。置点的连线在所述第一位置点与第一坐标轴的夹角或者在所述第二位置点与第二坐标轴点的坐标表示为(x2,y2,z2),第一位置习模型识别后车轮与地面的接触点、以及车最后位置点的投影点在所的边缘线,即可基于第一位置点与第二位置点的几何关系,确定后悬的长度,实现可靠准确的后悬检测。该方法利用2D相机方案解决了3D视觉对乘用车高亮面车身成像效果差和光电检测无法定位车尾最后缘点的问题,并且本发明部署方式简单灵活,且成本较低,不仅适合用于立体车库场景的车辆后悬测量任务,还可以扩展至其他应用场景。[0091]相应地,与上述车辆后悬检测方法相对应,本发明另一方面还提供了一种车辆后悬检测装置200,参阅图6所示,图6示出了该车辆后悬检测装置200的结构示意图。[0092]该车辆后悬检测装置200至少包含:[0093]图像获取模块210,用以获取若干实测车尾部图像。[0094]候选边界框生成模块220,用以将所述若干实测车尾部图像输入至第一深度学习模型中,生成若干车尾部的候选边界框,其中所述第一深度学习模型用于预测车尾部最后位置点在地面的投影点所在的边缘线在图像中的位置。[0095]目标边界框筛选模块230,用以对所有候选边界框筛选,筛选出满足预设筛选条件的目标边界框,其中所述预设筛选条件依据置信度、和/或边界框的尺寸设定。[0096]第一位置点标识模块240,用以选择所述目标边界框第一坐标轴方向的目标边缘线的任一点作为第一位置点;对于每一所述目标边界框,记录所述第一位置点到该目标边界框所属的实测车尾部图像中心线的垂直距离,其中:定义车辆宽度方向为第一坐标轴、车辆长度方向为第二坐标轴,所述第一坐标轴与所述第二坐标轴垂直,所述目标边缘线沿第一坐标轴方向延伸且靠近车尾部,所述中心线与所述第二坐标轴呈一夹角。[0097]第二位置点标识模块250,用以选取最小垂直距离对应的实测车尾部图像输入至第二深度学习模型中,识别出后车轮与地面的接触点作为第二位置点,其中所述第二深度学习模型以后车轮与地面的接触点作为模型训练时的关键特征点。[0098]后悬长度计算模块260,用以依据相机坐标系下所述最小垂直距离对应的实测车尾部图像的第一位置点的坐标、所述第二位置点的坐标,求得世界坐标系下的所述第一位置点的坐标与所述第二位置点的坐标,得到所述后悬的长度。[0099]此外,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,该描述车辆后悬检测装置200的具体工作过程,可以

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论