CN114750696B 车辆视觉呈现的方法、车载设备及车辆 （智道网联科技(北京)有限公司）

设备及车辆，可应用于普通车辆或自动驾驶车及当存在障碍物时对应的障碍物类型的检测结实时位置信息，确定上述障碍物的三维位置信术类用户而言呈现效果直观且有助于提升用户2对每个时刻的所述图像数据进行障碍物检测，得到是否存在障碍物以根据所述三维位置信息和所述障碍物类型，在所述车辆的车载设备示界面的显示范围之内的第一目标图元和位于所述显示界面的显示范围之外的第二目标图元从所述待渲染列表中删除并输出至所述显示界面进行确定所述车辆的当前行驶位置到后续规划路径所要根据所述地图数据计算适配于所述车载设备的显示界面中当前显示参数的目标地图将前后两个时刻的图像数据中的同类障碍物提取的关注特征进行相述前后两个时刻的图像数据中是否存在同一个障碍物的身份识根据所述身份识别结果，为同一个类型的障碍物其中，所述根据所述三维位置信息和所述障碍物类型，在所根据所述障碍物的类型标识、身份标识以及三维位置信息，在显示界面实时加载的车辆行驶地图中来渲染35.根据权利要求1所述的方法，其特征在于，根据所述三维位置信息和所述障碍物类根据所述覆盖位置和所述覆盖面积，确定所述待渲染图元中是否存述显示界面的显示范围之内且部分图像位于所述显示界面的显示范围之外的第三目标图根据所述图像数据和所述摄像装置的参数，确定在所述车辆所在世根据所述车辆的实时位置信息和所述相对位置信息，确定所述障碍物的三维位置信根据所述图像数据和所述摄像装置的参数，确定在所述车辆所在世确定所述双目摄像装置的两个摄像头针对同一个障碍物的根据所述两个摄像头各自经过标定后的参数确定两个摄像头根据所述投影矩阵和所述匹配图像点的坐标构建世界坐标系到像面坐标系之间的转对所述两个摄像头之间的转换方程联立进行最小二乘求解，得到障对所述图像数据基于像素点的灰度阈值进行图像分割，得到一个或多个候选像素区根据膨胀处理后的候选像素区域的边界进行区域分割，计算分割4将所述目标像素区域输入至预先训练好的障碍物检测模型对所述图像数据基于像素点的灰度阈值进行图像分割，得到一个或多个候选像素区根据所述候选像素区域内对应的初始颜色特征的差异、所述候选将所述目标像素区域输入至预先训练好的障碍物检测模型获取路况标定数据，所述路况标定数据包括：路况场景图片经过将所述真实结果作为训练标签，对参数待训练的障碍物检测模型的其中，当训练达到设定次数或者当表征所述训练标签和所障碍物检测模块，用于对每个时刻的所述图像碍物以及当存在障碍物时对应的障碍物类型显示模块，用于根据所述三维位置信息和所述障碍物类型，在存在位于所述显示界面的显示范围之内的第一目标图元和位于所述显示界面的显示范围来刷新所述第二目标图元的存储状态，当所述第二目标图元位于所述实时显示范围内时，将所述第二目标图元从所述待渲染列表中删除并输出至所述显示界面进56在上述车辆的车载设备的显示界面实时加载的车辆行驶地图中渲染对中是否存在位于上述显示界面的显示范围之内的第一目标图元和位于上述显示界面的显7[0009]根据本公开的实施例，当前后两个时刻的障碍物的类型位于上述显示界面的显示范围之内；将缩小后的第三目标图元在上述车辆行驶地图中渲像头对应的左像平面和右像平面的坐标系与上述世界坐标系中原点之间经标定和立体校8碍物以及当存在障碍物时对应的障碍物类型的检进行障碍物检测，得到是否存在障碍物以及当存在障碍物时对应的障碍物类型的检测结9[0028]图5示意性地示出了根据本公开一实施例的加载车辆行驶地图的详细实施流程[0029]图6示意性地示出了根据本公开另一实施例的车辆视觉呈现的方法的流程图；以及割后的图像区域经由tensorflow(一种开源机器学习平台，是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的平台)输入至障碍物检测模型进行识别，获得检测[0044]在车载设备的显示界面实时加载的车辆行驶地图是适配于上述车载设备的显示而言呈现效果直观且有助于提升用户在车辆行驶过程中对车外路况的存在障碍物以及当存在障碍物时对应的障碍物类型的检测结果，包括以下步骤：S211、[0049]在图2A中以当前时刻的图像数据为SA进行示例，实际上[0056]由于基于图像分割得到的一个或多个候选像素区域中可能包含除障碍物之外的预设阈值范围的噪点区域进行剔除后，有助于使得目标像素区域中包含较少的干扰像素，得到上述目标像素区域是否存在障碍物以及当存在障碍物时对应的障碍物类型的检测结[0060]上述步骤S211～S214可以基于车载设备中的opencv和tensorflow执行对应处理行障碍物检测，得到是否存在障碍物以及当存在障碍物时对应的障碍物类型的检测结果，得到上述目标像素区域是否存在障碍物以及当存在障碍物时对应的障碍物类型的检测结[0068]步骤S223的具体过程以及障碍物检测模型的训练过程可以参照前述步骤S213的[0075]上述车辆的实时位置信息可以通过车载单元与全球导航卫星系统(GNSS)通信来物对应的待渲染图元在上述车辆行驶地图中的在位于上述显示界面的显示范围之内的第一目标图元和位于上述显示界面的显示范围之二目标图元从上述待渲染列表中删除并输出至上述显示界面进研发人员)将显示界面的当前显示参数调整为用于显示距离当前位置10米以内的区间，即[0083]当某个或某些待渲染图元是位于上述显示界面的显示范围之外的第二目标图元保证上一时刻被排除在外的第二目标图元如果在落入当前显示范围的情况下便会进行渲于上述显示界面的显示范围之内且部分图像位于上述显示界面的显示范围之外的第三目[0088]图5示意性地示出了根据本公开一实施例的加载车辆行驶地图的详细实施流程[0092]在步骤S520，确定上述车辆的当前行驶位置到后续规划路径所要显示的地图数够根据用户设置或更新的当前显示参数来更改显示的车辆行驶地图所对应的目标地图区[0100]在本公开的一些实施例中，上述车辆视觉呈现的方法，除了包括上述步骤S110、关注特征和存在的障碍物的类型，对上述图像数据中的障碍物进行对应关注特征的提取。[0106]根据本公开的实施例，当前后两个时刻的障碍物的类型[0110]上述数据获取模块701用于获取车辆的摄像装置实时采集的周围环境的图像数[0111]上述障碍物检测模块702用于对每个时刻的上述图像数据进行障碍物检测，得到702包括用于实现上述步骤S120的各个功能模[0112]上述位置计算模块703用于在上述检测结果表征存在障碍物的情况下，根据上述[0113]上述显示模块704用于根据上述三维位置信息和上述障碍物类型，在上述车辆的车载设备的显示界面实时加载的车辆行驶地图中渲染对应的障碍物。上述显示模块704包[0116]上述身份识别模块用于将前后两个时刻的图像数据中的同类障碍物提取的关注车辆视觉呈现的方法或者包括如上所述的车载设备。该车辆为普通车辆或者自动驾驶车的模块中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、[0122]以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公