CN113985405B 障碍物检测方法、应用于车辆的障碍物检测设备 （森思泰克河北科技有限公司）

(19)国家知识产权局(12)发明专利地址050200河北省石家庄市鹿泉经济开秦屹将第一障碍物信息与第二障碍物信息进行障感器获取的点云数据和图像传感器采集的图像对应的第一障碍物信息和图像信息对应的第二2根据雷达传感器获取的点云数据和图像传感器采集的图像信息，确定目标点云数据；分别对所述目标点云数据和所述图像信息进行障碍物识别，得到所述目标点云数据对应的第一障碍物信息和所述图像信息对应的第二障碍物信息；将所述第一障碍物信息与所述第二障碍物信息进行障碍物融合，确定目标障碍物；将所述第一障碍物信息与所述第二障碍物信息进行障碍物融合，确定目标障碍物，包分别对所述第一障碍物信息和所述第二障碍物信息进行预处理，得到雷达航迹信息和视觉航迹信息；分别将所述雷达航迹信息、所述视觉航迹信息与融合航迹信息进行关联操作，确定成功关联的融合航迹信息，其中，所述融合航迹信息通过所述雷达航迹信息或所述视觉航迹信息起始确定；将所述成功关联的融合航迹信息进行航迹状态更新，得到更新后的融合航迹信息；计算所述更新后的融合航迹信息的航迹置信度，得到所述目标障碍物。2.根据权利要求1所述的方法，其特征在于，所述根据雷达传感器获取的点云数据和图将所述点云数据和所述图像信息进行同步处理，得到同步后的点云数据和同步后的图像信息；对所述同步后的点云数据进行栅格化，得到第一栅格图，并对所述同步后的图像信息根据预设融合方法将所述第一栅格图与所述第二栅格图进行融合，得到融合栅格图；根据所述融合栅格图对所述点云数据进行修正，得到所述目标点云数据。3.根据权利要求2所述的方法，其特征在于，所述对所述同步后的点云数据进行栅格将所述雷达传感器获取的点云数据进行动静分离，得到动态点云数据和静态点云数对所述雷达传感器的探测区域进行栅格化，统计各个栅格内的静态点数目，当所述栅格包含的静态点数目大于第一目标阈值时，所述栅格为占有栅格，否则所述栅格为无效栅格，并通过所述占有栅格和所述无效栅格确定所述第一栅格图。4.根据权利要求2所述的方法，其特征在于，所述根据预设融合方法将所述第一栅格图根据所述第一栅格图、所述第二栅格图在所述融合栅格图中所占的权重、以及所述第一栅格图、所述第二栅格图中各个栅格的占有值，依次计算融合栅格图中对应的各个栅格的目标占有值；将所述目标占有值与所述第一栅格图和所述第二栅格图的数量之和作商，依次计算融合栅格图中对应的各个栅格的平均占有值；当所述平均占有值大于第二目标阈值时，将所述融合栅格图中对应的栅格标记为占有栅格，否则标记为无效栅格，得到由所述占有栅格和无效栅格构成的融合栅格图。35.根据权利要求3所述的方法，其特征在于，所述根据所述融合栅格图对所述点云数据当所述点云数据中的数据点对应所述融合栅格图中的栅格为占有栅格且所述数据点的当前属性为动点时，将所述数据点的属性修正为静点；将修正后的静点对应的点云数据和所述静态点云数据共同作为所述目标点云数据。6.根据权利要求3所述的方法，其特征在于，所述将所述雷达传感器获取的点云数据进行动静分离，得到动态点云数据和静态点云获取所述点云数据中每个数据点的实测多普勒速度；根据当前的车辆速度计算每个数据点的目标多普勒速度；计算所述实测多普勒速度与所述目标多普勒速度的差值；当所述差值的绝对值大于预设阈值时，将所述数据点标记为动点，当所述差值的绝对值小于或等于所述预设阈值时，将所述数据点标记为静点，所述点云数据被划分为所述动点对应的动态点云数据和所述静点对应的静态点云数据。7.根据权利要求6所述的方法，其特征在于，所述根据当前的车辆速度计算每个数据点当所述车辆为直线行驶状态时，所述根据当前的车辆速度计算每个数据点的目标多普勒速度具体为：装角之和，安装角为车辆坐标系原点与雷达传感器或图像传感器坐标系原点的连接线与车辆坐标系Y轴之间的夹角，方位角为第i个数据点与雷达传感器或图像传感器坐标系原点的连接线以最小路径旋转至雷达传感器或图像传感器坐标系原点的法向量y轴所经过的角当所述车辆为非直线行驶状态时，所述根据当前的车辆速度计算每个数据点的目标多普勒速度具体为：为车辆行驶速度在车辆坐标系Y轴方向的线速度，θ为第i个数据点的方位角和安装角之8.根据权利要求1至7任一项所述的方法，其特征在于，所述雷达传感器为毫米波雷达传感器，且包括1个前向雷达传感器和4个侧向雷达传感器，所述图像传感器包括1个摄像9.一种应用于车辆的障碍物检测设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上的权利要求1至8中任一项所述障碍物检测方法的步骤。4障碍物检测方法、应用于车辆的障碍物检测设备技术领域[0001]本发明涉及自动驾驶技术领域，尤其涉及一种障碍物检测方法、应用于车辆的障碍物检测设备。背景技术[0002]自动驾驶汽车可以提供更高的安全性、生产率和交通率，将在未来城市交通系统中担任重要角色。在大多数自动驾驶场景或者辅助驾驶场景中，周围环境感知是一项至关重要的任务，而单一传感器在环境感知中存在不同的劣势，因此，多传感器融合成为提升感知系统效果的必要手段。[0003]目前，一般采用多传感器融合方法进行障碍物检测，即数据级融合的障碍物检测方法。数据级融合的障碍物检测方法是将所有原始数据传输到处理器中进行数据处理，以确定障碍物。[0004]但是，上述数据级融合的障碍物检测方法存在障碍物检测精度低的问题。发明内容[0005]本发明实施例提供了一种障碍物检测方法、应用于车辆的障碍物检测设备，以解决现有技术检测方法存在障碍物检测精度低的问题。[0007]根据雷达传感器获取的点云数据和图像传感器采集的图像信息，确定目标点云数[0008]分别对目标点云数据和图像信息进行障碍物识别，得到目标点云数据对应的第一障碍物信息和图像信息对应的第二障碍物信息；[0009]将第一障碍物信息与第二障碍物信息进行障碍物融合，确定目标障碍物。[0010]第二方面，本发明实施例提供了一种应用于车辆的障碍物检测设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上第一方面或第一方面的任一种可能的实现方式方法的步骤。[0012]点云数据确定模块，用于根据雷达传感器获取的点云数据和图像传感器采集的图[0013]障碍物信息确定模块，用于分别对目标点云数据和图像信息进行障碍物识别，得到目标点云数据对应的第一障碍物信息和图像信息对应的第二障碍物信息；[0014]目标障碍物确定模块，用于将第一障碍物信息与第二障碍物信息进行障碍物融[0015]第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式方法的步骤。5[0016]本发明实施例提供一种障碍物检测方法、应用于车辆的障碍物检测设备，通过雷达传感器获取到点云数据、通过图像传感器采集到目标图像以后，将目标图像与点云数据在数据级上进行融合，确定目标点云数据，然后对目标点云数据进行障碍物识别，得到一个障碍物信息，同时对目标图像进行障碍物识别得到另一个障碍物信息，之后将第一障碍物信息和第二障碍物信息在目标级上进行融合，共同确定目标障碍物，由于图像传感器采集的目标图像不仅在目标级上辅助雷达传感器进行障碍物识别，同时还能够在数据级上辅助雷达传感器对点云数据进行判断来确定目标点云数据，并基于目标点云数据进行障碍物识别，因此得到的检测结果更加准确，提高了目标障碍物的检测精度。附图说明[0017]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。[0018]图1是本发明实施例提供的集中式融合结构图；[0019]图2是本发明实施例提供的分布式融合结构图；[0020]图3是本发明实施例提供的混合式融合结构图；[0021]图4是本发明实施例提供的一种障碍物检测方法的实现流程图；[0022]图5是本发明实施例提供的改进的混合式融合结构图；[0023]图6是本发明实施例提供的雷达、车辆与摄像头的位置关系示意图；[0024]图7是本发明另一实施例提供的一种障碍物检测方法的实现流程图；[0025]图8是本发明实施例提供的数据点与车辆坐标系、传感器坐标系的几何关系示意[0026]图9是本发明实施例提供的车辆转弯的几何关系示意图；[0027]图10是本发明实施例提供的数据时间同步的示意图；[0028]图11是本发明实施例提供的前向雷达坐标系的示意图；[0029]图12是本发明实施例提供的图像坐标系、相机坐标系和车辆坐标系的位置关系的示意图；[0030]图13是本发明实施例提供的图像坐标系与像素坐标系的位置关系的示意图；[0031]图14是本发明实施例提供的障碍物融合的实现流程图；[0032]图15是本发明实施例提供的一种障碍物检测装置的结构示意图；[0033]图16是本发明实施例提供的一种应用于车辆的障碍物检测设备的结构示意图。具体实施方式[0034]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。[0035]为使本发明的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例6来进行说明。[0036]自动驾驶汽车可以提供更高的安全性、生产率和交通率，将在未来城市交通系统中担任重要角色。在大多数自动驾驶场景或者辅助驾驶场景中，周围环境感知是一项至关重要的任务。单一传感器(如激光雷达、毫米波雷达、摄像头和超声波)在环境感知中存在不同的劣势，因此，多传感器融合成为提升环境感知效果的必要手段。[0037]根据多传感器融合中的局部传感器对数据处理程度可将多传感器的融合方式进行划分，主要分为集中式、分布式和混合式。结合图1-图3对体如下：[0038]图1为集中式融合结构图，通过图1可知集中式是将传感器所有信息送到域控制器决策。集中式的优点是数据处理的精度高，而缺点是大量数据易造成通信负载过大，对控制器处理的性能要求高。图2为分布式融合结构图，通过图2可知分布式是将每个传感器的目标观测结果在本地进行相关目标检测与跟踪处理，之后送入域控制器得到多目标跟踪的局部航迹信息。分布式优点是对通信带宽的需求低、计算速度快，而缺点是跟踪的精度远没有集中式高。图3为混合式融合结构图，通过图3可知混合式是依据对传感器数据需求的不同组成混合式结构，兼具集中式和分布式结构的优点，弥补了两者的不足。[0039]然而，图3所示混合式融合结构中，不同类型传感器的融合，如图像传感器(摄像头)与雷达传感器(角雷达、前向雷达)的融合主要集中在目标级，障碍物的检测精度较低，其中，5R1V指5个毫米波雷达和1个前视多功能摄像头的传感器配置。本发明实施例基于图3所示混合式融合结构，为了进一步提高障碍物检测精度，提出了一种改进的混合式融合结构以及障碍物检测方法。[0040]参见图4和图5,图4为本发明实施例提供的一种障碍物检测方法的实现流程图，其适用于图5所示改进的混合式融合结构，图5所示改进的混合式融合结构中，用于进行障碍物检测的传感器包括雷达传感器和图像传感器，其中雷达传感器又包括前向雷达传感器和指的是5个雷达传感器，即1个前向雷达传感器和4个侧向雷达传感器，“1V”指的是1个图像传感器，该结构主要针对面向L3级别的高速行车场景，可以得到更精确可靠的障碍物检测结果。在一些实施例中，雷达传感器可以采用毫米波雷达传感器，图像传感器为摄像头。[0041]以下将以图5所示混合式融合结构为例，介绍本发明各实施例障碍物检测方法的[0042]步骤S101:根据雷达传感器获取的点云数据和图像传感器采集的图像信息，确定目标点云数据；[0043]步骤S102:分别对目标点云数据和图像信息进行障碍物识别，得到目标点云数据对应的第一障碍物信息和图像信息对应的第二障碍物信息；[0044]步骤S103:将第一障碍物信息与第二障碍物信息进行障碍物融合，确定目标障碍物。个摄像头均安装在车辆的前端，4个高分辨侧向雷达传感器(角雷达)安装在车辆的4个侧7向。结合图6,本发明的具体流程如下：在车辆行驶过程中，前向雷达传感器采集对应探测区域的点云数据，4个侧向雷达传感器分别采集对应探测区域的点云数据，摄像头采集摄像范围内的图像信息，通过上述雷达传感器采集的点云数据和摄像头采集的图像信息，得到目标点云数据，之后将目标点云数据进行障碍物识别以确定第一障碍物信息，以及将图像信息进行障碍物识别以确定第二障碍物信息，最后通过第一障碍物信息和第二障碍物信息进行障碍物融合得到目标障碍物。此外，确定第一障碍物和确定第二障碍物的步骤不限定顺[0046]与现有技术相比，本发明实施例提供的障碍物检测方法，通过雷达传感器获取到点云数据、通过图像传感器采集到目标图像以后，将目标图像与点云数据在数据级上进行融合，确定目标点云数据，然后对目标点云数据进行障碍物识别，得到一个障碍物信息(即第一障碍物信息),同时对目标图像进行障碍物识别得到另一个障碍物信息(即第二障碍物信息),之后将第一障碍物信息和第二障碍物信息在目标级上进行融合，共同确定目标障碍物，由于图像传感器采集的目标图像不仅在目标级上辅助雷达传感器进行障碍物识别，同时还能够在数据级上辅助雷达传感器对点云数据进行判断来确定目标点云数据，并基于目标点云数据进行障碍物识别，因此得到的检测结果更加准确，提高了目标障碍物的检测精度。[0048]步骤S201:将点云数据和图像信息进行同步处理，得到同步后的点云数据和同步后的图像信息；[0049]其中，同步处理包括时间同步处理和空间同步处理。[0050]步骤S202:对同步后的点云数据进行栅格化，得到第一栅格图，并对同步后的图像信息进行栅格化，得到第二栅格图；[0051]步骤S203:根据预设融合方法将第一栅格图和第将一栅格图进行融合，得到融合栅格图；[0052]步骤S204:基于融合栅格图对点云数据进行属性修正，得到目标点云数据。[0053]具体的，下面以图5所示5R1V混合式融合结构为例描述障碍物检测方法的具体实现流程，即雷达传感器包括前向雷达传感器和侧向雷达传感器，且当雷达传感器为毫米波雷达传感器。[0054]通过多个传感器进行障碍物检测时，需要多个传感器的数据满足时间同步和空间同步的要求，因此，在对传感器的数据进行处理之前，首先需要对各个传感器的数据进行同步处理。[0055]图10为本发明一实施例中雷达传感器与图像传感器采集的数据进行时间同步的示意图。本发明通过对雷达传感器与图像传感器进行GPS统一授时，统一授时之后雷达传感器和图像传感器根据拉格朗日插值进行时间同步。由图10可以看出，各传感器采集的数据都有GPS时间戳，雷达传感器的GPS时间戳可以认为是在当前上报周期内，域控制器获取雷达传感器采集的点云数据的时间，而图像传感器的GPS时间戳可以认为是在当前上报周期内，域控制器获取图像传感器采集的图像信息的的时间。当各传感器都有对应的GPS时间戳后，采用拉格朗日差值对各传感器进行时间同步。对各传感器进行时间同步的过程属于公8同步主要是将各个传感器采集的数据映射到一个统一的坐坐标系为以车辆后轴为中心的坐标系(后面统一描述为车辆坐标系)。针对不同的传感器，[0066]对图像信息进行空间同步的具体实现过程可参考图12和图13,图12为图像坐标9平面图像中的点坐标的三维重建。[0067]图像坐标系xoy:相机将三维真实环境中的物体通过透视投影后的成像平面的坐标系。定义光轴与成像平面的交点为坐标原点0,成像平面为坐标系平面。计算机存储的图像信息是基于像素坐标系的，其定义图像左上角顶点为像素坐标系u0₀v的原点，如图13所示。图像坐标系的原点0位于像素坐标系下的像素点(u₀,v。)处，则图像坐标系与像素坐标系的转换关系为：[0069]其中，dx和dy分别表示每个像素点在图像坐标系的x和y方向上的物理尺寸。立的坐标系。其坐标轴与图像坐标轴平行，则相机坐标系与图像坐标系的转换关系(f为相机的焦距)为：[0072]世界坐标系(XwYwZ):作为基准坐标系，用于描述雷达和相机(即本申请中的摄像头)的安装位置，以及空间中其他物体的位置。世界坐标系与相机坐标系的转换关系为：[0074]其中，旋转矩阵R为3×3的单位正交矩阵，表示相机坐标系相对于世界坐标系的旋转关系。平移向量T适用于描述相机坐标系相对于世界坐标系平移关系的向量。[0075]最终，得到世界坐标系与像素坐标系的转换关[0079]对各个传感器的数据进行时间同步和空间同步之后，需要对各个传感器的数据在数据级上进行融合。进行数据融合时，首先，对同步后的点云数据进行栅格化，得到第一栅格图，并对同步后的图像信息进行栅格化，得到第二栅格图，然后根据预设融合方法将第一栅格图和第将一栅格图进行融合，得到融合栅格图，并基于融合栅格图对点云数据进行属性修正，得到目标点云数据，从而实现了利用图像信息对点云数据进行修正的过程，也即执行上述步骤S202至步骤S204的过程。[0080]其中，在对点云数据进行栅格化之前，需要对点云数据进行动静分离，来得到动态点云数据和静态点云数据。其中，对点云数据进行动静分离主要是基于车辆投影速度与点云多普勒速度实现的。具体的，动静分离的实现包括以下步骤：[0081](11)获取点云数据中每个数据点的实测多普勒速度；[0082](12)根据当前的车辆速度计算每个数据点的目标多普勒速度；[0083](13)计算实测多普勒速度与目标多普勒速度的差值；[0084](14)当差值的绝对值大于预设阈值时，将数据点标记为动点，当差值的绝对值小于或等于预设阈值时，将数据点标记为静点，由此，点云数据被划分为动点对应的动态点云数据和静点对应的静态点云数据。[0085]在上述实现过程中，实测多普勒速度为点云数据中携带的速度信息，而目标多普勒速度与当前的车辆速度有关，而根据车辆行驶状态不同，车辆速度的表征方式也是不同的。本实施例中车辆行驶状态包括：直线行驶状态和非直线行驶状态，基于不同的行驶状态，当前的车辆速度表征方式不同，因此目标多普勒速度的计算方式也是不同的。下面分别描述在不同车辆行驶状态下进行动静分离的过程。[0086](1)当车辆处于直线行驶状态时，将车辆速度投影到点与雷达中心的连线方向，即点云多普勒可表示为：V=Vegocosθ,其中，V.;为根据车辆速度反推出的点云多普勒速度，即目标多普勒速度；Veg为车辆行驶速度，θ为第i个点云的方位角和安装角之和，结合图8,以雷达传感器中的右前侧雷达传感器为例，安装角α为车辆坐标系原点E与右前侧雷达传感器坐标系原点S的连接线与车辆坐标系Y轴之间的夹角，方位角γ为第i个数据点与右前侧雷达传感器坐标系原点S的连接线以最小路径旋转至右前侧雷达传感器坐标系原点S的法负值；然后计算与目标多勒速度之间的差值即：△v=|V-|,如果速度差大于预设阈值则[0087](2)当车辆处于非直线行驶状态时，Va的计算通过车辆的线速度计算确定，车辆的11程实验发现，转弯时的车速为内轮速时，目标点的多普勒实测值与理论值误差较小且稳定。为车辆坐标系X轴方向的线速度，V,为车辆坐标系Y轴方向的线速度。[0088]进一步地，由于对点云数据进行动静分离的准确性直接影响可行驶区域检测的精度以及目标障碍物属性的判断，因此，本发明对各个雷达传感器获得的点云数据分别进行动静分离，即前向毫米波雷达获取的点云数据、侧向毫米波雷达获取的点云数据分别进行动静分离，得到前向毫米波雷达对应的动态点云数据和静态点云数据，以及侧向毫米波雷达对应的动态点云数据和静态点云数据。在一实施例中，对点云数据进行动静分离的步骤在同步处理之前进行，即同步处理时，是对得到的各个雷达传感器的动态点云数据、静态点云数据进行同步。[0089]在步骤S202,对同步后的点云数据进行栅格化，得到第一栅格图，并对同步后的图像信息进行栅格化，得到第二栅格图。[0090]其中，对各个雷达传感器获取的点云数据进行栅格化的过程可以包括如下步骤：对雷达传感器的探测区域进行栅格化，统计各个栅格内的静态点数目，当栅格包含的静态点数目大于第一目标阈值时，该栅格为占有栅格，将该栅格的属性标记为占有，当栅格包含的静态点数目小于或等于第一目标阈值时，该栅格为无效栅格，将该栅格的属性标记为无效，从而得到由占有栅格和无效栅格构成的第一栅格图。在该过程中，对各个栅格的属性进行标记的过程即为点云数据栅格化的过程。[0091]当雷达传感器包括多个时，第一栅格图的数量为多个。进一步地，以雷达传感器包括前向雷达传感器和侧向雷达传感器为例，此时第一栅格图包括前向栅格图和侧向栅格图，其中前向栅格图为前向雷达传感器获得的点云数据对应的第一栅格图，侧向栅格图为侧向雷达传感器获得的点云数据对应的第一栅格图。进一步的，当侧向雷达传感器的数量为4个时，侧向栅格图的数量也为4个。对于前向雷达传感器，对前向雷达传感器的探测区域进行栅格化，统计各个栅格内的静态点数目，当栅格包含的静态点数目大于第一目标阈值时，栅格为占有栅格，否则栅格为无效栅格，并通过占有栅格和无效栅格确定前向栅格图。同理，基于上述操作步骤，可确定侧向雷达传感器对应的栅格图，即侧向栅格图，具体步骤不再赘述。[0092]对图像传感器采集的图像信息进行栅格化的过程包括以下步骤：[0093]对摄像头采集区域进行栅格化，当摄像头采集区域对应的多个栅格中，若某一栅格中有非动目标落入，则将此栅格标记为占有栅格，否则标记为无效栅格，从而得到由占有栅格和无效栅格构成的第二栅格图。其中，非动目标为静止目标，例如静止的车辆、灌木丛或灯杆等。进一步地，在对图像信息进行栅格化的步骤之前，还包括一个目标跟踪过程，即对摄像头采集的图像信息进行目标跟踪，得到车道线和目标信息。然后依次对车道线和目标信息进行数据时间同步和数据时间同步，得到同步后的图像信息。[0094]可选的，上述步骤S203可以包括如下步骤：[0095](1)针对每个栅格，通过第一栅格图中的栅格的占有结果和栅格所属区域的预设权重，以及第二栅格图中的栅格的占有结果和栅格所属区域的预设权重，确定栅格的占有[0096](2)将栅格的占有值和栅格图数目作商，得到栅格的平均占有值；[0097](3)当栅格的平均占有值大于第二目标阈值时，栅格为占有栅格，否则栅格为无效栅格，并通过占有栅格和无效栅格确定融合栅格图。[0098]具体地，继续以图5所示5R1V改进的混合式融合结构为例，共包括6个传感器，分别为1个前向毫米波雷达、4个侧向毫米波雷达和1个摄像头，其包括5个第一栅格图(分别记为1个前向栅格图和4个侧向栅格图)和1个第二栅格图。在进行栅格融合时，首先，根据各个传感器的探测精度，为每个传感器在不同区域先验设置权重weight[i],i为传感器编号；然后，遍历前向栅格图、侧向栅格图和第二栅格图的每个栅格j,统计前向栅格图、侧向栅格图和第二栅格图中每个栅格的属性(即占有或无效),基于统计结果计算待得到的融合栅格图,其中，N表示传感器数目，cell;[i]表示第i个传感器的栅格图中第j个栅格的占有值，其中栅格属性为占有时，该栅格对应的占有值为1,栅格属性为无效时，该栅格对应的占有值为0;之后，计算平均占有值=cellValue/sensorNum,sensorNum为传感器数目；最后，如果cellValue大于第一预设阈值，则融合后的栅格图的第j个栅格就为占有，否则无效，从而得到由占有栅格和无效栅格构成的融合栅格图。其中，通过第一栅格图和第二栅格图，计算融合栅格图中各个栅格属性的过程即为数据融合的过程。[0100](1)当点云数据中的数据点对应融合栅格图中的栅格为占有栅格且数据点的当前属性为动点时，将数据点的属性修正为静点；[0101](2)将修正后的静点对应的点云数据和静态点云数据共同作为目标点云数据。[0102]具体地，如果点云数据中的数据点落入在融合栅格图中的占有栅格内，则无论该[0103]通过以上步骤S201至步骤S204,即实现了在数据级上，将摄像头采集的图像信息与雷达传感器获得的点云数据的融合，利用图像信息对点云数据进行修正的过程。[0104]在一实施例中，步骤S102包括：对目标点云数据进行聚类分析，得到障碍物点云数据；对障碍物点云数据进行障碍物跟踪，得到目标点云数据对应的障碍物信息。具体地，本发明通过对雷达获取的点云数据、摄像头获取的图像数据进行融合，并将融合后确定的目标点云进行聚类分析和跟踪，可有效提高障碍物的识别精度。[0106]步骤S301:对第一障碍物信息进行预处理，得到雷达航迹信息，对第二障碍物信息进行预处理，得到视觉航迹信息；[0107]步骤S302:分别将雷达航迹信息、视觉航迹信息与融合航迹信息进行关联操作，确定成功关联的融合航迹信息；[0108]步骤S303:将成功关联的融合航迹信息进行航迹状态更新，得到更新后的融合航迹信息；[0109]步骤S304:计算更新后的融合航迹信息的航迹置信度，得到目标障碍物。[0110]具体地，结合图14,首先，将目标点云数据对应的障碍物信息、摄像头获取的图像信息中的障碍物信息传入融合模块，进行统一数据格式适配、空间同步及速度转换等操作，得到毫米波雷达航迹信息和视觉航迹信息。其次，雷达航迹信息与视觉航迹信息分别与融合航迹信息进行关联操作，由于雷达和视觉的特性不一样，关联时需要考虑不同的关联逻辑或关联参数等。再次，对于与毫米波雷达航迹信息和视觉航迹信息成功关联的融合航迹信息进行卡尔曼滤波更新操作，也就是进行航迹状态计算，即更新融合航迹的类型、运动状态、运动模式和航迹来源等信息。最后，对更新后的融合航迹信息进行航迹置信度计算。[0111]此外，在航迹管理模块融合航迹信息通过雷达航迹信息或视觉航迹信息起始确定，具体实现方式如下：在接收到多帧数据的情况下，识别第一帧数据为雷达航迹信息还是视觉航迹信息，当第一帧数据为雷达航迹信息，则将雷达航迹信息起始为融合航迹信息；当第一帧数据为视觉航迹信息，则将视觉航迹信息起始为融合航迹信息。[0112]应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限[0113]以下为本发明的装置实施例，对于其中未详尽描述的细节，可以参考上述对应的方法实施例。[0114]图15示出了本发明实施例提供的一种障碍物检测装置的结构示意图，为了便于说[0115]如图15所示，一种障碍物检测装置包括：[0116]点云数据确定模块151,用于根据雷达传感器获取的点云数据和图像传感器采集[0117]障碍物信息确定模块152,用于分别对目标点云数据和图像信息进行障碍物识别，得到目标点云数据对应的第一障碍物信息和图像信息对应的第二障碍物信息；[0118]目标障碍物确定模块153,用于将第一障碍物信息与第二障碍物信息进行障碍物[0119]在一种可能的实现方式中，目标障碍物确定模块153,包括：[0120]预处理子模块，用于分别对第一障碍物信息和第二障碍物信息进行预处理，得到雷达航迹信息和视觉航迹信息；[0121]关联子模块，用于分别将雷达航迹信息、视觉航迹信息与融合航迹信息进行关联操作，确定成功关联的融合航迹信息，其中，融合航迹信息通过雷达航迹信息或视觉航迹信息起始确定；[0122]更新子模块，用于将成功关联的融合航迹信息进行航迹状态更新，得到更新后的融合航迹信息；[0123]航迹估计子模块，用于计算更新后的融合航迹信息的航迹置信度，得到目标障碍[0124]在一种可能的实现方式中，点云数据确定模块151,包括：[0125]同步处理子模块，用于将点云数据和图像信息进行同步处理，得到同步后的点云数据和同步后的图像信息；[0126]栅格化子模块，用于对同步后的点云数据进行栅格化，得到第一栅格图，并对同步后的图像信息进行栅格化，得到第二栅格图；[0127]融合子模块，用于根据预设融合方法将第一栅格图与第二栅格图进行融合，得到融合栅格图；[0128]修正子模块，用于根据融合栅格图对点云数据进行修正，得到目标点云[0130]动静分离子模块，用于将雷达传感器获取的点云数据进行动静分离，得到动态点云数据和静态点云数据；[0131]对应的，栅格化子模块，包括：对雷达传感器的探测区域进行栅格化，统计各个栅格内的静态点数目，当栅格包含的静态点数目大于第一目标阈值时，栅格为占有栅格，否则栅格为无效栅格，并通过占有栅格和无效栅格确定第一栅格图。[0133]占有值计算单元，用于根据第一栅格图、第二栅格图在融合栅格图中所占的权重、以及第一栅格图、第二栅格图中各个栅格的占有值，依次计算融合栅格图中对应的各个栅格的目标占有值；[0134]平均值计算单元，用于将目标占有值与第一栅格图和第二栅格图的数量之和作商，依次计算融合栅格图中对应的各个栅格的平均占有值；[0135]融合栅格确定单元，用于当平均占有值大于第二目标阈值时，将融合栅格图中对应的栅格标记为占有栅格，否则标记为无效栅格，得到由占有栅格和无效栅格构成的融合栅格图。[0137]判断单元，用于当点云数据中的数据点对应融合栅格图中的栅格为占有栅格且数据点的当前属性为动点时，将数据点的属性修正为静点；[0138]目标点云确定单元，用于将修正后的静点对应的点云数据和静态点云数据共同作为目标点云数据。[0140]实测值获取单元，用于获取点云数据中每个数据点的实测多普勒速度；[0141]目标值计算单元，用于根据当前的车辆速度计算每个数据点的目标多普勒速度；[0142]差值计算单元，用于计算实测多普勒速度与目标多普勒速度的差值；[0143]判断单元，用于当差值的绝对值大于预设阈值时，将数据点标记为动点，当差值的绝对值小于或等于预设阈值时，将数据点标记为静点，点云数据被划分为动点对应的动态点云数据和静点对应的静态点云数据。[0145]当车辆为直线行驶状态时，根据当前的车辆速度计算每个数据点的目标多普勒速度具体为：装角之和，安装角为车辆坐标系原点与雷达传感器或图像传感器坐标系原点的连接线与车辆坐标系Y轴之间的夹角，方位角为第i个数据点与雷达传感器或图像传感器坐标系原点的连接线以最小路径旋转至雷达传感器或图像传感器坐标系原点的法向量y轴所经过的角[0148]当车辆为非直线行驶状态时，根据当前的车辆速度计算每个数据点的目标多普勒速度具体为：[0150]其中，Vai为目标多普勒速度，V为车辆行驶速度在车辆坐标系X轴方向的线速度，V,为车辆行驶速度在车辆坐标系Y轴方向的线速度，θ为第i个数据点的方位角和安装角之[0151]在一种可能的实现方式中，雷达传感器为毫米波雷达传感器，且包括1个前向雷达传感器和4个侧向雷达传感器，图像传感器包括1个摄像头。[0152]图16是本发明实施例提供的一种应用于车辆的障碍物检测设备的示意图。如图16所示，该实施例的设备16包括：处理器160、存储器161以及存储在存储器161中并可在处理器160上运行的计算机程序162。处理器160执行计算机程序162时实现上述各个障碍物检测方法实施例中的步骤，例如图4所示的步骤101至步骤103。或者，处理器160执行计算机程序162时实现上述各装置实施例中各模块/单元的功能，例如图15所示模块/单元151至153的[0153]示例性的，计算机程序162可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器161中，并由处理器160执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序162在设备16中的执行过程。例如，计算机程序162可以被分割成图15所示的模块/单元151至[0154]设备16可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。设备16的示例，并不构成对设备16的限定，可以包括比图示更多或更少的部件，或者组合某些部[0155]所称处理器160可以是中央处理单元(CentralProcessingUnit,CPU),还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor,DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、现场可编程门阵列(Field-ProgrammableGateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器[0156]存储器161可以是设备16的内部存储单元，例如设备16的硬盘或内存。存储器161也可以是设备16的外部存储设备，例如设备16上配备的插接式硬盘，智能存储卡(SmartMediaCard,SMC),安全数字(SecureDigital,SD)卡，闪存卡(FlashCard)等。进一步地，存储器161还可以既包括设备16的内部存储单元也包括外部存储设备。存储器161用于存储计算机程序以及终端所需的其他程序和数据。存储器161还可以用于暂时地存储已经输出或者将要输出的数据。[0157]所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实[0158]在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。[0159]本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。[0160]