CN114359744B 一种基于激光雷达和事件相机融合的深度估计方法 （中山大学）

CameraandSparseLiDAR.IEEONINSTRUMENTATIONANDMEASUREMENT.2022,一种基于激光雷达和事件相机融合的深度本发明涉及一种基于激光雷达和事件相机用Bowyer-Watson算法对构造立体表面模型的聚类簇中所有空间坐标点进行合理的三角剖分；S6.对建模的目标物体表面以及三维化的事件进2S3.基于事件的空间扫描，实现对事件流数据的反投影，以获得事件流数据的三维表S4.对点云数据使用基于加权欧式距离的密度S5.使用Bowyer-Watson算法对构造立体表面模型的聚类簇中所有空间坐标点进行合S6.对建模的目标物体表面以及三维化的事件进行快速相交检测并实现空间坐标点重么将像素坐标位置(x,y)上的信息修改成一个事件(x,y,T,1)；通过控制结构元素S在二维3对事件相机建立的小孔成像模型进行逆运算，得到单一事件对应的空间三维归一化坐标；xy标物体最外部的表面的粗略表示，为了能够方便快速地进行方位向量与平面相交检测计面上任意一个位置都能用唯一的最小三角面片进行计算得到。数、已知的激光雷达安装高度H和激光雷达的角分辨率α,计算到聚类簇Pcluster中最高的点4为了保证在竖直方向上空间的覆盖程度和避免相互重叠，实现增加虚拟点云的时候，从事件相机的中心出发，以事件相机中心指向图像平面上的事件的归一化向量为方在空间扫描的过程中，需要判断以及计算方位向量和空间环境中的10.根据权利要求9所述的基于激光雷达和事件相机融合的深度估计方法，其特征在5在筛选出目标物体表面模型并进行初步深度计算之后，将该目标一步利用三维空间射线与三角面相交检测的算法进行深度计算和重建该三6激光雷达获得稠密的点云数据和深度信息是亟待解决7[0011]S5.使用Bowyer-Watson算法对构造立体表面模型的聚类簇中所有空间坐标点进[0012]S6.对建模的目标物体表面以及三维化的事件进行快速相交检测并实现空间坐标[0014]本发明仅使用事件相机和激光雷达相融合，不需要依赖于定位信息和位姿估当结构元素S移动到某个像素坐标位置(x,y)上时，如果结构元素S与二维平面化的事件ET8致RANSAC算法对三维激光点云进行地面点云提取并去权重；为了使得聚类过程中能够将同一位置上不同高度的空间坐标点归类在同一聚类簇表面上任意一个位置都能用唯一的最小三角面片进行计算角函数、已知的激光雷达安装高度H和激光雷达的角分辨率α,计算到聚类簇Pcluster中最高9qq分，进一步利用三维空间射线与三角面相交检测的算法进行深度计算和重建该三维空间[0063]3、本发明充分利用激光雷达测距精准的特性和事件相机捕捉亮度变化信息的特[0074]由于事件相机与点云数据的形式和结构并不相同，为了实现异构数据的有效融事件相机所产生的事件流所对应的环境几何信息，与T时刻得到的三维激光点云所建立的[0075]本方法利用时间窗口Δt来截断事件流并投影到二维像素平面上。考虑到在这个用结构元素B在二维平面化的事件ET上进行移动。当结构元素S移动到某个像素坐标位置(x,y)上的信息修改成一个事件(x,y,T,1)。通过控制结构元素S在二维平面化的事件ET上激光点云和事件流信息在空间中重叠部分只有65°,其余的三维激光点云为没有落在事件中的激光点云投影到事件相机的二维像素平面上的方式，利用像素坐标的阈值进行约束，角函数、已知的激光雷达安装高度H和激光雷达的角分辨率α,可以计算到聚类簇Pcluster中[0110]步骤5.使用Bowyer-Watson算法对构造立体表面模型的聚类簇中所有空间坐标点因此需要借助已有的空间坐标点完成深度的估计。为了能够充分利用已有的空间坐标点，[0113]步骤6.对建模的目标物体表面以及三维化的事件进行快速相交检测并实现空间[0117]本方法实现的深度估计算法基于MillerTomas等人在1997年提出的方法，应用于[0131]步骤7对事件在三维空间中进行空间坐标点重建，完成事件信息和点云的前端融qq角剖分,对二维投影后的三维激光点云进行三角剖分，进一步利用三维空间射线与三角面[0140]完成事件的空间坐标点重建之后，事件的有效边界信息已经融入了稀疏点云当[0141]首先，具有深度信息的点云附近的空白像素最有可能与[0150]本方法工作所采用的开源数据集为多设备立体时间相机数据集(MVSEC，MultiVehicleStereoEventCameradataset)，该数据集是由宾夕法尼亚大学的研究人员在激光雷达的较小垂直视场与立体事件相机的垂直视场之间[0151]在MVSEC数据集中，采集三维激光点云和事件流的激光雷达和事件相机的传感器[0155]