CN114155414B 面向无人驾驶的新型特征层数据融合的方法、系统及目标检测方法 （江苏大学）

面向无人驾驶的新型特征层数据融合的方本发明公开了面向无人驾驶的新型特征层将采集到的原始点云分别投影到鸟瞰图和前景后的图像特征通过空间金字塔池化后作为额外2S2.2将左前视角图像和右前视角图像进行叠加，再通过3个1×1的卷积核调整叠加后信息的通道数以满足要求，随后通过注意力机制获取这两个视角在融合过程中所占的比S2.3左后视角图像和右后视角图像也依据S2.2S2.4将获取的两侧车道前部的图像特征信息与两侧车道后部的图像特征信息进行叠S2.5将前视角图像特征和后视角图像特征经1×1卷积核调整通道数之后直接与S2.4选取三个不同大小的图像特征尺度对已获取的6个不同的视角的图像特征进行空间金3述步骤1中的特征点映射是采用基于克里金模型的点云特征映射实现体素到像素的特征映将获取的点云特征信息进行逐层的漂移克里金插值，生成稠密的点云特将漂移量定义为已知点云特征信息的数学期望E(z(x))，即漂移量描述了点云特征信息的总体分布特征，其中线性函数aL(x)+b可以通过最小二乘线性拟合获取，具体公式如R(x)＝z(x)-m(x)＝z(x)-aL(述通过注意力机制获取这两个视角在融合过程中所占的比重的计算方CV-FLCV-FRCV-BL最终的点云特征信息生成模块：将激光雷达采集到的原始点云所述原始点云信息投影到鸟瞰图以生成鸟瞰图的高度视图和密度4所述特征点映射是采用基于克里金模型的点云特征映射实现体素到像素的特征映射；将漂移量定义为已知点云特征信息的数学期望E(z(x))，即漂移量描述了点云特征信息的总体分布特征，其中线性函数aL(x)+b可以通过最小二乘线性拟合获取，具体公式如R(x)＝z(x)-m(x)＝z(x)-aL(最终的图像特征信息生成模块：将相机采集到的图像信息进行特利用置于车顶的6个不同视角的相机获取6将左前视角图像和右前视角图像进行叠加，再通过3个1×1的卷积核调整叠加后信息左后视角图像和右后视角图像也依据上述左前视角图像和右前视角图像的处理方法将获取的两侧车道前部的图像特征信息与两侧车道后部的图像特征信将前视角图像特征和后视角图像特征经1×1卷积核调整通道数之后直接与S2.4中获5所述通过注意力机制获取这两个视角在融合过程中所占的比重的计算公CV-FLCV-FRCV-BL叠加特征信息生成模块：将上述最终的点云特征信息和最额外的点云特征信息生成模块：将原始点云信息经多尺度体素将激光雷达采集到的原始点云信息进行体素化，选取多个不同额外的图像特征信息生成模块：将特征提取后的图像特征通过空间选取三个不同大小的图像特征尺度对已获取的6个不同的视角的图像特征进行空间金7.基于权利要求6所述的面向无人驾驶的新型特征层数据融合系统的目标检测方法，6方法成为了解决无人驾驶环境感知中三维目标[0005](1)数据融合过早，不同来源的数据在融合过程中相互交叉，不仅没有增加信息7[0015]步骤5、将特征提取后的图像特征通过空间金字塔池化后作为额外的图像信息来[0021]进一步的，步骤5中选取三个不同大小的图像特征尺度对图像特征进行空间金字后使用传统的点云特征提取网络进一步处理[0026]所述特征点映射是采用基于克里金模型的点云特征映射实现体素到像素的特征8[0038]利用置于车顶的6个不同视角的相机获取6个不同视角的图像，分别为左前视角、信息的通道数以满足要求，随后通过注意力机制获取这两个视角在融合过程中所占的比[0041]将获取的两侧车道前部的图像特征信息与两侧车道后部的图像特征信息进行叠[0042]将前视角图像特征和后视角图像特征经1×1卷积核调整通道数之后直接与S2.49[0052]选取三个不同大小的图像特征尺度对已获取的6个不同的视角的图像特征进行空[0059]4、额外的使用了多尺度体素化后的原始点云数据和空间金字塔池化后的图像特[0074]漂移量定义为已知点云特征信息的数学期望E(z(x))，即漂移量描述了点云特征[0086]首先将左前和右前视角获取的信息进行叠加，再通过3个1×1的卷积核调整叠加息进行叠加融合，即将点云特征信息与图像特征信息在深度方向使用Concat操作进行拼[0099]步骤5、将特征提取后的图像特征通过空间金字塔池化后作为额外的图像信息来[0103]此处以两阶段目标检测算法为例，将融合特征输入到候选框生成网络