CN119478176A 基于激光雷达和相机数据融合的点云渲染方法 （杭州曼孚科技有限公司）

基于激光雷达和相机数据融合的点云渲染本申请提供的基于激光雷达和相机数据融多目视觉的方法针对渲染对象构建的点云空间步骤L3_L4中对后帧相对于前帧的各分块是否需2L1，基于多目视觉的方法构建点云，并从模板库中获取且具有最大容纳交并比的分层分区分块模板置于由XYZ轴将三维空间分割成8个象限的三L2，激光雷达对落点在所述分层分区分开模板内的每个分块L3，实时监测并提取经所述激光雷达校验并纠正的连续两帧使用同个所述分层分区分块模板容纳相机对连续两帧中的所述后帧和所述前帧分别构建分块模板用于容纳产生于所述前帧的第一点云空间体时和用于容纳产生于所述后帧的第A1，从用于容纳所述第一点云空间体的所述分层分区分块模板中，获取述第二点云空间体的同个所述分层分区分块模板中的第一分块具有相同编号的第二分块，若是，则抽取出产生偏移的所述相邻分块，然后根据偏移和/或判断偏移在各所述相邻分块的第一点云数量与所述第二分块内未发生偏移的第和/或判断偏移在至少一个所述相邻分块的至少一个点云的偏移量是否大于预设的偏3B1，在判定为奇异分块的所述第一分块的所在层中，抽取相B2，以产生于同一所述后帧的所述同层分块组合、所述相邻层B3，从候选集中筛选出与所述同层分块组合、所述相邻层分块组B4，从所述扩充集合中的与所述第一分块具有相同分块编号的所步识别出与所述第一分块中的新增点云具有空间位置对应关系且点云类型相同的第二渲后获取各所述变化分块的变化参数，包括所述变化分块中的新增点云和/或消失点云的空间坐标和点云类型、所述变化分块的编号以及所述新增点云和/或所述消失点云在所述前B23，将产生于同一所述历史帧的所述同层历史分块组合和所述相邻层历史分块组合6.根据权利要求4或5所述的基于激光雷达和相机数据融合当新增点云在所述变化分块中的第一空间坐标与所述历史点云在所述第二历史分块史前帧的历史前帧分块中的第四空间坐标相同或坐标偏离距离小于预设的所述距离阈值，若所述变化分块中的每个变化点云在所述第二历史分块中均匹配到具有点云变化相统计所述分块集合和所述历史分块集合中具有点云变化相似关系的所述变化分块和47.根据权利要求3或4所述的基于激光雷达和相机数C2，识别出所述抽取的各所述渲染参照分块中的中匹配出在同一历史帧的同一历史层中具有点云偏移相似度的分别对应的第一历史分块，第一历史分块具有点云偏移相似度的各所述渲染参照分块分别对应C4，判断具有点云偏移相似关系的所述第一历史分块的所述若是，则在所述历史帧中抽取出与所述第一分块具有相同C5，对所述第一分块中未发生位置偏移的各剩余点云，从述第一渲染依据点云的渲染方式赋予位置对应的所述剩当所述渲染参照分块中的第一偏移点云与所述第一历史分块中的第二偏移点云的类二偏移点云在所述第二坐标位置与在历史前帧中所处的第四坐标位置的第二距离的距离若所述渲染参照分块中的每个偏第一移点云在所述第一历史分块中均寻找到具有点5[0002]点云构建方法目前大多采用基于视觉的相机构建方法或基于激光雷达的构建方发现的特征点是本领域当前为提高点云构建精度的热门入到预训练的深度学习模型中，模型通过内置算法经过一系列的数据分析后输出渲染方6提供一种基于激光雷达和相机数据融合的点云渲染方法，应用于相机视野深度、间体且具有最大容纳交并比的分层分区分块模板置于由XYZ轴将三维空间分割成8个象限[0009]作为优选,使用同个所述分层分区分块模板容纳纳所述第二点云空间体的同个所述分层分区分块模板中的第一分块具有相同编号的第二A3，判断所述第一分块相比较所述第二分块的点云新增数量是否超过第一阈值，7和/或判断偏移在各所述相邻分块的第一点云数量与所述第二分块内未发生偏移和/或判断偏移在至少一个所述相邻分块的至少一个点云的偏移量是否大于预设B4，从所述扩充集合中的与所述第一分块具有相同分块编号的所述扩充分块中，进一步识别出与所述第一分块中的新增点云具有空间位置对应关系且点云类型相同的第的空间坐标和点云类型、所述变化分块的编号以及所述新增点云和/或所述消失点云在所B23，将产生于同一所述历史帧的所述同层历史分块组合和所述相邻层历史分块组合构成所述历史帧关联的所述历史分块集合加入当新增点云在所述变化分块中的第一空间坐标与所述历史点云在所述第二历史在历史前帧的历史前帧分块中的第四空间坐标相同或坐标偏离距离小于预设的所述距离8若所述变化分块中的每个变化点云在所述第二历史分块中均匹配到具有点云变统计所述分块集合和所述历史分块集合中具有点云变化相似关系的所述变化分C1，在判定为奇异分块的所述第一分块的所在层及与所述所在层相邻的相邻层据库中匹配出在同一历史帧的同一历史层中具有点云偏移相似度的分别对应的第一历史个所述第一历史分块具有点云偏移相似度的各所述渲染参照分块分别对应的第二分块编对所述第一渲染依据点云的渲染方式赋予位置对应的所述剩当所述渲染参照分块中的第一偏移点云与所述第一历史分块中的第二偏移点云述第二偏移点云在所述第二坐标位置与在历史前帧中所处的第四坐标位置的第二距离的若所述渲染参照分块中的每个偏第一移点云在所述第一历史分块中均寻找到具9了在后帧中需要重点进行细节渲染的区域，且系统后续针对这些细节区域进行重点渲染，改变而导致渲染要求变化进而进行重新渲染的速度和[0022]8、对不同类型的奇异分块进行点云渲染采用的第一策略和第二策略具有渲染效[0024]图1是本发明实施例提供的基于激光雷达和相机数据融合的点云渲染方法的实现可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而间体且具有最大容纳交并比的分层分区分块模板置于由XYZ轴将三维空间分割成8个象限块模板用于容纳产生于前帧的第一点云空间体时和用于容纳产生于后帧的第二点云空间的4个相同的立方体矩阵单元上、下重合叠加排列，构成一个由64个正立方体形成的立方[0037]对经激光雷达校验并纠正的点云数据落点在分层分区分块为奇异分块；和/或判定偏移在各相邻分块的第一点云数量与第二分块内未发生偏移的判断偏移在至少一个相邻分块的至少一个点云的偏移量是否大于预设的偏移量阈值，若一个相邻分块的至少一个点云的偏移量是否大于预设的偏移量阈值。假设该判断条件成B1，在判定为奇异分块的第一分块的所在层中，抽取相邻排列在第一分块的上、分块组合相邻的相邻层中，抽取出与该同层分块组合在层级深度上重叠的相邻层分块组点云类型用于表示渲染对象的关键点特征或表示渲染对象所处的渲染场景的关键点特征，[0047]假设产生于某一历史帧中的第二历史分块LSFK1与变化分块BH1具有点云变化相[0048]对变化分块BH1中的每个变化点云绑定的变化参数与第二历史分块LSFK1中的每[0049]新增点云p1与历史点云lsp1具有点云变化相似度为：当新增点云p1在变化分块BH1中的第一空间坐标与历史点云lsp1在第二历史分块LSFK1中的第二空间坐标相同或坐点云p1与历史点云lsp1的类型相同（比如均为颧骨关键点且变化分块BH1与第二历史分块LSFK1的编号相同，且新增点云p1在前帧分块中的空间坐标与历史点云lsp1在与第二历史分块LSFK1所在的历史帧构成连续两帧的历史前帧中的历史前帧分块中的空间坐标相同[0051]从同一历史帧中，寻找到与步骤B21识别到的每一变化分块具有点云变化相似度化相似度的对应第二历史分块为LSFK1_LSFK5，第二历史分块LSFK1_LSFK2处于相同层级，则第二历史分块LSFK1和LSFK2构成同层历史分块组合。第二历史分块LSFK3_LSFK5处于相同层级，则第二历史分块LSFK3_LSFK5构成与该同层历史分块组合相邻的相邻层历史分块B23，将产生于同一历史帧的同层历史分块组合和相邻层历史分块组合构成该历[0055]从候选集中筛选与分块集合具有最大点云变化相似度的历史分块集合的方法简在步骤B22中，已经给出了从数据库中匹配出与变化分块具有点云变化相似度的通过统计分块集合和历史分块集合中具有点云变化相似关系的变化分块和第二历史分块有点云偏移相似度的各渲染参照分块分别对应的对渲染参照分块和第一历史分块进行点云偏移相似度计算的方法通过举例简述同，且XRCZFK1_p1在渲染参照分块XRCZFK1中的坐标位置与DYLSFK1_p1在第一历史分块两者的坐标位置的偏差小于预设的偏差阈值且XRCZFK1_p1在XRCZFK1中的坐标位置与DYLSFK1中的坐标位置与DYLSFK1_p1在与历史帧构成连续两帧的历史前帧中的坐标位置的[0060]然后，若对与第一历史分块DYLSFK1处于同一历史帧的同一层中的DYLSFK2_云偏移，则获取DYLSFK1、DYLSFK2、DYLSFK5、DYLSFK8分别对应的第一分块编号。比如数据库中的某一历史帧的某一历史层中寻找到与每个渲染参照分块具有点云偏移相似度在该历史帧中无法提取出渲染依据分块。第一历史分块的方法举例为：假设第一分块的分块编号为“6力，与DYLSFK1、DYLSFK2、义为第一渲染依据点云SYDY_p1与DYXRYJDY_p1具有空间位置关系的含义在上述内容中对相机视野区域进行分区的方法为：点云在轴构成的水平面上相对于相机水度为d，则以x轴为相机水平视角的中心方向时