CN115116013B 融合时序特征的在线密集点云语义分割系统及方法 （上海交通大学）

YunsongZhou.TempNet:OnlineSeSegmentationonLarge-sca7118-7127.融合时序特征的在线密集点云语义分割系一种融合时序特征的在线密集点云语义分自适应帧调度器对来自部分特征更新网络的信其骨干网络对关键帧原始点云通过静态点云分过聚合关键帧上的特征对语义分割结果进行精2所述的自适应帧调度器以等时间间隔确定关键帧和非关键帧，并根据所述的聚合是指：首先测量由运动引起的两个连续帧之间的位置和特征差异①通过差分位置矩阵对两帧之间的位置差进行编码，差分位置矩阵Mpos(pj)＝mlp②通过微分特征矩阵对两帧之间的特征差进行编码，微分特征矩阵Mfea(pj)＝concat所述的运动差分矩阵，通过注意力机制进一步判断对当前关键点的影响更大的相邻1)计算注意力分数：根据运动差分矩阵通过计算共享2)对注意力分数进行加权求和：关键点更新后的表示向量瓦=所述的空间一致性指标Qi-j=srons(p,x,x),其中：scons为通过部分特征更新网络实现3即Qi→j(pi)≤τ,则认为聚合特征hi与当前特征hj之间存在不一致，即表示hi应用特征hj更Pi，通过KNN搜索点云中的邻居NX(p),以拼接成邻接矩阵Mf"(p)=comncat(xp),其中：lEindex(,(0)X为输入点云的几何坐标的集合(x-y-z三维坐标)，P为输入点所述的邻接矩阵Mf"(p),即局部空间信息编码矩阵，对帧i中的关键点pi与其邻点之间"():iii)根据局部空间信息编码矩阵和构建卷积-全连接层(ConvFC)以衡4割结果的准确度无法达到自动驾驶决策的要求以及无法实时处理点云的时间序列的不足。5用来寻找前一帧i空间中的相邻关键点，图注意卷积网络用于对收集到的运动信息进行编[0017]所述的自适应帧调度器，计算部分更新网络中更新后用来计算注意力得分。这样的注意力得分被用作从两个特征中采样的关键点的汇总权6[0025]②通过微分特征矩阵对两帧之间的特征差进行编码，微分特征矩阵Mfea(pj)=[0027]本实施例中采用注意力机制进一步判断运动差分矩阵中哪些相邻点对当前关键[0029]2)对注意力分数进行加权求和：pi∈Pi，通过KNN搜索点云中的邻居NX(p),以拼接成邻接矩阵其中：XUEX,IEindex(,(0)X为输入点云的几何坐标的集合(x-y-z三维坐标)，P为输7[0036]iii)根据局部空间信息编码矩阵和构建卷积-全连接层(ConvFC)[0037]所述的卷积-全连接层包括两个3×3的二维卷积层，每个卷积层后面都有一个池[0040]所述的部分特征更新传播机制满足：其[0042]如图5所示，为本发明TempNet与SqueezeSegV2这两个模型在连续帧上的量化结[0043]如图6所示，为本发明TempNet与两种时序处理算法(DFA，densefeature[0045]上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所8