CN115752470B 一种面向语义完整度的主动探索和实时建图方法 （中山大学）

一种面向语义完整度的主动探索和实时建本发明提出一种面向语义完整度的主动探向语义完整度探索的最优路径以及构建的语义2S2.利用前端里程计为机器人提供实时的位姿情况，后端接收不同时刻前端里程计提S42.将当前二维语义地图组结果Mcurr和当前位姿情况Pcurr输入至全局目标生成网络S45.获取机器人在当前位姿Pcurr下的观测语义信息Ocurr，基于Ocurr使用语义SLAM方法图结果Mcurr的第2到16通道的二维地图作为语义建图结果Msem，将语义建图结果Msem与语义骤S42所述的全局目标生成网络包括一个七层的神经网络组成，其中前五层为依次相连的卷积层conv1～conv5，后两层为依次相连的全连接层FC1～FC2，还包括嵌入层Eembed1~3S424.从经验缓冲池中采样指定数量的经验数据并更新全局目标生成网络中的网络参骤S43所述利用快速行进法计算机器人当前位置到全局目标位置的最优全局路径TrajbestS431.建立程函方程：IDT(x,y)lv(x,y)=1,其中，(x,y)为目标点在地图中的二维坐4将机器人在两个相近坐标下运动过程描述为从坐标(kk主动探索过程中，机器人接收视觉图像帧并基于语义提取模块的语义分割模型M进行语基于主动收集的数据形成当前任务数据集，基于原语义分割模基于当前任务数据集大小及与原语义分割模型训练集相似程度，确定模型的冻结层基于测试集重新训练最后n层网络，使用比原训练更小的学习率以避免原模型的权重5[0002]同步定位与建图(SLAM)主要是解决机器人等智能体在未知环境中运动的定位与[0003]传统的视觉SLAM着重于对环境的集合重建缺少内容层面学术界提出了在视觉SLAM系统中嵌入语义提取模块以获取环境语义信息应用语义信息高息指导实时建图探索，实时建图探索反向进一步提升所收集语义信息的完整度和准确性，6[0009]S2.利用前端里程计为机器人提[0013]S41.设机器人当前探索次数为Scurr、指定的探索次数为Supdate、最大探索次数为[0014]S42.将当前二维语义地图组结果Mcurr和当前位姿情况Pcu[0015]S43.利用快速行进法计算机器人当前位置到全局目标位置的最优全局路径[0017]S45.获取机器人在当前位置Pcurr下的观测Ocurr，基当前维护建图结果Mcurr的第2到16通道Msem与语义地图真值Mgt相同的部分作为语义完整值和语义类别为先验信息；嵌入层Eembed1的输出端、嵌入层Eembed2的输出端、卷积层7[0028]S424.从经验缓冲池中采样指定数量的经验数据并更新全局目标生成网络中的网[0029]S425.判断当前训练次数是否[0031]优选地，步骤S43所述利用快速行进法计算机器人当前位置到全局目标位置的最图，本文工作通过传统的快速行进法来求解两坐标之间位于所有可通行区域中的最短路8seg分割模型M进行语义分割，设探索过程的图像帧序列为语义像素总数量真值为seg[0051]优选地，在主动探索过程中还包括利用主动收集的数据对语义分割模型进行微[0056]基于测试集重新训练最后n层网络，使用比原训练更小的学习率以避免原模型的9终输出指定步长下的最优探索路径以及语义建[0060]图1表示本发明实施例1中提出的面向语义完整度的主动探索和实时建图方法的[0061]图2表示本发明实施例1中提出的面向语义完整度的主动探索和实时建图方法整[0073]S2.利用前端里程计为机器人提[0076]整体实施的结构框图可参见图2，本实施例提出的方法实现机器人在无先验环境成二维的语义地图组；语义模型微调则包括微调数据的主动收集以及模型微调方法两部[0079]在本实施例中，主动探索策略AESSI(ActiveExplorationStrategies[0080]S41.设机器人当前探索次数为Scurr、指定的探索次数为Supdate、最大探索次数为[0081]S42.将当前二维语义地图组结果Mcurr和当前位姿情况Pcu[0082]S43.利用快速行进法计算机器人当前位置到全局目标位置的最优全局路径[0084]S45.获取机器人在当前位置Pcurr下的观测Ocurr，基当前维护建图结果Mcurr的第2到16通道Msem与语义地图真值Mgt相同的部分作为语义完整[0088]AESSI的核心指导机器人生成最优全局目标，使其能观测到尽可能完整且准确的[0095]S424.从经验缓冲池中采样指定数量的经验数据并更新全局目标生成网络中的网[0096]S425.判断当前训练次数是否[0099]快速行进法是一种高效的数值算法，被提出用于求解程函方程(Eikonal[0122]预训练模型(Pre_trainedModel)指已经基于大型数据集完成训练、具备优秀的浅层基础特征以及深层抽象特征提取能力的模型，本文采用的MaskRCNN预训练模型在训基于上文介绍方法所收集的数据集对其进行微调(fine_tune)。微调是指将预先训练好的