CN112785643B 一种基于机器人平台的室内墙角二维语义地图构建方法 （武汉科技大学）

一种基于机器人平台的室内墙角二维语义本发明提出了一种基于机器人平台的室内2所述主控机分别与所述的机器人平台底盘、激光雷达传感器、深度割数据集中每张非墙角样本图像输入至DeepLabv2网络进行预测得到预测的非墙角语义目标检测数据集中每张墙角样本图像输入至SSD网络进行预测得到预测的外界矩形边框、色图像通过优化后SSD目标检测网络，识别到视角彩色图像中墙角的预测外接矩形边框及像中墙角的预测外接矩形边框及墙角的预测外接矩形边框中物体类型进行坐标变换处理，2.根据权利要求1所述的基于机器人平台的室内墙角二维语义地图构建方法，其特征,θo,k)o,k表示第k个时刻机器人平台实时位姿，xo,k表示第k个时刻机器人平台在环境34中特定物体语义(如墙角)作为环境地图的固有特征十分[0004]本发明为解决现有技术中存在的问题采用的具体技术方案为一种基于机器人平主控机，主控机将室内物体与机器人平台的距离、室内物体与机器人平台的方向角通过割数据集中每张非墙角样本图像输入至DeepLabv2网络进行预测得到预测的非墙角语义5目标检测数据集中每张墙角样本图像输入至SSD网络进行预测得到预测的外界矩形边框、像通过优化后SSD目标检测网络，识别到视角彩色图像中墙角的预测外接矩形边框及墙角,θo,k)k个时刻机器人平台实时位姿，xo,k表示第k个时刻机器人平台在环境栅格地图坐标系中的x轴坐标，yo,k表示第k个时刻机器人平台在环境栅格地图坐标系中每张非墙角样本图像的列数，V表示表示语义分割数据集I中每张非墙角样本图像的行数据集I中第m张非墙角样本图像第u列第v行的像素所pp6标检测数据集中第p张墙角样本图像中外界矩形边框的数量，s表示像素点所属的类别；据集中第p张墙角样本图像中第n个外接矩形边框的左上角纵坐标，表示目标检测数据集中第p张墙角样本图像中第n个外接矩形边框的右下角横坐标，表示目标检测数据集[0028]步骤2所述SSD网络损失函数：由用于分类的logloss损失函数和用于回归的[0033]其中，*data(u,v)k表示第k个时刻视角彩色图像中第u列第v行的像素信息，*types,k表示第k个时刻视角彩色图像中第u列[0034]步骤3所述视角彩色图像中墙角的预测外接矩形边框及墙角的预测外接矩形边框[0036]其中，表示第k个时刻视角彩色图像中第u列第v行的第n个预[0037]步骤3所述将视角彩色图像中非墙角的语义标签、视角彩色图像中墙角的预测外接矩形边框及墙角的预测外接矩形边框中物体类型进行坐[0044]将上述得到的当前彩色图像素坐标系下非墙角语7x[0047]将上述得到的当前彩色图像素坐标系下墙角语义坐x[0054]将得到的非墙角语义点云在相机坐标系下的点云坐标(X'w,Yw',Z'w)转换至机器[0056]将得到的墙角语义点云在相机坐标系下的点云坐标(X'e,Ye',Z'e)转换至机器人8[0058]式中R1和T1分别为Kinectv2深度摄像机坐标系与移动机器人平台坐标系之间的[0059]通过上面转换便得到机器人平台坐标系下非墙角语义点云坐标(Xrobot,w,Yrobot,w,[0066]最后将真实世界坐标系下的坐标点(XWo,YWo)转换得到物体栅格地图坐标系坐标g[0069]通过上面一系列坐标变换便得到了物体栅格地图坐标系中各语义点坐标值(X,g9[0073]本发明利用语义分割深度学习模型进行物体语义分割，可以得到准确的物体语SSD目标检测模型进行环境中的墙角进行识别，将提取到的墙角语义增加的原本语义地图[0085]下面结合图1至图10介绍本发明的具体实施方式为本发明的第一具体实施例为一主控机，主控机将室内物体与机器人平台的距离、室内物体与机器人平台的方向角通过k个时刻机器人平台实时位姿，xo,k表示第k个时刻机器人平台在环境栅格地图坐标系中的x轴坐标，yo,k表示第k个时刻机器人平台在环境栅格地图坐标系割数据集中每张非墙角样本图像输入至DeepLabv2网络进行预测得到预测的非墙角语义目标检测数据集中每张墙角样本图像输入至SSD网络进行预测得到预测的外界矩形边框、中每张非墙角样本图像的列数，V表示表示语义分割数据集I中每张非墙角样本图像的行数据集I中第m张非墙角样本图像第u列第v行的像素所pp标检测数据集中第p张墙角样本图像中外界矩形边框的数量，s表示像素点所属的类别；数据集中第p张墙角样本图像中第n个外接矩形边框的左上角纵坐标，表示目据集中第p张墙角样本图像中第n个外接矩形[0110]步骤2所述SSD网络损失函数：由用于分类的logloss损失函数和用于回归的像通过优化后SSD目标检测网络，识别到视角彩色图像中墙角的预测外接矩形边框及墙角[0116]其中，*data(u,v)k表示第k个时刻视角彩色图像中第u列第v行的像素信息，*typesk表示第k个时刻视角彩色图像中第u列[0117]步骤3所述视角彩色图像中墙角的预测外接矩形边框及墙角的预测外接矩形边框[0119]其中，表示第k个时刻视角彩色图像中第u列第v行的第n个预[0120]步骤3所述将视角彩色图像中非墙角的语义标签、视角彩色图像中墙角的预测外接矩形边框及墙角的预测外接矩形边框中物体类型进行坐[0127]将上述得到的当前彩色图像素坐标系下非墙角语x[0130]将上述得到的当前彩色图像素坐标系下墙角语义坐x[0138]将得到的非墙角语义点云在相机坐标系下的点云坐标(X'w,Yw',Z'w)转换至机器[0140]将得到的墙角语义点云在相机坐标系下的点云坐标(X'e,Ye',Z'e)转换至机器人[0142]式中R1和T1分别为Kinectv2深度摄像机坐标系与移动机器人平台坐标系之间的[0143]通过上面转换便得到机器人平台坐标系下非墙角语义点云坐标(Xrobot,w,Yrobot,w,[0150]最后将真实世界坐标系下的坐标点(XWo,YWo)转换得到物体栅格地图坐标系坐标g[0153]通过上面一系列坐标变换便得到了物体栅格地图坐标系中各语义点坐标值(X,g[0158]步骤1：在真实实验场景下借助LMS111激光雷达传感器和移动机器人平台实验平场景图片，并添加了机器人平台实际使用场景的图片，组成了本文室内语义分割任务的图3中(a)所示场景时，墙角的检测效果如图3中(d)所示,检测结果图中的[0164]完成对RGB图中物体检测后，我们便可以获取到二维图像中物体的类别和位置信yx[0170]考虑到深度相机Kinectv2的量程，对于过近或过远的测量结果都会有较大的出的该椅子点云二维映射效果图如下图6中(b[0171]可以看出生成的椅子语义信息更为准确。为更好地表示下语义坐标转换得到世界坐标系下，进而根据增量式估计的方法映射到二维栅格坐标系[0178]当接收到传感器数据后，得到一个新模型测量值z，观测值的状态只有两种(0或[0188]利用上述增量式估计的方法进行物体语义栅格地图构建每个栅格对应初始状态值Q0＝0，根据不同类物体的检测准确率值设置不同的状态更新增用Bresenham直线段扫面算法获取语义栅格点到机器人平台所处位置栅格点所连直线经过作机器人平台使其在不同位置对误识别处进行多次检测，以此消除误识别处栅格的概率[0192]初始得到的墙角语义地图中墙角投影点比较杂乱，我们对其进行图像形态学操[0193]将激光地图和物体语义地图进行融合可得到如图10中(b)所示的合成语义地图，成是图片操作，可以使用OpenCV作为工具遍历读取物体栅格地图的非黑色区域(即目标