CN113343875B 一种用于机器人的可行驶区域感知方法 （深圳亿嘉和科技研发有限公司）

道大冲社区深南大道9672号大冲商务本发明公开了一种用于机器人的可行驶区器人通过RGB-D相机采集路面深度图像和RGB图预先训练好的路面分割模型对RGB图像进行处理本发明基于深度学习模型输入RGB图像和深度域感知技术与定位系统协同工作以增强系统稳2步骤三、采用多帧叠加和权重累加的方法对可行驶区12)针对每一帧图像得到行驶区域，通过RGB-D相机的安装参数变换到车体坐标系下，格被机器人判定为可行驶区域时，对应的网格位置权重加1，反之被判定为不可行驶区域22)经过设定时间的行驶后，权重大于等于设定阈计算平面检测得到的可行驶区域中所有内点与该平面之间的平均距离并归一化得到平面(11)机器人通过安装在其上的相机分别采集在不同工况、不同时间段或不同位置的作为得到路面分割模型的初始参数，并采用蒸馏学习方法对标注后RGB图像进行训练得到3训练好的路面分割模型对RGB图像进行处(23)对经步骤(22)降采样后得到的路面mask轮廓上的若干离散点采用卡尔曼滤波方80%;(51)将标定板安装于地图上某一点处，通过RGB-D相机和激光雷达分别采集标定板上i为相机坐标系下标记点所在平面的法向量；4定板所在平面上的对应特征点根据步骤(52)和步骤(53)旋转平移变换到激光雷达坐标系(55)在激光雷达坐标系下，前述两特征点的连线必定垂直标定板所在平面的法向量，5[0002]传统的定位算法通常基于GNSS信号、激光雷达等进行组合导航或SLAM定位。但[0014](12)采用神经网络对步骤(11)得到的图像通过神经网络6[0016]设计的路面分割模型具体为：采用depth_wise卷积、point_wise卷积、channel[0017]所述步骤二中，通过预先训练好的路面分割模型对RGB图像进行处理得到可行驶[0020](23)对经步骤(22)降采样后得到的路面mask轮廓上的若干离散点采用卡尔曼滤的80%;7[0038](51)将标定板安装于地图上某一点处，通过RGB-D相机和激光雷达分别采集标定取标定板所在平面上的对应特征点根据步骤(52)和步骤(53)旋转平移变换到激光雷达坐8型大小以减少CNN模型实际部署运行时的计算资源消耗，以确保CNN模型能实时输出路面[0062]当需标注的RGB图像达到一定数量后，会训练一个大模型进行半自动标注以减少[0066]其中，路面分割模型在卷积结构的选择方面采用轻量化的卷积方式，如depth_[0070](142)以步骤(12)中已经初步训练的大模型为基础，采用迁移学习的方法得到路[0071](143)根据步骤(142)得到的路面分割模型的初始参数进行CNN训练得到一个大的[0072](144)根据步骤(13)设计得到的路面分割模型及步骤(142)的初始参数得到9将得到的路面mask进行降采样得到路面mask轮廓上[0079](232)对经步骤(231)降采样后得到的路面mask轮廓上的若干离散点采用卡尔曼[0082](241)假设平面模型为Ax+By+Cz+D＝0；随机从3D点云中选取三个点构建平面模点的80%;[0087](25)根据RGB-D相机的内参将步骤(23)得到的可行驶区域和步骤(24)得到的可[0089](261)通过比较两个可行驶区域的交并比与设定交并比阈值判断两个可行驶区域[0090](262)计算平面检测得到的可行驶区域中所有内点与该平面之间的平均距离并通[0105](44)在激光雷达