CN119444849A 基于点线特征融合的变电站巡检机器人定位和建图方法 （杭州电子科技大学）

基于点线特征融合的变电站巡检机器人定本发明公开了基于点线特征融合的变电站化的EDLines算法快速获取优质的长线特征；通于变电站空间深度的长度响应阈值策略过滤冗联合IMU信息与视觉信息，独立估计优化陀螺仪当前关键帧以及之前固定关键帧数的滑动窗口2电站巡检机器人巡检过程中，提取场景内设备的语义信息和点线特征描述子进行闭环检2.根据权利要求1所述的基于点线特征融合的变电站巡检机器人定位和建图方法，其巡检过程中，变电站巡检机器人采用双目相机实时获取左右3.根据权利要求2所述的基于点线特征融合的变电站巡检机器人定位和建图方法，其相邻图像帧中BRIEF描述子之间的汉明距离进行相似度粗匹配，并采用RANSAC的渐进样本通过预处理后图像的灰度值得到图像梯度函数，由于图像相当于二维离通过得到图像梯度函数计算预处理后图像的图像梯度后得到梯度图，遍历整个梯度3对于提取得到的图像线边缘，基于最小直线长度和最大均方线v1其次分别筛去水平距离和垂直距离过大的线段，只要存在当前和x2j分别为线段1和线段2的两端点坐标的水平位置，y1i和y2j分别为线段1和通过上述方法遍历筛选完线段集合后，预合并线段只有满足自适应合根据预合并线段的长度自适应改变其角度阈值，建立基于自适应长度的角度阈值sigmoid使用基于空间深度的长度响应阈值策略，根据线特征的空间深4I通过条带描述子的平均向量和标准方差向量构成LBD描述子；通过计算相邻帧中两两线特4.根据权利要求1所述的基于点线特征融合的变电站巡检机器人定位和建图方法，其根据步骤1中初始关键帧左右目匹配的点特征对和线特征对，通过本质矩阵来计算纯向向量和IMU旋转部分预积分的一阶泰勒展开，联合视觉和惯性信息构建点线特征在极平5.根据权利要求4所述的基于点线特征融合的变电站巡检机器人定位和建图方法，其根据步骤1获取的初始关键帧成功匹配的点特征对，首先将成功匹配的点特征对的图像坐标转化为归一化坐标，使用随机选择其中的8对点特征构建线性方程组来估计本质矩其中k帧和k+1帧之间旋转部分的预积分及其一5k和bk+1分别为IMU系的第k帧和第k+1帧，tk和tk+1分别为第k帧和第k+1帧的时间分别为IMU角速度向对于三维空间中的点特征，将其连接第k和k+1帧的相机左右目光心，(p,):对于三维空间中的线特征，通过普吕克坐标(Pluecker)的将线特征连接第k和k+1帧的相机左目和右目光心，分别得到方向向量和两两向量与相邻帧基线构成不同的极平面；通过IMU坐标系和相机坐标系之6左右目分别匹配到的线特征总数量，和分别为第k帧左目和右目光心与第i个点特征pi之间的方向向量，和分别为第k帧左目和右目光心与第j个线特征li之间的通过IMU预积分和中的状态变量构建残差函数，以此来优化状态变量，公式表示如pppp是第k帧和第k+1帧之间的IMU测量信息变化量的残是第k帧和第k+1帧之间的IMU测量信息变化量的协7得到优化后的世界坐标系和当前IMU系第k帧之间的旋分别为左目相机和右目相机到IMU坐标系的固定对每一个图像关键帧中提取的点线特征，通过最小二乘法构建点线重i是世界坐标系下的第i个三维点特征，xi是Xi投影在j是第j个二维线特征的中点的齐次坐标，是相机坐标系下的第j条三维线特征变换到左目第k帧像平面得到的投影二维线特征，以以和为投影二维线特6.根据权利要求1所述的基于点线特征融合的变电站巡检机器人定位和建图方法，其不同季节条件下拍摄的图像集合；首先遍历以上所有的训练图像，对每张图像提取Shi_8从变电站图像数据集中挑选中大型设备图片作为变电厂设备数据集，并进行数据标注；考虑到SLAM系统实时性的要求，选取轻量化YOLOv5s模型作为中大型设备目标检测模合理利用有限的视觉信息处理资源，选择注意力模块CA插入到轻量化YOLOv5s模型的主干其中Icur为当前关键帧的地标的二维投影位置，为关键帧数据库中关键帧内的地标p基于距离的加权，分散度作为惩罚项加到相似性得分的分母中9根据加权后的相似性得分，找到与当前关键帧相似度得分最高的闭7.根据权利要求6所述的基于点线特征融合的变电站巡检机器人定位和建图方法，其priorimuldmk是地标残差即地标空间接近度，是最优闭环关键帧中点通过以上滑动窗口的多视图约束，得到紧耦合优化后的位列帧和最优闭环关键帧的位置与偏航角的整体残差目标函数，并调用Ceres库来求解该优[0004]无轨导航技术是自主定位、实时了解设备状态的前提，同时定位与建图技术备的光滑表面、金属结构，容易带来不可靠纹理的干扰；惯性测量单元(IMU，InertialMeasurementUnit)虽然提供设备运动状态的高频率更新，弥补了相机在快速运动时难以明使用双目相机采集图像帧中的点线特征，基于自适应准则优化的EDLines算法快速获取[0012]本发明所述的方法针对变电站复杂运维场景提出了基于点线特征融合的变电站立估计并优化陀螺仪零偏；更新IMU预积分信息，解耦优化获得巡检机器人精准的初始位站中大型设备的目标检测模型。基于点线特征字典和变电站设备地标对地图进行闭环检[0018]本发明提供的基于点线特征融合的变电站巡检机器人定位和建图方法，如图1所左目相邻图像帧中BRIEF描述子之间的汉明距离进行相似度粗匹配，并采用RANSAC的渐进样本一致性(PROSAC)算法来剔除错误匹配的点特征[0024]通过预处理后图像的灰度值得到图像梯度函数，由于图v11和线段2的两端点坐标的垂直位置，dmin为比较线特征端点距离的筛选阈值，这里优选取[0040]考虑到变电站室外大场景下线特征深度不一，并且EDLines算法提取变电站大场深度的长度响应阈值策略，根据线特征的空间深度和图像大小设立阈值Lmin来筛去冗余的平面上的方向向量和IMU旋转部分预积分的一阶泰勒展开，联合视觉和惯性信息构建点线获得关键帧速度、重力方向和IMU零偏的最优估计，最后依次解耦优化巡检机器人自身姿[0047]根据步骤1获取的初始关键帧成功匹配的点特征对，首先将成功匹配的点特征对的图像坐标转化为归一化坐标，使用随机选择其中的8对点特征构建线性方程组来估计本勒展开的偏导形式调整预积分。其中k帧和k+1帧之间旋转部分的预积分及其一阶偏分别为IMU角速(rt,')和相机坐标系之间的旋转矩阵Rf将陀螺仪零偏所在的IMU坐标系分别转换为相机左右目坐下：点特征pi之间的方向向量，和分别为第k帧左目和右目光心与第j个线特征li之间的方向向量，和分别是左目相机坐标系cL和右目相机坐标系cR与IMU坐标系b之间的[0059]通过步骤2.2得到初步陀螺仪零偏估计，进一步得到IMU状态变量的最优估计X,ppp的残差，Σ是IMU零偏先验的协方差，是第kp得到优化后的世界坐标系和当前IMU系第k帧之间的旋转[0068]其中，和分别为左目相机和右目相机第k帧到世界坐标系的旋转矩阵，和分别为左目相机和右目相机到IMU坐标系的固定旋转一设定字典树的分支数K＝10、深度L＝5，将提取到的点特征和线特征的描述子分别用K_IDF(频率_逆文档频率)来赋予一定的量化YOLOv5s模型的主干网络(backbone)卷积层，该模块引入坐标信息来获得变电站设备大型设备目标检测模型连续3个关键帧目标检测出该设备的空间位置信息时，才将其作为组中的所有闭环候选关键帧之间的词袋向量，得到基于点特征和线特征的图像相似性得