CN119399363A Imu与rgb-d融合驱动的建构筑物实时三维建模方法与系统 （西南交通大学）

IMU与RGB-D融合驱动的建构筑物实时三维本发明公开了一种IMU与RGB_D融合驱动的本发明基于室外场景实时采集RGB_D相机的数自适应采样率调整算法动态调整RGB_D相机的采优化算法识别并剔除动态特征点，得到RGB_D相机的静态特征位姿；基于RGB_D相机的静态特征位姿和点云综合精度评估对深度图像和彩色图特征约束进行真实纹理的室外场景渐进式三维2步骤3、基于步骤2得到的结果和动态特征感知位姿步骤4、基于RGB_D相机的静态特征位姿和点云综合精度2.根据权利要求1所述的一种IMU与RGB_D融合驱动的建构筑物实时三维建模方法，其步骤2.1、基于IMU传感器实时采集的给定时间内的IMU数据选取偏差比例中的最大偏IMU传感器实时采集的给定时间内的IMU数据的偏差比例包括加速度偏差比例和角速度偏差比例和角速度偏差比例中获取最大偏若最大偏差比例小于等于静止阈值，RGB_D相机在扫描建构筑物时的运动状态为静止若最大偏差比例小于等于移动阈值，RGB_D相机在扫描建构筑物时的运动状态为平缓步骤2.3、基于运动状态和基于IMU数据的自适应采样率调整算法动态调整RGB_D相机33.根据权利要求2所述的一种IMU与RGB_D融合驱动的建构筑物实时三维建模方法，其步骤3.2、根据第N帧深度图像或彩色图均值获得到对应特征点簇Ci的重心坐标Gi，并基于该帧特征点簇Ci的重心坐标Gi和实时采cf为第N+1帧深度图像或彩色图像的同名特征点簇的预测重心坐标，R为IMU图像或彩色图像提取到的ORB特征点与第N帧提取到的ORB特征点，采用快速邻近算法匹配于第N帧的特征点簇C",则该同名点对中第N+1帧的特征点属于第N+1帧的特征点簇即为第N+1帧相对于第N帧的同名特征点簇,最后通过计算同名特征点簇所有点步骤3.6、基于步骤3.5获得的N+1帧的静态特征点簇中的ORB特征点与第N帧对应的同4深度图像和彩色图像时RGB_D相机的初始静态特征位姿估计，再使用非线性进一步优化采4.根据权利要求3所述的一种IMU与RGB_D融合驱动的建构筑物实时三维建模方法，其基于静态特征位姿通过相机内参旋转矩阵将深度图像或/和彩色图像的中各个像素转通过评定第N帧中各初步三维点云的点云综合精度，将点云综合精度低于阈值的点作为替帧中的替换目标和其对应的点进行点云综合精度比较，若第N+1帧点云综合精度低于第Nm表示第m帧深度图像或/和彩色图像所转换的各初步三维点云的点云综合精度mmmm计算出m点与邻近点j的平均距离作为点密度精针对建构筑物特点，基于先验知识和专家指导对多源建构筑物的5根据帧间特征点对计算出旋转和平移矩阵，并根据旋转和平移矩阵对齐相邻帧点云，基于精细对齐后得到的帧间特征点对，采用体素网格法和最近邻齐后得到的帧间特征点对采用识别边界应用曲面拟合方法或拉普拉斯平滑方法对平滑边基于IMU数据的自适应采样率调整算法动态调整RGB_D相机的采基于调整采样率后RGB_D相机扫描建构筑物获取RGB_D相机的数据和动态特征感知位基于RGB_D相机的静态特征位姿和点云综合精度评估对深度图像和彩色图像对应的点6.根据权利要求5所述的一种IMU与RGB_D融合驱动的建构筑物实时三维建模系统，其步骤2.1、基于IMU传感器实时采集的给定时间内的IMU数据选取偏差比例中的最大偏IMU传感器实时采集的给定时间内的IMU数据的偏差比例包括加速度偏差比例和角速度偏差比例和角速度偏差比例中获取最大偏6若最大偏差比例小于等于静止阈值，RGB_D相机在扫描建构筑物时的运动状态为静止若最大偏差比例小于等于移动阈值，RGB_D相机在扫描建构筑物时的运动状态为平缓步骤2.3、基于运动状态和基于IMU数据的自适应采样率调整算法动态调整RGB_D相机7.根据权利要求6所述的一种IMU与RGB_D融合驱动的建构筑物实时三维建模系统，其像和彩色图像时RGB_D相机的静态特征步骤3.2、根据第N帧深度图像或彩色图均值获得到对应特征点簇Ci的重心坐标Gi，并基于该帧特征点簇Ci的重心坐标Gi和实时采7图像或彩色图像提取到的ORB特征点与第N帧提取到的ORB特征点，采用快速邻近算法匹配于第N帧的特征点簇C",则该同名点对中第N+1帧的特征点属于第N+1帧的特征点簇即为第N+1帧相对于第N帧的同名特征点簇,最后通过计算同名特征点簇步骤3.6、基于步骤3.5获得的N+1帧的静态特征点簇中的ORB特征点与第N帧对应的同深度图像和彩色图像时RGB_D相机的初始静态特征位姿估计，再使用非线性进一步优化采8.根据权利要求7所述的一种IMU与RGB_D融合驱动的建构筑物实时三维建模系统，其特征在于，所述服务器端中基于RGB_D相机的静态特征位姿和点云综合精度评估对深度图基于静态特征位姿通过相机内参旋转矩阵将深度图像或/和彩色图像的中各个像素转通过评定第N帧中各初步三维点云的点云综合精度，将点云综合精度低于阈值的点作为替帧中的替换目标和其对应的点进行点云综合精度比较，若第N+1帧点云综合精度低于第Nm表示第m帧深度图像或/和彩色图像所转换的各初步三维点云的点云综合精度8mmm,计算出m点与邻近点j的平均距离作为点密度精针对建构筑物特点，基于先验知识和专家指导对多源建构筑物的根据帧间特征点对计算出旋转和平移矩阵，并根据旋转和平移矩阵对齐相邻帧点云，基于精细对齐后得到的帧间特征点对，采用体素网格法和最近邻齐后得到的帧间特征点对采用识别边界应用曲面拟合方法或拉普拉斯平滑方法对平滑边9[0008]本发明的目的在于提供一种IMU与RGB_D融合驱动的建构筑物实时三维建模方法[0016]步骤2.1、基于IMU传感器实时采集的给定[0017]IMU传感器实时采集的给定时间内的IMU数据的偏差比例包括加速度偏差比例和[0025]若最大偏差比例小于等于静止阈值，RGB_D相机在扫描建构筑物时的运动状态为静止状态，需降低采样率，且当RGB_D相机一直处于静止状态时，采样率降低的下限为[0026]若最大偏差比例小于等于移动阈值，RGB_D相机在扫描建构筑物时的运动状态为[0027]若最大偏差比例大于移动阈值，RGB_D相机在扫描建构筑物时的运动状态为剧烈[0028]步骤2.3、基于运动状态和基于IMU数据的自适应度图像或彩色图像的ORB特征点，针对提取到的ORB特征点采用基于密度的空间聚类算法的平均值获得到对应特征点簇Ci的重心坐标Gi，并基于该帧特征点簇Ci的重心坐标Gi和实为IMU传感器记录的陀螺仪数据在帧间隔时间内的一次积分结果，(Δx,Δy深度图像或彩色图像提取到的ORB特征点与第N帧提取到的ORB特征点，采用快速邻近算法若属于第N帧的特征点簇C",则该同名点对中第N+1帧的特征点属于第N+1帧的特征点簇c"*,即为第N+1帧相对于第N帧的同名特征点簇,最后通过计算同名特征点簇所有点坐标的平均值实测同名特征点簇的重心采集深度图像和彩色图像时RGB_D相机的初始静态特征位姿估计，再使用非线性进一步优度图像和彩色图像时RGB_D相机的静态[0045]基于静态特征位姿通过相机内参旋转矩阵将深度图像或/和彩色图像的中各个像替换目标，找到替换目标后进行标记，通过特征匹配技术找出N+1帧中对应的初步三维点相邻帧中的替换目标和其对应的点进行点云综合精度比较，若第N+1帧点云综合精度低于步三维点云作为替换点，将N+1帧中替换点的属性数据作为第N帧中替换目标的属性信息，mmDm为第m点的深度精度，dm为第m点的深度值，为第m点深度变化细对齐后得到的帧间特征点对采用识别边界应用曲面拟合方法或拉普拉斯平滑方法对平[0059]基于调整采样率后RGB_D相机扫描建构筑物获取RGB_D相机的数据和动态特征感[0060]基于RGB_D相机的静态特征位姿和点云综合精度评估对深度图像和彩色图像对应[0063]步骤2.1、基于IMU传感器实时采集的给定[0064]IMU传感器实时采集的给定时间内的IMU数据的偏差比例包括加速度偏差比例和[0071]若最大偏差比例小于等于静止阈值，RGB_D相机在扫描建构筑物时的运动状态为静止状态，需降低采样率，且当RGB_D相机一直处于静止状态时，采样率降低的下限为[0072]若最大偏差比例小于等于移动阈值，RGB_D相机在扫描建构筑物时的运动状态为[0073]若最大偏差比例大于移动阈值，RGB_D相机在扫描建构筑物时的运动状态为剧烈[0074]步骤2.3、基于运动状态和基于IMU数据的自适应深度图像和彩色图像时RGB_D相机的静态特征位姿的具体度图像或彩色图像的ORB特征点，针对提取到的ORB特征点采用基于密度的空间聚类算法的平均值获得到对应特征点簇Ci的重心坐标Gi，并基于该帧特征点簇Ci的重心坐标Gi和实为IMU传感器记录的陀螺仪数据在帧间隔时间内的一次积分结果，(Δx,Δy,Δz)为IMU传深度图像或彩色图像提取到的ORB特征点与第N帧提取到的ORB特征点，采用快速邻近算法若属于第N帧的特征点簇C",则该同名点对中第N+1帧的特征点属于第N+1帧的特征点簇c"*,即为第N+1帧相对于第N帧的同名特征点簇,最后通过计算同名特征点簇所有点坐标的平均值实测同名特征点簇的重心采集深度图像和彩色图像时RGB_D相机的初始静态特征位姿估计，再使用非线性进一步优度图像和彩色图像时RGB_D相机的静态[0087]进一步，所述服务器端中基于RGB_D相机的静态特征位姿和点云综合精度评估对[0089]基于静态特征位姿通过相机内参旋转矩阵将深度图像或/和彩色图像的中各个像替换目标，找到替换目标后进行标记，通过特征匹配技术找出N+1帧中对应的初步三维点相邻帧中的替换目标和其对应的点进行点云综合精度比较，若第N+1帧点云综合精度低于步三维点云作为替换点，将N+1帧中替换点的属性数据作为第N帧中替换目标的属性信息，mDm为第m点的深度精度，dm为第m点的深度值，为第m点深度变化细对齐后得到的帧间特征点对采用识别边界应用曲面拟合方法或拉普拉斯平滑方法对平[0116]本发明利用IMU传感器采集的加速度和角速度数据以及RGB_D相机采集的深度图[0117]基于IMU传感器实时采集的给定时间内的IMU数据选取偏差比例中的最大偏差比[0118]IMU传感器实时采集的给定时间内的IMU数据的偏差比例包括加速度偏差比例和[0124]基于最大偏差比例与相应阈值进行比较的结果，实时估计RGB_D相机在扫描建构[0125]若最大偏差比例小于等于静止阈值，RGB_D相机在扫描建构筑物时的运动状态为静止状态，需降低采样率，且当RGB_D相机一直处于静止状态时，采样率降低的下限为[0126]若最大偏差比例小于等于移动阈值，RGB_D相机在扫描建构筑物时的运动状态为[0127]若最大偏差比例大于移动阈值，RGB_D相机在扫描建构筑物时的运动状态为剧烈[0128]基于运动状态和基于IMU数据的自适应采样率调整算法动态调整RGB_D相机的采ω表示给定时间内角速度的标准差。[0134]基于采样率调整后获取的RGB_D相机的数据，采用ORB算法提取第N帧深度图像或[0135]根据第N帧深度图像或彩色图像的中每个特征点簇Ci内所有特征点坐标的平均值获得到对应特征点簇Ci的重心坐标Gi，并基于该帧特征点簇Ci的重心坐标Gi和实时采集的采样率调整后的IMU数据，预测第N+1帧深度图像或彩色图像的同名特征点簇的重心坐标cf,预测公式如下：为IMU传感器记录的陀螺仪数据在帧间隔时间内的一次积分结果，如假设IMU的采样率为帧的特征点簇C",则该同名点对中第N+1帧的特征点属于第N+1帧的特征点簇C"*,即为第N+1帧相对于第N帧的同名特征点簇,最后通过计算同名特征点簇C"所[0139]计算第N+1帧深度图像或彩色图像的实测同名特征点簇和预测同名特征点簇的重[0142]基于获得的N+1帧的静态特征点簇中的ORB特征点与第N帧对应的同名特征点簇中色图像时RGB_D相机的初始静态特征位姿估计，再使用非线性进一步优化采样率调整后的[0144]基于RGB_D相机的静态特征位姿和点云