CN119473020A 基于vr的无人机巡检方法、系统、存储介质及程序产品 （福建省冶金工业设计院有限公司）

2获取无人机的位置信息、姿态信息及所述无人机搭载的全基于所述位置信息与所述姿态信息计算当前视角范围内的低多边根据所述虚拟矿区环境图和所述无人机的飞行速度计当所述图像质量参数低于预设阈值时，降低纹理图像比重并增大三维模型渲染比重，将所述半实半虚融合显示画面传输至VR头盔进行显示，并将所述无获取操作人员的脑电波数据，当根据所述脑电波数据确定所根据所述视觉里程计数据和所述惯性导航数据结合所述虚拟矿区环境图构建虚拟防根据所述虚拟防撞边界对所述预设飞行路径进行轨迹优化，得到优将所述特征点集与所述三维地形图像中的顶点数据进行配准，得到初始位姿变换矩根据所述初始位姿变换矩阵将所述特征点集投影至所述三维地形图像空间中形成三结合所述图像运动模糊系数对所述图像清晰度得分进行加权修正，得到图像质量参采集VR头盔的运动参数和操作人员的视线根据所述运动参数计算视场角变化率和头部转3当所述视场角变化率超过第一动态阈值或所述头部转动加速度超过第二动态阈值时，根据所述视线焦点数据划分所述半实半虚融合显示画面的关注区域和非对所述关注区域进行高精度渲染，对所述非关注区域进行低精度渲染基于所述空间分辨率参数确定不同视角范围内的将所述最大可感知运动速度与当前画面运动速根据所述气象参数计算大气湍流强度和能见度；基于所述光照参数根据所述大气湍流强度及所述能见度调整所述视觉里程依据所述环境光强度和所述阴影分布对所述惯性导航数据提取所述虚拟防撞边界的轮廓特征点序列，并计算所述轮廓特征点序根据所述曲率值确定所述虚拟防撞边界的转折区域和在所述转折区域增加所述预设飞行路径的采样点密度，在所根据所述无人机的最小转弯半径计算所述初始航路点序列中相邻点之间的最小间距基于所述最小间距约束对所述初始航路点序列进行密度优化，将所述切向加速度和所述法向加速度满足所述无人机的动力学约束的路径曲线作为一个或多个处理器和存储器；所述存储器与所述一个或多4调用所述计算机指令以使得所述系统执行如权利要求15姿态信息及无人机搭载的全景相机实时拍摄的全根据虚拟矿区环境图和无人机的飞行速度计当图像质量参数低于预设阈值时，降低纹理图像比重并增大三维模型渲染比重，获取操作人员的脑电波数据，当根据脑电波数据确定操作人员出现疲劳特征时，根据视觉里程计数据和惯性导航数据结合虚拟矿区6根据初始位姿变换矩阵将特征点集投影至三维地形图像空间中形成三维特征点态质量特征，而通过图像运动模糊系数进行加权修正则考虑了动态因素对图像质量的影7采集VR头盔的运动参数和操作人员的视线根据视线焦点数据划分半实半虚融合显示画面的关注区域和非据视线焦点数据对显示画面进行分区渲染处理。这种基于人眼视觉特性的显示优化方案，基于空间分辨率参数确定不同视角范围内的当当前画面运动速度大于最大可感知运动速度时，根据超出比例计算补偿系数，超出比例为当前画面运动速度与最大可感知运动速度的差值和最大可感知运动速度的比[0015]通过采用上述技术方案，引入人眼视网膜的时间分辨率依据环境光强度和阴影分布对惯性导航数据8根据曲率值确定虚拟防撞边界的转折区域和将切向加速度和法向加速度满足无人机的动力学约束的路径曲线作为优化飞行指令以使得系统执行如第一方面以及第一方面中任一可能的实现方式描9[0025]3、本申请提供了一种基于VR的无人机巡检方法分析虚拟防撞边界轮廓特征点序[0027]图2是本申请实施例中一种基于人眼视觉特性的显示优化方法的一个流程示意[0028]图3是本申请实施例提供的一种基于VR的无人机巡检系统的实体装置结构示意[0031]下面利用一个实施例并结合图1，对本申请实施例中一种基于VR的无人机巡检方[0033]具体的，无人机搭载的GPS定位模块通过接收GPS卫星信利用三角测量原理计算出无人机的实时位置坐标。同时无人机上的IMU惯性测量单元利用[0034]无人机的全景相机可采用鱼眼镜头或多相机拼接的方式，对无人机周围360度视[0036]系统可以采用CLOD(ContinuousLevelofDetail)技术征点云。最后，将三维特征点云与三维地形图像进行融合，利用点云配准算法如ICP缘特征数量计算图像清晰度得分；结合图像运动模糊系数对图像清晰度得分进行加权修[0042]为了生成高质量的虚拟矿区环境图，系统可以采用基于物理的渲染(Physically[0047]为了进一步提高融合显示的真实感，系统还可以引入基于深度的图像融合技[0057]视觉里程计是利用机载相机拍摄的连续图像，估计无人机的运动位姿变化的技间位置估计，但误差会随时间积累。惯性导航系统则利用IMU测量无人机的加速度和角速地形模型生成三维地形图像，再将全景图像序列与三维地形图像匹配配准得到点云地图，员的脑电波数据及时发现疲劳特征，并在检测到疲劳特征时自动切换至预设自主飞行模本申请实施例中一种基于人眼视觉特性的显示优化方请参阅图2，为本申请实施例中一种基于人眼视觉特性的显示优化方法的一个流在本步骤中，系统需要实时采集VR头盔的运动参数和操作人员的视线焦点数据。陀螺仪和加速度计数据进行滤波和融合，得到头部绕三个坐标轴的转动角速度和角加速[0081]S203、当视场角变化率超过第一动态阈值或头部转动加速度超过第二动态阈值不同视角范围内的清晰度衰减系数；将最大可感知运动速度与当前画面运动速度进行比[0082]在本步骤中，系统需要根据上一步计算得到的视场角变二动态阈值用于头部转动加速度。这两个阈值可以根据人眼生理特性和用户反馈进行调眼视线在观察时会不断跳跃，单个视线焦点数据可能存在随机噪声。系统可以采用mean_