CN114373138B 一种高速铁路全自动无人机巡检方法及系统 （北京交通大学）

一种高速铁路全自动无人机巡检方法及系统本申请提供一种高速铁路全自动无人机巡预设轨迹飞行并从多个角度采集沿线设备设施路设备设施部件缺陷及周边环境隐患的自动识2第一步，通过链路系统接收无人机上传的工作状态及实时回传画面摄实时地理位置信息一并保存并通过地面基站传输第三步，工作机内部的深度学习网络模型对拍摄所得第一步中，接收无人机上激光雷达模块所获得的点云数据建骤包括将激光雷达模块所获得的点云数据与无人机所采集的图像之间按照以下步骤进行首先分别基于统计的离群点去除算法、基于最近距离的冗余点去除然后基于随机采样、特征聚合与原型拟合对大尺度点最后通过基于迁移学习及数据增强的图像实例分割方法对图像对于被点云数据判断为建筑的对象，进一步根据图像数据的识别结对于被点云数据识别为垃圾堆积的对象，进一步根据图像数据先对采集得到的铁路沿线设备设施及周边环境的图像进行图像预处理，包括然后针对每次巡检得到的数据，将新采集得到的图像利3将扩充后的数据加入到训练验证数据库中，并同时对其中的缺陷进行基于对应点坐标对激光雷达与可见光相机进行标定，确定点云与图阵根据激光雷达与可见光相机的投影变换矩阵M计x无人机，其图像采集模块按照预选设定的方式进行图像采集，通过所述无人机激光雷达模块所获得的点云数据用于建立三维点云模型；建首先分别基于统计的离群点去除算法、基于最近距离的冗余点去除然后基于随机采样、特征聚合与原型拟合对大尺度点4最后通过基于迁移学习及数据增强的图像实例分割方法对图像对于被点云数据判断为建筑的对象，进一步根据图像数据的识别结对于被点云数据识别为垃圾堆积的对象，进一步根据图像数据先对采集得到的铁路沿线设备设施及周边环境的图像进行图像预处理，包括然后针对每次巡检得到的数据，将新采集得到的图像利将扩充后的数据加入到训练验证数据库中，并同时对其中的缺陷进行基于对应点坐标对激光雷达与可见光相机进行标定，确定点云与图阵根据激光雷达与可见光相机的投影变换矩阵M计5x6[0004]本申请针对现有技术的不足，提供一种高速铁路全自动无人机到达任务区域后，触发无人机上图像采集模块按照预选设定的方式进行图像采集，并触发无人机将拍摄所得图像与拍摄实时地理位置信息一并保存并通过地面基站传输至无人机上激光雷达模块所获得的点云数据建立三维点云模型的具体步骤包括将激光雷达7包括：记参考点X在三维点云坐标系与图像像素坐标系下的位置分别为(XW,YW,ZW)与(Xf,对激光雷达与可见光相机进行标定，确定点云与图像间的投影变换矩阵根据激光雷达与可见光相机的投影变换矩阵M计算xy)是图像中每个像素对应的真实物理坐89应点坐标对激光雷达与可见光相机进行标定，确定点云与图像间的投影变换矩阵根据激光雷达与可见光相机的投影变换矩阵M计算xy)是图像中每个像素对应的真实物理坐[0016]本申请通过用以沿铁路沿线按照预设轨迹飞行并从多个角度采集沿线设备设施移动地面基站，以及用于接收云端传输的无人机采集的图片信息并对图片信息进行分析、[0023]为使本申请实施例的目的和技术方案更加清楚，下面将结合本申请实施例的附语和科学术语)具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该[0028]图1为根据本申请的一种高速铁路全自动无人机巡检系统。该高速铁路全自动无基站回传数据并分类储存至铁路沿线设备设施与周边化境数据库，该模块优选SSD硬盘以[0034]数据转存模块在无人机抵达地面基站后，对无人机已采集的数据进行转存和备上克服了数据存在的小样本问题；本文对基于欧几里得距离的点云聚类算法进行了改进，施及周边环境的图像进行标注建立数据集，并进行深度学习网络缺陷目标检测模型的训[0055]如图4所示，图像智能分析平台工作机系统包括建立高铁沿线基础设施及周边环陷坐标的数据。同时k-means聚类算法通过计算不同样本间的距离来判断他们的相近关系雷达与可见光相机进行标定，标定时可使用特殊设计的标定物进行两传感器的联合标定。在一些实施例中可基于对应点坐标进行标定：假设参考点X在三维点云坐标系与图像像素y[0062]其中(dx,dy)是图像中每个像素对应的真实物理坐标系下区域的物理尺寸，(Cx,y本文中激光雷达与相机经过集成后相对位置不再变化，因此相机的内外参都不会发生变[0083]机载激光雷达在扫描时会受到各种因素影响，致使点云数据出现大量的噪声点，引来表明点云间的空间拓扑关系，常见的索引包括八叉树(Octree)[102]、K-D树(K-[0092](3)选择初始维度及根节点后，将初始维度上坐标值大于根节点的点放到右子树[0097]基于统计的离群点去除方法首先计算点云中每点与其K个近邻点之间的距离的平[0101](3)此时得到的平均距离符合高斯分布，均值为μ,标准差为δ,均值和标准差计算[0107]在通过上述方式获得点云数据和图像数据后可通过如下方式实现串行式结构的[0109]第二个阶段则是对图像数据进行处理并对两类数据识别的结果进行决策级融于第一类结果的潜在异常对象将被认为属于异常并进一步计算该异常对象体积及距铁路[0111](1)利用无人机沿着高速铁路沿线按照预设线路全自动多角度采集高铁沿线基础[0112](2)将深度学习算法应用到采集到的铁路图像