CN113516660B 适用于列车的视觉定位与缺陷检测方法和装置 （江苏中车数字科技有限公司）

适用于列车的视觉定位与缺陷检测方法和本申请涉及一种适用于列车的视觉定位与维点云信息，并对所述二维图像信息进行预处本方法能够针对列车底部关键部位的检测的需2将预处理后的所述二维图像信息输入第一视觉定位网络模型，将所述第一目标信息输入第一缺陷网络模型，以确定所根据所述第一目标信息标定所述三维点云信其中，所述第一视觉定位网络模型与第一缺陷网络模据所述第一目标信息标定所述三维点云信息，以确定所述三维点云信息中的第二目标信输出所述第一目标信息、所述第一目标信息的明显缺陷3目标定位模块，配置为将预处理后的所述二维图像信息输入第一视觉定位网络模型，初级缺陷检测模块，配置为将所述第一目标信息输三维图像定位模块，配置为根据所述第一目标信息深度缺陷检索模块，配置为提取所述第二目标信评估与报警模块，配置为输出所述第一目标信息、所述第一目标9.一种计算机设备，包括存储器和处理器，所述存储4[0011]提取所述第二目标信息的深度特征，以确定所述第二目标信息是否存在深度缺5[0021]图像采集及预处理模块，配置为获取待测区域的二维图像信6[0032]提取所述第二目标信息的深度特征，以确定所述第二目标信息是否存在深度缺[0039]提取所述第二目标信息的深度特征，以确定所述第二目标信息是否存在深度缺7[0051]图10为一个实施例中列车底部关键部位的视觉定位与缺陷检测设备的内部结构[0054]本申请提供的适用于列车的视觉定位与缺陷检测方法，可以应用于如图1所示的104可以用独立的服务器或者是多个服务器[0055]在一个实施例中，如图2所示，提供了一种适用于列车的视觉定位与缺陷检测方8二目标信息的深度缺陷检测结果，评估并报警所述明显缺陷检测结果和深度缺陷检测结部位数据集，采用特征提取与目标检测网络YOLO对图像中的关键部位进行提取和框选训9像的位置坐标对三维模型相应的位置定位，坐标间的映射关系可通过图像分辨率进行转h至15km/h的速度运行，为使得三维激光轮廓传感器与面阵工业相机能够在该列车运行速机工作距离和列车底部宽度，选择工业面阵相机的视野范围为18001800mm，工作距离为以三维激光轮廓扫描仪拍摄精度小于1mm，将获取到的三维图像和列车底部二维图像一一[0096]构建列车底部关键部位数据集。选取200张列车底部关键部位的二维图像作为初有回归边界框的预测位置信息和分类置信度的输出向量。YOLO网络是根据GoogleNet网络[0107]在本申请中，利用SSD网络对二维图像中关键部位视觉定位之后进行初级缺陷检列车底部关键部件的图片存入VOC2007中JPEGImages文件夹中，之后使用Labellmg工具给[0111]使用SSD网络对构建的列车底部关键部位缺陷数据集进行训练，SSD算法采用CNN网络前段的特征图较大，所以后面逐渐采用步长为2的卷积或者池化操作来降低特征图的[0112]更具体地，SSD直接采用卷积对不同的特征图来进行提取检测结果，对于形状采用锚点(anchor)的理念，每个单元设置尺度或者长宽比不同的先验框，预测的边界框边界框定位包含边界框的中心坐标以及宽和高。SSD的网络结构采用VGG16作为基础模型，成3x3:和1x1的卷积层，同时将第5个池化层由原来的步长为2的2x2卷积转化为步长[0113]更具体地，根据卷积层的不同所得到的不同特征图设置的先验框数目也是不同[0115]其中，m指的是特征图的个数，Sx,表示先验框大小相对于图片的比例，smax与[0116]更具体地，在训练过程中，目标检测首先要确定训练图片的真实目标（ground框与groundtruth匹配的的原则首先是对于图片中每个groundtruth，找到与其交并比[0118]利用训练后生成的SSD模型，对经由视觉定位网络提取的列车底部关键部位进行缺陷检测，将待检测的图像中被视觉定位模型框选出的关键部位图片送入到训练好的SSD位所确定的关键部位区域在三维图像中进行标定，依此确定进行三维深度缺陷检测的区[0126]利用二维图像视觉定位转化到三维点云模型的底面部分进行关[0130]根据对二维图像处理的视觉定位模型所检测出的列车底部关键部位如牵引装置、行框选并标注绿色如图10所示，并根据二维图像中列车底部关键部位的缺陷检测筛选结[0133]图像采集及预处理模块，配置为获取待测区域的二维图像信[0134]目标定位模块，配置为将预处理后的二维图像信息输入第一[0146]评估与报警模块，用于对的初级和深度缺陷检测的结果进行[0147]关于一种适用于列车的视觉定位与缺陷检测装置装置的具体限定可以参见上文通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机