CN115147723B 一种内河船舶识别与测距方法、系统、介质、设备及终端 （武汉理工大学）

US2020365035A1,2020.1V4网络模型为基础，采用MobileNetV1网络取代YOLO_V4模型的特征提取网络CSPDarknet53；在增强船舶特征信息；使用ORB算法实现在亚像素级别的特征检测与匹配，得到图像对间的视差2在船舶目标识别阶段，采用MobileNetV1网络作为YOLOFSRCNN网络直接将原始低分辨率图像作为输入，同时采用带参数的线性整流函数i分别是训练数据中第i对超分辨率图像和低分辨率图像；ORB算法采用FAST算法寻找图像中的显著特征点，若图像中某一像素与周围邻域内足；③计算所确定的圆上的所有像素值与P的像素值的差值，若存在连续N个点满足下式，3ORB算法采用BRIEF对所检测关键特征点创建二进制描述符，描述特征向量仅包含0和ORB算法具有旋转不变的特性，采用关键特征点的主方向对BRI/m10)；ni4计算图像对中特征描述符间的汉明距离，也就是计算双目立体视觉测距技术通过拟人化的方法感知周l在参数f和b确定的情况下，通过求解目标点在左右相机的像素坐标系下的x或y坐标的差5u0和v0表示图像中心点坐标，R为旋转矩阵，T为平移向量，两者构成相机的外参矩阵而相机的外参和内参矩阵均可由相机标定获3.如权利要求1所述的内河船舶识别与测距方法，其特征在于，所述步骤三中的MobilenetV1_YOLOv4船舶识别模型的构Params1＝DFxDFxMxN；而在深度可分离卷积的参数量的计算分为两部分6Params2＝DFXDFXM+MXN；MobileNetv1网络以深度可分离卷积模块为基础，深度可分离卷积模块采用3X3大小的卷积核进行深度卷积并提取特征信息，在深度卷积和点卷积之间连接一个BN层和一个将YOLOv4的骨干网络Darknet53替换为MobileNetv1，尺度特征层与传统YOLOv4模型的空间金字塔和路径聚合网络模块相连接，构建Mobilenetv1_YOLOv4目标检4.一种应用如权利要求1～3任意一项所述的内河船舶识别与测距方法的内河船舶识MobilenetV1_YOLOv4船舶识别模型构建模块，用于将MobileNetv1提取的三个不同尺~3任意一项所述的内河船舶识别与测距方法的步骤。得所述处理器执行如权利要求1～3任意一项所述的内河船舶识7域，提高船舶航行的安全性是一个关键问题。船舶交通服务(VesselTrafficService，O_DHS算法将所识别目标从复杂背景进行分离，采用S_DM算法对提取的特征点进行深度匹8定进行了重点研究，提出了一种基于双平行圆柱靶目标和直线激光投影仪的在线标定方[0008](2)现有目标识别与距离测量方法对模板匹配的尺寸大小较为敏感，影响位置信[0012]在船舶目标识别阶段，采用MobileNetV1网络作为YOLO_V4模型[0014]在船舶识别阶段，以经典YOLO_V4网络模型为基础，采用MobileNetV1网络取代YOLO_V4模型的特征提取网络CSPDarknet53；在船舶测距阶段，建立双目立体视觉测距模9而相机的外参和内参矩阵均可由相机标定获[0034]以YOLOv4模型为基础构建船舶目标的识别模型，网络结构由Backbone、Neck和[0042]MobileNetv1网络以深度可分离卷不同尺度特征层与传统YOLOv4模型的空间金字塔和路径聚合网络模块相连接，构建Mobilenetv1‑YOLOv4目标检[0052]ORB算法用于对图像中的关键特征点快速创建特征向量，从而识别图像中对应的[0054]ORB算法采用FAST算法寻找图像中的显著特征点，若图像中某一像素与周围邻域[0067]ORB算法具有旋转不变的特性，采用关键特征点的主方向对BRIEF描述子进行旋[0072]通过式(14)可以找到图像块B的质心：连接图像块的几何中心O与[0080]本发明的另一目的在于提供一种应用所述的内河船舶识别与测距方法的内河船[0083]MobilenetV1_YOLOv4船舶识别模型构建模块，用于将MobileNetv1提取的三个不[0084]船舶特征点检测与匹配模块，用于通过采用FAST算法进行特征点提取后，采用计算机程序被处理器执行时，使得所述处理器执行所述的内河船舶识别与测距方法的步[0098](2)本发明的技术方案是否解决了人们一直渴望解决、但始终未能获得成功的技[0114]图12是本发明实施例提供的船舶图像性也会对测距结果造成一定的影响。相机的成像过程采用小孔成像模型，其原理如图4所维空间中的点通过坐标转换投影在二维图像上，此过程主要涉及四个坐标系之间的变换：[0148]YOLO(youonlylookonce)是Redmon等在2016年提出的一种one_stage目标检测Neck模块主要由空间金字塔(SPP)和路径聚合网络(PANet)组成，SPP采用了三种不同规模[0151]MobileNet是专门为移动和嵌入式设备提出的高效轻量级网络，它基于深度可分来的网络模型具有较大的规模，不适用于在运算能力和内存不足的设备上进行目标检测，的卷积核进行扩张，在网络的最后采用1个9×9大小的卷积核进行反卷积从而得到高分辨[0171]ORB(OrientedFastandRotatedBRIEF)算法可以用来对图像中的关键特征点[0173]ORB算法首先采用FAST(FeaturesFromAcceleratedSegmentTest)算法寻找图x表示圆上16个像素在的某一点，那么就可以把该点作为一个候选点，根据经[0180]ORB算法采用BRIEF(BinaryRobustIndependentElementaryFeatures)对所检[0181]①为了进一步降低特征点对噪声的敏感性，首先对待检测图像进行高斯滤波处[0192]通过式(14)可以找到图像块B的质心：连接图像块的几何中心O与[0201]随着经济全球化的不断深入，水路运输逐渐成为国际贸易最主要的运输方式之航行的关键在于对周围航行环境的感知，并有效利用各种感知信息进行正确的分析与决的特征提取网络CSPDarknet53，结果表明MobileNetV1_YOLO_V4模型的mAP值达到了[0206]MobilenetV1_YOLOv4船舶识别模型构建模块，用于将MobileNetv1提取的三个不[0207]船舶特征点检测与匹配模块，用于通过采用FAST算法进行特征点提取后，采用[0214]实验采用Windows10系统进行，处理器为i7_11800H2.30GHz，GPU为NVIDIA集内河船舶数据，相机参数如表1所示。通过相机底部云台可实现水平旋转与俯仰角度调明采用张正友标定法进行相机标定实验，该标定法集成在MATLAB工具箱StereoCameramobilev1_yolov4网络之前需要对图像进行一定的标注操作，本发明采用LabelImg工具对了检测结果的精确性(Precision)、召回率(Recall)以及类别评价准确率mAP(mean[0232]其中，TP(Truepositives)表示正样本被正确检测为正样本的数量；FN(Falsenegatives)表示正样本被检测为负样本的数量；FP(Falsepositives)表示负样本被检测[0238]将测试集数据输入到已训练好的模型中，模型识别效果如图14[0242]表4显示了两种模型的对比实验结果，可以看出两者在不同指标下表现出不同的标均达到了100相比之下orecarrier和passengership船舶的识别效果则略低，原因在于所拍摄的场景中containership类型的船舶数量较多，更有利于模型训练，ore[0246]本发明采用通用数据集ImageNet_91对FSRCNN网络进行训练，测试集采用自己制[0247]为了进一步量化FSRCNN网络的性能，采用峰值信噪比(PeakSignaltoNoise[0250]对经过超分辨率重建后的船舶图像采用ORB算法进行特征点提取和匹配过程，该个目标的所有特征点的平均视差值来进行目标深度的计算。船舶目标测距效果如图17所[0258]由表6可以看出，本发明所提出的双目立体视觉测距技术可以实现对不同距离的