CN113963051B 基于视觉信息和特征提取的目标直径自动测量方法和系统 （国网四川省电力公司）

司基于视觉信息和特征提取的目标直径自动本发明提供了一种基于视觉信息和特征提用图像分割网络Mask-RCNN网络对螺帽进行粗分以针对电力铁塔建造中由于安装错误尺寸的螺栓带来的安全隐患以及人工检测耗时耗力的问2S01，通过双目相机采集目标图像,选取部分图像作为训练集图像进行标注后,放入目标检测网络中进行训练，利用训练后的网络实现对其余图像中的螺帽进行自动识别与定S301，对粗分割后的螺帽图像进行膨胀操作，并截S302，利用四个边缘角度特征算子提取图像S303，对提取的初始边缘特征图像进行角点提取，同时轮廓以边缘生长的方式实现连接，再对得到的闭合轮廓进行孔洞填充并与粗分割结果叠2.如权利要求1所述的基于视觉信息和特征提取的目标直径自动测量方法，其特征在于，步骤S01中通过采用Faster-RCNN目标检测网络结合检测框IOU判别机制对采集的图像3.如权利要求1所述的基于视觉信息和特征提取的目标直径自动测量方法，其特征在4.如权利要求3所述的基于视觉信息和特征提取的目标直径自动测量方法，其特征在于，步骤S303中利用最小二乘法圆拟合和夹角判别去除不在螺帽边缘上的多余内外角点，35.如权利要求4所述的基于视觉信息和特征提取的目标直径自动测量方法，其特征在在拟合过程中，将参与拟合的离散点质心作为拟合圆心的初fit为拟合圆半径；其次将拟合圆的圆心作为所有角点的质心，计算所有角点合圆半径的0.8为阈值，将与质心距离小于该阈值的认为是螺帽内部多余角点，并将6.如权利要求4所述的基于视觉信息和特征提取的目标直径自动测量方法，其特征在首先将螺母内部角点去除后的剩余角点按纵坐标大小分为上下两将各部分中的角点按横坐标大小从左到右排序，判断当前点是否为所在部分最左/右计算三点之间的夹角作为当前点对应夹角，并判断当前点对7.如权利要求1所述的基于视觉信息和特征提取的目标直径自动测量方法，其特征在4以两点中居左侧的点为起点，将图像中距该直线距离为d的点置为白色直至到达两点8.如权利要求1所述的基于视觉信息和特征提取的目标直径自动测量方法，其特征在在轮廓坐标集合P1中取序号为i的轮廓点pi,将pi和待选择点集合中5i1i19.基于视觉信息和特征提取的目标直径自动测量系利要求1-8中任一目标直径自动测量方法对应的模块单元实现的，以用于对螺帽直径尺寸精分割模块，对粗分割后的螺帽图像进行精分割处理，利用边缘角度6率可达92.3例如针对螺栓松动引发非线性、非平稳故障信号产生的现象，有一种基于度信息，提出了一种基于视觉信息和特征提取的目标直径自动测量方法和系统,该方法可[0008]首先通过双目相机采集目标图像,选取部分图像作为训练集图像进行标注后,放入目标检测网络Faster-RCNN中进行训练，利用训练后的网络实现对其余图像螺帽图像进7[0009]在深度学习网络粗分割结果的基础上进一步采用基于边特征提取和边缘生长的[0016]另一方面本发明还提供了一种基于视觉信息和特征提取的目标直径自动测量系对电力铁塔建造中由于安装错误尺寸的螺栓带来的安全隐患以及人工检测耗时耗力的问[0019]图1是本发明实施例提供的基于视觉信息和特征提取的目标直径自动测量方法流[0021]图3是本发明实施例提供的增加检测框IOU判别机图3(a)为增加检测框IOU判别机制前的检测结果,图3(b)为增加检测框IOU判别机制后的检测结果,图3(c)为图3(a)的目标检测框部分截取图；图3(d)为图3(b)的目标检测框部分截8[0024]图6是本发明实施例提供的基于边特征提取和边缘生长的螺帽精分割方法总体流[0026]图8是本发明实施例提供的各边缘角度特征提取及合并后的边缘角度特征提取结[0028]图10是本发明实施例提供的螺帽外部多余角点去除结果图，其中图10(a)和图10[0029]图11是本发明实施例提供的轮廓生长后得到的螺帽轮廓结果图，图11(a)为角点Q1中各点对连成的直径线段示例图，图15(b)为点对集合Q2中各点对连成的线段图，图15入目标检测网络Faster-RCNN中进行训练，利用训练后的网络实现对其余图像中的螺帽进[0040]为实现对螺帽的自动尺寸测量，需先对螺帽进行自动检测，实现螺帽ROI自动分9对大小不同的ROI进行固定，最后利用卷积进行分类和回归坐标，得到检测结果，所述Faster-RCNN网络整体结构图如[0041]由于网络目标检测后会出现一个目标检测出多个重叠框的情况，为解决这一问题，本实施例步骤S01中基于Faster-RCNN网络对螺帽进行自动识别与定位,在原Faster-RCNN网络的基础上增加了检测框IOU判别机制，将训练集图像与其对应的标注目标框.xml文件送入改进后的目标检测网络Faster-RCNN中进行训练识别后,通过计算各个检测框之[0043]Faster-RCNN网络在对目标进行定位及分类识别时，会对候选区域属于各类别的[0046]其中，IOU为两检测框的交并比，Scross为两检测框相交部分面积，downrow_min、[0047]在一个实施例中将IOU的判别阈值设为80即当两检测框重叠部分面积超过其[0051]Mask-RCNN总体结构分为五部分：卷积层、区域提案网络RPN(RegionProposal选框锚点(anchors)分为前景或背景两类(前景即为检测目标)，或利用边界框回归算法对[0060]进一步的，在步骤S302中采用了四个基于螺帽形状特征提出的边缘角度特征算cbc对应的四个边缘角度特征算子中坐标为(i,j)测方法，在传统角点检测的基础上针对螺帽的形状特征及后续的尺寸测量要求进行了改[0074]首先将所有检测角点利用最小二乘法进行圆拟合，拟合函数的计算公式如式8所[0088]将各部分中的角点按横坐标大小从左到右排序，判断当前点是否为所在部分最[0089]计算三点之间的夹角作为当前点对应夹角，并判断当前[0090]继续判断当前点是否为所在部分的最后一点，若不是最后一点，讲当前点后移1[0098]以两点中居左侧的点为起点，将图像中距该直线距离为d的点置为白色直至到达两点中居右侧的点，其中d为随着两点连线斜率变化的自适应距离，其计算方式如公式施例所采用的精分割方法相对深度网络初始粗分割的结果有了较[0115]Jergm⃞r(tc)(15)[0119]因此需要在点对集合DP中筛选出对边线段。图15展示了对边线段的筛选过程图[0120]S4031，计算点对集合DP中各点对所连成直径的图像坐标长度距离序列，记为lp合DP中索引在集合idx0内的点对集作为图像坐标长度极小值点对集合Q1{(q111,q112),…,其作为对边直径长度。将测量的所有对边直径长度的平均值作为测得的螺钉尺寸，如式[0135]本实施例主要提供一种基于视觉信息和特征提取的目标直径自动测量方法和系[0137]螺栓作为电力铁塔的重要连接部件，对其进行识别检测是质量监测中的重要工[0140]本实验视频数据由双目相机在国家电网施工现场的铁塔底部实地拍摄所得。其[0142]本实验通过Mask-RCNN网络对识别的螺帽进行图像粗分割；粗分割的结果再通过[0143]实验数据中含实验285个螺帽作为实验对象，其中类型1(直径30.08mm)螺帽103