【基于改进YOLOv4算法的指针式仪表状态识别方法分析6200字（论文）】

基于改进YOLOv4算法的指针式仪表状态识别方法分析目录TOC\o"1-3"\h\u14068基于改进YOLOv4算法的指针式仪表状态识别方法分析 1241021.1基于指针式仪表数字刻度识别的表盘定位方法 148031.1.1基于改进YOLOv4算法的指针式仪表数字刻度和指针识别方法 1173411.1.2近似表盘提取方法 371761.2基于目标检测的指针提取方法 526671.2.1常用的指针提取方法 5283291.2.2基于表盘坐标和目标检测的指针提取方法 6133591.3局部角度法获取指针式仪表读数方法 7193401.3.1常见指针式仪表读数方法 7208841.3.2局部角度法 839181.3.3数字刻度识别方法 925871.4试验结果与分析 11213661.5小结 11为了实现指针式仪表的读数识别，本文提出了一种基于改进YOLOv4算法的指针式仪表读数新方法。首先，使用本文第三章提出的改进YOLOv4算法，精准识别到指针式仪表的数字刻度和指针；以识别到的数字刻度中心为关键点，使用最小二乘法对关键点进行椭圆拟合，根据透视变换原理，对仪表图像进行倾斜矫正，得到指针式仪表表盘；提出基于表盘坐标和目标检测的指针提取方法，使用该方法确定指针直线位置；最后通过距离法找到指针的左右近邻数字刻度和刻度线，使用改进YOLOv4算法识别该数字刻度，使用局部角度法计算指针式仪表读数。本文方法读数平均参考误差为0.90%，比工业识别合格的参考误差低1.60%，整体识别合格率达98%，识别结果可达到工业识别要求。1.1基于指针式仪表数字刻度识别的表盘定位方法1.1.1基于改进YOLOv4算法的指针式仪表数字刻度和指针识别方法通过观察不同仪表图像可以发现，仪表图像可能量程不一样，但是都具有指针和数字刻度。不同量程仪表的指针类似，但是数字刻度数值不一样，因此本文将所有的数字刻度视为一个类别，即视为“num”，这样即使不同仪表数字刻度存在差异，也能准确检测出仪表上的所有数字刻度对象。在指针式仪表数据集标注的时候需要人为精准标注，标注过程中尽量使标注的矩形框外切数字刻度和半指针。使用图片标注工具LabelImg进行标注，标注界面如图4-1所示。图4-1表盘上的目标对象标注在制作了上述指针式仪表数据集后，还需要训练一个新的模型。在表盘对象检测后，需要以提取出的数字刻度预测框的中心，作为数字刻度对应的刻度线几何中心，因此，在检测过程中需要精准检测出目标与目标位置。本文使用第三章提出的改进YOLOv4算法，训练“改进YOLOv4算法-B”模型，提高对数字刻度和半指针的识别准确率。本文中指针式仪表数据集数据扩充后共有1900张图片。训练时输入图像为416×416，训练阶段采用动量为0.9的异步随机梯度下降，每一个批次包含16张图像，权值的初始学习率为0.001，训练迭代次数为8000次，当迭代次数为6000次和7000次时，分别将学习率降低为0.0001和0.00001。“改进YOLOv4算法-B”模型识别结果如表4-1所示，从表4-1中可以看出，改进YOLOv4算法在数字刻度和指针识别实验中，检测准确率达到96.99%，召回率达到99.17%，F1-score得分为0.9807。在指针识别实验中，检测准确率达到81.44%，召回率达到96.94%，F1-score得分为0.9026。实验结果表明，改进YOLOv4算法可以准确识别数字刻度和指针。图4-2为本文改进YOLOv4算法的部分数字刻度和指针识别结果。表4-1数字刻度和指针识别结果数字刻度和指针识别TPFPFNPI%RI%F1-score数字刻度1194371096.99%99.17%0.9807指针19035681.44%96.94%0.9026图4-2使用改进YOLOv4算法的部分数字刻度和指针识别结果1.1.2近似表盘提取方法椭圆拟合在图像处理中有着重要的应用，其基本思想是找到一个椭圆，使平面上的点尽可能的靠近椭圆[97]。椭圆拟合常用的算法有最小二乘拟合，霍夫变换拟合和五点拟合等[98]。其中，最小二乘法可以将拟合误差最小化，因此，本文采用最小二乘法拟合表盘椭圆。平面上椭圆的一般方程如公式（4-1）所示：Ax2提取的表盘刻度中心点坐标为xi,yi,i=1,2,…,N，其中N代表提取的关键点个数。对于fxi,yFA,B,C,D,E=对(A,B,C,D,E)求F(A,B,C,D,E)的极小值，根据最小二乘原理，欲使F为最小，必有∂F∂A程系数(A,B,C,D,E)的值。图4-3为最小二乘法根据关键点拟合的椭圆。图4-3最小二乘法拟合椭圆本文通过透视变换原理实现倾斜仪表图像二次投影为端正仪表图像[99]。按照透视变换原理，若要将斜投影图像变为垂直视角投影，只需要找到图像变换前的4个点对坐标(P1,P由椭圆的一般方程，可以得到椭圆的几何中心如公式（4-3）所示：xc=椭圆短轴和长轴的半径如公式（4-4）所示：a2=椭圆长轴的水平倾斜角度η如公式（4-5）所示：η=0b=0,a<c1由椭圆长轴倾斜角度得到椭圆长轴的直线斜率k1k2y=kx+yc其中，当k=k1时为长轴直线方程，k=k2时为短轴直线方程。由长轴直线方程和短轴直线方程再联立椭圆的一般方程求交点，最后可以得到四个坐标点(由椭圆几何中心坐标和长轴半径得到椭圆的外切圆方程如公式（4-7）所示：(x−xc椭圆外切圆方程同时联立椭圆的长轴直线方程和短轴直线方程求交点坐标，可以得到四个坐标点(P5,P获得透视变换点对的坐标后即可求透视变换矩阵实现仪表图像倾斜校正，透视变换的完整形式如公式（4-8）所示：x',式中u,v是原始图像的某点坐标，经透视变换后得到的对应图像坐标x,y，将公式（4-8）变换为等式形式，如公式（4-9）所示：x=x'将4组点对代入公式（4-9）中得到8个方程组，联立方程组可得8个参数，最后获得变换矩阵M，其中a33图4-4基于透视变换的仪表校正结果示意图1.2基于目标检测的指针提取方法1.2.1常用的指针提取方法经过以上的仪表检测和仪表图像倾斜校正步骤，可以得到端正的仪表图像，接下来需要进行仪表读数识别。指针提取步骤是仪表读数识别中的关键步骤，常用的指针提取方法有背景差分法、直线检测法和最小二乘直线拟合法等。背景差分法的基本原理是把两幅图像对应的像素值相减，以削弱图像的相似部分，突出显示图像的变化部分[100]。使用背景差分法进行指针提取，需要提前构建一张没有指针的背景模板图像。但是变电站中有很多不同类型的仪表，如果用背景差分法进行指针提取，每一种类型的仪表都需要提前构建背景模板图像，并且在指针提取时，待识别图像和对应的背景模板图像需要完全重合，因此该方法在实际变电站环境中应用限制较多。直线检测方法是一种利用指针的直线特征进行指针提取的方法，常见的直线检测方法有Hough变换直线检测[101-104]和LSD(LineSegmentDetector)直线检测算法[105]。Hough变换利用点与线的对偶性，将原始图像空间的曲线转换为参数空间的一个点，通过观察参数空间中有没有聚集点，来确定原始图像空间中有没有直线。LSD算法是通过对图像局部分析，得出直线的像素点集。最小二乘法（MethodofLeastSquares）是一种最常用的直线或者曲线拟合算法[106]，在进行科学实验时，经常需要根据给定的m个点，求曲线y=f(x)的近似曲线。若要求近似曲线严格通过给定的每个点，此时拟合方法称为插值算法。但实际数据可能满足不了这个条件，因此在多数情况下曲线拟合较多地根据“使测量点到曲线距离的平方和最小”的原则来拟合，此时拟合方法即为最小二乘法。1.2.2基于表盘坐标和目标检测的指针提取方法针对传统的指针提取方法预处理步骤较多，容易产生累计误差等问题，本文提出了基于表盘坐标和目标检测的指针提取方法：使用“改进YOLOv4算法-B”模型，在识别数字刻度位置时同时识别出半指针的位置，结合倾斜矫正后的表盘圆心坐标，确定指针直线的位置。两点确定一条直线，所以提取指针直线需要从指针上找到最优的两个点。在之前的表盘对象检测过程中，已经使用“改进YOLOv4算法-B”模型提取出了半指针的位置，半指针的尖端必然位于指针直线上。同时表盘中心正好也是指针的旋转中心，表盘中心也必然位于指针直线上。因此，基于表盘坐标和目标检测的指针提取方法具体过程如下：使用“改进YOLOv4算法-B”模型检测后输出的结果是目标的类别和位置坐标，其中目标位置包含预测框的左上角坐标(x,y)和预测框的宽(w)和高(h)。将本章1.1.2中提取的近似表盘的中心坐标记为B(Cx,Cy)。观察半指针的检测结果后，可以发现半指针的针尖位置正好是半指针预测框的一个顶点，而这个顶点也正好是预测框四个顶点中距离表盘中心最远的坐标点，根据这一特点，本文使用欧氏距离计算表盘中心到指针预测框的四个顶点的距离，将四个顶点中距离表盘中心最远的坐标点作为半指针的针尖坐标。设指针预测框左上角坐标为(xd=(其中，(Cx,Cy)表示表盘中心坐标，y=p最后提取出的指针直线如图4-5所示。图4-5指针直线提取1.3局部角度法获取指针式仪表读数方法1.3.1常见指针式仪表读数方法指针式仪表有两种常见的读数方法，第一种是基于指针直线与仪表始末刻度线之间角度关系的角度法，第二种是基于指针直线与各刻度线之间距离关系的距离法。角度法[29,107,108]是指根据表盘上初始刻度线、最大刻度线与指针直线的角度比例得到仪表读数的方法。设表盘上初始刻度线与最大刻度线之间的角度为α，指针直线与初始刻度线之间的夹角为β，利用公式（4-12）可计算出仪表的读数：R=v其中，R为仪表读数，vmax距离法需要定位并标记每一个刻度线的重心坐标和对应的数字刻度，然后根据指针直线到左右相邻刻度线重心的距离计算出仪表读数，其中距离计算如公式（4-13）所示：d公式（4-13）中，n代表刻度线的条数，(xi,yiR=v公式（4-14）中，R代表仪表读数，vl与vr分别代表指针直线左右相邻的两条刻度线所对应的数字刻度，dl1.3.2局部角度法常见仪表读数方法中，角度法通过计算指针直线和初始刻度线、最大刻度线之间的角度关系来得到读数，这种读数方法在对倾斜仪表进行读数时，容易产生较大的读数误差。距离法读数准确率较高，但是计算量大，算法速度较慢。针对以上问题，本文使用局部角度法获取指针式仪表读数，局部角度法如图4-6所示。首先确定指针直线位置，其次通过距离法找到指针的左右近邻数字刻度中心，再计算近邻数字刻度中心与指针直线之间的夹角，通过卷积神经网络识别出近邻数字刻度的数值，最后根据夹角角度关系确定读数。图4-6局部角度法1.3.3数字刻度识别方法指针式仪表读数识别中，对表盘数字刻度的识别是读数过程中的关键步骤。由于变电站环境复杂，采集的指针式仪表图像存在模糊、倾斜等情况，这为数字刻度中刻度字符的识别增加了难度。为了准确识别刻度字符，周登科[53]提出一种无字符分割的基于端到端的识别方法，用YOLOv3算法对从表盘上剪切的数字刻度直接进行目标检测并输出数字串中的数字位置和类别。为了进一步提升刻度字符的识别准确率，本文在该方法的基础上，使用改进YOLOv4算法，对从表盘上剪切的数字刻度直接进行目标检测，识别结果中位置信息即为刻度字符中数字的先后顺序，类别信息即为字符值。数字刻度识别流程如图4-7所示。图4-7数字刻度识别流程图本部分数据集图像截取自表盘对象检测过程中检测到的数字刻度区域，并对截取的数字刻度图像进行筛选，让数据集中的图像尽量均匀的包含所有字符，同时尽量包含各种真实场景下可能出现的模糊、倾斜等情况。部分数据集图像如图4-8所示。本文中数字刻度数据集数据扩充后共有4100张，训练时输入图像为416×416，训练阶段采用动量为0.9的异步随机梯度下降，每一个批次包含16张图像，权值的初始学习率为0.001，训练迭代次数为10000次，当迭代次数为6000次和8000次时，分别将学习率降低为0.0001和0.00001。图4-8刻度字符识别数据集改进YOLOv4算法在刻度字符识别实验中，检测准确率达到99.84%，召回率达到99.52%，F1-score得分为0.9968，mAP值为99.96%，识别结果满足实验需要。图4-9为改进YOLOv4算法的部分刻度字符识别结果。表4-2为改进YOLOv4算法对数字刻度识别结果。图4-9刻度字符识别结果表4-2改进YOLOv4算法对数字刻度识别结果输入图像检测结果识别结果0.060.3161061.4试验结果与分析在仪表读数识别中，检测仪表读数准确率的评价指标平均参考误差γ的计算公式如公式（4-15）所示：γ=其中，Rtrue是通过人为计算得到的真实读数，Rtest是通过实验得到的实验读