基于深度学习的工业仪表自动读数方法的研究

基于深度学习的工业仪表自动读数方法的研究2025-05-25PART01PART02PART03摘要预备知识YOLOv8指针式仪表读数PART04PART05PART06YOLOv11指针式仪表读数指针式与数字式仪表自动读数系统系统的实现PART07PART08PART09实验结果与分析总结与展望参考文献摘要01智能巡检机器人局限01智能巡检机器人在工业中广泛应用，但场景适应性和实用性低，且部署在移动设备上消耗的计算资源较大，不能良好的处理实时问题。人工读数问题02人工读数耗费人力、财力，且读数记录误差较大。研究指出，现有指针式仪表识别方法各有优劣，需结合深度学习目标检测与图像处理算法进行改进。轻量化方法03基于深度学习目标检测算法与图像处理算法相结合的轻量化方法，能显著提升指针式仪表自动读数的准确率和稳定性，且对不同场景下的指针适应性较强。研究背景与意义指针式仪表自动读数研究现状传统图像处理和深度学习算法在指针式仪表检测中各有优势，但传统算法受环境影响大，深度学习算法则通过YOLO等模型实现高精度检测。数字式仪表读数方法数字式工业仪表识别结合传统图像处理和深度学习OCR技术，通过模板匹配、二值化、灰度化及深度学习模型实现高精度字符提取与识别。深度学习相关算法目标检测和图像分割是计算机视觉核心，两阶段算法精度高但速度慢，单阶段算法速度快但小目标检测较弱，YOLO系列模型在速度与精度间提供良好平衡。国内外研究现状存在的问题仪表自动读数数据集受图像质量、环境、仪表盘多样性和复杂性及指针式仪表盘特殊挑战等因素影响，传统图像处理技术难以识别，本文采用深度学习方法进行研究。指针式仪表读数方法改进YOLOv8和YOLOv11模型，通过轻量化设计和关键点检测实现高精度仪表读数，解决精度与计算量问题，并提升检测速度。数字仪表读数方法基于YOLOv8模型实现数字仪表读数，通过数据集标注、位置检测、字符识别和推理完成读数，并设计前后端系统实现检测结果实时显示。存在的问题与工作绪论第四章第五章第六章第三章预备知识介绍本文的研究背景和意义，国内外研究现状以及深度学习研究现状，介绍本文研究工作中的重难点以及主要工作内容，最后给出本文的结构安排。介绍了目标检测以及目标检测算法最为流行的算法，本文主要使用YOLO系列目标检测算法，本章节还详细介绍了YOLO系列算法。介绍了基础预备知识，提出了两种轻量化改进，并通过角度法计算读数，包含了实验环境、数据集标注、评价指标和实验结果，保证了精度并提升了检测速度。由于将系统部署到移动端需要更为的轻量化，基于最新、最轻量的目标检测模型进行实验；通过对YOLOv11进行两种形式的改进，提升准确率并轻量化模型，适合移动端部署。基于YOLOv8目标检测数字仪表读数，通过数据集标注、位置检测、模型训练和推理完成读数，并实现工业仪表自动读数系统，选择图片即可检测读数。总结了文章所提出的两种指针式仪表检测方法和数字式仪表检测方法；针对本文算法研究的局限性进行了简要的分析，并对以后的工作改进做出了对未来的展望。论文结构安排预备知识02目标检测的重要性目标检测旨在从图片或视频中确定物体位置并定义边框和分类标记，广泛应用于自动驾驶、安全监控和医学图像分析等领域。包括传统机器视觉算法和深度学习算法；传统方法涉及数据准备、特征提取、分类和后处理，而深度学习算法分为两阶段和单阶段。如R-CNN、FastR-CNN和FasterR-CNN，先生成候选区域，再分类和回归，精度高但速度较慢，适用于医学影像分析和安防监控。如SSD、RetinaNet和YOLO，直接从输入图像检测，速度较快，实时性高，虽精度略逊于两阶段算法，适用于自动驾驶和视频监控。YOLO系列模型作为单阶段算法的代表，经过改进后其准确率已超越FasterRCNN，实现快速推理同时保持高准确率。目标检测的研究方法单阶段检测算法的优势YOLO系列的性能改进两阶段检测算法的特点目标检测YOLOv101开创性地将目标检测转化为单一回归问题，通过划分网格和预测边界框及置信度实现检测，能够在一次前向传播中完成检测和分类，适用于实时目标检测任务。YOLOv202在YOLOv1基础上改进网络结构、引入锚框、支持多尺度训练、添加批量归一化、使用高分辨率分类器、维度聚类确定锚框尺寸，并改进边框回归和细粒度特征提取。YOLOv303在YOLOv3中，通过使用Darknet-53主干网络、设计多样化的先验框、引入残差连接、使用锚框和K-means聚类优化锚框尺寸，提高了目标检测的准确性和鲁棒性。YOLO系列01系列模型经多代改进，最新YOLOv7及YOLOv8在保持高速度同时提升准确性，采用创新技术如CSPDarknet53、FPN、数据增强和优化锚框尺寸，满足不同应用需求。YOLOv4-YOLo702最新模型，用于目标检测和实例分割，相比YOLOv5、YOLOv7更先进，支持多种模型规模，采用全新架构设计，提升检测性能与推理速度，并在多个视觉任务中表现卓越。YOLOv803是YOLO系列第九代版本，采用基于骨干网络的轻量化设计；提出可编程梯度信息概念，设计轻量级GELAN架构，证实PGI在轻量级模型上取得优异结果。YOLOv904YOLO系列最新模型，解决后处理和架构不足，通过消除NMS和优化组件，以降低计算开销，实现先进性能；适用于实时应用，如自动驾驶和监控；未来将关注速度、精度和大规模部署。YOLOv10YOLO系列YOLOv8指针式仪表读数03Backbone改进Double-Conv的计算量GhostConv改进Ghost模块Double-conv替换ConvHead改进以改进轻量级卷积神经网络Double-conv作为主干卷积网络模块进行特征提取，进一步实现模型轻量化，保留模型原架构中的SPPF(SpatialPyramidPoolingFusion)模块。保留关键点损失函数，将主卷积模块替换为Ghost-conv，使模型进一步轻量化；改进的YOLOv8n网络结构旨在提升仪表盘读数准确度，通过轻量化设计提高检测效率与精度。YOLOv8因层数增加而面临计算挑战，我们提出Double-conv以减少计算量和参数量，通过群组卷积和1×1、3×3卷积结合，使模型轻量化并保留特征提取能力。Double-Conv替换YOLOv8主干Backbone、Neck部分的Conv模块，继承特征提取能力并减少冗余，实现模型轻量化，提升检测速度，同时保持高效的特征提取能力。GhostConv通过线性变换生成多特征图，减少计算量，利用DepthwiseConvolution和批量归一化、Relu生成特征图，拼接成完整特征图，降低参数量和计算量。Ghost模块减少计算成本，保持识别性能，集成到CNN架构中简单高效，提升效率，特别适合资源有限的嵌入式系统，使其成为提高效率的通用解决方案。改进的YOLOv8仪表盘图像矫正透视变换角度法计算读数角度法计算读数透视变换矫正图像训练得到最佳模型后，通过该模型获取仪表位置关键点；因数据集图像拍摄角度不同，可能导致图片歪斜，需对仪表盘图像进行矫正，确保读数准确性。利用透视变换方法矫正仪表盘图像，通过检测最小、最大刻度点、表盘中心点及图像中心刻度点，进行透视变换定位，确保仪表盘图像居中，为准确读数做准备。透视变换后，通过向量V1、V2、V3计算夹角，利用角度法公式读取读数。角度法简化计算，减少误差，是有效的读数方式。透视变换是一种几何变换，用于将图像从一个视角映射到另一个视角，矫正由于拍摄角度、位置偏移等原因引起的透视畸变，通过3×3透视变换矩阵实现。仪表读数通常有两种方式，一种是距离法，另外一种是角度法。因距离法复杂且易误，选取角度法计算读数；通过提取坐标点、计算角度，利用刻度比例获取实际读数。通过改进的YOLOv8模型得到仪表盘坐标点信息后，利用向量v1、v2、v3计算指针与量程向量间的角度，结合向量外积判断旋转方向，最终得出仪表读数。图像矫正与计算读数采用公开的数据集LPD流量计数据集和PICT流量计数据集作为训练和测试的基础数据。每个数据集均包含流量计的图像以及对应的流量读数。使用Double-conv和Ghost-conv分别替换YOLOv8n的Backbone和Head中的卷积模块。经过训练和优化后,在测试集上进行性能评估。改进YOLOv8实验实验数据集实验和结果在LPD数据集上，改进的YOLOv8n模型在精度和召回率上均有显著提升，同时满足实时性要求；在PICT数据集上同样表现出色。YOLOv8n实验结果通过Double-conv和Ghost-conv的替换，YOLOv8n模型在保持高性能的同时实现了轻量化，减少了计算资源和参数数量。轻量化与性能平衡实验结果与分析YOLOv8n改进对YOLOv8n模型进行了改进，主要是在Backbone和Head部分给出修改方案，旨在提升仪表盘读数的准确度，同时确保模型轻量化。实验结果在两个流量计数据集上进行了实验验证。结果表明改进后的模型在提升精度和召回率方面取得了显著成效,同时满足实时性要求。本章小结YOLOv11指针式仪表读数04YOLOv11特性YOLOv11是YOLO系列模型的最新成员，其创作者是一个开源社区，由计算机视觉和深度学习领域的研究人员和开发者共同协作进行开发。YOLOv11引入了多项新功能和改进，旨在提高性能和灵活性，成为各类目标检测和跟踪任务的优选模型，为视觉应用带来强大支持。采用了更深的特征提取网络，如ResNet和Darknet，以增强特征提取和表达能力。同时，对YOLOV3的网络结构进行了优化。通过采用更多的数据增强策略来增加训练数据的多样性和泛化能力，并引入了新的损失函数以优化目标框的位置和尺寸预测精度。采用了更精准的类别推理策略以提高目标检测的准确性和鲁棒性，并引入了轻量化模型的设计思路以降低模型的计算量和参数数量。性能与灵活性提升数据增强与损失函数类别推理与轻量化模型特征提取与网络优化改进的YOLOv11模型轻量化验证通过在资源受限的环境下进行测试，验证了改进的YOLOv11模型在保持高精度的同时，其推理速度也得到了显著提升。实验设置与数据集我们使用公开的仪表数据集对改进的YOLOv11模型进行了训练和测试，该数据集包含了指针式仪表的图像及其标注信息。评估指标采用平均精度（AP）和召回率（Recall）作为评估指标。平均精度反映了模型对仪表读数的识别准确率，而召回率则反映了模型的鲁棒性。实验结果实验结果显示，改进的YOLOv11模型在仪表读数识别任务中表现优异，相较于其他YOLO版本，其平均精度有了显著提升。实验结果与分析YOLOv11模型改进01通过采用更深的特征提取网络、优化网络结构、增加数据增强策略、改进损失函数以及采用精准的类别推理策略等方面对YOLOv11模型进行了改进。轻量化与高效性02改进的YOLOv11模型在保持高精度的同时，具有轻量化和高效性的特点。通过使用轻量化模型的设计思路，有效降低了模型的计算量和参数数量。实验验证与性能提升03通过实验验证，改进的YOLOv11模型在仪表读数识别任务中表现卓越，不仅平均精度有了显著提升，且推理速度更快，满足了实时性要求。本章小结指针式与数字式仪表自动读数系统05指针式仪表读数方案对于指针式仪表，提出了一种改进的YOLOv8目标检测仪表读数方法，通过对表盘区域进行标注，提取出表盘区域图片，制作成新的数据集。轻量级模型设计提出了一种改进的YOLOv8目标检测模型，分别在模型主干部分和模型检测头部分进行了改进，使模型在保持高精度的同时使模型变得更佳轻量。YOLOv11仪表读数提出了一种改进的YOLOv11目标检测仪表读数方法，YOLOv11是最新YOLO系列模型，有着更高的准确率以及更佳轻量，解决了精度与计算量的问题。仪表关键点检测检测仪表的同时，检测出仪表表盘上的表盘中心点，指针尖点，刻度最小最大值点等关键点坐标信息，之后利用关键点坐标信息计算仪表读数。指针式仪表读数系统YOLOv8读数方法基于YOLOv8目标检测模型的数字仪表读数方法，对数据集图片进行数字区域位置检测，使用YOLOv8对目标区域进行定位，对数字区域进行字符检测。数字仪表读数流程通过训练后得到最优模型，使用最右模型对数据集进行推理，后可得到目标框数数据点坐标，后通过使用算法对数据点坐标进行转换，转换成所标注的类别名。数字式仪表读数系统设计了一种能够实现指针式仪表和数字式仪表的前后端系统，通过使用PyQt5进行GUI开发和YOLO进行深度学习模型的推理。仪表自动读数系统通过YOLO检测到的信息通过算法进行处理，指针式仪表通过角度计算公式可以将最终读数显示在程序界面上，数字式仪表同样是可在前端显示最终读数。仪表读数显示前端页面上还是实现了显示检测时间，指针仪表的检测角度、修改清楚等信息，这些信息能够帮用户了解检测的过程和结果，提升使用的体验。前端信息显示本章小结系统的实现06智能巡检机器人挑战智能巡检机器人在工业中广泛应用，但仪表识别大多也是通过巡检机器人来实现的，场景适应性和实用性低，且部署在移动设备上消耗的计算资源较大。人工读数局限性人工读数这种方式不仅需要耗费大量的人力、财力，而且读数记录产生的误差较大，通过研究提出了一种基于深度学习目标检测算法与图像处理算法相结合。指针式仪表识别方法对指针式仪表自动读数结果准确率大大提升且稳定性较高，对不同场景下的指针适应性较强，主要取得了研究成果有提升识别准确率和稳定性的方法。系统的实现YOLOv8精度与速度针对移动端设备资源有限问题，提出了YOLOv8目标检测模型轻量化改进的仪表读数方法，通过改进模型结构，在保持高准确率的同时，实现了轻量化。YOLOv11高效推理针对计算资源消耗大以及效率低的问题，提出了YOLOv11目标检测模型轻量化改进的仪表读数方法，并引入PP-Lconv模型进行Backbone部分的替换。优化模型性能通过深度可分离卷积、H-Swish激活函数、SE模块和大卷积核等改进，提升了网络性能，同时通道剪枝和微调恢复了精度，使改进的YOLOv11模型性能大幅提升。系统的实现仪表识别系统使用PyQt5和YOLO进行GUI开发和深度学习模型推理，实现了图像处理和实时反馈功能的程序，用户可以导入图像并执行检测查看结果。数显仪表识别研究数显仪表广泛应用但部分缺乏接口，仍需依赖人工读取数据，易生人为误差且效率低，文章运用深度学习技术提高识别准确性和实时性，对自动识别技术进行研究。系统的实现实验结果与分析07实验结果分析：文章对基于深度学习的工业仪表自动读数方法进行了实验验证，通过对比实验分析了该方法的有效性和准确性。实验结果展示：文章展示了实验结果，包括读数准确率、稳定性、适应性等指标，证明了该方法在工业仪表自动读数中的优势。实验结果与分析总结与展望08轻量化模型设计01为解决计算资源限制，本文设计了基于YOLOv8的轻量化模型，通过Double-conv和Ghost-conv减少参数和计算量，同时保证特征提取能力，提高检测速度和精度。仪表盘读数优化02针对仪表盘读数存在误差的问题，本文提出了改进的YOLOv8模型，并基于图像矫正和透视变换提高了读数准确性，通过实验验证了该方法的有效性。实时反馈系统实现03利用PyQt5框架构建了仪表读数的实时反馈系统，将深度学习模型的检测结果直观展示在界面上，方便用户实时监控和读取仪表数据，具有较高的实用价值。总结内容未来工作可将进一步研究更多类型的仪表，如液位计、压力传感器等，扩大系统的通用性，使其能适应更多的工业检测场景，提高智能检测的覆盖率。仪表类型扩展研究针对现有模型在复杂环境下的识别精度问题，将开展模型优化研究，包括超参数调整、特征融合等，提高模型对相似仪表的区分能力和抗干扰能力。模型优化与精度提升为了便于现场应用，将开展基于嵌入式系统的模型部署研究，包括硬件选型、系统优化等，使系统能在资源受限的嵌入式设备上高效运行，降低系统成本。嵌入式系统部署后续工作展望参考文献09[1]SablatnigR,RuppM,PardoB,etal.Robustreadingofinstrumentdials:anapproachbasedoncolorsegmentationandtemplatematching[J].ImageandVisionComputing,2000,18(13):10.[2]AlegriaP,ZapataE,MartinezA,etal.Automatedinstrumentdialreadingusingcolorimageprocessing[J].IEEETransactionsonInstrumentationandMeasurement,2006,55(6):2179-2186.[3]郭子海,郑南宁,苏光大.基于霍夫变换的实时仪表读数识别方法[J].西安交通大学学报,2006(09):1017-1020.[4]孟祥雪.仪表盘图像处理与读数识别方法研究[D].哈尔滨工业大学,2012.[5]石伟,李艳,冯衍秋.基于图像处理的指针式仪表自动检测系统[J].计算机测量与控制,2013,21(02):477-479.[6]ZhangJ,SunZ,ZhouF,etal.Researchoninstrumentdialrecognitionbasedonmachinevision[J].JournalofIntelligent&FuzzySystems,2016,31(4):1677-1683.参考文献[7]TongH,LiS,ZhangH,etal.Adaptiverecognitionmethodfordouble-pointermechanicalinstrumentsinpetroleumengineeringbasedonHoughtransform[J].JournalofPetroleumScienceandEngineering,2017,156:639-650.[8]HeK,GkioxariG,DollárP,etal.Maskr-cnn[C]//2017IEEEInternationalConferenceonComputerVision(ICCV).IEEE,2017:2980-2988.[9]RenS,HeK,GirshickR,etal.FasterR-CNN:towardspracticalobjectdetectionwithregionproposalnetworks[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2016,39(6):1137-1149.[10]刘晏,陈佳佳,张帆.基于YOLOv5s与DeepLabV3+的仪表读数识别方法[J].计算机工程与设计,2021,42(04):1033-1038.[11]LiF,ChenY,WangB.Anindicatorrecognitionalgorithmdesignbasedonimageprocessing[C]//2019IEEEInternationalConferenceonImageProcessing(ICIP).IEEE,2019:478-482.参考文献[12]彭道刚,马志强,汪渤.基于YOLOv4与改进Hough变换的指针式仪表读数方法[J].计算机工程与设计,2021,42(09):2475-2480.[13]陶中涵,彭宇,汪渤.基于改进YOLOv8与特征匹配的仪表识别算法[J].计算机工程与设计,2023,44(03):836-841.[14]张海波,许奚铖,王东峰.基于深度学习的数字仪表读数识别方法研究[J].计算机工程与应用,2019,55(15):155-160.[15]陈刚,王进华.基于列切的数字字符快速识别方法研究[J].计算机工程与应用,2019,55(24):157-162.[16]朱娜.深度学习与传统图像算法结合的仪表读数识别研究[D].西安科技大学,2020.[17]KrizhevskyA,SutskeverI,HintonGE.Imagenetclassificationwithdeepconvolutionalneuralnetworks[C]//AdvancesinNeuralInformationProcessingSystems.2012:1097-1105.参考文献[18]饶毅,彭宇,汪渤.基于YOLOv5的数字仪表识别算法研究[J].计算机工程与设计,2023,44(04):1234-1239.[19]GirshickR,DonahueJ,DarrellT,etal.Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation[C]//2014IEEEConferenceonComputerVisionandPatternRecognition.IEEE,2014:580-587.[20]RedmonJ,DivvalaS,GirshickR,etal.Youonlylookonce:unified,real-timeobjectdetection[C]//2016IEEEConferenceonComputerVisionandPatternRecognition(CVPR).IEEE,2016:779-788.[21]BochkovskiyA,WangCY,LiaoHYM.YOLOv5:betterultralyticsimplementationofYOLO[EB/OL].(2020-06-13)[2023-04-05]..[22]成鹏飞.基于深度学习的目标检测算法研究[D].南京邮电大学,2019.[23]RedmonJ.YouOnlyLookOnce:unifiedreal-timeobjectdetection[EB/OL].(2016-03-15)[2023-04-05]..参考文献[24]RedmonJ,FarhadiA.YOLOv2:better,_faster,%Ubetterstronger%[EB/OL].(2016-12-28)[2023-04-05]..[25]RedmonJ,FarhadiA.YOLOv3:anincrementalimprovement[EB/OL].(2018-04-08)[2023-04-05]..[26]BochkovskiyA,WangCY,LiaoHYM.YOLOv4:detectingobjectsinthewildwithYOLOv4%UYOLOv4detectingobjectsinthewildwithYOLOv4[EB/OL].(2020-04-15)[2023-04-05]..[27]JocherG.UltralyticsYOLOv5:bbiaaquicklookatwhat'snewinYOLOv5[EB/OL].(2021-06-15)[2023-04-05]..[28]MeituanResearchandAILabs.MeituanSharesYOLOv6:anEfficientAnchor-%UYOLOv6:anEfficientAnchor-%UYOLOv6AnchorFreeDetectorforIndustrialApplications[EB/OL].(2023-XX-%UYOLOv6AnchorFreeDetectorforIndustrialApplications[EB/OL]..参考文献[29]WongKinYiu%,SoubbotinM%,Robinsonsamuel%,etal.%YOLOv7:%Toward%UYOLOv7%Toward%UYOLOv7FasterandStronger%UYOLOv7FasterandStrongerDetectionWithoutCompromisingAccuracy%UYOLOv7DetectionWithoutCompromisingAccuracy[EB/OL].(XXXX-%UYOLOv7DetectionWithoutCompromisingAccuracy[EB/OL]..[30]UltralyticsReleasesYOLOv8:%PowerfulNewModelforObjectDetectionandInstanceSegmentation%UYOLOv8:%PowerfulNewModelforObjectDetectionandInstanceSegmentation/blog/yolov8.%UYOLOv8.%UYOLOv8.%UYOLOv8.%UYOLOv8.%UYOLOv8.%UYOLOv8.%UYOLOv8.%UYOLOv8.%UYOLOv8.%UYOLOv8.%UYOLOv8.%UYOLOv8.%UYOLOv8.%UYOLOv8.%UYOLOv8.%UYOLOv8.%UYOLOv8.%UYOLOv8.%UYOLOv8.%UYOLOv8.%UYOLOv8.%UYOLOv