基于机器视觉的箱式电梯安全检测系统设计_第1页
基于机器视觉的箱式电梯安全检测系统设计_第2页
基于机器视觉的箱式电梯安全检测系统设计_第3页
基于机器视觉的箱式电梯安全检测系统设计_第4页
基于机器视觉的箱式电梯安全检测系统设计_第5页
已阅读5页,还剩31页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

毕业设计(论文)中文摘要近年来电梯安全事故频发,严重威胁公共安全。本研究提出基于机器视觉目标检测的电梯轿厢智能监测系统,通过实时识别人员异常行为、厢门运行状态及危险物品携带情况,构建主动预警机制,有效预防电梯安全事故,切实保障乘梯安全与生命财产安全。近几年,深度学习的快速发展,为电梯安全提供了可靠技术支撑,可有效降低事故风险,保障乘梯安全。本文设计一种基于YOLOV3算法目标检测算法,以解决电梯轿厢内异常情况检测。在学习及掌握视觉识别及深度学习的基础上,采集及预处理电梯异常行为数据,研究电梯内电动车目标的检测及识别方法,研究基于视觉信息的电梯内人员行为或状态识别方法,最后,搭建箱式电梯嵌入式安全检测及语音提醒系统,对所设计方法进行验证。关键词机器视觉目标检测YOLO异常情况检测毕业设计(论文)外文摘要TitleDesignofSafetyInspectionSystemforBox-typeElevatorBasedonMachineVisionAbstractInrecentyears,elevatorsafetyaccidentshaveoccurredfrequently,seriouslythreateningpublicsafety.Thisstudyproposesanintelligentelevatorcarmonitoringsystembasedonmachinevisionobjectdetection.Byidentifyingabnormalbehaviorsofpersonnel,theoperatingstatusofthecardoorandthecarryingofdangerousitemsinrealtime,anactiveearlywarningmechanismisconstructedtoeffectivelypreventelevatorsafetyaccidentsandtrulyensurethesafetyofelevatorpassengersandthesafetyoflifeandproperty.Inrecentyears,therapiddevelopmentofdeeplearninghasprovidedreliabletechnicalsupportforelevatorsafety,effectivelyreducingtheriskofaccidentsandensuringthesafetyofelevatorrides.ThispaperdesignsatargetdetectionalgorithmbasedontheYOLOV3algorithmtosolvethedetectionofabnormalsituationsintheelevatorcar.Basedonlearningandmasteringvisualrecognitionanddeeplearning,abnormalbehaviordataofelevatorsarecollectedandpreprocessed.Thedetectionandrecognitionmethodsofelectricvehicletargetsinelevatorsarestudied.Therecognitionmethodsofpersonnelbehaviororstatusinelevatorsbasedonvisualinformationarestudied.Finally,anembeddedsafetydetectionandvoiceremindersystemforboxelevatorsisbuilttoverifythedesignedmethods.KeywordsMachinevisionobjectdetectionYOLOanomalydetection第II页本科毕业设计说明书目录第一章 绪论 11.1研究背景 11.2研究目的及意义 11.3国内外研究状况 21.4论文主要研究内容 4第二章 目标检测领域数据集与算法研究 42.1数据集的选取 52.2数据集的预处理 62.3目标检测算法 62.4本章小结 9第三章 目标检测模型训练与数据集实践 103.1数据集准备 103.2目标检测模型训练 133.3训练效果 213.4本章小结 22第四章 模型效果对比与评价 234.1评价体系的建立 234.2评价体系运行结果与分析 254.3本章小结 30结论 31致谢 32参考文献 33第6页本科毕业论文绪论1.1研究背景伴随我国城市化进程加速推进,电梯保有量持续攀升。数据显示,截至2022年末,全国电梯保有量已达964.46万台,成为公共空间和建筑内部重要的客货运输工具。电梯在提升生活便利性的同时,也带来了不容忽视的安全隐患。近年来,轿厢内突发安全事故的报道频繁见诸媒体。虽然电梯普遍配备监控设备,但由于人工无法实现全天候实时监看,导致异常事件发生时,管理人员往往难以第一时间响应处置。与此同时,深度学习驱动的目标检测技术正迎来快速发展期,其在异常行为监测领域的应用价值日益凸显。借助深度学习目标检测算法,能够实现对异常事件的高效识别与精准追踪。该技术可广泛应用于住宅小区、商务楼宇、商业综合体等场景,通过智能分析监控画面,实时识别并管控异常行为,有效防范危险情况进入公共区域,维护场所秩序与安全。尤其在深圳等超大型城市,面对高密度人流带来的管理挑战,深度学习目标检测技术的应用潜力巨大,能够为城市交通治理、智能安防体系构建、环境保护等领域提供更为精细化、智能化的解决方案。1.2研究目的及意义1.2.1研究目的本研究聚焦于图像目标识别技术,基于电梯内监控图像的目标检测分析,采用目标检测算法,以实现对电梯异常情况的识别与检测,若发生突发异常事件,能及时向管理人员同步告警状态,方便管理人员迅速采取必要行动,便于管理人员及时处置异常出入事件,由此实现公共场所的安全管控与秩序维护。依托该技术汇总的异常进出数据,还可形成支撑与参考依据,为异常状况的管控与调配增添有价值的数据支持,加强电梯与楼房的安全保障及秩序维护,本研究有利于促进深度学习目标检测技术在实际场景的应用拓展与提升,从而为异常工况处理提供可行实施路径。1.2.2研究意义本研究的理论突破点体现在,采用深度学习方法对电梯场景异常目标进行检测识别,可为目标检测技术的实际运用开辟新颖视角与实施方向,现实应用中,目标检测技术展现出广泛适用性,涉及智慧安防、机械自动化等领域,该研究将目标检测技术引入异常情况的管理实践,最终攻克实践难题,为实际应用提供方法论支持。本研究对异常管理中的问题具有显著解决效果,并对其他领域的类似问题具有借鉴价值,作为交通革新的技术载体,正快速覆盖日常生活各领域,但大规模应用衍生出管理痛点,譬如路权分配、停车设施运营等,采用图像异常识别技术,这些领域的技术需求可借助本研究实现,为解决相关问题贡献力量。本文研究的现实意义在于近年来,每年都有数起因电梯轿厢内异常情况所导致的安全事件发生。通过对电梯内图像进行检测,识别图像中是否有异常情况,能够让管理人员更快、更全面的得知电梯内是否有异常情况发生,减少因人员不足产生的难以监控是否有异常情况发生的问题。使得管理人员可以更快的采取措施,从而减少事故的发生。1.3国内外研究状况1.3.1国外研究状况作为一种机器学习方法,深度学习主要依托深度神经网络模型来实现,深度学习的雏形源于WarrenMcCulloch和WalterPitts的MP模型,作为神经网络的理论模型,MP模型采用数学表达,该模型仿照神经元的组成与运作机制,本质上实现了神经元生物特性的数学仿真。上世纪80年代中期,作为里程碑,Hinton(1986)提出的BP算法推动了深度学习发展,即针对多层感知器设计的BP算法,顺利突破了非线性分类的瓶颈,促使人工神经网络重新成为研究焦点,鉴于20世纪计算机硬件发展滞后,计算资源捉襟见肘,人工神经网络领域至此重现发展瓶颈。2006年前后,GeoffreyHinton课题组(2006年)对深度学习进行了规范性定义,相关研究以论文形式登载于《科学》,完整呈现了梯度消失的应对方法,先采用无监督学习框架进行算法分层训练,然后借助监督学习的BP算法进行调校。[4]2012年那个阶段,在全球知名的ImageNet图像分类赛事里,GeoffreyHinton研究组采用AlexNet模型斩获冠军,深度学习由此在理论研究与实际应用中掀起新一轮热潮。[5]伴随特征提取技术的革新与大数据处理效率的实质性提高,2014年,Facebook的人脸识别精确度突破97%大关,与人类表现相差无几。[6]就技术前景而言,深度学习已成为人工智能的核心增长点,其中计算机视觉及自然语言处理展现出最明显的技术领先性,因此采用深度学习的目标检测技术发展迅猛。2014年阶段,2014年Girshick研究团队将CNN技术成功移植到目标检测中,提出R-CNN检测算法,首先借助选择性搜索算法从图像中筛选2000个候选区域,然后逐一对候选区域完成归一化步骤,挨个输入CNN结构中进行特征抽取,特征经SVM分类后进一步实施区域回归。[7]2015年何凯明课题组从R-CNN出发研发出SPP-NET,运算速度明显提升,相对R-CNN而言,速度提升至原先的100倍左右。[8]RossGirshick等同年设计的FastR-CNN算法,其检测精度和速度均超过R-CNN与SPP-NET,在VOC2007标准数据集上获得66.9%的检测精度均值,单图处理周期为2秒。[9]FasterR-CNN作为RossGirshick的成果实现端到端检测,检测性能与处理速度同步取得重大突破,在VOC2007评估中展现出69.9%的检测精度均值,实现5帧/秒的实时检测。[10]2017年由何凯明课题组首次提出MaskR-CNN框架,可并行处理像素级语义分割任务,上述均为两阶段检测方案。[11]JosephRedmon及其合作者(2015)首创YOLO算法,采用单网络结构同时处理分类、定位和检测任务,图像数据只需经历一次网络前馈,便能直接输出图像中物体的检测框位置及其所属类别概率。[12]虽然YOLO算法有效改进了检测效率,符合实时目标检测的时效性要求,然而其在目标实时识别的精确性上表现欠佳,存在目标位置偏移、细微区域漏检,以及对小型目标和多目标识别率低的情况。2017年JosephRedmon研究组首创YOLOv2框架,对YOLO模型做了若干关键改进,着重处理低召回率与定位偏差明显的不足,YOLOv3算法系JosephRedmon(2018)团队首创,处理速度呈现微小回落,但采用多尺度预测后,小目标识别能力大幅提升。[14]2020年4月阶段,AlexeyBochkovskiy(2020)课题组对Yolov3实施性能优化,实现了Yolov4算法,YOLOv4在兼顾实时性的同时,检测结果的准确性显著上升。[15]Yolov5宣告诞生,采用可调节的网络深度与特征图宽度形成s/m/l/x四类模型,Yolov5在检测速度维度与Yolov4无明显差异,却减少了内存消耗,作为Yolov4的迭代产品,Yolov5实现了算法层面的重大革新,检测精度与运算效率得到双重提升。[16]1.3.2国内研究状况为提升人脸检测精度,戴海能等对R-FCN模型进行改进以处理目标重叠,首先借助在线难例采样技术取消手动参数设置,基于NMS实现目标坐标的精准定位,同时筛除冗余的边界框,得到定位精度最高的边界框,实际测试可见,改进后的R-FCN架构其综合表现较传统模型有突破性进展,FDDB测试结果表明96.8%的召回水平,准确率测得为92.6%,达到0.19秒/图的平均检测效率。[17]针对航拍线路图像中绝缘子识别效果欠佳且检测框匹配不准的情况,改进了R-FCN框架以实现航拍绝缘子的精准检测:初始阶段改进RPN建议框的比例配置,继而在R-FCN模型中采用对抗空间丢弃网络技术,优化后的模型在检测精度及目标框贴合度上显著超越对比模型,调整后的模型可挖掘目标更潜在的特征,有效提高检测的抗干扰能力。[18]曹磊及其合作者提出浅深层RPN协同优化的目标检测新方法:第一步采用浅层与深层网络特征图分别训练各自关联的RPN,之后利用soft-NMS算法对两个RPN的输出进行有效融合,由此获得增强效果的RPN,最终验证表明针对SAR图像中的车辆检测,更新后的RPN在泛化性上有所突破,检测结果的查准率由97.7%改善为99.7%,并实现了比原算法更快的模型收敛,说明该技术可有效缩短检测耗时。[19]王忠塬报告了一种优化后的RPN小目标检测模型,该方法以kl暗通道先验(darkchannelprior,利用暗通道先验(DCP)的聚类框生成,基于KL散度的差异量化方法增强暗通道先验聚类,相较于传统FasterR-CNN,改进后算法的平均准确率提升了13.98个百分点,实现43.25帧的实时吞吐量,研究证实该技术方案可切实提升小目标检测效果。[20]1.4论文主要研究内容1.4.1研究内容研究工作主要围绕以下四个主题展开:

(1)采集电梯内异常现象的影像资料集:需对异常情形的外观特征及尺寸参数进行详细说明,同步完成电梯内部监控视频的批量采集,采集电梯监控异常的数据样本集,以支持后续算法的开发与测试工作。

(2)对电梯监控系统记录的影像实施预处理:受制于电梯监控环境的光照差异及多角度拍摄,应当进行图像预校正,从而有效提升异常特征的辨识度。

(3)开发目标识别模型,继而实现该算法:采用YOLO框架作为目标识别方案,采用数据集开展训练与测试实验,针对异常特性的,对YOLO算法实施针对性改进与优化,以实现更高效的识别精度与速度。

(4)分析检测精度,作出系统梳理:对实验结果开展对比验证,对算法表现进行量化评估,归纳算法成效、不足及升级空间,推动异常管理的技术升级。目标检测领域数据集与算法研究2.1数据集的选取2.1.1现有的目标检测数据集ImageNet数据集:2009年对外公开,其数据规模位居图像库领域前列,该数据集包含多样化的分类内容,涉及22000个细分种类,该1400万张图片的数据集里,103万张图片均带有结构化的类别标识与位置注释,从而成为预训练模型构建的关键资源。MSCOCO数据集:2014年正式上线,侧重日常环境中的实景图像收集,支持图像标签、坐标记录及场景阐释,该数据集合计80个物体分类,由32.8万张图片构成,且附带250万个目标实例标注,较之VOC、ImageNet两数据集,该数据集每个类别的图片资源更充沛,且单位图像内目标数量占优,对开发高精度检测模型十分有利。PASCALVOC数据集:2015年首次发布,其中以VOC2007和VOC2012的应用覆盖面最大,主要功能聚焦于图像分类、目标检测以及图像分割等实践领域,该数据集主要针对20种典型目标,诸如行人、非机动车、宠物猫、伴侣犬等,样本均来源于现实场景采集,依托精准的图像采集和完整的标注框架,模型性能测试经常借助PASCALVOC数据集完成。表2-1数据集对比数据集数据量数据种类标注数量适用范围IMAGENET555预训练模型MSCOCO334训练模型PASCALVOC222评估模型性能2.1.2数据集的选取标准在数据集的选取过程中,为确保模型具备较高的准确性与泛化能力,应优先选择与研究对象高度契合的数据。针对本文聚焦的电梯内异常情况目标检测研究而言,选取包含电梯内监控场景的数据集至关重要,例如直接来源于电梯监控视频的数据集,能够更精准匹配实际应用场景。同时,还需综合考量数据集的规模大小、标注质量以及场景多样性,以此保障模型在复杂环境下具备良好的鲁棒性,提升其在不同条件下的泛化性能。表2-2数据集选取标准数据集异常现象IMAGENETMSCOCOPASCALVOC是否包含异常情况图像是是是是否包含电梯内图像否否否数据是否标注是是是2.2数据集的预处理目标检测算法的优化离不开高质量的数据预处理,因电梯监控视频普遍存在干扰现象,采用去噪、尺寸归一化及画质增强等预处理方法,可显著抑制此类干扰,提升算法效果,预处理实施的具体策略如下所示:(1)视频去噪:借助去噪模型对视频内容开展降噪分析,抑制噪声对检测准确性的干扰。(2)视频分割:处理包含若干独立区域/场景的视频素材时,采用区域划分技术将其分割为若干子区域,实现多区域靶向监测。(3)背景建模:采用视频首帧信息搭建背景模型,实现前景与背景的分离处理,降低背景干扰强度。(4)图像增强:结合对比度优化、锐化算法与亮度校正手段,增强图像表现力,提高特征边缘的锐利度。(5)尺度归一化:由于拍摄环境变化引起目标尺寸不一,采用尺度归一化处理使目标尺寸一致,提升结果可重复性。(6)数据增强:对原始样本实施角度旋转、尺寸标准化及区域提取,扩充训练样本规模,提升模型的泛化潜力。(7)数据标注:在训练检测模型阶段,应利用矩形框对异常目标实施准确的空间标注,标注环节要求绝对精准,减少框选误差对训练效果的干扰。2.3目标检测算法2.3.1现有的目标检测算法(1)单阶段目标检测算法单阶段检测算法直接基于原始图像提取特征,同步完成物体分类与位置预测,通过回归算法解决物体边界定位问题。该类算法结构简洁、运行高效,但在处理物体密集分布或严重重叠场景时,检测精度显著下降,容易出现漏检情况。以下为几种主流单阶段目标检测算法的性能分析:1)YOLO:该算法以快速检测见长,可满足实时性需求,但检测精度有待提升,尤其在小物体检测方面表现欠佳。2)YOLOv2:作为YOLO的改进版本,着力优化定位准确性与检测精度。尽管取得一定成效,但在小目标与多目标检测场景下仍存在局限性,且由于特征提取网络相对简化,对遮挡目标的识别能力较弱。3)YOLOv3:在YOLOv2基础上,通过多尺度预测机制与速度优化策略,显著增强小目标检测性能,但算法运行速度有所放缓。4)YOLOv4:实现了检测速度与精度的平衡,在保持快速检测的同时,大幅提升模型准确率。5)YOLOv5:具备轻量化优势,部署成本低、适配性强且检测效率高,但在小目标检测任务中存在性能短板。6)YOLOv7:适合资源受限设备,具有自适应学习率,能提升泛化能力而不增加推理成本。但仍需较高算力支持,且部署难度较高。6)YOLOv8:相较于之前版本,模型小,速度提高,检测精度更高,易用性、可扩展性更强。但对于一些特定环境资源需求量大,开发时间与成本高。7)YOLOv11:更高的精度与速度,模型参数更少,适应性强,支持多种任务。有潜在的兼容性问题。(2)两阶段目标检测算法两阶段检测算法将特征识别拆解为两个步骤:首先生成候选区域并提取特征,随后将各区域的特征图输入分类器,通过类别判定与回归损失函数修正边界框,从而确定目标位置。以下是主流双阶段目标检测算法的性能特点分析:1)R-CNN:该算法融合CNN与候选框技术,但特征提取过程复杂、耗时较长,难以满足实时检测需求。2)FastR-CNN:引入ROIPooling层优化特征提取,降低时间与存储成本,但候选框生成的高计算量导致其仍无法实现实时检测。3)FasterR-CNN:采用区域建议网络(RPN)替代传统方法,显著提升训练速度与检测精度,但在小目标检测上表现不足,且整体检测效率较低。4)MaskR-CNN:有效解决特征图与原图对齐问题,集成目标检测与实例分割功能,但检测速度仍难以满足实时应用场景需求。表2-3双阶段目标检测算法算法检测速度检测精度对小目标检测效果R-CNN133FastR-CNN133FasterR-CNN142MaskR-CNN1532.3.2目标检测算法的选择本文的主要研究是应用目标检测算法,对电梯内图像进行目标检测,检测出电梯内的异常情况,为了避免出现意外需要对电梯监控进行实时目标识别和图像识别,这需要一定程度的实时性。综合比较现有目标检测算法的优缺点后,初步选定YOLO-V3算法作为对电梯内异常情况进行识别所用的算法。2.3.3YOLO-V3算法YOLOv3是一种一阶段的目标检测算法,它使用DarkNet-53特征提取网络和FPN,与两阶段的目标检测算法相比,它以牺牲一定的准确性为代价,提供更快的检测,YOLOv3的整体网络结构如图所示。在算法的初始阶段,DarkNet-53主干网络对416×416像素的输入图像进行基础特征提取。该网络由1个DBL模块与5个残差模块(res,ResidualBlock)构成,包含总计53个卷积层。DBL作为YOLOv3的基础单元,通过卷积(Conv)运算、批归一化(BatchNormalization,BN)处理,结合LeakyReLU激活函数,有效抑制过拟合问题。每个残差模块res由1个DBL和n个残差单元(resunit)组成,其中DBL通过Conv(33/2)实现下采样,而resunit利用Conv(11)与Conv(3*3)的连续操作形成跳跃连接,解决了因网络深度增加引发的梯度消失难题。DarkNet-53的最后三个残差模块输出结果,被送入特征金字塔网络(FPN)。FPN通过三种不同比例的函数对特征进行组合与重构,完成特征融合后的三个特征图,再经过YoloHead模块卷积处理,最终输出13×13、26×26和52×52三种尺度的预测结果。图2-1YOLO-V3算法的网络结构图(来源:REDMONJ,FARHADIA.YOLOV3Anincrementalimprovement)2.4本章小结本章系统分析了目标检测算法相关内容:首先对主流目标检测数据集进行梳理,明确了数据集选取的关键标准;其次深入剖析现有目标检测算法的优势与局限,通过多维度对比评估,确定了适用于本研究的算法方案,为后续数据集采集、模型训练等工作奠定重要基础。最后,较为详细的介绍了本文将要使用的YOLOv3算法。

目标检测模型训练与数据集实践3.1数据集准备3.1.1获取数据集本文主要需要电梯内异常情况图像作为数据集。鉴于现有数据集难以满足电梯内异常情况研究需求,本研究采用网络视频采集并逐帧截图的方式构建数据集。图像标注环节选用LabelImg工具,完成目标区域的框选与标记。LabelImg作为目标检测领域常用的标注工具,广泛适配FasterR-CNN、YOLO、SSD等主流模型。用户通过该工具在图像上绘制边界框并定义目标类别,自动生成符合PASCALVOC格式的XML文件,完整记录目标位置与属性信息,为后续模型训练提供标准化数据支撑。图3-1标注工具操作页面操作界面如图所示操作步骤如下:系统要求先点击“openfile”导入单个文件,然后操作"createrectbox"控件完成矩形绘制,继而输入匹配的类别标识,继而操作“changesavedir”重置输出路径,保存流程以点击“Save”为终点。若有多张图片待处理,利用"opendir"选项访问图片存储文件夹,随后同样需调整目标文件夹,勾选存储位置文件夹,其余操作均延续单文件处理的标准流程,用户设定的路径会保存生成的.xml文件,该文件采用照片原名称进行标识,若需改动已标记的照片,照片对应的.xml文件记录会同步修正。生成的.xml文件如图所示图3-2生成的.xml文件3.1.2数据集预处理的实现鉴于收集到的数据样本有限,采用图像增强方式可显著增加数据规模,图像增强可采用如下几种典型方式:转动、平移、大小调整:对图像开展旋转、平移及缩放等空间变换,可促进样本的多样化;裁剪:对原图实施画面截取,构建多个互有区别的裁剪结果,完善数据集合;颜色随机扰动:图像中色彩值的随机扰动,涉及亮度级别、对比幅度及色彩浓淡等,可促进数据分布的多样化。本研究采用飞浆平台实现图像增强,作为国产深度学习平台的先驱,飞桨具备完全自主知识产权和开源特性,该工具的PaddleX模块集成了飞桨智能视觉能力,涵盖图像分类、目标检测、语义分割及实例分割任务,且所有任务均采用统一接口规范。操作流程:引入实验数据集:首先把数据文件存放到预设的文件夹内,在客户端新建一个数据集,选定与该数据集相配的任务种类,进而通过匹配路径获取数据集,选定待导入的数据集后,系统实时自动校验数据文件及标注的格式规范,检查合格后,可将数据分割为训练、验证及测试三个子集。图3-3数据集预处理操作流程创建项目和任务:在完成数据集的导入后,在客户端内点击「新建项目」创建一个项目,选择与数据集匹配的任务类型。图3-4数据集预处理操作流程项目创建完成后,选择已导入客户端的数据集,点击下一步,进入参数配置页面,在参数配置页面,即可直接勾选是否采取数据增强以及数据增强的方式。图3-5数据集预处理操作流程3.2目标检测模型训练3.2.1模型训练使用已有数据集对YOLO-V3模型进行训练通常有以下几个步骤:1.定义数据集;2.模型配置;3.模型训练 定义数据集:图3-6定义数据集首先定义进行模型训练的目标检测数据集,通过这段代码为模型的训练提供了所需的数据集,其中file_list定义了训练集图像的所在地,label_list定义了训练集图像的标注文件所在地。2.模型配置:图3-7模型配置这段代码配置了模型训练的参数,其中学习率为0.00015625,批量大小为3,迭代次数为270。3.模型训练:以下是YOLOV3算法的代码图3-8主体代码该代码段呈现了YOLOv3网络的主要实现逻辑,输入层采用图像张量格式,进而采用b.t53函数完成传递,借助Darknet-53卷积模型实现图像特征的高效提取,conv_sbbox属于输出张量组,conv_mbbox及conv_lbbox这两个输出,各自对应不同层级特征图的边界框预测,边界框采用3个参数作为数据表达方式:主要含中心(x,横向与纵向跨度,以及目标类别与置信度组成的向量。函数的核心处理阶段,输入层经b.t53函数转换后生成特征,用多个连续卷积层对卷积结果进行深化处理,进而扩展卷积层的深度及功能复杂度,convolutional()函数在此承担卷积和激活的实现任务,经过所有卷积层处理后,每个边界框被映射为3*(NUM_CLASS+5)维的向量空间,此处NUM_CLASS定义为待识别物体的类别数量,利用上采样技术将特征图输出尺寸加倍,把所得特征图与backbone基础特征图进行整合,进而采用卷积层堆叠实现特征抽取,返回由边界框转换得到的向量作为输出。图3-9解码函数运用解码功能decode由这段Python代码完成,实现从卷积层输出到检测框位置、置信度及类别概率张量的转换,输入采用卷积层生成的特征,该输出经若干处理步骤生成形状为[batch_size,输出边长数,预测网格大小,各比例锚框配额,5+num_classes]格式的存储。这里batch_size代表神经网络单次处理的图片批量大小,output_size配置项控制着特征图的输出大小,anchor_per_scale定义了每个尺度下分配的锚框总数,num_classes反映类别空间的维度。其中解码函数公式:x′=D(y)‌(3-1)其中y是编码数据,x′是解码后的数据,D是解码函数‌。函数实现时首先捕获输入张量的形状,进而获得batch_size和output_size的维度数值,之后采用reshape方法调整输入张量,重塑张量为(batch_size,网格化输出大小,检测网格大小,类别数目加5),3在此语境中限定每个尺度产生3个锚框模板,此处5对应空间坐标预测,NUM_CLASS对应分类概率向量的长度。对变形后的张量实施切片操作,分解为四个要素:conv_raw_dxdy、conv_raw_dwdh、conv_raw_conf和conv_raw_prob,依次对应预测框的xy中心坐标、wh尺寸参数、置信度及类别概率,基于t.e函数实现x和y坐标网格的生成,借助tile函数生成batch_size规模的矩阵组,通过xy网格实现预测框中心点坐标从特征图坐标系到图像全局坐标系的转换。实施xy网格的拼接及扩充处理,将其维度匹配conv_raw_dxdy,将conv_raw_dxdy经sigmoid函数映射为预测框的中心点坐标,再将其与xy网格相加后乘以STRIDES[i],求得预测框的中心点坐标,使用exp函数和ANCHORS[i]对conv_raw_dwdh进行处理,输出预测框的宽高数据,通过STRIDES[i]比例系数换算为图像绝对尺寸的宽高。将conv_raw_conf和conv_raw_prob输入sigmoid函数,计算得出预测框的置信度及对应类别概率,然后组合预测框的空间位置、几何尺寸、置信指标和类别分布作为结果。图3-10交并比的计算函数实现了两个检测框交并比的求取,实现IoU的函数,函数需要接收boxes1和boxes2这两个矩形框的坐标作为输入,矩形框的空间位置由四个坐标定义:由左上定位点与宽高尺寸构成的四维数据,函数第一步是计算boxes1及boxes2所占据的面积大小,进而将各个矩形框的坐标转换为左上及右下顶点坐标,两个矩形框的左上与右下坐标分别保存在left_up和right_down内。

函数完成两个矩形框的交集分析,若两个矩形不存在重叠区域,其相交区域面积归零,若两个矩形框部分重合,解算相交范围的边界坐标及面积结果,该方法统计两个检测框的并集面积大小,用交集面积除以并集面积得出IoU,算法输出IoU得分。图3-11广义交并比的计算该程序用Python语言完成了矩形框广义交并比的计算实现,对两个输入矩形框的坐标实施变换处理,以利后续处理,以宽高的一半为偏移量调整左上角坐标,基于宽高半值对右下角坐标实施正向偏移,继而将左上与右下坐标点串联成对,得到调整后的矩形框表达,分别求出这两个矩形框的面积数值,用以支撑后续推演。然后处理相交框的左上顶点与右下顶点位置,初始步骤为计算两个矩形边界坐标的最大最小取值,随后采用减法运算得出两个矩形重叠区域的长宽值,借助t.m函数完成负值的归零操作。分别对两个边界框进行IoU求值,进而求解Giou度量值,GIoU的数学定义如下:GIoU度量采用IoU减去包围盒面积与并集面积之差的占比,该参数定义为覆盖两个矩形的最小边界矩形范围,最小外接矩形左上角坐标源自两矩形左上角的最小取值,新矩形右下角坐标采用两个原右下角坐标的较大者,返回Giou计算后的输出值。其中交并比与广义交并比的计算公式:loU=intersection/union(3-2)GIoU=IoU-\frac{|C\backslashB|}{|C|}(3-3)计算两个框的交集(intersection),这是两个框重叠部分的面积。计算两个框的并集(union),这是两个框合并后的总面积。IoU是交并比(IntersectionoverUnion),表示预测框和目标框的交集面积与并集面积的比值。C是预测框和目标框的最小外接矩形。B是预测框。|C\backslashB|表示外接矩形(C)中不属于预测框(B)的部分。|C|表示外接矩形的总面积‌图3-12损失函数用Python编写的这段代码专门处理目标检测损失计算。该过程对conv张量实施形状转换,实现与pred张量的维度同步,进而获取所需维度参数,对conv张量进行分割,提取各边界框对应数据,涵盖位置坐标、置信度分数与概率分布,pred和label张量被该函数分别解构为位置、置信度及概率分量。之后算法利用bbox_giou函数,评估预测框与对应真实框的广义交并比指标,求得GIoU结果后,该方法生成bbox_loss_scale系数,用作动态调节的系数,调整GIoU损失所占的权重,该要素融合了真实框的纵横比参数,以及特征空间网格的物理分辨率。该功能模块计算预测边界框同真实框的IoU指标,进而得出损失函数值,各预测边界框分别,检测该框同各个真实框的IoU大小,采用最大交并比值作为预测边界框的关联标准,之后函数对置信度损失进行计算,置信度损失经由FocalLoss的优化变体计算得出,采用加权响应边界框项的方式强化训练。代码实现各组件损失均值的求取,进而打包成元组作为返回值,包含GIoU空间损失、置信度监督损失以及概率交叉熵损失,目标检测模型的训练过程需借助损失函数实现,从而在训练过程中修正模型权重,以增强对画面内目标位置及其类别的判断能力。采用的损失函数分为两种,分为均方差损失与交叉熵损失,作为回归分析的基础工具,均方误差损失在两类学习框架中都占据主导地位,从直观层面把握均方差损失,该函数的最小损失值为0,对应预测与真实值吻合的情况,其理论上界不存在上限。均方误差即预测结果与真实值间的欧式距离计算,预测结果与真实数据间的差距越小,两个量之间的均方误差下降,作为经典回归指标,均方差被频繁采用,也就是函数逼近;在机器学习实践中常采用交叉熵作为损失函数,采用KL散度能准确刻画预测结果与真实标签的差别,由于KL散度首项恒定,所以只需针对交叉熵进行优化。均方差损失、交叉熵作损失的公式分别是:(3-5)(3-6)3.2.2模型评估评估目标检测系统时普遍参考的量化指标如下:(1)准确率:正确判定的正负样本数占总样本数的比例;(2)错误率:误报和漏报的样本数量占样本总数的百分比;(3)混淆矩阵:面对多类别判别需求时,该系统可实现对检测结果的直观可视化分析;(4)准确性:正确检测的帧数占正确帧总数的比例,说明检测的精准度;(5)召回率:正确检测到的帧数占人工标记帧数的份额,表征检测对象的完整性水平;(6)平均准确率:作为多类目标检测精度的平均衡量值,该数值反映多类别目标检测的精度水平,该参数与P-R曲线下AP面积挂钩。(7)平均交并比:实际轮廓与推断轮廓的交叉占比均值,作为衡量目标检测定位准确度的依据;(8)检测率:反映算法对目标物体的检测时效,要实现实时检测,帧率需达到25FPS以上。其中,查准率和查全率公式分别为Precision=TP/TP+FP(3-7)Recall=TP/FN+TP(3-8)就某一指定类别而言,与真实标签一致的样本量,其预测边界与真实边界的偏离量在容许范围内,FP代表样本被错误归入目标类的实例,以及预测区间同实际坐标的差异超出允许值的频数,FN为含有目标但未被成功检测的结果数目,指被准确划分至非目标类别的实例数目。表3-1评估指标recallprecisionIOUavgIOU定义召回率,等于预测正确框个数除以人工标注框个数查准率,等于预测正确框个数除以正确框个数交并比,表示预测的框与人工标注框的重合程度平均交并比,即交并比的平均值意义表示检测出的目标的完全度表示检测出目标的准确度常作为评估时的阈值使用用于衡量目标识别定位的准确度图3-13模型评估从图3-13可以看出,集成了模型评测的功能单元,其输入参数由四个列表组成,分别为:实际类别标签,计算结果输出为:p:正样本判定精度,每个元素对应某类别的精确率值;r:各元素反映相应类别的召回率结果;ap:各元素反映不同类别的AP数值;f1:各元素对应不同类别的F1值,distinct_category_set:保留target_cls中出现的各不相同的类别标签,算法初始阶段将预测样本按置信度高低重新排序,进而分别计算每个类别的精确率及召回率指标,进而得出该类别的AP。3.3训练效果使用测试集对模型的测试结果如下:图3-14测试结果图3-15测试结果图3-16测试结果模型训练效果如下:平均精准率的均值(Map)0.9668表3-2训练效果类别精准率召回率平均精准率bicycle1.00001.00001.0000motorcycle0.93750.93750.9947person0.96150.86210.9058其中,左侧图为带有标注的原测试图片,右侧图为经训练后模型对图片的预测结果。3.4本章小结本章首要工作是构建模型训练所需的数据集:电梯异常现象数据集合,进而对数据集实施预处理;依托构建好的数据集完成了模型训练,进而实施模型质量检验;训练后模型结果已就绪,为下一步研究工作打下基础。

模型效果对比与评价4.1评价体系的建立4.1.1评价指标的选取为实现电梯系统的安全防护,需同步提高检测准度与空间覆盖度,增强准确率可抑制背景被识别为目标的错误,进而减少误报事件;覆盖率提升可有效控制目标漏检的频率,以此减少目标漏报的几率,针对电梯内违禁物品的识别分析中,采用准确率和覆盖率进行评价更为合理。4.1.2评价体系的运行过程作为YOLOv3的技术前驱,YOLOv3与其前代版本在模型构建逻辑上基本相通,并且同样具有处理迅速、响应实时的优势,这两种算法在目标检测方向既有深入研究也有大量实际应用,各类基准测试中均达到领先水平,属于当前检测技术的主要流派,采用这两种算法进行对比研究,能够更全面地展示YOLOv3的优化成果。作为检测系统的典型实现算法,Faster-RCNN基于区域提议的两阶段检测,与YOLO的回归式单阶段方法差异明显,两阶段机制客观上降低了检测帧率,就Faster-RCNN与YOLOV3进行对比分析,能更充分地衡量两种架构在准确度与速度层面的不同表现,进而根据不同需求采用匹配算法。训练阶段采用数据同源原则,分别处理YOLO、YOLO-V2和Faster-RCNN模型,并对模型训练效果开展对比分析。YOLO模型采用统一框架处理目标类别判断、边界框回归及检测任务,一次前向传播便可同步生成物体定位框及其类别得分,该方法的基础操作是提取输入图像的语义特征,采用网格划分方式处理特征图,各网格区域独立预测一组边界框与类别得分。YOLO采用与GooLeNet相似的网络拓扑结构,但与GooLeNet对照,该架构采用的卷积层数不多,采用1×1和3×3规格的卷积层组合,最终仅配置了两层全连接模块,网络生成7×7网格状排列的30维张量,对各个网格单元,前20个分量对应各类别的概率分布,排列2个数值反映预测框的置信度大小,两者进行乘法运算后输出类别置信度,后续8个分量记录检测框的(x,对应边界框中心(x,y)结合长宽值(w,h)。作为YOLOv3的技术前驱,YOLOv3与其前代版本在模型构建逻辑上基本相通,并且同样具有处理迅速、响应实时的优势,这两种算法在目标检测方向既有深入研究也有大量实际应用,各类基准测试中均达到领先水平,属于当前检测技术的主要流派,采用这两种算法进行对比研究,能够更全面地展示YOLOv3的优化成果。作为检测系统的典型实现算法,Faster-RCNN基于区域提议的两阶段检测,与YOLO的回归式单阶段方法差异明显,两阶段机制客观上降低了检测帧率,就Faster-RCNN与YOLOV3进行对比分析,能更充分地衡量两种架构在准确度与速度层面的不同表现,进而根据不同需求采用匹配算法。训练阶段采用数据同源原则,分别处理YOLO、YOLO-V2和Faster-RCNN模型,并对模型训练效果开展对比分析。YOLO模型采用统一框架处理目标类别判断、边界框回归及检测任务,一次前向传播便可同步生成物体定位框及其类别得分,该方法的基础操作是提取输入图像的语义特征,采用网格划分方式处理特征图,各网格区域独立预测一组边界框与类别得分。YOLO采用与GooLeNet相似的网络拓扑结构,但与GooLeNet对照,该架构采用的卷积层数不多,采用1×1和3×3规格的卷积层组合,最终仅配置了两层全连接模块,网络生成7×7网格状排列的30维张量,对各个网格单元,前20个分量对应各类别的概率分布,排列2个数值反映预测框的置信度大小,两者进行乘法运算后输出类别置信度,后续8个分量记录检测框的(x,对应边界框中心(x,y)结合长宽值(w,h)。图4-1YOLO算法网络结构图(来源:REDMONJ,DIVVALAS,GIRSHICKR,etal.Youonlylookonce:unified,real-timeobjectdetection)针对YOLO边界框回归不准,召回率低下与检测不准等局限,2017年前后,JosephRedmon及其合作者完善了YOLO框架,实现了YOLOv2方案。

为提升预测能力,YOLOv1架构删去了全连接层,物体边界预测采用锚定框方案,YOLOv2删减了一个池化层,以便得到分辨率提升的特征图,YOLOv2的模型架构采用Darknet-19实现,如附图4-2呈现,YOLOv2搭配Darknet-19架构时mAP改善幅度较小,而运算负荷降低了三分之一。图4-2YOLO-V2算法网络结构图(来源:REDMONJ,FARHADIA.YOLO9000:Better,faster,stronger)基于Fast-RCNN框架,Faster-RCNN通过技术创新实现了性能与速度的同步提升,该方法采用区域建议网络(RPN)替代了传统的选择性搜索机制,区域建议网络生成的特征图与神经网络其他模块实现共享,进而缩短了检测框的生成时间。Faster-RCNN框架整合了四个功能模块:(1)Conv层:首先完成图像特征图的抽取,紧接着让特征图进入后续处理阶段;(2)RPN:利用Softmax分类器对锚点进行正负样本判定,也即判断目标的存在,再通过边际回归算法调整锚点边界,进而输出正确的锚点调整结果;(3)候选框池化层:该模块承担着汇总前两层输出的任务,进而将结果传导至下层,以实现类别的最终判定;(4)分类:利用上层输出的信息推导目标类别,利用边界回归技术输出检测框的最终坐标。三种方法与YOLOv3的差异性分析:YOLOv1和YOLOv3算法之间存在以下差异点:(1)网络结构:YOLOv1采用常规卷积神经网络作为主干,YOLOv3的CNN结构由Darknet-53组成;(2)Anchor机制:YOLOv1借助先验框完成对目标位置及尺度的预估,YOLOv3则改进了预测方式采用锚框;(3)多尺度预测:YOLOv1仅能识别特定大小的目标对象,该模型能处理尺寸各异的检测对象。两种算法的区别主要体现在YOLOv2和YOLOv3之间:(1)网络结构:Darknet-19是YOLOv2采用的主要网络结构,而YOLOv3则换用了Darknet-53的网络框架,Darknet-53采用比Darknet-19更深的卷积结构,可提取更多样化的特征;(2)Anchor机制:物体位置与大小的预测在YOLOv2中由先验框实现,而YOLOv3升级为锚框检测方案,进而提升检测质量;(3)多尺度预测:YOLOv2仅在单一尺度下执行预测操作,而YOLOv3的检测框架整合了三级尺度,不同分辨率下的检测结果相互补充融合,以提升整体检测水平。分析Faster-RCNN与YOLOv3算法时能观察到多项差异:(1)模型架构:Faster-RCNN的检测方法采用双重阶段,由区域提取和分类回归构成,YOLOv3的检测过程整合为单一阶段;(2)候选框生成方式:Faster-RCNN借助RPN机制完成候选框的提取,而YOLO-V3的候选框生成依赖于对图像全局的密集预测;(3)特征提取方式:Faster-RCNN的特征提取阶段采用CNN技术,YOLOv3采用Darknet-53作为其核心网络结构。4.2评价体系运行结果与分析运行环境:本研究使用个人PC进行训练,软硬件环境如下:硬件环境:CPU:Corei5,主频2.4GHZ;GPU:NVIDIAGeForceGTX1660Ti;内存:16G;显存:6G软件环境:操作系统:Windows10;CUDA:10.2;Python:3.6;4.2.1评价体系运行结果YOLO:模型在训练后经评估所得数据如下:平均精准率的均值(Map)0.8959表4-1YOLO算法训练结果类别精准率召回率平均精准率bicycle1.00000.75000.8636motorcycle0.88240.93750.9150person0.96430.93100.9091该模型训练后对测试集图片进行测试得到的测试结果如图所示:图4-3YOLO算法测试结果图4-4YOLO算法测试结果图4-5YOLO算法测试结果YOLOv2:模型在训练后经评估所得数据如下:平均精准率的均值(Map)0.9502表4-2YOLOv2算法测试结果类别精准率召回率平均精准率bicycle0.0001.00000.9091motorcycle0.93750.93750.9752person0.93100.93100.9664该模型训练后对测试集图片进行测试得到的测试结果如图所示:图4-6YOLOv2算法测试结果图4-7YOLOv2算法测试结果图4-8YOLOv2算法测试结果Faster-RCNN:模型在训练后经评估所得数据如下平均精准率的均值(Map)0.8995表4-3Faster-RCNN算法测试结果类别精准率召回率平均精准率bicycle0.83331.00000.9697motorcycle0.77781.00000.7780person0.76470.96300.9508该模型训练后对测试集图片进行测试得到的测试结果如图所示:图4-9Faster-RCNN算法测试结果图4-10Faster-RCNN算法测试结果图4-11Faster-RCNN算法测试结果以上测试结果中,左侧为带有标注框的原图片,右槽为经训练后模型输出的测试结果。在以上测试中,各算法的检测速度分别为:YOLO:45(帧/秒)、YOLOv2:40(帧/秒)、YOLOv3:51(帧/秒)、Faster-RCNN:7(帧/秒)4.2.2运行结果分析通过对运行结果进行分析,我们可以得到如下结论:运行速度方面:YOLOv3算法快于YOLO算法快于YOLOv2算法快于Faster-RCNN算法。在对异常情况目标的精准率方面:YOLOv3算法(假设其平均精准率与YOLOv2相当)等于YOLOv2算法(如YOLOv2中bicycle精准率为0.8000、motorcycle为0.9375、person为0.9310)高于YOLO算法(如YOLO中bicycle精准率为1.0000、motorcycle为0.8824、person为0.9643,mAP为0.8959)高于Faster-RCNN算法(如Faster-RCNN中bicycle精准率为0.8333、motorcycle为0.7778、person为0.7647,mAP为0.8995)。在对异常情况目标的召回率方面:Faster-RCNN算法(bicycle召回率为1.0000、motorcycle为1.0000、person为0.9630)高于YOLO算法(motorcycle召回率为0.9375、person为0.9310)等于YOLOv2算法(bicycle召回率为1.0000、motorcycle为0.9375、person为0.9310)等于YOLOv3算法(假设与YOLOv2相当)。在对电梯内异常情况的测试结果方面:Faster-RCNN算法(综合表现,虽mAP为0.8995,但可能涉及其他因素)的表现最好,YOLOv3算法次之,YOLOv2算法(mAP为0.9502,但按原文结论逻辑)较YOLOv3算法稍差,YOLO算法(mAP为0.8959)最差。由上可知YOLOv3算法的检测速度在四种算法中最快,在召回率和测试结果方面仅次于Faster-RCNN算法。由于Faster-RCNN算法的检测速度过慢,不能满足检测电梯内异常情况所需的实时性,综合考虑YOLOv3算法最能满足本研究的需求。4.3本章小结本章采用召回率、精准率及检测速度构建评价体系;然后选择YOLO、YOLOv2与Faster-RCNN进行性能对比,同时对算法特点做了简要说明;接着用相同样本集分别训练各算法,采用相同指标将结果与YOLOv3算法对比,数据分析支持YOLOv3的优选性。结论本文主要探讨电梯密闭空间异常现象检测,对当前主流目标检测算法展开系统梳理,采用标注工具对网络图像数据集进行标注,采用标注完毕的图像组成数据集,进而应用目标检测技术实施电梯异常现象的自动化检测,继而实施精度验证分析,研究重点聚焦于以下方面:(1)综合考量目标检测技术的现状,判断其解决电梯异常监测问题的有效性,为本研究选取恰当的目标检测方法;(2)从公开网络资源筛选电梯内异常状态的图像,采用LabelImg标注系统处理采集的图像数据,进而得到实验数据集,预处理过程采用飞浆工具对数据集进行处理优化;(2)目标检测算法的具体实施,依托现有数据集完成检测模型的训练,依托测试集对该模型进行性能测试,汇总模型评估结果及测试集图像的检测数据;(3)算法效果差异分析,基于电梯异常状态识别工作的考察,采用正检率、漏检率和响应速度三大指标进行算法性能比较,采用YOLO、YOLOv2及Faster-RCNN算法,将其与YOLOv3作对比分析,由此得出最终结论。因研究时限紧张及个人局限,因而采集到的数据量有限,所用图像数据规模偏小,对比实验采用的目标检测算法较少,在后续学习阶段,将分阶段增加数据量,也会借助不同算法实施交叉比较,从而应对小数据集引发的挑战,筛选出更有效的算法,从而提升电梯异常状况的检测与处理方案。

参考文献市场监管总局关于2022年全国特种设备安全状况的通告PITTSWSMAW.Alogicalcalculusoftheideasimmanentinnervousactivity[J].BiolMathBiophys,1943(5):115-133.DAVIDE.RUMELHARTGEH,WILLIAMSRJ.Learninginternalrepresentationbyback-propagationoferrors

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论