【《基于Mask-RCNN模型的路面破损检测分析案例》9300字】

基于Mask-RCNN模型的路面破损检测分析案例目录TOC\o"1-3"\h\u29119基于Mask-RCNN模型的路面破损检测分析案例 1211721.1路面破损检测流程 1109971.2深度学习模型环境搭建 2111401.2.1深度学习框架选取 2240131.2.2目标检测算法选取 3315511.3Mask-RCNN模型数据集建立 8218741.3.1数据增强 92391.3.2数据标注 1069521.3.3数据集分类 12219231.4基于改进Mask-RCNN模型的路面破损检测 12115681.1.1改进模型 12271961.1.2参数设定 1576581.1.3模型训练与测试 16247321.5实验结果与分析 17257981.5.1实验目的及意义 188221.5.2实验效果展示 18143451.5.3评估标准 20303001.5.4评估结果与分析 211.1路面破损检测流程路面破损检测流程主要分为深度学习模型环境搭建、数据集建立、模型训练和测试几部分。深度学习模型环境搭建是选择合适的深度学习框架和目标检测算法；数据集建立就是利用图片标注工具对图片中的破损信息进行标注，最终形成一个标注文件，制作成COCO格式数据集，并将数据集分为训练集和测试集；模型训练就是根据训练集中标注文件的信息，利用模型对标注的路面破损进行特征提取，输出分类结果、检测框和分割掩膜，同时通过损失函数反复调整模型参数，直至迭代次数或者训练准确率达到要求时停止训练，并将训练好的参数保存为一个权重文件，模型测试时，输入测试集中的图片，加载训练好的权重文件，输出测试结果。如图1.1所示为路面破损检测流程图：路面破损监测流程1.2深度学习模型环境搭建1.2.1深度学习框架选取在开始深度学习的项目之前，选择一个合适的深度学习框架是至关重要的，好的深度学习框架能够达到事半功倍的效果。当前世界各地的研究者们使用不同的深度学习框架来达到他们的研究目的，深度学习框架呈现出百花齐放的态势，目前最为流行的深度学习框架有TensorFlow、Caffe、CNTK、PyTorch、MXNet、Theano等。表1.1为各个开源框架在GitHub上的数据统计，可以看到虽然有来自R、GO、C++等语言的竞争压力，但大多数主流深度学习框架都支持Python，主要是因为Python的各种库都比较完善，在Web开发、数据可视化、数据预处理、数据库连接、爬虫等方面都非常方便，有一个完美的生态环境，并且在后续的模型训练、测试阶段可以与TensorFlow等基于Python的深度学习框架完美衔接，同时TensorFlow在star数量、fork数量、contributor数量这三个指标上都占据优势，活跃程度和受欢迎程度明显高于其他框架，表1.2所示为对主流的深度学习框架在各个维度的评分，TensorFlow在总体评分上表现出了最优成绩，因此，本文选取TensorFlow作为路面破损检测模型的深度学习框架。表1.1框架对比表框架类型所属机构支持语言StarsForksContributorsTensorFlowGooglePython/C/Go/…4162819339568PyTorchFacebookPython149569282221CaffeBVLCC++/Python61111784113CNTKMicrosoftC++90632144100MXNetDMLCPython/C++/R/…73932745241TheanoU.MontrealPython53521868271表1.2框架评分表框架类型模型设计接口部署性能架构设计总体评分TensorFlow8080909010088PyTorch907060709076Caffe606090807072CNTK5050701006066MXNet7010080809084Theano8070405050581.2.2目标检测算法选取在众多的计算机视觉任务中，有图像分类、目标检测等任务。图像分类任务就是利用算法对图像中的对象进行分类，而目标检测是在给定的图像中以边界框的形式精确地找到物体所在的位置，并且标注出物体的类别，可以看作是图像分类任务加定位任务。传统的目标检测算法需要人为的去定义对象的特征，然后根据特征使用SVM[66]、Adaboost[67]等分类器进行分类，由于目标的形态多样性、光照变化多样性、背景多样性等因素的影响，手工设计一个鲁棒性好的特征并不容易，这也直接影响了后续分类的精度。随着Krizhevsky等人在2012年提出一种叫做AlexNet的深度卷积神经网络，该网络在图像分类挑战赛ILSRVC上取得了突破性的进展，分类精度超越了所有的传统意义上的图像分类方法，从那时起，计算机视觉领域的研究重点就转向了深度学习方法，许多学者提出了基于深度学习的目标检测方法。在过去几年中，Girshick等人在2014年提出了R-CNN[68-69]检测模型，使用区域建议的方法提取对象的候选区域，以完成定位任务，然后使用分类器对候选区域进行分类决策，在目标检测挑战赛上超越了传统的目标检测算法，在后续研究中，相继提出了各种R-CNN的改进模型，分别有R-CNN、Fast-RCNN[70]、Faster-RCNN[71-72]以及Mask-RCNN[73]。①RCNNRCNN目标检测模型首次将CNN应用至目标检测任务中，其结构图如图1.2所示：RCNN结构图RCNN分三步进行：第一步采用selectivesearch[74]方法提取2000个待检测区域，然后将待检测区域变换成同一尺寸的图像，第二步是借助了当时深度学习的最新成果AlexNet，通过卷积神经网络AlexNet提取特征，第三步将这些特征输入到一个支持向量机进行分类，同时对待检测区域的边界框进行位置回归。RCNN虽然在检测精度上大大提升，但仍然存在如下问题：selectivesearch方法对每一张图像产生2000个待检测区域，并且每个待检测区域都需要CNN重复提取特征，时间耗费大，上述三个步骤是分别进行训练的，存储空间占用大。②FastRCNNRCNN的主要缺点就是耗时长，为了解决这个问题，Girshick等人在2015年提出了FastRCNN模型，结构图如图1.3所示，其中对RCNN模型的一些改进如下：⑴RCNN模型是对每个selectivesearch产生的区域建议框进行特征提取，存在冗余计算，耗时长，而FastRCNN直接采用一个CNN对全图进行特征提取，取代RCNN串行提取特征的方式，再使用selectivesearch方法在特征图上产生区域建议框。⑵对于selectivesearch方法在特征图上产生区域建议框进行ROIPooling操作，变成相同的尺寸大小，然后再进行全连接，同时用Softmax分类器替代了之前的SVM分类器。⑶FastRCNN中除了selectivesearch是单独训练的，其他部分都可以合在一起训练，耗时大大减小。FastRCNN模型结构③FasterRCNN在FastRCNN中，耗时的selectivesearch仍然存在，为了改良这个缺陷，提出了FasterRCNN检测模型，用一个RPN(RegionProposalNetwork)生成待检测区域ROI，耗时也从之前的2s缩减到了10ms，FasterRCNN模型的结构图如图1.4所示。FasterRCNN模型结构首先使用共享的卷积层生成特征图，然后将得到的特征图送入RPN网络生成区域建议框ROI，并对建议框进行第一次回归修正。之后就是FastRCNN的结构了，ROIPooling层根据RPN的输出在特征图上面选取每个ROI对应的特征，并将尺寸大小变为定值，最后使用全连接层对建议框进行分类并做第二次回归修正。FasterRCNN改良了之前selectivesearch需要单独训练的缺点，真正实现了全过程端到端的训练。④MaskRCNNMaskRCNN模型在FasterRCNN的基础上做了进一步的改进，主要是使用RoIAlign替代了之前的ROIPooling，同时增加了一个Mask掩膜分支，是集目标检测和语义分割任务于一体的多任务实例分割模型，其结构图如图1.5所示。MaskRCNN模型结构在FasterRCNN中由于ROIPooling的取整操作，会造成输入的特征图与操作后的特征图不对齐，这种情况对ROI分类影响不大，但是对小目标检测和Mask掩膜分支的逐像素分割和会造成很大影响，因此提出了RoIAlign操作。RoIAlign不像ROIPooling进行取整操作，而是保留浮点数，采用双线性插值算法将特征图变成相同尺寸的大小，再与全连接层相连进行分类和边界框回归，与全卷积神经网络FCN相连产生分割掩膜。从RCNN到Faster-RCNN，再到Mask-RCNN，检测速度和检测精度都在不断得到提升，他们之间的主要区别就是提取感兴趣区域ROI的方法和特征提取网络有所不同，如图1.6所示为每一代RCNN的进化历程。RCNN系列模型进化历程在RCNN和Fast-RCNN中，由于提取感兴趣区域ROI都使用了selectivesearch的方法，整个网络的训练过程是分阶段进行的，RCNN分三阶段，Faster-RCNN分两阶段，使得整个网络在训练过程中的时间复杂度和空间复杂度都很高。而在Faster-RCNN和Mask-RCNN中，提出了专门的区域建议网络RPN来产生感兴趣区域ROI，替代了之前两个版本的RCNN系列网络中的selectivesearch方法，使得算法的时间复杂度大大减小。每一代RCNN网络都有一个专门的卷积神经网络CNN用于特征提取，RCNN使用AlexNet，Fast-RCNN和Faster-RCNN使用了VGGNet，而在Mask-RCNN中则是使用了分类准确率更高的ResNet。如表1.3所示为不同特征提取网络在Top-5数据集上的性能对比，可以看到ResNet由于采取了跳跃连接的方式，使得网络层数大大增加，Top-5数据集上的图片分类错误率也越来越低，从16.4%下降到了3.57%。表1.3特征提取网络性能对比网络名称层数Top-5错误率卷积层数全连接层数AlexNet816.4%53VGGNet197.3%163ResNet1523.57%1511RCNN系列网络会在MSCOCO公共数据集上进行训练和测试，COCO数据集最早于2014年由微软团队获取，主要用于目标检测、关键点检测等任务，一共包括91类目标，32.8万张图片和超过250万个手工实例标签，相比于ImageNet、SUN等数据集，COCO数据集虽然目标类目偏少，但是平均每一类的图像数量和目标实例更多，其中有82类至少包含5000张训练图片，这有利于模型能够被更好地训练，增强其在特定场景中的识别能力。不同目标检测网络由于采用了不同深度的特征提取网络，使得每一代的检测准确率都得到了提升，RPN网络的提出大大减少了网络的训练和测试时间，如表1.4所示为不同目标检测模型在COCO数据集上的性能对比，其中Mask-RCNN无论是检测准确率还是检测速度都达到了最佳效果，检测准确率在IOU为0.5的情况下能够达到72%，比上一代的Faster-RCNN检测模型高出29个百分点，检测速度达到5FPS，约是Faster-RCNN检测模型的两倍，同时Mask-RCNN检测模型还能为每个实例目标提供一个单独的Mask分割掩膜，相当于对每个检测框中的目标进行了一次语义分割，因此选择Mask-RCNN作为本文的农村公路路面破损检测模型。表1.4目标检测网络性能对比网络名称特征提取网络ROI产生方法检测准确率(IOU=0.5)检测速度(FPS)RCNNAlexNetselectivesearch26%<0.1Fast-RCNNVGGNetselectivesearch36%0.5Faster-RCNNVGGNetRPN43%2.4Mask-RCNNResNetRPN72%51.3Mask-RCNN模型数据集建立本文使用的所有图像数据都是利用智能手机在农村公路上拍摄采集的，汽车在匀速行驶过程中每间隔10m拍摄一张图像并保存，图像分辨率大小为4000×3000，一共采集到10608张图像，包含裂缝、坑槽、修补三种路面破损。其中天气状况为晴天或者阴天，以避免天气因素对数据采集质量造成影响，进而影响检测结果。智能手机采集的10608张图像中，需人工挑选出具有破损的图像，构建破损数据集，数据集包含1392张路面破损图像，一共1696个破损实例，各类破损的实例统计结果如表1.5所示。破损总共被分为3种类型，其中裂缝类破损是路面最为常见的病害，裂缝图像占所有破损图像的77%，实例个数占所有实例个数的79.7%，图1.7展示了各类破损的图例。在数据集制作过程中，为了验证本文算法的有效性，需将原始图像数据通过第三章中的畸变矫正方法得到路面正射图，分别制作成两种不同的数据集，原始全景数据制作成全景图数据集，正射图数据制作成正射图数据集。表1.5路面破损类型结果统计表破损类型图像数量占据比例实例数量占据比例裂缝107277.0%135279.7%坑槽24817.8%27216.0%修补725.2%721.3%合计1392100%1696100%(a)裂缝 (b)坑槽 (c)修补路面破损图例1.3.1数据增强深度学习模型一般都需要大量的数据来进行训练才能获得比较理想的结果，但是在训练模型的时候，经常会出现数据量不够的情况，导致网络模型出现过拟合或无法收敛，针对这种情况，一般采用数据增强的方法来对原始数据集进行扩充，以增加训练样本的多样性，提高模型的泛化能力，避免过拟合情况发生。数据增强的方法包括：平移、镜像翻转、旋转角度、随机颜色、对比度增强、亮度增强、颜色增强、随机裁剪和尺度变换等。路面上不同类型破损的形成原因有所差异，导致各类破损在数量上也会出现较大的偏差，会出现分布不均匀的问题，一定程度上会影响破损的识别精度。从表1.5可以看到，路面破损中裂缝类损坏占绝大多数，有1072张，约为77%，而修补类损坏仅有72张，占5.2%，如果直接将这个数据集用于模型训练，训练后的模型将会对裂缝类损坏的识别较为敏感，识别效果较好，而对于修补类损坏而言，被错误地分为其他类的几率将会很高，因此，本文打算采取数据增强的方式对破损数据集进行扩充。本文数据增强主要采取镜像翻转、对比度增强两种方法，如图1.8(a)所示为水平镜像翻转示意图，如图1.8(b)所示为对比度增强示意图，对比度增强主要通过调节图像R、G、B三个通道的像素值来进行，伽马变换是对比度增强的一种方式，具体公式如式(1.1)：(1.1) (a)水平镜像翻转(b)对比度增强数据增强示例其中，r为原始图像的像素值，作为输入，取值范围为[0,1]，s为经过伽马变换后的输入值，c为灰度缩放系数，通常取1，γ为伽马因子大小，控制了整个伽马变换的缩放程度，取值区间一般在[0,3]，间隔为0.2。裂缝类破损主要通过水平镜像翻转扩充，扩充后图像数量为2644，坑槽类和修补类破损主要通过对比度增强进行扩充，扩充后的图像数量分别为2480、2160，如图1.9所示为数据增强前后的各类破损的数量分布，各类破损分布较为均匀且数据量皆有提升，数据总量为7284，约为之前的5.2倍。(a)数据增强前(b)数据增强后数据增强前后数量分布1.3.2数据标注图像数据需要进行标注，形成标注文件，才能进行模型训练。全景图数据和正射图数据中都分别包含了大量的破损目标和背景，对于破损目标，本文利用VGGImageAnnotator(VIA)图像标注工具对其进行标注，而对于背景部分，则没有任何标注，归为背景类。VGGImageAnnotator(VIA)是由牛津大学几何视觉组开发的一款开源的图像标注工具，可在线和离线使用，可标注矩形、圆、椭圆、多边形、点和线等各种形状的目标，标注工具网址为：http://www.robots.ox.ac.uk/~vgg/software/via/，标注工具界面如图1.10所示。数据标注工具界面本文以多边形标注目标区域，同时选择目标属性，形成的标注文件以.json文件格式导出，与图像一起制作成COCO格式数据集，数据标注流程如图1.11所示。数据标注流程图1.3.3数据集分类数据增强和数据标注后的数据集，按照7:3的比率将数据集分成训练集和测试集，其中各类破损数据同样要按照比例进行划分，则训练集包含5099张图像（裂缝1851张，坑槽1736张，修补1512张），测试集包含2185张图像（裂缝793张，坑槽744张，修补648张）。1.4基于改进Mask-RCNN模型的路面破损检测在利用Mask-RCNN进行路面破损检测时，如图1.12所示，首先是特征提取网络Resnet对原始图像进行特征提取，产生卷积特征图。特征图有两方面的用途，一方面连接到RPN网络，筛选出具有破损目标的区域建议框，具体操作为特征图经过一个3×3的卷积操作之后进行softmax分类，同时进行边界框回归，产生区域建议框，此时的区域建议框只是区分框内是否存在破损目标，而不对目标进行具体的分类。另一方面，RPN网络产生的区域建议框与特征图相结合进行ROIAlign操作，产生新的卷积层，进而与全连接层相连进行softmax分类，区分出不同类型的破损，同时微调边界框，新的卷积层同时也会与全卷积神经网络FCN，生成一个分割掩膜。MaskRCNN模型结构1.1.1改进模型①困难样本挖掘技术在利用Mask-RCNN模型进行测试时发现，路面上存在的横、纵接缝以及泥块、水渍、油渍等异物与路面破损存在类似的特征，在检测过程中容易引起误检，误检情况如图所示。困难样本挖掘技术最初是由Sung等人在训练人脸识别模型过程中引入的一种Bootstrapping方法[75]，其核心思想是：用分类器对样本进行分类，把其中错误分类的样本放入负样本集合再次训练分类器，以达到抑制误检的目的。本文采用困难样本挖掘技术，将测试结果中出现的接缝、泥块、水渍等误检目标作为一个新种类-Hardnegative放入到模型中进行重新训练，再利用训练好的模型重新测试，以增强整体检测效果，如图1.13所示为困难样本挖掘技术前后效果对比。困难样本挖掘技术前后对比②soft-NMS在Mask-RCNN模型中，通过softmax分类和边界框回归以后，每个目标都会得到多个分类得分和边界框坐标，如图1.14所示，假设一个修补类破损产生了三个边界框，红色边界框得分为0.95，黄色边界框得分为0.85，绿色边界框得分为0.7，首先会设定一个阈值，筛选掉分类得分小于阈值的边界框，然后根据NMS规则筛选出每个对象的边界框，具体操作为：保留得分最高的红色边界框，然后根据其他边界框与红色边界框的IOU值确定是否丢弃该边界框，若大于设定的IOU值，则丢弃，若小于IOU值，则保留，假设丢弃的是黄色边界框，保留的是绿色边界框，类似地对每一个目标生成的边界框都如此操作，最终可以去除掉所有冗余的边界框。NMS筛选区域建议框NMS规则在目标检测算法中可以很好地去除冗余框，降低误检，但是在实际应用中会出现如图1.15所示的情况，两条裂缝的检测框具有高IOU值，检测算法本来应该输出两个框，但是传统的NMS算法可能会把得分较低的红色边界框去除掉（如果红框和绿框的IOU值大于预先设定的阈值就会被滤除掉），导致最终只检测出一条裂缝，造成漏检。两条裂缝具有高IOU值为了避免这种情况发生，本文引入soft-NMS[76]代替Mask-RCNN中的NMS，在传统的NMS中，对于IOU大于预设阈值的边界框，直接将其分类得分设置为0，如式1.2所示，在soft-NMS中，对于IOU大于阈值的边界框，分类得分并不置0，而是对其进行衰减，本文使用一个线性加权函数来进行衰减工作，如式1.3所示。如图1.16所示为使用soft-NMS前后效果对比。(1.2)(1.3)Soft-NMS前后对比1.1.2参数设定在训练Mask-RCNN模型之前，需要对模型参数做一些设定与修改，如图1.17所示为模型的基础配置参数，NAME为DamageDetection，GPU_COUNT为使用的GPU数量，由于只使用了一块GPU，设定为1，IMAGES_PER_GPU为每个GPU上要训练的图像数量，本文GPU内存为16GB，可以同时训练两张，设定为2，STEPS_PER_EPOCH为每一轮训练迭代多少次，可以理解为每一个step就更新一次权重参数，原论文中为1000，本文为了使参数更新更快，设置为100，BACKBONE为特征提取网络，设置为101层的’Resnet101’，NUM_CLASSES为训练集中图片的类别数，最开始训练时为3（裂缝，坑槽，修补）+1（背景），总共4类，后面由于使用了困难样本挖掘技术新增了一个Hardnegative类，因此设置为5，DETECTION_MIN_CONFIDENCE为分类得分的最小置信度，只有目标分类得分大于这个阈值才能算检测准确，本文设定为0.7，DETECTION_NMS_THRESHOLD为上一节中提到的soft-NMS技术的IOU阈值，设定为0.3，学习率原论文为0.02，会造成梯度爆炸，所以修改为0.001，其他参数基本与原论文保持一致。MaskRCNN模型参数设定1.1.3模型训练与测试自然场景下采集的路面破损数据，数量相对有限，虽然已经做了数据增强处理，训练集数据量达到5099张，但是远远未达到深度学习算法对数据量的要求，若直接进行训练，则训练后的模型检测能力不能达到最佳。为了解决此问题，模型训练采用了模型微调的思想，在COCO数据集上训练的原论文[15]中的Mask-RCNN模型，由于使用大型数据集进行训练，具备较好地提取浅层基础特征和深层抽象特征的能力，因此，将原论文中已训练好的权重作为本文模型的预训练权重，加快模型的收敛和提高模型的检测能力。Mask-RCNN模型总共训练70轮，也就是70epoch，训练时保存训练日志logs，也就是每迭代一轮就会保留一个权重参数文件，最终总共保留70个权重参数文件，一般最后几代效果最好，训练损失最小。如图1.18所示为损失函数曲线，从上到下从左至右分别为总损失曲线，总损失函数曲线，RPN分类损失曲线，RPN回归损失曲线，Mask-RCNN分类损失曲线，Mask-RCNN回归损失曲线，Mask分支损失曲线。从图中损失函数曲线可以看出，模型在训练过程当中会出现一些震荡情况，但是模型整体情况是趋于稳定收敛的。(a)总损失函数曲线(b)RPN分类损失曲线(c)RPN回归损失曲线(d)M-RCNN分类损失曲线(e)-RCNN回归损失曲线(f)Mask分支损失曲线损失函数曲线模型训练完成后，将最好的训练权重保存并导入相应的测试文件夹中，同时将测试所需图片单独建立文件夹并导入，执行相应的测试命令python3…/coco.pytest--weights=…/mask_rcnn_coco_0070.h5--image=…/….jpg，如图1.19所示为选取的2张图片的测试结果。测试结果示例1.5实验结果与分析由于实验条件有限，本文算法的实验硬件平台为：Ubuntu16.04操作系统,处理器为Intel(R)Core(TM)i7-7700KCPU@1.2GHz,内存16GB,硬盘2TB，GPU为NVIDIAGeForceGTX1080Ti，GPU配置信息如图1.20所示;软件平台：深度学习模型环境为利用anaconda3搭建的Tensorflow深度学习框架，编程语言为python，编译器采用spyder，主要使用到的软件环境和库包有Anaconda3-Python3.6、Tensorflow1.8、CUDA9.0、Pandas、Matplolib、Pillow、Cython、keras、COCOAPI、Scikit-image、Imgaug、Ipython、Opencv-Python，另外部分编程使用Matlab。GPU配置信息图1.5.1实验目的及意义在路面破损检测实验中：为了验证第3章中原始全景图像到正射图像的变换以及第4章中使用最新的深度学习模型Mask-RCNN都能够提升破损检测精度，设置了不同数据集、不同模型下的对比实验；为了验证困难样本挖掘技术、Soft-NMS两个改进能够提升Mask-RCNN模型检测精度，设置了模型改进前后的对比实验。1.5.2实验效果展示将两种不同的数据集训练完成后，将模型训练好的权重mask_rcnn_coco_0070.h5应用于破损测试中，为了更好地验证本文算法的有效性，与HiroyaMaeda等人的SSD模型[8]进行了对比，检测效果如图1.21所示。从实验结果可以看出，全景图、正射图下，两种模型均能检测出三种破损，但Mask-RCNN对破损的检测框比SSD更加完整、准确，分类评分更高，正射图下三种破损的检测准确性相比于全景图检测框更加准确，评分更高，尤其是纵向裂缝，正射图下检测框的非裂缝区域减小，检测准确性提高。同时，Mask-RCNN模型不仅能以边界框形式对正射图中目标进行检测，同时对每个目标完成了分割，以便下一步的破损参数计算。(a)全景图检测结果(b)正射图检测结果不同数据集下模型检测效果1.5.3评估标准在深度学习目标检测任务中，常见的评价指标有交并比（IOU）、精确率(precision)、召回率(recall)和F1得分等，用来评估模型的检测性能，本文将采用上述指标进行评估，具体介绍如下：⑴交并比（IOU）交并比(IOU)这一指标是为了衡量目标是否检测准确，如图1.22所示，区域A为测试时生成的检测框，区域B为标签时的真值框，交并比IOU则定义为区域A与区域B交集和并集的比值，即：(1.4)不同数据集下模型检测效果交并比阈值一般设置为[0.3,0.95]，当大于设定阈值时，则认为检测准确，反之，则检测失败。⑵精确率、召回率在目标检测任务中，TP（TruePositive）表示正确检测出的实例个数，FP（FalsePositive）表示错误检测出的实例个数，FN(FalseNegative)表示被漏检的目标个数。则精确率(precision)表示正确检测出的实例个数占检测结果的比例，如式(1.5)所示，召回率(recall)表示正确检测出的实例个数占实际实例个数的比例，如式(1.6)所示，F1是综合考虑召回率和精确率的评价指标，如式(1.7)所示：(1.5)(1.6)(1.7)1.5.4评估结果与分析本文测试集中一共包含2185张图像，其中裂缝793张，坑槽744张，修补648张，在IOU=0.5（若大于此阈值，则认为检测准确，反之，则检测失败）的情况下对测试集中的所有样本进行了测试与评估，性能评价指标采用精确率(precision)、召回率(recall)和F1得分。⑴不同数据集、不同模型对比表1.6全景图数据集下识别结果破损类别检测方法精确率召回率F1裂缝Mask-RCNN67.1%65.6%66.3%SSD51.0%51.2%52.6%坑槽Mask-RCNN82.5%80.6%81.5%SSD76%73.6%71.8%修补Mask-RCNN81.5%79.5%80.5%SSD73.2%71.7%72.4%表1.7正射图数据集下识别结果破损类别检测方法精确率召回率F1裂缝Mask-RCNN72.8%73.6%73.2%SSD61.9%60.8%61.3%坑槽Mask-RCNN88.2%90.5%89.3%SSD79.9%82%80.9%修补Mask-RCNN88.5%91.3%89.9%SSD80.479.5%79.9%表1.6、表1.7给出了全景图数据集和正射图数据集下Mask-RCNN模型和SSD模型的破损评估结果。从表1.6、表1.7可以看出，正射图数据集下三种破损的识别精确率、召回率以及F1分值比全景图数据集普遍要高，并且在