T-CCTAS 80-2023 公路路面病害自动化识别技术指南

ICS03.220.20CCSR18团体标准IT/CCTAS80—2023前言 Ⅱ 12规范性引用文件 13术语和定义 14缩略语 25一般规定 35.1一般要求 35.2公路路面病害自动化识别流程 36采集设备 46.1公路路面图像数据采集 46.2二维线阵相机组件、激光器+3D线阵相机组件的安装设计 56.3设备技术指标 67数据采集与预处理 87.1公路路面二维图像数据采集内容 87.2公路路面深度图像数据采集内容 87.3数据采集与存储 97.4数据精度指标 7.5图像拼接 7.6图像标注 8.1公路路面病害图像目标检测 8.2公路路面病害图像自动分割 8.3公路路面病害图像自动分类 8.4自动化识别要求 附录A（资料性）图像标注类型 A.1标注软件类型 A.2YOLO数据集格式 15A.3PASCALVOC数据集格式 T/CCTAS80—2023本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由中国交通运输协会交通工程设施分会提出。本文件由中国交通运输协会标准化技术委员会归口。本文件起草单位：东南大学、华设设计集团股份有限公司、陕西高速公路工程试验检测有限公司、江西省公路工程检测中心、江西省天驰高速科技发展有限公司、山东高速工程检测有限公司、河北省交通规划设计研究院有限公司、安徽省高速公路试验检测科研中心有限公司、南京熙赢测控技术有限公司、陕西易村智能交通科技有限公司、广东大道检测技术有限公司、中交一公局第三工程有限公司、中国铁建昆仑投资集团有限公司。本文件主要起草人：赵池航、季锦章、王心刚、聂磊晶、王斯倩、刘宪明、薛善光、查庆、韩笑飞、程鑫、欧忠、沙月进、高诣民、孙韦、林俊、周杨、高国华、杨旭光、李子兵、陶云啸、宁航、吴云城、周志言、党倩、邵永军、黄卫国、李庆营、张云鹏、束冬林、周洲、胡凯、郑有凤、化丽茹、刘学、张守昆、柴涛、权国绍、刘明龙。T/CCTAS80—20231公路路面病害自动化识别技术指南本文件规定了公路路面病害自动化识别的技术要求，包括一般规定、采集设备、数据采集与预处理、自动化识别和附录等内容。本文件适用于二级以上等级公路，其他等级公路可参照执行。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，标注日期的引用文件，仅该日期对应的版本适用于本文件；标注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T26764多功能路况快速检测设备JTG5142公路沥青路面养护技术规范JTG/T5142-01公路沥青路面预防养护技术规范JTG5210公路技术状况评定标准JTG3450公路路基路面现场测试规程JTGB01公路工程技术标准JTG/TE61公路路面技术状况自动化检测规程JTG/TF30公路水泥混凝土路面施工技术细则JTGF40公路沥青路面施工技术规范JTGH10公路养护技术规范3术语和定义下列术语和定义适用于本文件。路面病害pavementdistress公路在使用一段时间之后出现的路面损坏、变形及其它缺陷。路面病害自动化识别automaticrecognitionofpavementdistress通过安装在检测车上的路面信息扫描设备采集公路路面状况信息，采用自动化识别技术对公路路面病害进行检测、分割和分类。路面二维图像two-dimensionalimageofpavement通过安装在检测车上的二维线阵相机对公路路面进行连续拍摄，采集到的公路路面二维线阵图像。T/CCTAS80—20232路面深度图像depthimageofpavement采用3D线阵相机采集的公路路面各点的深度值作为像素值的图像，深度图像每个像素点的灰度映射为3D线阵相机到地面之间的距离数据。路面三维点云数据three-dimensionalpointclouddataofpavement通过安装在检测车上的3D线阵相机对公路路面进行连续拍摄，采集到的公路路面深度图像通过矩阵变换映射为空间三维图像数据。检测正确率detectionprecision自动化检测正确的公路路面病害比率。分类正确率classificationprecision自动化分类正确的公路路面病害比率。识别正确率recognitionprecision检测正确率乘以分类正确率。4缩略语GNSS全球导航卫星系统；BDS北斗卫星导航系统；JPG面向连续色调静止图像的一种压缩标准；TIF标签图像文件格式；XML可扩展标记语言；CNN卷积神经网络；RCNN区域卷积神经网络；Faster-RCNN快速目标检测神经网络；YOLO一种单级目标检测网络；SSD一种多尺度目标检测网络；FCN全卷积网络；U-Net一种语义分割神经网络；SegNet一种深度全卷积神经网络；Deeplabv3+一种空洞卷积图像语义分割网络；ResNet50一种图像分类深度残差神经网络；InceptionV3一种多尺度深度卷积神经网络；Xception一种图像分类深度可分离卷积神经网络。T/CCTAS80—202335一般规定5.1一般要求5.1.1公路路面图像数据宜采用公路路况检测车采集方式。5.1.2公路路面图像数据宜采用图像拼接、图像标注等处理与分析技术。5.1.3公路路面病害图像宜采用目标检测、自动分割、自动化分类等自动化识别方法。5.2公路路面病害自动化识别流程公路路面病害自动化识别包括公路路面数据采集设备设置、数据采集与预处理、公路路面病害识别，流程图如图1所示。路面据集路面据集公路数采公路路面二维线阵公路路面深度图像公路路面二维线阵采集公路路面深度图像采集公路路面二维线阵图像据集预理数采与处采用变换矩阵变换成三维点据集预理数采与处路面三维点云图像拼接路面二维线阵图像拼接转换为二维线阵图像路面害动识公路病自化路面害动识公路病自化公路路面病害自动分割公路路面病害自动分割公路路面病害自动化分类公路路面病害自动化分类图1公路路面病害自动化识别流程图4T/CCTAS80—20236采集设备公路路面图像数据采集采用公路路况检测车进行，要求在不影响正常交通情况下能够采集路面病害自动化识别所需要的公路路面图像数据。6.1公路路面图像数据采集6.1.1二维线阵图像数据采集设备公路路面二维图像采集设备包括：二维线阵相机组件、LED照明设备、路权相机（视频相机）、GNSS接收机、距离测量仪和工业控制计算机。公路路面二维图像采集设备在检测车上的布设位置如图2所示。图2公路路面二维线阵图像采集设备组成及位置示意图6.1.2深度图像数据采集设备公路路面深度图像数据采集设备包括：激光器-3D线阵相机组件、路权相机（视频相机）、GNSS接收机、距离测量仪和工业控制计算机。公路路面深度图像数据采集设备在检测车上的布设位置如图3所示。图3公路路面深度图像数据采集设备组成及位置示意图T/CCTAS80—20235 6.2二维线阵相机组件、激光器+3D线阵相机组件的安装设计6.2.1计算设备安装高度采用公式（1）计算设备安装高度H。H=.f………………其中，f是相机的焦距；ε是相机芯片的单个像元大小；k是公路路面图像分辨率，这里取1mm。6.2.2计算相机之间的间隔根据公路车道宽度D=3.75m计算相机之间的安装间隔。如图4，各参数之间存在公式（2）之间的关e……………(2)式中，W是图像宽度；D是公路车道宽度；e是相邻图像重叠范围与图像外侧剩余宽度；d是相邻相机之间的距离。图4车载采集设备的设计示意图6.2.3激光器+3D线阵相机组件中3D线阵相机的位置要求激光器套件由发射激光的激光器和接受反射激光的3D线阵相机构成，3D线阵相机与激光器的几何关系如图5所示。6T/CCTAS80—2023图5激光器-3D线阵相机组件安装示意图3D线阵相机与激光器的各参数之间的几何关系见公式（3）。B=H.tanθ……………（3）其中，H是设备安装的高度；θ是相机安装的倾斜角度；B是工业相机与激光器之间的安装距离。6.3设备技术指标6.3.1采集设备技术指标应满足公路路面图像数据的完整性、定位准确性、显示精确性等要求。6.3.2二维线阵相机组件技术指标二维线阵相机组件安置在检测车尾部，在LED照明设备的配合下，垂直向下拍摄获取公路路面二维线阵图像。二维线阵相机的参数指标如表1所示。表1二维线阵相机参数指标要求0°C~+45°C20°C~+70°C有T/CCTAS80—20237 6.3.3激光器+3D线阵相机组件技术指标激光器+3D线阵相机组件安置在车尾，激光器垂直向下发射激光，经路面反射后被3D线阵相机接收，并存储为公路路面深度图像。激光器+3D线阵相机组件的具体参数要求如表2所示。表2激光器+3D线阵相机组件参数指标要求有6.3.4GNSS接收机技术指标GNSS接收器布设在检测车顶部以利于更好的接受GNSS信号，GNSS定位器通过RS232串口与工业控制计算机相连。GNSS接收器的参数指标要求如表3所示。表3GNSS设备参数要求<10秒T/CCTAS80—202386.3.5距离测量仪技术指标采用脉冲数为2048的增量式光电编码器作为距离测量仪，通过RS232串口与工业控制计算机相连。光电编码器通过产生与位移增量相同的脉冲信号来对车轮的位移进行离散化的表示。车轮每位移单位距离，光电编码器即输出一个脉冲信号，将输出的脉冲信号传入到二维线阵相机或激光器-3D线阵相机组件中即可控制二维线阵相机或激光器-3D线阵相机组件采集公路路面图像的频率。增量式光电编码器的参数指标要求如表4所示。表4增量式光电编码器参数要求-25°~+55°7数据采集与预处理7.1公路路面二维图像数据采集内容公路路面二维图像数据采集主要包括里程信息数据、二维图像数据和设备状态数据。7.1.1里程信息数据包括道路基础设施信息数据以及道路采集信息数据，例如：道路信息、总里程、车道信息、定位信息、桩号、日期、车速等。7.1.2图像数据包括路权图像信息、公路路面二维图像信息。7.1.3设备状态信息包括设备状态信息和设备异常状态预警信息两部分。7.2公路路面深度图像数据采集内容公路路面深度图像数据采集主要包括里程信息数据、公路路面深度图像和设备状态数据。7.2.1里程信息数据包括道路基础设施信息数据以及道路采集信息数据，例如：道路信息、总里程、车道信息、定位信T/CCTAS80—20239 息、桩号、日期、车速等。7.2.2图像信息数据包括路权图像信息、公路路面深度图像信息。7.2.3设备采集状态信息包括设备状态信息和设备异常状态预警信息两部分。7.3数据采集与存储应采用公路路面信息采集软件系统实施采集与存储。7.3.1二维图像数据公路路面二维图像数据保存在根文件夹下的路面信息文件夹，将多路二维线阵相机输出的线阵图像数据分开保存，应以“时间戳-GNSS定位信息-相机编号-文件夹编号-序号”命名，宜以JPG等图像格式保存。7.3.2深度图像数据公路路面深度图像数据保存在根文件夹下的路面信息文件夹，将多路3D线阵相机输出的路面深度图像数据分开保存，应以“时间戳-GNSS定位信息-激光器编号-文件夹编号-序号”命名，宜以TIF格式保存。7.3.3地理数据GNSS系统定位数据保存在根文件夹下的地理位置信息根文件夹，以GNSS系统格式进行保存，应优选北斗卫星导航系统。7.3.4路权相机数据路权相机数据保存在根文件夹下的路面信息根文件夹，宜以AVI等视频格式进行保存。7.3.5预设数据预设数据保存在根文件夹下的路面信息根文件夹，宜以TXT格式对数据进行保存，预设数据应包括路段数据采集任务开始之前新建工程所要设置的工程信息，主要包括工程目录、工程名、路线名称、检测天气、车道、公路等级、检测方向、匝道、路面类型、起始位置桩号、检测员、工程路径等。7.3.6设备异常状态预警数据根据采集到的状态信息对传感器异常状态进行预警。传感器状态信息应包括心跳信号状态信息、设备温度信息、数据缓冲区状态信息，其中，心跳信号状态信息表征传感器与工业控制计算机之间的连接状态，设备温度信息表征传感器环境温度是否正常，数据缓冲区状态信息表征传感器数据缓冲区数据存储是否存在数据溢出现象，传感器状态信息宜以TXT格式进行保存。7.3.7车辆位置实时桩号校正数据针对距离测量仪测量过程中产生的误差会导致桩号不准确的现象，在检测车行驶到整公里处或误差值大于5m时，车辆定位应依据四舍五入原则自动修正桩号至米，消除因为距离测量仪的误差导致检测过程中桩号误差的累积，宜以TXT格式进行保存。T/CCTAS80—20237.4数据精度指标为满足公路路面病害自动化识别的要求，路面图像数据准备应满足以下指标：a）相邻二维线阵相机采集的公路路面二维图像重叠范围应大于0.1m；b）相邻3D线阵相机采集的公路路面深度图像的重叠范围应大于0.1m；c）路面图像丢失率小于0.01%，图像丢失率为：未能正确采集到的路面图像数量与公路路段应采集到的路面图像数量的比值；d）GNSS后差分定位误差不大于20cm。7.5图像拼接7.5.1路面二维线阵图像拼接为了实现多幅公路路面二维线阵图像的拼接，采用在重叠范围内提取和匹配特征点的方法来实现。公路路面二维线阵图像的拼接按照以下流程进行：1）关键点检测及特征提取；2）特征匹配，确定对应关系；3）实现相邻两幅二维线阵图像配准。7.5.2路面深度图像拼接为了实现多幅深度数据的拼接，采用在重叠范围内安置拼接板的方法计算拼接矩阵来实现。1）拼接板的设计拼接板应为长条状，拼接板应以大范围平面为主，板内设计具有明显的起伏特征，起伏地区的坡度方向应呈多变特征。拼接板样例如图6所示。图6深度图像拼接板实物图2）深度图像拼接流程根据拼接板在相邻两幅深度图像的位置计算路面深度图像拼接矩阵。a）关键点检测并特征提取；b）特征匹配，确定对应关系；c）估计变换矩阵，完成相邻两幅深度图像拼接。3）深度图像数据格式转换将拼接完成的公路路面深度图像TIF格式转换成三维点云图像PCD格式与二维图像JPG格式。T/CCTAS80—20237.6图像标注二维图像标注宜采用附录A所示的labelimg标注或labelme标注。8.1公路路面病害图像目标检测8.1.1目标检测模型选择采用Faster-RCNN、YOLO、SSD等目标检测卷积神经网络对公路路面病害进行检测。宜采用基于Faster-RCNN网络的公路路面病害检测模型，其网络模型如图7所示。输入公路路面图像公路路面图像规格化处理特征提取特征提取生成候选区域检测分类Faster-RCNN网络卷积层Faster-RCNN网络池化层激活函数选择ReLU输出路面图像特征图尺寸3×3卷积层尺寸1×1卷积层尺寸1×1卷积层Re尺寸1×1卷积层softmax分类层Resahpe层路面病害目标预测区域路面病害区域池化输出路面病害目标边框预测结果Softmax层输出路输出路面病害目标边框预测结果目标类别图7基于Faster-RCNN网络的公路路面病害检测模型结构T/CCTAS80—20238.1.2目标检测Faster-RCNN模型结构该网络模型分为特征提取、生成候选区域、检测分类三个部分。8.1.3公路路面病害图像检测要求公路路面病害图像检测正确率大于等于95%。检测正确率计算方法为：自动化检测正确的公路路面病害数量除以公路路面实际病害总数量，用百分比（%）表示。8.2公路路面病害图像自动分割8.2.1分割模型选择采用FCN、U-Net、SegNet、Deeplabv3+等语义分割卷积神经网络对检测到的公路路面病害图像进行分割。宜采用基于Deeplabv3+的公路路面病害图像分割模型，其网络模型主要包括编码部分与解码部分，如图8所示。尺寸1×1卷积层尺寸3×3卷积层Rate=6尺寸3×3卷积层尺寸3×3卷积层Rate=6尺寸3×3卷积层Rate=12编码部分编码部分堆叠不同尺度特征层尺寸1×堆叠不同尺度特征层尺寸1×1卷积层调整通道数Deeplabv3+骨干网络尺寸3×3卷积层Rate=18池化层上采样解码部分解码部分输出路面病害图像分割结果尺寸3×3卷积层特征提取特征融合上采样尺寸1×1输出路面病害图像分割结果尺寸3×3卷积层特征提取特征融合上采样图8基于Deeplabv3+的公路路面病害分割网络模型结构8.2.2公路路面病害图像分割流程a）采用深度可分离卷积进行特征提取得到公路路面病害图像特征图；b）进行全局池化，得到2048维的公路路面病害图像特征向量；c）经过全连接层和逻辑回归层输出公路路面病害图像分割结果。T/CCTAS80—2023 8.3公路路面病害图像自动化分类8.3.1分类模型选择采用支持向量机、卷积神经网络、深度学习融合网络等对分割后的公路路面病害图像进行自动化分类。宜采用基于深度学习融合网络的公路路面病害分类模型。8.3.2深度学习融合网络基于深度学习融合网络的公路路面病害分类模型如图9所示。a）分割后的公路路面病害图像分别采用由ResNet50、InceptionV3、Xception三个网络提取路面病害图像特征，得到三组1×N维的特征向量；b）采用并联融合规则，获得一组3×N维的公路路面病害图像特征向量；c）深度学习融合网络采用丢弃率为0.5的Dropout层；d）深度学习融合网络全连接层采用Softmax函数与输出节点相连，输出公路路面病害图像分类结果。分割后的公路路面病害图像Xception网络特征提取输出1×N维Xception网络特征提取输出1×N维特征向量ResNet50网络特征提取输出1×N维特征向量输出1×N维特征向量采用并联融合规则，得到3×N维特征向量采用丢弃率为0.5的Dropout层全连接层采用softmax函数与输出节点连接输出公路路面病害图像分类结果图9基于深度学习融合网络的公路路面病害分类模型结构8.4自动化识别要求8.4.1公路路面病害检测正确率要求公路路面病害图像检测正确率大于等于95%。检测正确率计算方法为：自动化检测正确的公路路面病害数量除以公路路面实际病害总数量，用百分比（%）表示。T/CCTAS80—20238.4