CN120107906B 一种基于深度学习的交安设施统计调查方法 （江西省公路科研设计院有限公司）

(12)发明专利(22)申请日2025.05.07(43)申请公布日2025.06.06路59号所(普通合伙)36137G06T7/269GO6N3/0464(2023.01)(56)对比文件审查员张博权利要求书2页说明书8页附图1页GO6V一种基于深度学习的交安设施统计调查方采集视频帧图像数据，同步获取摄像设备的GPS采集视频帧图像数据，同步获取摄像设备的GPS与IMU数据，基于GPS与IMU数据计算视频帧图像之间的相对位姿变换矩阵并修正，获取修正位姿变换矩阵；对每帧视频帧图像进行单目深度估计，生成稠密深度图结合多个连续帧的稠密深度图与对应的修正位姿变换矩阵进行空间对齐与融合，构建三维场景点云，并提取交安设施的几何属性信息将修正位姿变换矩阵作为光流估计的运动约束，结合帧间图像特征进行图像配准与运动补偿，生成去拖影图像利用YOLO目标检测算法对去拖影图像中交安设施进行识别，获得设施的类别，并与交安设施的几何属性信息进行关联，生成交安设施结构化数据将交安设施结构化数据与交安设施数据库中的标准属性进行模糊推理，判断设施的状态信息基于结构化数据与状态信息，按照预设道路桩号范围对交安设施进行分段统计与分类汇总，并输出统计报告识别，提取设施类别与位置，并与三维属性关联，知、状态智能评估及分类统计，适用于智慧公路21.一种基于深度学习的交安设施统计调查方法，其特征在于，包括：采集视频帧图像数据，同步获取摄像设备的GPS与IMU数据，基于GPS与IMU数据计算视频帧图像之间的相对位姿变换矩阵并修正，获取修正位姿变换矩阵；对每帧视频帧图像进行单目深度估计，生成稠密深度图，结合多个连续帧的稠密深度图与对应的修正位姿变换矩阵进行空间对齐与融合，构建三维场景点云，并提取交安设施的几何属性信息；将修正位姿变换矩阵作为光流估计的运动约束，结合帧间图像特征，进行图像配准与利用YOL0目标检测算法对去拖影图像中交安设施进行识别，获得设施的类别，并与交安设施的几何属性信息进行关联，生成交安设施结构化数据；将交安设施结构化数据与交安设施数据库中的标准属性进行模糊推理，判断设施的状态信息；基于所述结构化数据与状态信息，按照预设道路桩号范围对交安设施进行分段统计与图像配准与运动补偿的步骤包括：基于修正位姿变换矩阵，预测连续图像帧之间的整体运动趋势，生成图像区域的初始结合图像帧间的特征点匹配关系，采用基于图像金字塔结构的LK光流算法进行多尺度在光流场计算过程中，将修正位姿变换矩阵所预测的方向作为引导信息，对光流向量场的方向进行约束与加权优化；基于优化后的光流向量场，对图像帧进行像素级配准与运动补偿，生成去除运动拖影的图像序列；生成交安设施结构化数据的步骤包括：对去拖影图像输入至YOLO目标检测网络，获取交安设施的边界框位置、类别标签及识别置信度；将识别的类别标签与三维场景点云中对应区域进行空间映射，根据图像坐标与点云投影关系提取该设施的几何属性信息；基于类别标签和几何属性信息构建结构化数据条目，并为每个设施关联其所在桩号范2.根据权利要求1所述的一种基于深度学习的交安设施统计调查方法，其特征在于，获取修正位姿变化的步骤包括：基于IMU传感器采集的三轴角速度和加速度数据，采用积分方法估算摄像设备在连续帧图像之间的旋转角度和位移向量，并构建相对位姿变换矩阵；3.根据权利要求1所述的一种基于深度学习的交安设施统计调查方法，其特征在于，构建三维场景的步骤包括：对每帧图像输入至卷积神经网络进行单目深度估计，生成稠密深度图；结合相邻帧图像之间的修正位姿变换矩阵，对对应稠密深度图进行空间坐标变换，实3现不同帧的稠密深度图三维对齐；采用点云融合算法对多帧稠密深度图进行累积融合，包括体素滤波降噪、点密度均衡4.根据权利要求1所述的一种基于深度学习的交安设施统计调查方法，其特征在于，模糊推理的步骤包括：设定设施类别、尺寸偏差、位置偏差和识别置信度为输入模糊变量，定义其语言值与隶属函数；构建包含输入变量与输出变量之间映射关系的模糊规则库，其中输出变量为设施状态采用Mamdani型模糊推理系统，并结合最大隶属度法进行去模糊化处理，输出结果为表征设施状态的等级标签。5.根据权利要求1所述的一种基于深度学习的交安设施统计调查方法，其特征在于，分段统计与分类汇总的步骤包括：依据结构化数据中的空间位置信息与桩号范围，将所有识别出的交通安全设施按设定间距进行桩段划分；在每个桩段内统计各类设施的数量、尺寸范围与状态等级，生成对应的统计表格。4一种基于深度学习的交安设施统计调查方法技术领域[0001]本发明涉及交安设施识别领域，具体为一种基于深度学习的交安设施统计调查方背景技术[0002]随着交通运输网络的不断发展与智能基础设施建设的推进，道路交通安全设施(如标志牌、护栏、标线、轮廓标等)作为保障行车安全与道路信息传达的重要组成部分，其布局合理性与完好状态直接影响道路通行效率与行车安全性。因此，交通安全设施的自动化识别、状态感知与结构化管理成为公路养护与智慧交通系统中的关键环节。[0003]当前，道路交安设施的调查与统计工作主要依赖人工踏勘或半自动化设备采集，存在工作效率低、覆盖面不足、数据维度有限、状态判断主观性强等问题。即便在引入图像识别或激光点云设备的场景中，也存在设施三维尺寸难以准确获取、图像拖影干扰严重、数据难以结构化融合等技术瓶颈，难以满足新一代智慧交通设施数字化管理的实际需求。此外，现有技术中往往缺乏对采集数据之间空间位姿变化的精确建模与修正机制，导致多帧图像或深度信息在空间上难以对齐，影响三维重建精度。图像识别结果也难以与空间结构信息有效关联，限制了对设施实际状态的综合判断能力。[0004]为此，提出一种基于深度学习的交安设施统计调查方法。发明内容[0005]本发明提供一种基于深度学习的交通安全设施统计调查方法，通过采集视频图像与同步获取GPS/IMU数据，构建修正位姿变换矩阵，结合单目深度估计实现三维点云重建，断设施状态，按桩号分段统计与汇总输出。[0006]为实现上述目的，本发明提供了如下的技术方案：算视频帧图像之间的相对位姿变换矩阵并修正，获取修正位姿变换矩阵；[0009]对每帧视频帧图像进行单目深度估计，生成稠密深度图；结合多个连续帧的稠密深度图与对应的修正位姿变换矩阵进行空间对齐与融合，构建三维场景点云，并提取交安设施的几何属性信息；[0010]将修正位姿变换矩阵作为光流估计的运动约束，结合帧间图像特征，进行图像配[0011]利用YOL0目标检测算法对去拖影图像中交安设施进行识别，获得设施的类别，并与交安设施的几何属性信息进行关联，生成交安设施结构化数据；[0012]将交安设施结构化数据与交安设施数据库中的标准属性进行模糊推理，判断设施的状态信息；5[0013]基于所述结构化数据与状态信息，按照预设道路桩号范围对交安设施进行分段统[0015]基于IMU传感器采集的三轴角速度和加速度数据，采用积分方法估算摄像设备在连续帧图像之间的旋转角度和位移向量，并构建相对位姿变换矩阵；[0018]对每帧图像输入至卷积神经网络进行单目深度估计，生成稠密深度图；[0019]结合相邻帧图像之间的修正位姿变换矩阵，对对应稠密深度图进行空间坐标变换，实现不同帧的稠密深度图三维对齐；[0020]采用点云融合算法对多帧稠密深度图进行累积融合，包括体素滤波降噪、点密度均衡与边缘保持增强，生成稠密三维点云。[0022]基于修正位姿变换矩阵，预测连续图像帧之间的整体运动趋势，生成图像区域的初始位移估计，作为光流计算的初始输入；[0023]结合图像帧间的特征点匹配关系，采用基于图像金字塔结构的LK光流算法进行多[0024]在光流场计算过程中，将修正位姿变换矩阵所预测的方向作为引导信息，对光流向量场的方向进行约束与加权优化；[0025]基于优化后的光流向量场，对图像帧进行像素级配准与运动补偿，生成去除运动拖影的图像序列。[0027]对去拖影图像输入至YOLO目标检测网络，获取交安设施的边界框位置、类别标签及识别置信度；[0028]将识别的类别标签与三维场景点云中对应区域进行空间映射，根据图像坐标与点云投影关系提取该设施的几何属性信息；[0029]基于类别标签和几何属性信息构建结构化数据条目，并为每个设施关联其所在桩[0031]设定设施类别、尺寸偏差、位置偏差和识别置信度为输入模糊变量，定义其语与隶属函数；[0032]构建包含输入变量与输出变量之间映射关系的模糊规则库，其中输出变量为设施状态等级；[0033]采用Mamdani型模糊推理系统，并结合最大隶属度法进行去模糊化处理，输出结果为表征设施状态的等级标签。[0034]进一步地，分段统计与分类汇总的步骤包括：[0035]依据结构化数据中的空间位置信息与桩号范围，将所有识别出的交通安全设施按设定间距进行桩段划分；[0036]在每个桩段内统计各类设施的数量、尺寸范围与状态等级，生成对应的统计表格。6与数字化运维提供关键支持。附图说明:7算的位姿进行修正。修正过程包括：对GPS与IMU数据进行时间同步与插值对齐；采用扩展卡尔曼滤波对平移量进行位置偏差补偿。修正后的结果构成最终用于图像对齐与点云融合的修正位姿变换矩阵。[0053]通过融合GPS与IMU传感器数据，构建并修正视频帧图像之间的相对位姿变换矩阵，能够有效提高图像帧间位姿估算的精度与稳定性。通过IMU的高频率惯性数据实现对相机连续运动轨迹的实时推算，再结合GPS所提供的绝对位置与姿态参考信息进行修正，能够有效抑制IMU积分引起的累积漂移误差，提升在复杂动态环境下位姿估计的鲁棒性，为后续的深度图对齐、三维场景重建及图像配准提供精确的空间参考，增强整个系统的环境感知能力与工程应用可靠性。[0054]S200:对每帧视频帧图像进行单目深度估计，生成稠密深度图；结合多个连续帧的稠密深度图与对应的修正位姿变换矩阵进行空间对齐与融合，构建三维场景点云，并提取交安设施的几何属性信息；[0056]对每帧图像输入至卷积神经网络进行单目深度估计，生成稠密深度图；[0057]结合相邻帧图像之间的修正位姿变换矩阵，对对应稠密深度图进行空间坐标变换，实现不同帧的稠密深度图三维对齐；[0058]采用点云融合算法对多帧稠密深度图进行累积融合，包括体素滤波降噪、点密度均衡与边缘保持增强，生成稠密三维点云。[0059]具体地，将采集到的每帧视频图像输入至预训练的卷积神经网络模型中进行单目深度估计，所述深度估计网络采用基于编码器-解码器结构的深度学习模型，如Monodepth、DPT或其改进版本，输出与原图尺寸一致的稠密深度图，在稠密深度图中，每个像素包含与该像素对应场景点的相对深度值。然后，结合与每帧图像对应的修正位姿变换矩阵，对各帧深度图进行三维空间坐标变换，具体地，通过相机内参矩阵将每个深度像素(u,v,d)反投影为相机坐标系下的三维点(X,Y,Z),并通过所述修正位姿变换矩阵将其统一变换至公共世界坐标系，完成多帧深度图的三维对齐。反投影V的行索引，列索引和深度值，K表示相机内参矩阵。之后，采用点云融合多帧点云数据进行融合处理，包括体素网格滤波以降低噪声与冗余数据、点密度均衡以提升空间一致性，以及边缘保持算法以增强设施轮廓细节，最终生成稠密、连续的三维点云模[0062]通过本步骤，可实现高精度、多帧融合的三维场景重建，不仅有效克服了单帧深度估计的不稳定性，还提升了对交通安全设施的几何属性提取精度与空间定位准确性，为后续设施识别与状态评估提供可靠的三维结构依据。[0063]S300:将修正位姿变换矩阵作为光流估计的运动约束，结合帧间图像特征，进行图像配准与运动补偿，生成去拖影图像；[0065]基于修正位姿变换矩阵，预测连续图像帧之间的整体运动趋势，生成图像区域的初始位移估计，作为光流计算的初始输入；8[0066]结合图像帧间的特征点匹配关系，采用基于图像金字塔结构的LK光流算法进行多[0067]在光流场计算过程中，将修正位姿变换矩阵所预测的方向作为引导信息，对光流向量场的方向进行约束与加权优化；[0068]基于优化后的光流向量场，对图像帧进行像素级配准与运动补偿，生成去除运动拖影的图像序列。[0069]具体地，基于上一步骤中获得的修正位姿变换矩阵，对连续两帧图像之间的运动趋势进行初步建模。通过该矩阵中包含的旋转信息和位移信息，可预测图像帧中不同区域的整体运动方向与速度，用于估算像素块或关键点的初始位移向量，作为光流估计的初值。接着，对帧间图像进行特征点提取与匹配，获取对应的特征点集合，用于构建光流估计中的匹配窗口。采用基于图像金字塔结构的LK光流算法对连续帧图像进行多尺度光流估计，从低分辨率到高分辨率逐层递进求解，最终获得整张图像的光流向量场F(x,y),该向量场表示每个像素点在前后帧图像中的位移方向与幅度。在光流向量场的计算过程中，将修正位姿变换矩阵中的预测位移方向作为引导信息，与图像中局部求得的光流方向进行方向一致性校验；在弱纹理区域或快速运动场景下，通过加权优化方式对光流场进行方向性正则化与噪声抑制，从而提高光流估计的全局稳定性与局部鲁棒性。最后，基于所述优化后的光流向量场，对图像帧进行像素级配准与图像重采样，对因相机运动导致的图像模糊、拖影区域进行位置补偿与亮度调整，生成清晰的、去除运动拖影的图像序列。[0070]通过将融合后的修正位姿变换矩阵引入光流估计过程，不仅提升了传统Lucas-Kanade光流算法在复杂场景下的稳定性与精度，而且显著增强了图像配准的方向一致性。结合多尺度金字塔结构与方向正则化优化机制，能够在快速运动、遮挡、弱纹理等情况下仍保持较好的像素级配准效果。最终输出的去拖影图像为后续YOLO识别与几何属性提取提供了高质量的输入保障，增强了整个系统的可靠性与工程实用性。[0071]S400:利用YOLO目标检测算法对去拖影图像中交安设施进行识别，获得设施的类别，并与交安设施的几何属性信息进行关联，生成交安设施结构化数据；[0073]对去拖影图像输入至YOLO目标检测网络，获取交安设施的边界框位置、类别标签及识别置信度；[0074]将识别的类别标签与三维场景点云中对应区域进行空间映射，根据图像坐标与点云投影关系提取该设施的几何属性信息；[0075]基于类别标签和几何属性信息构建结构化数据条目，并为每个设施关联其所在桩[0076]具体地，将已完成运动补偿和拖影去除的图像帧输入至预训练的YOLO目标检测模检测架构，模型输出包括边界框位置、类别标签及识别置信度。接着，将每个目标在图像中的边界框区域与三维点云数据进行空间对应，具体而言，基于图像与点云的内参一致性，将边界框中像素点所对应的深度图或点云进行筛选与反投影，建立从图像检测结果到三维点9 偏差(设施实际安装位置偏离设计位置的距离)和识别置对每个输入变量分别定义相应的语言变量值和隶属函数，例如：尺寸偏差的语言值包括以设定为：[0088]IF尺寸偏差is偏大AND位置偏差is偏大AND置信度is低THEN状态评估的智能化与容错能力，为后续统计、维护与[0090]S600:基于所述结构化数据与状态信息，按照预设道路桩号范围对交安设施进行分段统计与分类汇总，并输出统计报告。[0092]依据结构化数据中的空间位置信息与桩号范围，将所有识别出的交通安全设施按设定间距进行桩段划分；[0093]在每个桩段内统计各类设施的数量、尺寸范围与状态等级，生成对应的统计表格。[0094]具体地，依据结构化数据中每个交通安全设施的空间位置信息(GPS坐标或三维点云中心点坐标)与其识别出的道路名称或编号，对设施在实际道路中的位置进行桩号映射。可通过查阅标准道路桩号数据库，或将GPS坐标投影至已有的道路线性参考模型中，确定每个设施所属的桩号范围或桩号点值。接着，按照设定的统计区间(如每100米或500米为一个桩段),将道路按桩号进行等距分段划分。每个段落作为一个统计单元，对应一组设施数据。对于每个桩段，基于结构化数据内容，统计以下信息：各类格、轻度异常、严重异常的数量占比)。统计过程可通过遍历结构化数据并根据所属桩号进行聚类操作实现，支持在线处理或离线批量处理。可选地，系统还可对统计结果进行排序、筛选和异常标记。[0095]通过基于桩号的分段统计机制，可实现对不同道路区段内交通安全设施的精准分类汇总，便于各类设施数据的统一管理与横向对比分析。输出结果既满足技术评估需求，也具备良好的工程接口兼容性，适用于道路交通管理系统、基础设施养护系统及智慧交通平台的直接集成与调用。[0097]在本实施例中，选择一段长度为12公里的高速公路测试段，沿线配备有多种交定位模块和IMU惯性传感器的车辆平台，按照正常通行车速(约80km/h)进行数据采集。[0098]采集过程中，摄像头以20帧/秒的频率连续记录视频图像，IMU同步采集三轴角速度与加速度数据，GPS模块提供地理坐标与时间戳信息。[0099]后处理阶段，首先基于IMU数据积分获得每两帧图像之间的相对旋转与位移估计结果，并通过GPS坐标对累计漂移进行修正，形成连续图像帧间的修正位姿变换矩阵。[0100]然后，利用深度神经网络(如Monodepth2)对每帧图像进行单目深度估计，生成稠密深度图；通过与修正位姿变换矩阵配合，将多帧深度图在同一坐标系下进行空间对齐，并融合成三维场景点云。栏等设施