CN120219384A 一种道路坑洼检测方法及系统

地址200333上海市普陀区武威路88弄21(普通合伙)34382GO6TGO6V20/56(2022.01)一种道路坑洼检测方法及系统及一种道路坑洼检测方法及系统，包括以下步骤：S1:通过车载多光谱摄像头获取道路表面原S3:采用双阈值连通域分析法提取候选坑洼区域；S4:当对比度差值超过纹理突变阈值时判定占比，当占比大于60%时判定为有效坑洼特征；S6:计算其最小包围椭圆偏心率及椭圆面积比，对表面破损区域进行三维点云重建并计算表面曲率梯度分布，提取连续像素簇统计面积占比，当占比大于60%时判定为有效S62S1:通过车载多光谱摄像头获取道路表面原始图像流，同步采集六轴惯性测量单元的振动数据，基于振动数据和预设的沥青路面材质特征库进行运动伪影消除生成振动补偿图S2:对振动补偿图像进行可见光与近红外光谱通道分离，根据光谱反射率差值动态构S3:对阴影抑制图像执行方向可调梯度运算生成梯度幅值热力图，并采用双阈值连通S5:对表面破损区域进行三维点云重建并计算表面曲率梯度分布，提取连续像素簇统S11:通过固定安装于车辆前方保险杠中轴线位置的多光谱摄像头获取道路表面原始S12:通过安装于车辆底盘中央的六轴惯性测量单元同步采集车辆在图像采集时刻的S13:将六轴惯性测量单元采集到的三轴加速度与三轴角速度数据输入基于前向运动补偿的图像变换函数，对原始图像像素位置进行补偿变换，所述图像变换函数表达式为：S14:基于图像变换函数对原始图像流进行逐帧的像素级重采样与平移变换，生成剔除S21:将S1中获得的振动补偿图像按波段通道进行拆分，提取可见光通道图像与近红外D(x,y)为像素点在可见光与近红外通道下的归一化反射率差值；Iv(x,y)为像素点在可见为0.01;3Ps(x,y)=1-|D(x,y)|,当P₅(x,y)大于设定的阴影判定阈值Ts时，则对应像素点被视为存S24:对存在阴影遮挡的图像执行非对称伽马校正以生成阴影抑制图像。4.根据权利要求1所述的一种道路坑洼检测方法，其特征在于，所述S3具体包括：S31:对S2获得的阴影抑制图像进行方向可调梯度运算，采用具有不同方向的Sobel卷积核对图像逐像素进行卷积，计算各方向上的梯度分量，最后合成为每个像素位置的梯度幅值，进而得到完整的梯度幅值热力图；S32:基于梯度幅值热力图，选取高阈值和低阈值两个阈值，具体的高阈值设定为梯度幅值热力图中全部像素梯度幅值的最大值的70%,低阈值设定为梯度幅值热力图中全部像素梯度幅值的最大值的30%,并通过高阈值筛选出初步的强梯度像素点；S33:将初步的强梯度像素点作为初始种子点，基于连通域生长算法对种子点周围梯度幅值超过低阈值的像素进行迭代式扩展，将相邻像素依次归入当前连通区域，直至区域内不存在能继续扩展的像素位置为止，从而得到多个独立的候选坑洼连通区域；S34:计算每个候选坑洼连通区域的像素面积，将连通区域的面积小于50像素的区域作为噪声区域予以剔除，保留面积大于或等于50像素的区域作为最终的候选坑洼区域。5.根据权利要求4所述的一种道路坑洼检测方法，其特征在于，所述S31具体包括：S311:将S2获得的阴影抑制图像记为Is(x,y);的梯度方向分别为水平方向，右上方向，垂直方向与左上方向，利用每个方向的卷积核对图像执行二维卷积操作，得到每个方向上的梯度响应图像；S313:将多个方向的梯度响应图像进行加权合成，得到每个像素点的方向敏感综合梯度幅值图像，定义为梯度幅值热力图Gm(x,y)。6.根据权利要求4所述的一种道路坑洼检测方法，其特征在于，所述S33具体包括：S331:将S32筛选出的强梯度像素点作为初始种子点，建立种子点集合；S332:从种子点集合中逐一取出种子点，计算当前种子点与其周围8邻域像素之间的梯度幅值相似性，当梯度幅值不小于预设低阈值时，则将对应的相邻像素标记为与当前种子点属于同一连通域，并将该相邻像素新增至种子点集合；S333:重复执行S332,持续从种子点集合中取出新的种子点进行扩展，直至种子点集合为空，此时得到一个独立完整的连通域；S334:遍历S32获得的所有强梯度像素点集合，对未被标记过的强梯度像素点重复S331至S333的迭代过程，直至所有强梯度像素点均被处理完毕，最终得到多个独立的候选坑洼连通区域。7.根据权利要求1所述的一种道路坑洼检测方法，其特征在于，所述S4具体包括：S41:对S3获得的每个候选坑洼区域，沿候选区域的外边缘轮廓以固定宽度向外扩展得到外边界，所述固定宽度设定为候选区域等效半径的1倍，以外边界与候选区域轮廓之间的区域作为环形参考区域；S42:分别计算候选坑洼区域内部与环形参考区域内各自的灰度共生矩阵；S43:对两个灰度共生矩阵分别计算各自的纹理对比度值，其中候选坑洼区域内部纹理4对比度记为Cin,环形参考区域纹理对比度记为Cout;S44:计算候选坑洼区域与环形参考区域之间的纹理对比度差值△C;当差值△C超过预S53:在曲率梯度分布图中，以预设的曲率梯度阈值进行二值化处理获得二值图像，所述曲率梯度阈值设定为0.05mm-¹;并对二值图像采用八邻域连通分析方法提取出多个连S54:对提取出的连续像素簇区域分别计S61:针对S5中判定为有效坑洼特征的区域，提取其所有边界像素坐标集合，并采用基 S63:计算拟合椭圆与实际坑洼像素区域的面积比，其定义为有效坑洼像素区域面积与S64:判断拟合椭圆的几何特征，若满足偏心率ε<0.7且面积比η>0.85,则将当前区图像采集模块：用于通过安装于车辆前方的多光谱摄像头实时获取道路表面的多通道原始图像流，并同步启动六轴惯性测量单元以采集车辆运行过程中的加速度与角速度数光谱分离与阴影抑制模块：与伪影消除模块连接，用于将振动补偿图像拆分为可见光5梯度热力与候选提取模块：与光谱分离与阴影抑制模块连接，用于对阴影抑制图像执行多方向梯度运算生成梯度幅值热力图，并采用双阈值连通域生长算法提取候选坑洼区纹理分析模块：与梯度热力与候选提取模块连接，用于在候选坑洼区域外围生成环形参考区域，并分别计算区域内外的灰度共生矩阵对比度差值，当差值超过设定阈值时判定为表面破损区域；三维重建与结构判定模块：与纹理分析模块连接，用于对表面破损区域进行图像序列点云重建，计算表面曲率梯度分布，并提取连续高曲率像素簇，计算其面积占比，判定是否为有效坑洼特征；形态评估与结果输出模块：与三维重建与结构判定模块连接，用于对有效坑洼区域进行最小包围椭圆拟合，计算椭圆偏心率与面积比，并根据设定条件输出最终坑洼检测报告。6技术领域[0001]本发明涉及道路缺陷检测技术领域，尤其涉及一种道路坑洼检测方法及系统。背景技术[0002]随着城市道路与高速交通基础设施的快速发展，道路表面质量直接关系到行车安全性与道路维护成本；尤其是在高频次载重通行或恶劣气候条件下，道路表面易形成坑洼、龟裂等局部破损，若未及时发现并修复，易导致车辆悬挂系统损坏、交通事故增加甚至路面结构进一步恶化；为提高道路巡检效率，目前逐步发展出基于视觉传感与多源数据融合的自动化检测技术，尝试通过车载图像采集设备实现对道路表面缺陷的识别与定位；然而，由于道路检测环境中存在车辆振动、光照变化、阴影遮挡、沥青材质差异等多重干扰因素，传统图像处理方法在实际应用中准确率和鲁棒性仍受较大限制。[0003]现有技术在处理道路坑洼检测问题时，普遍存在如下技术难题：一是缺乏有效的振动伪影消除机制，导致图像模糊和边缘虚化，影响后续特征提取；二是对阴影和光照干扰适应性弱，易造成误判；三是仅依赖二维图像信息，缺乏对路面结构形态的立体感知，难以准确判断坑洼的空间连续性与真实形貌；四是缺少统一的形态几何评价机制，无法对检测结果进行标准化表达。因此，亟需一种道路坑洼发明内容[0004]基于上述目的，本发明提供了一种道路坑洼检测方法及系统。S1:通过车载多光谱摄像头获取道路表面原始图像流，同步采集六轴惯性测量单元的振动数据，基于振动数据和预设的沥青路面材质特征库进行运动伪影消除生成振动补偿图像；S2:对振动补偿图像进行可见光与近红外光谱通道分离，根据光谱反射率差值动态构建阴影概率图，通过非对称伽马校正生成阴影抑制图像；S3:对阴影抑制图像执行方向可调梯度运算生成梯度幅值热力图，并采用双阈值连通域分析法提取候选坑洼区域；S4:在候选坑洼区域外围选取环形参考区域，计算灰度共生矩阵对比度差值，当对比度差值超过纹理突变阈值时判定为表面破损区域；S5:对表面破损区域进行三维点云重建并计算表面曲率梯度分布，提取连续像素簇统计面积占比，当占比大于60%时判定为有效坑洼特征；S6:对于有效坑洼特征对应的区域，计算其最小包围椭圆偏心率及椭圆面积比，当椭圆偏心率小于0.7且椭圆面积比大于0.85时，则将该区域标记为形态规则的完整坑洼区域，并将其参数信息纳入最终坑洼检测报告。S11:通过固定安装于车辆前方保险杠中轴线位置的多光谱摄像头获取道路表面7原始图像流；S12:通过安装于车辆底盘中央的六轴惯性测量单元同步采集车辆在图像采集时刻的三轴加速度与三轴角速度数据，数据采样频率为200Hz;同时将每帧图像的时间戳与对应时刻的三轴加速度与三轴角速度数据进行线性插值配准，确保振动数据与图像帧一一对S13:将六轴惯性测量单元采集到的三轴加速度与三轴角速度数据输入基于前向运动补偿的图像变换函数，对原始图像像素位置进行补偿变换，所述图像变换函数表达式为：I'(x,y)=I(x+△x,y+△y),动补偿后的图像的像素灰度值；X,y为原始图像中的像素位置坐标；△x,Δy为像素位置的补偿偏移量；S14:基于图像变换函数对原始图像流进行逐帧的像素级重采样与平移变换，生成剔除了车辆振动与位移伪影的振动补偿图像。S21:将S1中获得的振动补偿图像按波段通道进行拆分，提取可见光通道图像与近红外通道图像；S22:计算每个像素点的光谱反射率差值，公式为：,式中，D(x,y)为像素点在可见光与近红外通道下的归一化反射率差值；I↓(x,y)为像素点在可见光通道的灰度值；In(x,y)为像值为0.01;S23:根据归一化反射率差值D(x,y)计算阴影概率P₅(x,y),其表达式为：Ps(x,y)=1-|D(x,y)|,当Ps(x,y)大于设定的阴影判定阈值Ts时，则对应像素点被视为存在阴影遮挡；S24:对存在阴影遮挡的图像执行非对称伽马校正以生成阴影抑制图像。S31:对S2获得的阴影抑制图像进行方向可调梯度运算，采用具有不同方向的Sobel卷积核对图像逐像素进行卷积，计算各方向上的梯度分量，最后合成为每个像素位置的梯度幅值，进而得到完整的梯度幅值热力图；S32:基于梯度幅值热力图，选取高阈值和低阈值两个阈值，具体的高阈值设定为梯度幅值热力图中全部像素梯度幅值的最大值的70%,低阈值设定为梯度幅值热力图中全部像素梯度幅值的最大值的30%,并通过高阈值筛选出初步的强梯度像素点；S33:将初步的强梯度像素点作为初始种子点，基于连通域生长算法对种子点周围梯度幅值超过低阈值的像素进行迭代式扩展，将相邻像素依次归入当前连通区域，直至区域内不存在能继续扩展的像素位置为止，从而得到多个独立的候选坑洼连通区域；S34:计算每个候选坑洼连通区域的像素面积，将连通区域的面积小于50像素的区域作为噪声区域予以剔除，保留面积大于或等于50像素的区域作为最终的候选坑洼区域。S311:将S2获得的阴影抑制图像记为Is(x,y);8对应的梯度方向分别为水平方向，右上方向，垂直方向与左上方向，利用每个方向的卷积核对图像执行二维卷积操作，得到每个方向上的梯度响应图像；S313:将多个方向的梯度响应图像进行加权合成，得到每个像素点的方向敏感综合梯度幅值图像，定义为梯度幅值热力图Gm(x,y)。S331:将S32筛选出的强梯度像素点作为初始种子点，建立种子点集合；S332:从种子点集合中逐一取出种子点，计算当前种子点与其周围8邻域像素之间的梯度幅值相似性，当梯度幅值不小于预设低阈值时，则将对应的相邻像素标记为与当前种子点属于同一连通域，并将该相邻像素新增至种子点集合；S333:重复执行S332,持续从种子点集合中取出新的种子点进行扩展，直至种子点集合为空，此时得到一个独立完整的连通域；S334:遍历S32获得的所有强梯度像素点集合，对未被标记过的强梯度像素点重复S331至S333的迭代过程，直至所有强梯度像素点均被处理完毕，最终得到多个独立的候选坑洼连通区域。S41:对S3获得的每个候选坑洼区域，沿候选区域的外边缘轮廓以固定宽度向外扩展得到外边界，所述固定宽度设定为候选区域等效半径的1倍，以外边界与候选区域轮廓之间的区域作为环形参考区域；S42:分别计算候选坑洼区域内部与环形参考区域内各自的灰度共生矩阵；S43:对两个灰度共生矩阵分别计算各自的纹理对比度值，其中候选坑洼区域内部纹理对比度记为Cin,环形参考区域纹理对比度记为Cout;S44:计算候选坑洼区域与环形参考区域之间的纹理对比度差值△C;当差值△C超过预设的纹理突变阈值CT时，判定该候选坑洼区域为表面破损区域。S51:基于S4判定的表面破损区域，利用摄像头在车辆前进过程中连续获取的多帧二维图像，结合车辆行驶过程中记录的位姿信息，通过基于结构光投影原理的三维重建算法实现表面破损区域的高密度三维点云重建，得到三维点云数据；S52:对三维点云数据执行表面曲率计算，利用每个点云数据点与其相邻半径为5mm范围内的邻域点，通过最小二乘法拟合局部二次曲面，计算每个数据点处的高斯曲率值，并对所得曲率值求取空间梯度，生成对应的表面曲率梯度分布图；S53:在曲率梯度分布图中，以预设的曲率梯度阈值进行二值化处理获得二值图像，所述曲率梯度阈值设定为0.05mm⁻¹;并对二值图像采用八邻域连通分析方法提取出多个连续的像素簇区域；S54:对提取出的连续像素簇区域分别计算像素面积占比；当任一连续像素簇区域的面积占比大于60%时，判定该表面破损区域具备有效坑洼特征。S61:针对S5中判定为有效坑洼特征的区域，提取其所有边界像素坐标集合，并采9S64:判断拟合椭圆的几何特征，若满足偏心率ε<0.7且面积比η>0.85,则将当纹理分析模块：与梯度热力与候选提取模块连形态评估与结果输出模块：与三维重建与结构判[0016]本发明，通过在特征提取与判定层面，融合多方向梯度运算、双阈值连通域分析、纹理对比度判断、点云曲率分析及椭圆形态拟合等技术手段，构建了自下而上的多级筛选机制，实现了对坑洼区域从二维到三维、从灰度到形态的多维度综合识别判断，确保最终输出的坑洼检测结果具备高完整度、准确性与标准化表达能力，满足道路智能巡检系统高精度实时检测的需求。附图说明[0017]为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0018]图1为本发明实施例的道路坑洼检测方法示意图；图2为本发明实施例的道路坑洼检测系统示意图。具体实施方式[0019]下面结合附图和具体实施例对本发明进行详细描述。同时在这里做以说明的是，为了使实施例更加详尽，下面的实施例为最佳、优选实施例，对于一些公知技术本领域技术人员也可采用其他替代方式而进行实施；而且附图部分仅是为了更具体的描述实施例，而并不旨在对本发明进行具体的限定。实施例”等指示所述的实施例可以包括特定特征、结构或特性，但未必每个实施例都包括该(无论是否明确描述)实现这种特征、结构或特性应在相关领域技术人员的知识范围内。[0021]通常，可以至少部分从上下文中的使用来理解术语。例如，至少部分取决于上下旨在传达一组排他性的因素，而是可以替代地，至少部分地取决于上下文，允许存在不一定明确描述的其他因素。S1:通过车载多光谱摄像头获取道路表面原始图像流，同步采集六轴惯性测量单元的振动数据，基于振动数据和预设的沥青路面材质特征库进行运动伪影消除生成振动补偿图像；S2:对振动补偿图像进行可见光与近红外光谱通道分离，根据光谱反射率差值动态构建阴影概率图，通过非对称伽马校正生成阴影抑制图像；S3:对阴影抑制图像执行方向可调梯度运算生成梯度幅值热力图，并采用双阈值连通域分析法提取候选坑洼区域；S4:在候选坑洼区域外围选取环形参考区域，计算灰度共生矩阵对比度差值，当对比度差值超过纹理突变阈值时判定为表面破损区域；S5:对表面破损区域进行三维点云重建并计算表面曲率梯度分布，提取连续像素簇统计面积占比，当占比大于60%时判定为有效坑洼特征；S6:对于有效坑洼特征对应的区域，计算其最小包围椭圆偏心率及椭圆面积比，当椭圆偏心率小于0.7且椭圆面积比大于0.85时，生成最终坑洼检测报告。S11:通过固定安装于车辆前方保险杠中轴线位置的多光谱摄像头获取道路表面原始图像流，多光谱摄像头具备可见光、近红外及短波红外三个通道，帧率为60fps,图像分辨率不低于1920×1080像素，并采用硬件触发方式同步启动图像采集；S12:通过安装于车辆底盘中央的六轴惯性测量单元(IMU)同步采集车辆在图像采集时刻的三轴加速度与三轴角速度数据，三轴加速度包括沿车辆前进方向的纵向加速度、横向加速度和垂直加速度；三轴角速度包括绕车辆前进方向轴线旋转的横滚角速度、绕横轴旋转的俯仰角速度和绕竖直轴旋转的偏航角速度，数据采样频率为200Hz;同时将每帧图像的时间戳与对应时刻的三轴加速度与三轴角速度数据进行线性插值配准，确保振动数据与图像帧一一对应；S13:将六轴惯性测量单元采集到的三轴加速度与三轴角速度数据输入基于前向运动补偿的图像变换函数，对原始图像像素位置进行补偿变换，图像变换函数表达式为：图像的像素灰度值；I'(x,y)为经振动补偿后的图像的像素灰度值；x,y为原始图像中的像素位置坐标；△x,Δy为像素位置的补偿偏移量；ax(t),ay(t)分别为车辆在图像采集时刻的纵向和横向加速度，单位为m/s²;wx(t),w₂(t)分别为车辆在图像采集时刻的横滚角速度和偏航角速度，单位为rad/s;ka,kb为沥青路面材质特征库中针对不同沥青材质所标定的加速度补偿系数，单位为像素·s²/m;kw,kg为沥青路面材质特征库中针对不同沥青材质所标S14:基于图像变换函数对原始图像流进行逐帧的像素级重采样与平移变换，生成剔除了车辆振动与位移伪影的振动补偿图像；通过上述步骤，能够确保图像采集与振动数据在时间与空间维度上高度一致，并在材质差异影响下实现针对性的图像校正，从而提高坑洼区域图像的稳定性与清晰度，有助于后续的光谱分析与几何识别精度。S21:将S1中获得的振动补偿图像按波段通道进行拆分，提取可见光通道图像与近红外通道图像.多光谱摄像头通过滤光器碎列实现各波段的分光成像.通道波长分别为：可见光通道波长范围400nm至700nm,近红外通道波长范围为750nm至950nm,拆分后的图像保持与原图像同分辨率和像素坐标一致；S22:计算每个像素点的光谱反射率差值，公式为：,式见光通道的灰度值；In(x,y)为像素点在近红外通道的灰度值；ψ为防止分母为值为0.01;S23:根据归一化反射率差值D(x,y)计算阴影概率P₅(x,y),其表达式为：Ps(x,y)=1-|D(x,y)|,当P₅(x,y)大于设定的阴影判定阈值Ts,(Ts=0.75)时，则对应像马系数，取值范围为1.2至1.5;Y₂为非阴影区域设定的还原伽马系数，取值范围为0.7至S31:对S2获得的阴影抑制图像进行方向可调梯度运算，采用具有不同方向的梯度幅值热力图中全部像素梯度幅值的最大值的70%,低阈值设定为梯度幅值热力图中全S33:将初步的强梯度像素点作为初始种子点，基于连通域生S34:计算每个候选坑洼连通区域的像素面积，将连通区域域作为噪声区域予以剔除，保留面积大于或等于50像素的区域作为最终的候选坑洼区域；对图像执行二维卷积操作，得到每个方向上的梯度响应图像，分别记为水平方向梯度图S313:将多个方向的梯度响应图像进行加权合成，得到每个像素点的方向敏感综=w₁[Go(xy)²+w₂[Gs(x,y)²+w₃[Go(xy数，各权重系数满足W₁+w₂+w₃+w₄=1,本实施例中四个权重系数的数值统一取值S42:分别计算候选坑洼区域内部与环形参考区域内各自的灰度共生矩阵纹理对比度记为Cin,环形参考区域纹理对比度记为Cout;纹理对比度的计算公式为,式中，C为对应S44:计算候选坑洼区域与环形参考区域之间的纹理对比度差值△C,并依据该差S52:对三维点云数据执行表面曲率计算，利用每个点云数据点与其相邻半径为5mm范围内的邻域点，通过最小二乘法拟合局部二次曲面，计算每个数据点处的高斯曲率S53:在曲率梯度分布图中，以预设的曲率梯度阈值进行二值化处理获得二值图像，曲率梯度阈值设定为0.05mm⁻¹;并对二值图像采用八邻域连通分析S61:针对S5中判定为有效坑洼特征的区域，提取其所有S64:判断拟合椭圆的几何特征，若满足偏心率ε<0.7且面积比η>0.85,则将当前区域标记为形态规则的完整坑洼区域，并将其空间位置、轮廓坐标、长短轴尺寸、偏心率及面积比写入标准化数据结构中，最终生成包含所有有效坑洼区域参数的检测报告；通过上述步骤，能够在有效几何拟合的基础上结合形态特征指标实现对坑洼区域的精确几何评价，从而确保输出的检测结果具备高可靠性和完整性。[0031]如图2所示，一种道路坑洼检测系统，用于实现上述的一种道路坑洼检测方法，包括以下模块：图像采集模块：用于通过安装于车辆前方的多光谱摄像头实时获取道路表面的多通道原始图像流，并同步启动六轴惯性测量单元以采集车辆运行过程中的加速度与角速度伪影消除模块：与图像采集模块连接，基于加速度与角速度数据，并结合预设的沥青路面材质特征库，对原始图像流进行运动伪影消除处理，输出振动补偿图像；光谱分离与阴影抑制模块：与伪影消除模块连接，用于将振动补偿图像拆分为可见光