CN114913150B 一种混凝土大坝缺陷时序图像智能识别方法 （河海大学）

毛莺池.基于特征组合与CNN的大坝缺陷一种混凝土大坝缺陷时序图像智能识别方法本发明公开一种混凝土大坝缺陷时序图像于2D时序差分的卷积神经网络提取缺陷特征并2(1)针对包含大坝缺陷的时序图像特点设计缺陷定位模型，缺陷定位模型采用双流网(2)在缺陷定位模型训练过程中，使用基于距离交并比的目标函数匹配定位缺陷和真所述采用双流网络和Transformer网络进行时序特堆叠成的光流，由时间流卷积网络处理；d,"(u,v)和d,"(u,v)分别表示第tn+1帧在点(u,v)并将时序图像的输入特征和每个时序位置对应的缺陷开始和结束的预测3则表示计算两点间的距离，c为能同时覆盖定位缺陷和真实缺陷区间的最小时间区间的长其中Lbou为边界损失，用以衡量缺陷区间的起止帧与于2D时序差分的卷积网络进行帧采样，提取缺陷图像帧的视觉和位移信息以识别缺陷类(3.1)将提取到的缺陷序列分割为没有重叠的若干个等长片段，从每个片段中随机抽并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如权利要求1-3中6.一种计算机可读存储介质，其特征在于：该计算机可读要求1-3中任一项所述的混凝土大坝缺陷时序图像智能识4[0007](1)针对包含大坝缺陷的时序图像特点设计缺陷定位模型，该模型采用双流网络[0008](2)在缺陷定位模型训练过程中，使用基于距离交并比的目标函数匹配定位缺陷5图像堆叠成的光流，由时间流卷积网络处理，d,(u,v)表示第tn+1帧在点(u,v)上的水平或垂直位移矢量。d,"(u,v)和d,"(u,v)分别表示第tn+1帧在点(u,v)上的水平和垂直位移矢并将时序图像的输入特征和每个时序位置对应的缺陷开始和结束的预测[0021](1.5)采用多层感知机，将包6[0026](2.2)为了加快模型训练速度[0028]其中IoU为两缺陷交并比，b和bt分别代表定位缺陷和真实缺陷区间的中心点坐的卷积网络能够学习同一缺陷的不同实例变化。X中的采样帧均由2D卷积神经网络提取特[0038](3.2)采样帧所表示的运动信息[0039](3.3)使用多层感知机和softmax函数对采样的特征图像序列解码得到缺陷类7[0044](2)通过在模型训练过程中添加基于距离交并比的目标函数和基于紧密感知交并[0052]图2给出了面向大坝缺陷时序图像的缺陷识别方法的总体框架，面向大坝缺陷时列X的第tn帧RGB图像，由空间流卷积网络处理流，由时间流卷积网络处理。d,"(u,v)和d,"'(u,v)分别表示第tn+1帧在点(u,v)上的水平和8[0059](1.3)将双流网络提取的时序图像特征序列记作使用三层卷积组成边界评估网络，计算每一帧作为缺陷序列开始和结束帧的概率和界评估网络的结构可以简单概括表示为Conv(512,3,Relu)→Conv(512,3,Relu)→Conv(3,[0064](1.5)将特征序列作为[0069](2.2)为了加快模型训练速度9[0080](3.2)该帧所表示的运动信息为⃞=F,+H(X,),在特征中，采样帧Ft贡献视觉[0081](3.2)使用3层512维多层感知机和