CN114937016B 一种基于边缘计算和Transformer的桥梁混凝土裂缝实时检测方法及装置 （广西大学）

1-17.一种基于边缘计算和Transformer的桥梁混本发明公开了一种基于边缘计算和Transformer的桥梁混凝土裂缝实时检测方法及边缘计算的轻量级Transformer网络，所述轻量级Transformer网络包含一个用于模型训练阶段机上，使用无人机开展桥梁混凝土裂缝实时检测。本发明通过所提出的轻量级Transformer以2步骤S1：采集桥梁混凝土裂缝图像；包括收集公开的裂缝图像与无人机拍摄的裂缝图像合并构建数步骤S3：构建适用于边缘计算的轻量级Transformer网络；网络包括输入转换、器两部分之间需要插入位置编码；Transformer编码器主要包括多头注意力层和前馈网络D＝CycleAndReshape(0,1,n)所述混合块变换是一个用于模型训练阶段的方法，其在训练时对输步骤S4：训练网络得到识别模型；在大规模图像数据集ImageNet-1K上对所述轻量级Transformer网络进行预训练，之后使用预训练模型在步骤S2得到的桥梁混凝土裂缝数据3网络模块，构建适用于边缘计算的轻量级Transform头包括全局平均池化层和线性层；输入转换和Transformer编码器两部分之间需要插入位4[0001]本发明属于裂缝检测领域和边缘计算领域，具体涉及一种基于边缘计算和Transformer的桥梁混凝土裂缝实[0005]本发明的目的是为了解决现有的桥梁混凝土裂缝检测方无法在边缘设备上运行的问题，提供一种基于边缘计算和Transformer的桥梁混凝土裂缝公开的裂缝图像与无人机拍摄的裂缝图像合并构建数5[0010]步骤S3：构建适用于边缘计算的轻量级Transformer网络；网络包括输入转换、面，本发明还提供一种基于边缘计算和Transformer的桥梁混凝土裂缝实时检测装置，包6[0029]模型训练时使用的混合块变换方法中，第一种类型的变换减轻Transformer对于[0038]本发明提供一种基于边缘计算和Transformer的桥梁混凝土裂缝实时检测方法，7[0041]收集文献“AutomatedBridgeCrackDetectionUsingConvolutionalNeural互联网上公开的裂缝图像与无人机拍摄的裂缝图像合并，并全部转换为PNG格式的RGB图头包括全局平均池化层和线性层；输入转换和Transformer编码器两部分之间需要插入位[0052]所述分块为将输入图像切分为8*8的图像块；混合块变换是一个用于模型训练阶8区域，Fill函数填充并生成一个与patch2相同大小的图像块；要得到二元掩码M，需要对入维数为128。所述Transformer在嵌入图像块的序列中增加一个额外可学习的[class]标[0064]所述Transformer编码器包括多头注意力层(Multi-headAttentionLayers)(2[0065]所述Transformer编码器涉及的自注意力机制是Transformer的一个重要组成部供了学习全局和局部特征的能力，并提供了自适应学习内核权重和感受野的表达能力(类似于可变卷积)。自注意力层通过聚合完整输入序列的全局信息来更新序列的每个组成部9注意力机制的目标是通过对每个输入的全局环境信息进行编码来捕捉所有n个输入之间的交互，这通过定义三个可学习的权重矩阵来完成，包括查询向量(weeR)、键向量(wkeR)和值向量("eR.),其中dq＝dk。输入序列X与这些权重矩阵相乘，得到Q[0067]对于序列中的一个输入，自注意力层计算查询向量与键向量的点积，然后用[0068]为了囊括序列中不同元素之间的多种复杂关系，Transformer架构在单头注意力h个自注意力块的输出被串联成一个单一的矩阵并投影到权重矩阵weRd,d上。多头自注意力机制通过给予注意力层不同的子空间表示实现了关注多个特[0074]在大规模图像数据集ImageNet-1K上对所述轻量级Transfor[0075]使用TensorFlow深度学习框架进行轻量化Transformer模型的训练，将训练集的[0078]使用NVIDIAJetsonTX2开发板作为Transformer模型的部署平台。NVIDIA机等小型尖端装置上部署深度学习技术。NVIDIAJetsonTX2采用256核心NVIDIAPascal架构GPU，搭载双核Denver264位CPU+四核心ARMA57MPCore，内置8GB128位LPDDR4内存，32GBeMMC5.1存储，支持802.11acWiFi+蓝牙以及10/100/1000BASE-T自适应以太数据中心或计算机上使用NVIDIADIGITS接口训练[0079]首先需要利用Jetpack给NVIDIAJetsonTX2安装操作系统以及必要的深度学习S4中由TensorFlow训练得到的轻量级TransformerPb模型转换为TensorRT可用的uff模进行一一映射并转换到TensorRT中，然后可以在TensorRT中针对NVIDIA的GPU实施优化策摄的桥梁表面视频帧)到边缘计算节点的传输时间、在计算节点处的检测时间以及地面端设备接收来自边缘计算节点的计算结果(包括是否为裂缝的判别结果以及置信度)的传输时间三个部分。使用马尔可夫决策过程对执行任务的平均时延和设备平均功耗进行分析，[0085]将NVIDIAJetsonTX2开发板作为边缘计算设备挂载到无人机上，通过地面端程的巡检以及AI桥梁混凝土裂缝检测。搭载边缘计算设备的无人机实时检测的架构如图3所[0087]本发明提供一种基于边缘计算和Transformer的桥梁混凝土裂缝实时检测装置，像全部转换为PNG格式的RGB图像，分别放入有裂缝和无裂缝两个文件夹中完成数据集构设备。使用NVIDIAJetsonTX2开发板作为Transformer模型的部署平台，利用Jetpack给NVIDIAJetsonTX2安装操作系