CN114998673B 一种基于本地自注意力机制的大坝缺陷时序图像描述方法 （河海大学）

US2022121871A1,202CA3050025A1,2020.01.19189页.一种基于本地自注意力机制的大坝缺陷时本发明公开一种基于本地自注意力机制的编码器由基于可变自注意力机制的Transformer的LSTM网络能够直接建立图像和文本两个模态2(3)采用基于本地注意力机制的LSTM网络生成描述文本，使得预测的每一个单词都能(1.2)使用卷积神经网络处理每一帧采样图像，提取其特征图作为自注意T所述(2)中，采用基于可变自注意力机制的Transformer网络对时(2.1)利用线性全连接层求得每一个采样帧对应的查询向量q、关键词向量k和价值向其中q向量指导当前特征图像选择性关注时间维度上前特征图和其他特征图的注意力权重；v向量用以将当前特征图的信息加入自注意力权重一组关键帧采样并计算注意力权重，即给序列中每一个元素的查询向量q分配数量一定的mqk和Amqk分别表示第m个自注意力头中的第k个采样点的采样偏移量和自注意力权32.根据权利要求1所述的基于本地自注意力机制的大坝缺陷时序图像描述方法，其特hj＝f(hj-1,s)最后通过softmax函数和全连接神经网全连接网络和softmax激活函数计算得到当前位并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如权利要求1-2中4.一种计算机可读存储介质，其特征在于：该计算机可读存储介质要求1-2中任一项所述的基于本地自注意力机制的大坝缺陷时序图像描述方法的计算机程4[0002]在建筑工程等领域，通常将质量不符合规定要求的检验项或者检验点定义为缺[0003]描述文本生成通过对图像和文本的特征关系建模，将时序图像翻译成自然语[0007](2)采用基于可变自注意力机制的Transformer网络对时序图像[0008](3)采用基于本地注意力机制的LSTM网络生成描述文本，使得预测的每一个单词5[0012]所述采用基于可变自注意力机制的Transformer网络对时序图像的特征序列编码[0013](2.1)为便于计算时序图像的上下文6[0030]其中hj为循环神经网络隐藏层，函数f根据之前位置的隐藏层输出和当前向量计上下文特征即引入上下文关系向量ct、注意力权重和前文生成的单词三者串联作为输入，并由全连接网络和softmax激活函数计算得到当前位置的输出单词，最后将所有位置的单地自注意力机制的大坝缺陷时序图像描述方压缩了编码序列的大小，同时基于卷积神经网络的特征提取能够使Transformer网络在添[0044]2.基于可变自注意力机制的Transformer网络能够动态建立每一帧的上下文关7[0051]图1给出了基于本地自注意力机制的大坝缺陷时序图像描述方法的总体工作流[0054](1.2)使用以ResNet50作为骨其特征图作为自注意力编码器的输入，并将大小压缩为原始图像的一半，记作FT＝[X1,Tt为每一帧抽样图像的特征表示；[0055](2)采用基于可变自注意力机制的Transformer网络对时序图像[0056](2.1)为便于计算时序图像的上下文用以将当前特征图的信息加入自注意力权重中，该Transformer网络由8个注意力头和5128中的第k个采样点的采样偏移量和自注意力权重，可标准化为通过全连接网络[0067](3)采用基于本地注意力机制的LSTM网络生成描述文本，使得预测的每一个单词[0073]其中hj为循环神经网络隐藏层，函数f根据之前位置的隐藏层输出和当前向量计9[0082]最后通过LSTM网络将上下文特征、注意力权重和前文生成的单并由全连接网