CN114581920B 一种双分支多层次特征解码的分子图像识别方法 （盐城工学院）

一种双分支多层次特征解码的分子图像识本发明公开了一种双分支多层次特征解码叉注意力机制的Transformer解码器解析出分子结构图对应的InchI文本。双分支多层次特征Transformer解码的分子图像识别方法，通过对2S50，使用双分支多层次特征的Transformer解码的分所述步骤S20构建双分支卷积神经网络模型提取图像的两个不同分辨率混合的特征信息的使用双分支卷积神经网络模型提取图像的不同分辨率混合所述步骤S30融合多层次交叉注意力机制的Transformer解码器模型，以Transformer解码3[0001]本发明涉及分子图像识别领域，具体来讲是一种双分支多层次特征Transformer学家最常用的描述分子结构的方式，但由于大部分分子结构的化学信息以图像的形式呈型由编码和解码两部分组成。具体地,首先使用ResNet对图像进行特征提取并对参数进行和通道注意力机制得到两个新的特征图向量信息并进行融合。将融合后的向量信息送入[0006]为解决以上问题,本发明提出了一种双分支多层次特征Transformer解码的分子图像识别方法,采用双分支的卷积神经网络提取高分辨率图像和低分辨率图像的特征向量[0007]本发明通过提供一种双分支多层次特征Transformer解码的分子图像识别方法，[0008]为实现本发明的目的，提供一种双分支多层次特征Transformer解码的分子图像先将数据集中的InchI文本序列转化为整[0010]训练得到一种基于神经网络模型的双分支多层次特征Transformer解码的模型作4[0011]将获取的分子结构图输入到编码器进行图像特征提取，得到图像的特征向量信[0012]将所述图像的向量特征输入到解码器——Transformer(一种深度学习模型)解码子图像的结构化信息数据格式InchI文本序将上述双分支特征提取模型串联共同构成编码器特征提取[0016]建立融合多层次交叉注意力机制的Transformer解码器模型，将每个分子图像对[0022]上述基于双分支多层次特征Transformer解码的模型，该模型包括分子结构图像分支的卷积神经网络提取高/低分辨率图像的特征向量信息；对于InchI文本序列生成部分，采用融合多层次交叉注意力机制的Transformer解码器结构，最终得到分子结构图的5[0030]设置编码器-解码器深度神经网络作为分子结构图像识别模型，模型包括编码器部分—图像特征提取和解码器部分—InchI文本是图像的特征向量信息。特征提取通常采用卷积神经网络，包括MobileNet、ResNet、[0036]图2为本发明实施例提供的分子结构图识别的整体架构图，对于高分辨率分子结[0040]在本发明实施例中，解码器部分是给定已经存在于序列中的InchI文本单词情况6[0042]本发明实例使用融合双分支注意力机制的Transformer解码器结构作为解码器，在每个输出时间点上，在序列中生成一个新的InchI文本单词，然后使用字符嵌入(word2Vec)对生成的每个InchI字符进行编码，并将其融合位置编码作为输入传递给解码[0048]可以看出，本发明实施例中的分子结构图识别模型功能包括图像特征提取和InchI序列文本生成，图像特征通过输入到解码器的双分支注意力机制层与解码器部分进的向量；并将新的向量输入进与图像特征模型的编码器部分像交互的双分支注意力机制[0049]在对分子结构图像的识别模型进行训练时，输入一个图像会输出该图像对应的模型较为简单的卷积神经网络MobileNe