CN114388064B 用于蛋白质表征学习的多模态信息融合方法、系统、终端及存储介质 （深圳先进技术研究院）

用于蛋白质表征学习的多模态信息融合方本申请提供的用于蛋白质表征学习的多模态的模型能够充分提取各自模态的高级语义信器的最后一层，将融合的多模态embedding和之前的单模态embedding拼接在一起作为蛋白质本2构建多模态融合模块，所述多模态融合模块对所述单模态特征提取器的氨基酸tokenembedding进行更新，以使单模态带有多模型的信息，并作为所述单模态特征提取器的输所述训练集训练所述学习模型，所述验证集衡量所述学习模型的对序列特征矩阵和结构特征矩阵进行平均池化，每个氨基酸的特基酸的特征维度，Lseq和Lstruc分别表示在序列和结构的氨基酸长度，但是两者其实是相等将序列和结构的池化向量拼接，再经过一个全连接网络转化为含有多模态信息的向其中，weRDcomp*(seqtLstrue),beRpcomp,令Dcomp＝(Lseq+将多模态信息压缩向量Mcomp重新分流到各个模态中去校准单模态信息，分流的过程是wenEeo,Tstruc＝WstrucMcomp+bstruc,wsrmuceRLstruc"ocomp,bsrmucERLstruc将分流转化的模态向量通过激活函数进行激活，作为门控开关去限3经过与激活后的门控向量相乘之后，得到重构的单模态向从所述开源蛋白质数据集中提取蛋白质的序列数据，序列由20个英单模态特征提取器为经过预训练的Tran6.一种用于蛋白质表征学习的多模态信息融合系单模态特征提取器构建单元：用于构建单模态特征多模态融合模块构建单元：用于构建多模态融合模块4所述存储器存储有用于实现权利要求1-5任一项所述的用于蛋白质表征学习的多模态所述处理器用于执行所述存储器存储的所述程序指令以控制多模态行权利要求1至5任一项所述用于蛋白质表征学习的多模态信5据表征应该能多方位覆盖物体本身的信息，使下游任务的推理过程有更多可用的特征支模型，同样取得了不错的效果。最近，不少人尝试了在NLP和CV领域取得突破性进展的征提取器提取单模态的信息，然后将不同模态的embedding进行拼接或加和，得到新的考虑到要学习模态间的交互，它们在原始数据的初始嵌入层将两个模态的数据进行拼接，6[0013]构建多模态融合模块，所述多模态融合模块对所述单模态特征提取器的氨基酸[0017]从所述开源蛋白质数据集中提取蛋白质的序列数据，序列[0024]分别表示输入多模态模块前的序7[0027]其中，weRpcomp"ceat4atrue',beRpcomv,MompeRpcomp,令Dcomp=seq+Lstruc)/5；[0030]Tstruc＝WstrucMeRstruc"ocomv,bsrmucERLstruc[0033]sr[0038]原始蛋白质数据经过Ne层的早期单模态特征提取器，序列经过所述Transformer再和早期单模态特征提取器得到的[cls]向[0043]在其中一些实施例中，在完成基于所述多模态融合模块构建学习模型的步骤之8[0053]所述存储器存储有用于实现所述的用于蛋白质表征学习的多模态信息融合方法程序指令用于执行所述用于蛋白质表征学习的多模将融合的多模态embedding和之前的单模态embedding拼接在一起作为蛋白质本身的表示，[0060]图1为本申请实施例提供的用于蛋白质表征学习的多模态信息融合方法的步骤流[0064]图5是本申请实施例提供的用于蛋白质表征学习的多模态信息融合方法的结构示9方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描[0070]请参阅图1，为本申请提供的用于蛋白质表征学习的多模态信息融合方法的步骤[0077]在本实施例中，本申请选用经过预训练的Transformer模型TAPE作为蛋白质序列[0083]假设分别表示输入多模态模块前[0086]其中，令Dcomp=seq+Lstruc)/5。[0088]第三步：将多模态信息压缩向量Mcomp重新分流到各个模态中去校准单模态信息，[0101]步骤S152：原始蛋白质数据经过Ne层的早期单模态特征提取器，序列经过所述[0110]在其中一些实施例中，在完成基于所述多模态融合模块构建学习模型的步骤之[0114]请参阅图5，为本申请提供的用于蛋白质表征学习的多模态信息融合系统的结构态特征提取器的输入；学习模型构建单元150：用于基于所述多模态融合模块构建学习模[0116]存储器52存储有用于实现所述的用于蛋白质表征学习的多模态信息融合方法的