CN116227485B 一种反应条件预测模型训练方法及装置 （杭州碳硅智慧科技发展有限公司）

街道福城路291号和达药谷中心6幢本申请提供了一种反应条件预测模型训练反应SMILES中各个词所对应的带有注意力权重条件解码器中掩蔽多头注意力网络对反应条件序列进行注意力表征得到所对应的条件序列特2获取基于反应中心掩蔽策略的语言表征网络层的预训练样本，所述预训练样本包括：识别所述化学反应表达式的SMILES序列中的化学反应中心，并将所对应的词汇取0.5获取反应条件预测模型的模型训练样本，所述模型训练样本将所述模型训练样本输入至待训练反应条件预测模型，所述待训练调用所述语言表征网络层对所述化学反应表达式的SMIL学反应表达式的SMILES序列中各个词所对应的带有注意力权重信息的表征化学反应序列调用所述反应条件解码器中掩蔽多头注意力网络对所述反应条件序列进行注意力表条件序列；基于所述反应条件序列和所述预测反应条件序列，计算得到所述在所述损失值处于预设范围内的情况下，将训练后的待训练反在所述调用所述语言表征网络层对所述化学反应表达式的SMILES序列所述化学反应表达式的SMILES序列中各个词所对应的带有注意力权重信息的表征化学反调用所述特征提取网络层提取所述化学反应表达式的SMI调用所述向量转换层对所述每个词和所述位置特征分所述调用所述语言表征网络层对所述化学反应表达式的SMILES序列进述化学反应表达式的SMILES序列中各个词所对应的带有注意力权重信息的表征化学反应调用所述多头注意力机制层对所述词向量和所述位置向量的加和归一化结果进行处调用所述层归一化和Dropout层依据所述关联关系对所述词向量和所述位置向量进行将所述带有各个词之间的权重的隐藏张量通过前馈神经网络，得3调用所述语言表征输出层对所述各个词之间的权重和所述前向处理结果进行融合处在语言表征编码器内部张量流动时，包含多个残差连接，所述调用所述反应条件解码器中掩蔽多头注意力网络对所述反应条件序列进行注意调用所述掩蔽多头注意力网络对所述反应条件序列进注调用所述多头注意力机制层基于所述注意力权重对所述掩码条件序列特征进行注意调用所述前馈神经网络对所述初始预测条件序列特征应条件序列。基于所述反应条件序列和所述预测反应条件序列，计算得到在所述调用所述反应条件解码器中掩蔽多头注意力网络对所述反应条件序列进行注调用所述温度解码器依据所述注意力权重对所述预基于所述交叉熵损失值、所述均方差损失值和平衡系数，计算预训练样本获取模块，用于获取基于反应中心掩蔽策略的语言表语言表征网络层优化模块，用于识别所述化学反应表达式的SMILE4模型训练样本获取模块，用于获取反应条件预测模型的模模型训练样本输入模块，用于将所述模型训练样本输入至待训练反应条件预测模型，隐藏张量获取模块，用于调用所述语言表征网络层对所述化预测反应条件序列获取模块，用于调用所述反应条件解码器中掩蔽损失值计算模块，用于基于所述反应条件序列和所述预测反应反应条件预测模型获取模块，用于在所述损失值处于预设位置特征获取模块，用于调用所述特征提取网络层提取所述化学反应位置向量获取模块，用于调用所述向量转换层对所述每个关联关系获取单元，用于调用所述多头注意力机制层对所述词向隐藏张量获取单元，用于调用所述层归一化和Dropout层依据所述关联关系对所述词前馈网络张量获取单元，用于将所述带有各个词之编码器张量获取单元，用于调用所述语言表征在语言表征编码器内部张量流动时，包含多个残差连接，5[0004]本申请实施例所要解决的技术问题是提供一种反应条件预测模型训练方法及装述化学反应表达式的SMILES序列中各个词所对应的带有注意力权重信息的表征化学反应[0011]调用所述反应条件解码器中掩蔽多头注意力网络对所述反应条件序列进行注意6[0015]在所述调用所述语言表征网络层对所述化学反应表达式的SM得到所述化学反应表达式的SMILES序列中各个词所对应的带有注意力权重信息的表征化每个词在所述化学反应表达式的SMILES序到所述化学反应表达式的SMILES序列中各个词所对应的带有注意力权重信息的表征化学[0020]调用所述多头注意力机制层对所述词向量和所述位置向量的加和归一化结果进[0021]调用所述层归一化和Dropout层依据所述关联关系对所述词向量和所述位置向量[0023]调用所述语言表征输出层对所述各个词之间的权重和所述前向处理结果进行融码器自输出层的残差连接以及自输出层到语言表征输出[0026]所述调用所述反应条件解码器中掩蔽多头注意力网络对所述反应条件序列进行[0028]调用所述多头注意力机制层基于所述注意力权重对所述掩码条件序列特征进行7所述交叉熵损失值作为所述待训练反应条件预测模型[0033]在所述调用所述反应条件解码器中掩蔽多头注意力网络对所述反应条件序列进所述化学反应表达式的SMILES序列对应的预测反[0044]隐藏张量获取模块，用于调用所述语言表征网络层对所述化学反应表达式的练后的待训练反应条件预测模型作为最终的[0050]位置特征获取模块，用于调用所述特征提取网络层提取所述化学反应表达式的8[0055]隐藏张量获取单元，用于调用所述层归一化和Dropout层依据所述关联关系对所码器自输出层的残差连接以及自输出层到语言表征输出算得到交叉熵损失值，并将所述交叉熵损失值作为所述待训练反应条件预测模型的损失[0070]交叉熵损失值计算单元，用于基于所述反应条件序列和[0074]处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程9本，所述预训练样本包括：化学反应表达式的SMILES序列；识别所述化学反应表达式的式的SMILES序列中各个词所对应的带有注意力权重信息的表征化学反应序列的隐藏张量；调用所述反应条件解码器中掩蔽多头注意力网络对所述反应条件序列进行注意力表征得测模型作为最终的反应条件预测模型。本申请实施以在大型反应条件预测数据集上明显提升预测度较低的问题。本申请实施例提出了一个可解释的基于预训练的反应条件预测器一个回归层(温度解码器)被用来计算温度。本[0089]参照图1，示出了本申请实施例提供的一种反应条件预测模型训练方法的步骤流[0092]本申请实施例设计了两种预训练策略，掩蔽语言模拟(MaskedML)和包含化学反通过清理USPTO1976_2016sep获得的约130万个反应SMILES。这些数据已经清除了所有的学反应表达式的SMILES序列。[0099]模型训练样本是指用于对待训练反应条件预测模型进行训练的样本，在本示例[0105]步骤105：调用所述语言表征网络层对所述化学反应表达式的SMILES序列进行处词对应的所对应的带有注意力权重信息的表征化学图2所示，化学反应表达式的SMILES序列可以输入至左侧部分的模型结构Input量和位置向量的加和归一化结果进行处理，以得到每个词之间的关联关系。如图2所示，[0118]在调用多头注意力机制层对词向量和位置向量的加和归一化结果进行处理得到[0119]子步骤B2：调用所述层归一化和Dropout层依据所述关联关系对所述词向量和所[0120]在调用多头注意力机制层对词向量和位置向量的加和归一化结果进行处理得到每个词之间的关联关系之后，则可以调用层归一化和Dropout层依据关联关系对词向量和位置向量进行处理，得到带有各个词之间的权重的隐藏张量。如图2所示，BertSelf输出的每个词之间的关联关系对InputEmbedding输出的词向量和位置向量进行处理，以通过BertSelfOutput可以得到带有这10个词之间的权重的隐藏[0122]在调用层归一化和Dropout层依据关联关系对词向量和位置向量进行处理，得到[0124]在调用层归一化和Dropout层依据关联关系对词向量和位置向量进行处理，得到为BertIntermediate的输入，BertSelfOutput输出带有各个词之间的权重的隐藏张量[0125]在将带有各个词之间的权重的隐藏张量通过前馈神经网络得到前馈神经网络隐[0127]在将带有各个词之间的权重的隐藏张量通过前馈神经网络得到前馈神经网络隐藏张量之后，可以调用语言表征输出层对各个词之间的权重和前向处理结果进行融合处SelfOutput的输出可以作为BertOutput的输入，调用BertOutput可以对BertSelfOutput输出的各个词的权重和BertIntermediate输出的前向处理结果进行融合处理，从[0129]步骤106：调用所述反应条件解码器中掩蔽多头注意力网络对所述反应条件序列进行注意力表征得到所对应的条件序列特征，并基于所述隐藏张量和条件序列特征张量，得到预测反应条件序列。[0130]预测反应条件序列是指待训练反应条件预测模型预测得到的反应分子表达式对[0133]子步骤C1：调用所述掩蔽多头注意力网络对所述反应条件序列进注意力权重学层和前馈神经网络，如图2右侧部分模型结构所示。掩蔽多头注意力网络即为ConditionMaskedMulti_HeadAttention对反应条件序列的进行注意力学习，从而可以得到掩码条以根据BertLayer输出的注意力权重对MaskedMulti_HeadAttention输出的掩码条件序量计算注意力权重。这些解码器层都包含多个头(head)，每个头学习一个注意力矩阵元素Attentionij是连接Xi到Yj的注[0140]在多头注意力层中的每个头将首先使用以下操作将每个词汇Xi或Y[0145]在调用多头注意力机制层基于注意力权重对掩码条件序列特征进行注意力学习[0146]子步骤C3：调用所述前馈神经网络对所述初始预测条件得到所述预测反应条件序列。[0147]在调用多头注意力机制层基于注意力权重对掩码条件序列特征进行注意力学习Forward的输入，FeedForward可以对Multi_HeadAttention输出的初始预测条件序列特输出和ConditionDecoder的输出可以作为TemperatureDecoder的输入，调用TemperatureDecoder可以依据注意力权重对预测应条件序列进行处理，得到化学反应表练反应条件预测模型的损失值。对于该实现过程可以结合下述具体实现方式进行详细描(3)识别所述化学反应表达式的SMILES序列中的化学反应中心，并将所对应的词汇取0.5的掩反应条件解码器；调用所述语言表征网络层对所述化学反应表达式的SMILES序列进行处[0171]参照图4，示出了本申请实施例提供的一种反应条件预测模型训练装置的结构示[0172]预训练样本获取模块410，用于获取基于反应中心掩蔽策略的语言表征网络层的[0173]语言表征网络层优化模块420，用于识别所述化学反应表达式的SMILES序列中的[0175]模型训练样本输入模块440，用于将所述模型训练样本输入至待训练反应条件预[0176]隐藏张量获取模块450，用于调用所述语言表征网络层对所述化学反应表达式的[0177]预测反应条件序列获取模块460，用于调用所述反应条件解码器中掩蔽多头注意[0182]位置特征获取模块，用于调用所述特征提取网络层提取所述化学反应表达式的[0187]隐藏张量获取单元，用于调用所述层归一化和Dropout层依据所述关联关系对所码器自输出层的残差连接以及自输出层到语言表征输出算得到交叉熵损失值，并将所述交叉熵损失值作为所述待训练反应条件预测模型的损失[0202]交叉熵损失值计算单元，用于基于所述反应条件序列和识别所述化学反应表达式的SMILES序列中的化学反应中心，并将所对应的词汇取0.5的掩反应条件解码器；调用所述语言表征网络层对所述化学反应表达式的SMILES序列进行处500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的计算机程序指令或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序指令，来执行各种适当的动作和处理。在RAM503中，还可存储电子设备500操作所需的各种程序和数据。设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息