CN119398179A 基于混合专家模型与大语言模型的三维分子文本理解方法 （中国科学技术大学）

基于混合专家模型与大语言模型的三维分本发明公开了基于混合专家模型与大语言所述MoE层包括多个专家，通过跨模态投影器对任务信息文本及文本上下文进行编码并输入至3D分子编码器中。本发明通过引入文本辅助的理特定任务的能力，且提供一种能够同时理解2构建混合专家模型的新MoE层，所述MoE层包括多训练处理不同任务的分子编码器，将训练后的分子利用3D分子编码器对输入的3D分子数据进行编码，得到3D分子数据中的每个原子表通过预构建的分子文本映射器将所述原子表示和原子嵌入表示投影至预训练语言模2.根据权利要求1所述的基于混合专家模型与大语言模型的三维分子文本理解方法，从3D分子结构中提取原始分子标记，通过跨模态投影器对任务信息文设计概率函数为每个原始分子标记匹配专家，从所有专家中选择概率最高的前k个专3.根据权利要求2所述的基于混合专家模型与大语言模型的三维分子文本理解方法，配给概率最高的前k个专家对应的概率，E,(x)是将分子标记输入给第i个专家；TOPZ(·)从4.根据权利要求1所述的基于混合专家模型与大语言模型的三维分子文本理解方法，通过代表性子任务对对应的分子编码器模型进行预训练，其中，子任使用分子编码器的自监督学习模型，对其他三个任务进行微调，3通过复制分子编码器模型的权重初始化3D分子编码器的通过四个分子编码器模型的权重平均的方式设置3D分子编码器的自注意5.根据权利要求1所述的基于混合专家模型与大语言模型的三维分子文本理解方法，每一对原子的表示通过基于3D坐标的不变空间位置编码初始化，位置编码根据原子6.根据权利要求1所述的基于混合专家模型与大语言模型的三维分子文本理解方法，其特征在于，所述分子文本映射器包括分子Transformer和文本Transformer，所述分子Transformer和文本Transformer7.根据权利要求1所述的基于混合专家模型与大语言模型的三维分子文本理解方法，通过预构建的分子文本映射器将所述原子表示和原子嵌入表示投影至预训练语言模模态投影器对任务信息文本及文本上下文进行编码并输入至混合专家模型的3D分子编码器构建模块，用于训练处理不同文本输出模块，用于通过预构建的分子文本映射器将所述原子9.一种电子设备，包括存储器、处理器及存储在于混合专家模型与大语言模型的三维分子文4程序被处理器执行时实现如权利要求1至7中任一项所述的基于混合专家模型与大语言模5最相关的分子编码器以适应特定分子任务需求方面也存[0004]在本实施例中提供了基于混合专家模型与大语言模型的务信息文本及文本上下文进行编码并输入至混合6通过预构建的分子文本映射器将所述原子表示和原子嵌入表示投影至预训练语设计概率函数为每个原始分子标记匹配专家，从所有专家中选择概率最高的前k设{E,E2,,E}为一组N个专家，xeRd为分子标记，teRd为文本上下文的表分配给概率最高的前k个专家对应的概率，E,(x)是将分子标记输入给第i个专家；TOPZ(·)从N个专家中选择概率最高的前k个专家；为通过复制分子编码器模型的权重初始化3D分子编码器的通过四个分子编码器模型的权重平均的方式设置3D分子编码器的自注意力层的令Gsa=(v,h,c)表示一个分子，其中，v和h分别表示原子节点及每一对原子的表示通过基于3D坐标的不变空间位置编码初始化，位置编码根据7i子Transformer和文本Transforme通过预构建的分子文本映射器将所述原子表示和原子嵌入表示投影至预训练语本发明通过引入文本辅助的MoE层，解决了传统MoE层难以选择正确专家的问题，制有效地将2D/3D分子编码器的表示与可学习的查询标记进行交互，促进了分子特征与文8[0018]图1为本发明实施例中基于混合专家模型与大语言模型的三维分子文本理解方法图4为本发明实施例中基于混合专家模型与大语言模型的三维分子文本理解装置等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语[0021]在本发明实施例中提供了一种基于混合专家模型与大语言模型的三维分子文本对任务信息文本及文本上下文进行编码并输入至混合专家模型的9过跨模态投影器对任务信息文本及文本上下文进行编码并输入至混合专家模型的路由中，设计概率函数为每个原始分子标记匹配专家，从所有专家中选择概率最高的前k[0023]设计概率函数为每个原始分子标记匹配专家，从所有专家中选择概率最高的前k设{E,E2,,E}为一组N个专家，xeRd为分子标记，teRd为文本上下文的表分配给概率最高的前k个专家对应的概率，E,(x)是将分子标记输入给第i个专家；TOPZ(·)从N个专家中选择概率最高的前k个专家；为通过复制分子编码器模型的权重初始化3D分子编码器的FFN（前馈神经网络）权通过四个分子编码器模型的权重平均的方式设置3D分子编码器的自注意力层的[0027]如图3所示，本实施例中，利用以下代表性分子任务对对应的分子编码器(Uni_分子数据中的每个原子表示；利用2D分子编码器（二维分子编码器）对于输入的2D分子图令Gau-(0h,c)表示一个分子，其中，v和n分别表示原子节点及其特征，每一对原子的表示通过基于3D坐标的不变空间位置编码初始化，位置编码根据ii个原子在2D分子图中的嵌入。[0032]进一步地，文本Transformer遵循与双向表征编码器(BERT)相同的架构，而分子以通过交叉注意力模块与2D/3D分子编码器的通过预构建的分子文本映射器将所述原子表示和原子嵌入表示投影至预训练语,首先评估了MTU_LLM模型以及Sci_BERT、KV_PLM和MoMu在PubChem数据集的下游LLM模型在性能上显著超越了现有的基准模型，包括1D分子感知的分子语言模型（如Sci_PubChem数据集通过保留分子名称来提升任务的复杂度，将其定位为结合分子图像生成和[0044]本发明实施例还提供了一种基于混合专家模型与大语言模型的三维分子文本理通过跨模态投影器对任务信息文本及文本上下文进行编码并输入至混合专家模型的路由文本输出模块104，用于通过预构建的分子文本映射器将所述原子表示和原子嵌务信息文本及文本上下文进行编码并输入至混合通过预构建的分子文本映射器将所述原子表示和原子嵌入表示投影至预训练语[0047]此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以[0048]本发明实施例还提供一种非暂态计算机可读存储介质，务信息文本及文本上下文进行编码并输入至混合通过预构建的分子文本映射器将所述原子表示和原子嵌入表