CN113962315B 模型预训练方法、装置、设备、存储介质以及程序产品 （北京百度网讯科技有限公司）

A,2019.09.20A,2021.01.05A,2021.07.16A,2021.10.01A,2022.01.212从所述N种类型的提示词中选取随机采样概率大于预设概率阈值的提示获取所述目标任务类型关联的连续提示词词表，其中，一种任从所述目标任务类型关联的连续提示词词表中获取随机长度的连续将所述样本自然语言文本输入至预先训练的主题分类模型，得到所将所述样本自然语言文本输入至预先训练的关注点提取模型将所述样本自然语言文本输入至预先训练的情感分析模型，得到所将所述样本自然语言文本的长度作为所述样本自然语言文本的生成长度类型的提示基于所述样本伪自然语言文本与所述样本自然语言文本的差异，调3预训练语言模型是采用权利要求1-7中任一项所述的方训练模块，被配置成基于所述样本输入数据对初从所述N种类型的提示词中选取随机采样概率大于预设概率阈值的提示获取所述目标任务类型关联的连续提示词词表，其中，一种任从所述目标任务类型关联的连续提示词词表中获取随机长度的连续将所述样本自然语言文本输入至预先训练的主题分类模型，得到所将所述样本自然语言文本输入至预先训练的关注点提取模型将所述样本自然语言文本输入至预先训练的情感分析模型，得到所4将所述样本自然语言文本的长度作为所述样本自然语言文本的生成长度类型的提示基于所述样本伪自然语言文本与所述样本自然语言文本的差异，调拼接模块，被配置成将所述前缀文本片段与所述至少一种类型的提生成模块，被配置成将所述输入数据输入至预先训练的预训所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被18.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所5模型在自然语言处理中占有重要的地位，它的任务是预测一个句子在语言中出现的概率。6序在被处理器执行时实现如第一方面或第二方面中任[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特[0020]图7是用来实现本公开实施例的模型预训练方法或文本生成方法的电子设备的框throughKnowledgeIntegration，知识增强的语义表示模型)3.0百亿参数大模型构建了[0028]在本实施例中，上述执行主体可以基于样本自然语言文本，生成N种类型的提示7乐等提示词。从主题类型提示词表中可以选取出样本自然语言文本的主题类型的提示词。[0039]在本实施例中，上述执行主体可以基于样本输入数据对8布的预训练语言模型。例如，可以采用BP(BackPropagation，反向传播)算法或者SGD[0043]继续参考图2，其示出了根据本公开的模型预训练方法的又一个实施例的流程词。可以从通用任务类型关联的连续提示词词表中获取<通用0>到<通用M>的连续提示词，9[0068]步骤208，将样本自然语言文本的长度作为样本自然语言文本的生成长度类型的提示词。[0075]在本实施例中，上述执行主体可以从5种类型的提示词中选取随机采样概率大于[0082]在本实施例中，上述执行主体可以从样本自然语言文本中截取样本前缀文本片[0084]在本实施例中，上述执行主体可以将所选取的提示词与接近于输入的样本自然语言文本。样本伪自然语言文本的分布越接近于样本自然语言文前对续约都不太感兴趣。基于样本伪自然语言文本与样本自然语言文本的分布差异，对[0093]进一步参考图4，其示出了根据本公开的文本生成方法的一个实施例的流程40根据前缀文本片段和至少一种类型的提示词生成相关的完整[0098]在本实施例中，上述执行主体可以将前缀文本片段与至少一种类型的提示词拼[0100]在本实施例中，上述执行主体可以将输入数据输入至预先训练的预训练语言模训练语言模型可以用于根据前缀文本片段和至少一种类型的提示词生成相关的完整的伪模块503和训练模块504的具体处理及其所带来的技术效果可分别参考图1对应实施例中的模块502进一步被配置成：将样本自然语言文本的长度作为样本自然语言文本的生成长度成模块603，被配置成将输入数据输入至预先训练的预训练语言模型，生成伪自然语言文具体处理及其所带来的技术效果可分别参考图4对应实施例中的步骤401-403的相关说明，的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执因特网的计算机网络和/或各种电信网络与其他设一些实施例中，计算机程序的部分或者全部可以经由ROM702和/或通信单元709而被载入计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模型预训机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0123]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器[0126]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计