CN114662491B 语料处理方法、比喻信息处理方法、装置及电子设备 （网易（杭州）网络有限公司）

根据语料构建模板组中的语料构建模板和空缺训练完成的语言表征模型预测语料构建模板对添加至空缺三元组中的空缺位以得到语料对应2根据所述空缺三元组中的空缺位对应的比喻项确定语料构建模板组；根据所述语料构建模板组中的语料构建模板和所述空缺三元组通过所述新语料和训练完成的语言表征模型，预测所述语料构建根据所述标记语料对预训练的语言表征模型进行掩码语言模型训练和下一句预测任从各比喻项分别对应的语料构建模板组中，查找所述空缺三元组中的从多个不同类型的语料构建模板中，选择包含所述空缺三元组中空缺根据选择的多个模板对应的预测结果确定所述空缺的比喻项对应的最优的模板组合，将最优的模板组合确定为所述空缺的比喻项包含本体和属性两个比喻项的第三类模板，以及包含本体和喻体两个比喻项的第四类模3对每个所述语料构建模板对应的所述空缺位的词概率进行加将加权平均后词概率最大的词确定为所述空缺位的填述核心信息为表征所述应用场景中的下一个应用需求推送所述目标比喻三元组对应的提示信息；其中，所述提示信息包确定所述核心信息的关联词，将包含所述关联词的比喻三元组确定为目标比喻三元空缺三元组获取模块，用于对于目标语料数模板组确定模块，用于根据所述空缺三元组中的空缺位对应的比喻项确个比喻项；语料生成模块，用于根据所述语料构建模板组中的语料构建模板和所述空缺三元组，预测模块，用于通过所述新语料和训练完成的语言表征模型，预填充词确定模块，用于根据所述语料构建模板对应的所述空缺位息包括所述目标比喻三元组和/或所述目标比喻三元4器实现权利要求1至6任一项所述的语料处理方法或权利要求7至8任一项所述的比喻信息56比喻三元组集中的比喻三元组的比喻项进行掩码处理，得到该比喻三元组的空缺三元组；从多个不同类型的语料构建模板中，选择包含所述空缺三元组中空缺的比喻项的多个模括所述目标比喻三元组和/或所述目标比喻三元组对应的语7喻三元组和/或所述目标比喻三元组对应的语可执行指令促使处理器实现上述语料处理方法或上述语料中的形容词和/或名词以及空缺位获取到空缺三元组，再根据空缺位对应的比喻项确8术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范[0030]随着计算机算力的进一步提升以及大量的文本语料的积累，预训练语言模型(也称语言表征模型)极大的提高了自然语言生成的性能。预训练语言模型是使用大量的无监言流畅性和长文本的相关性。在预训练语言模型的基础上再用特定类型的文学作品(如小语料中的比喻成分以组成三元组对于通过AI进行比喻句的创[0033]图1为本申请实施例提供的一种语料处理方法的流程示意图，该方法应用于电子[0035]对于上述步骤S102来说，上述目标语料数据集的获取方式可以为通过网络爬取、9将包含该比喻项的语料构建模板组合为该语料对[0039]作为一种可能的实施方式，比喻三元组中各比喻项具有述语言表征模型中，通过该模型输出得到该句子中的空缺位(也即该语料构建模板对应的空缺位的词概率进行加权平均计算；将加权平均后词概率最大的词确定为空缺位的填充料构建模板对应的空缺位的词概率进行加权平均从而确定该空缺位的填充词的操作方式，[0049]本申请实施例提供的一种语料处理方法，通过语料中的形容词和/或名词以及空本体，V(vehicle)代表喻体，A(attr[0058](2)以掩码方式对比喻三元组集中的比喻三元组的比喻项进行掩码处理，得到该[0059]可从上述比喻三元组集中选择一部分比喻三元组作为参与比喻项掩码处理的对理后得到新句子“湖水像是[MASK][MASK]的镜子”，新句子对应一个空缺三元组(湖水，[0060](3)从多个不同类型的语料构建模板中，选择包含空缺三元组中空缺的比喻项的[0063]在得到多个上述空缺语料后，将得到的所有空缺语料输入到上述语言表征模型[0064](5)根据选择的多个模板对应的预测结果确定空缺的比喻项对应的最优的模板组获取空缺三元组，并根据空缺三元组中空缺的比喻项选用合适的模板生成多个空缺语料，得到的多个句子(即多个语料样本)组成上述语料样[0070](2)根据词间依存关系，标记语料样本集中的语料样本包[0072](3)根据标记语料对预训练的语言表征模型进行掩码语言模型(MLM，Mask[0073]作为一种可能的实施方式，上述语言表征模型可以包括BERT(BidirectionalEncoderRepresentationfromTransformer)模型。BERT模型通常包含了12层的双向[0075]为了便于对本申请实施例提供的语料处理方法进行理解，在此用图3对上述语料供上述目标语料数据集，将上述目标语料数据集中每个语料包含的形容词和/或名词组合最优的模板组合中的每一个模板将空缺三元组中已有比喻项对应的词作为种子词及空缺的比喻项对应的空缺位组合成带有空缺位的新语料；(6)将该新语料输入到上述语言表征[0087]模板组确定模块502，用于根据所述空缺三元组中的空缺位对应的比喻项确定语[0088]语料生成模块503，用于根据所述语料构建模板组中的语料构建模板和所述空缺[0092]本申请实施例提供的一种语料处理装置，通过语料中的形容词和/或名词以及空[0095]上述填充词确定模块505还用于：对每个所述语料构建模板对应的所述空缺位的比喻三元组集；以掩码方式对所述比喻三元组集中的比喻三元组的比喻项进行掩码[0099]上述模板组确定模块502还用于：根据选择的多个模板对应的预测结果确定所述[0100]基于上述语料处理装置，本申请实施例还提供另一种语料处理装置，参见图6所述提示信息包括所述目标比喻三元组和/或所述目标比喻三元组对应的语少一个通信接口83(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线82可以是ISA(IndustryStandardArchitecture，工业标准体系结构)总线、PCI(PeripheralComponentInterconnect，外设部件互连标准)总线或EISA(ExtendedIndustryStandard处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignal的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件便于描述本申请和简化描述，而不是指示或暗示所指的装