CN112711661B 跨语言自动摘要生成方法、装置、计算机设备及存储介质 （华润数字科技(西安)有限公司）

路211号环普科技产业园C座303、304室神经网络对所述文本数据集中的上下文信息进列；利用多层Transformer网络对所述概要状态提高对于跨语言文本的摘要生成准确度以及摘2基于卷积神经网络和循环神经网络对所述文本数据集中的上下文信息进行全局编码，得到所述文本数据集的概要状态序列；利用多层Transformer网络对所述概要状态序列进行解码，并利用自注意力机制对解通过集束搜索对所述候选文本摘要进行约束，从而对所述候选文本获取双语词典，利用快速对齐工具对所述双语词典中的单词对所述双语并行语料库中的单词进行源序列到目标序列方向的机器翻译以及目标序通过最大似然估计获取源序列到目标序列方向的概率和目标序列到源序列方向的平在所述概率双语词典中，按照下列公式获取源序列到目标序列方向的概到源序列方向的平均值PL(W1=W2)的翻译概率PT：j为第j个目标序列；对所述卷积神经网络和循环神经网络中参数分布以及翻译概率PT进行加权求和，得到将所述文本数据集中的上下文信息作为所述编码器的文本输入序列输入至所述编码3通过所述编码器将所述文本输入序列映射为隐藏序列；4.根据权利要求1所述的跨语言自动摘要生成方法，其特征在于，所述利用多层Transformer网络对所述概要状态序列进行解码，并利用自注意力机制对解码后的结果进序列的值向量，W1表示第一层Transformer网络的查询向量矩阵，WlK表示第一层按照下式，利用前馈层对自注意力模型的输出结果进行连接并投影，从而4OiQ5.根据权利要求4所述的跨语言自动摘要生成方法，其特征在于，所述利用多层按照下式对每一层Transformer网络中的多头自注意力机制块的注意力系数计算平均t为每一层Transformer网络中的多头自注意力机制块的注意力系数的平均值，按照下列评分公式对所述候选文本摘要中的每一句子进行评分，并选取评根据预设的卷积神经网络和循环神经网络的参数θ、集束搜索宽度B及句子扩分公式对句末扩展生成符号的个数达到B个的候获取单元，用于获取待生成摘要的双语文本，并对所述双语全局编码单元，用于基于卷积神经网络和循环神经网络对所述文5机器翻译单元，用于对所述双语并行语料库中的单词进行源序列到最大似然估计单元，用于通过最大似然估计获取源序列到目概率获取单元，用于在所述概率双语词典中，按照下列公式获取源序列向的概率和目标序列到源序列方向的平均值pj为第j个目标序列；重排序单元，用于对所述卷积神经网络和循环神经网络中参数分布以及翻译概率PT进9.一种计算机可读存储介质，其特征在于，所述6[0003]传统的跨语言摘要生成方法一般采用先生成摘要然后翻译的方法或者采用先翻[0008]基于卷积神经网络和循环神经网络对所述文本数据集中的上下文信息进行全局[0009]利用多层Transformer网络对所述概要状态序列进行解码，并利用自注意力机制7集；基于卷积神经网络和循环神经网络对所述文本数据集中的上下文信息进行全局编码，得到所述文本数据集的概要状态序列；利用多层Transformer网络对所述概要状态序列进[0021]图2为本发明实施例提供的一种跨语言自动摘要生成方法中步骤S102的子流程示[0022]图3为本发明实施例提供的一种跨语言自动摘要生成方法中步骤S204的子流程示[0023]图4为本发明实施例提供的一种跨语言自动摘要生成方法中步骤S103的子流程示[0024]图5为本发明实施例提供的一种跨语言自动摘要生成方法中步骤S104的子流程示8[0027]图8为本发明实施例提供的一种跨语言自动摘要生成装置中全局编码单元702的[0028]图9为本发明实施例提供的一种跨语言自动摘要生成装置中筛选单元804的子示[0029]图10为本发明实施例提供的一种跨语言自动摘要生成装置中第一解码单元703的[0030]图11为本发明实施例提供的一种跨语言自动摘要生成装置中约束评分单元704的的语句进行评分，并从评分后的候选文本摘要中选择评分最高的语句作为最终的摘要文层Transformer网络和自注意力机制对所述概要状态序列进行解码和计算等操作，从而得9[0042]本实施例对所述卷积神经网络和循环神经网络进行融合以对所述文本数据集进[0048]在另一具体实施例中，采用En2ZhSum数据集作为待生成摘要的双语文本，En2ZhSum数据集是一个英文到中文的摘要数据集，包含370,687个英语文档(平均每篇755下文信息最终编码映射为概要状态序列。时对所述状态概要序列中的元素进行筛选，并将增益小于或者等于0的元素的概要状态丢解码序列的值向量，W1表示第一层Transformer网络的查询向量矩阵，表示第一层上一层Transformer网络运算后的[0073]式中，dk表示Q和K的维度,Hl-1表示上一层Transformer网络运算后的结果，[0080]按照下式对每一层Transformer网络中的多头自注意力机制块的注意力系数计算[0082]式中，αt为每一层Transformer网络中的多头自注意力机制块的注意力系数的平[0083]本实施例中，采用编码器-解码器注意力分布αth以通过所述评分公式对句末扩展生成符号的个数达到B个的候选句子进行直至循环扩展达到句子扩展的最大步长T，并通过所述评分公式对达到句子扩展的最大步[0094]具体而言，首先按照所述评分公式对所述候选摘要文本并选取评分最高的多个句子作为待扩展句子，例如选取评分最高的前5个句子作为待扩展[0095]在一实施例中，如图6所示，所述跨语言自动摘要生成方法还包括：步骤S601~和目标序列到源序列方向的平均值pl(w1=wz)的翻译概率PT：译概率平均值进一步的，对得到的词典翻译概率平均值进行归一化处和所述卷积神经网络的参数分布以及所述循环神经网络的参数分布计算得到最终的目标[0112]全局编码单元702，用于基于卷积神经网络和循环神经网络对所述文本数据集中[0113]第一解码单元703，用于利用多层Transformer网络对所述概要状态序列进行解[0117]输入单元802，用于将所述文本数据集中的上下文信息作为所述编码器的文本输[0131]第二解码单元1001，用于利用多层Transformer网络对所述概要状态序列进行解解码序列的值向量，W1表示第一层Transformer网络的查询向量矩阵，表示第一层[0137]式中，dk表示Q和K的维度,Hl-1表示上一层Transformer网络运算后的结果，[0143]平均值计算单元，用于按照下式对每一层Transformer网络中的多头自注意力机[0145]式中，αt为每一层Transformer网络中的多头自注意力机制块的注意力系数的平率和目标序列到源序列方向的平均值pl(w1=wz),其中，w1为源序列，w2为目标序列；标序列方向的概率和目标序列到源序列方向的平均值pl(w1=wz)的翻译概率可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围