CN114065778B 篇章级翻译方法、翻译模型训练方法及装置 （北京搜狗科技发展有限公司）

模型得到该句待翻译句子包含上下文语义信息翻译结果，得到待翻译篇章对应的篇章翻译结2针对待翻译篇章中每句待翻译句子，通过目标篇章翻译模型得根据所述待翻译篇章中每句待翻译句子的翻译结果，得到所述待翻通过学习篇章级训练语料中包含上下文语义信息的句子表示得到所述目标篇章翻译平行语料中的第一平行句对包括当前源端句子以及针对所述当前源端句子的源端上下文句对包括当前源端句子以及针对所述当前源端句子的目标端其中，所述神经机器翻译模型与所述上下文预测模预测出当前源端句子对应的目标端句子和源端上下文句子；根据预测出的源端上下文句梯度更新所述神经机器翻译模型的模型参数和所述上下文预测模型针对所述篇章级训练语料为篇章级单语语料，基于所述篇章级基于篇章级平行语料联合训练上下文预测模型和神经机器平行语料中的第一平行句对包括当前源端句子以及针对所述当前源端句子的源端上下文句对包括当前源端句子以及针对所述当前源端句子的目标端其中，所述神经机器翻译模型与所述上下文预测模3预测出当前源端句子对应的目标端句子和源端上下文句子；根据预测出的源端上下文句梯度更新所述神经机器翻译模型的模型参数和所述上下文预测模型句子翻译单元，用于针对待翻译篇章中每句待翻译句模型训练单元，用于通过学习篇章级训练语料中包含上下文语义信息的句子一篇章级平行语料联合训练神经机器翻译模型和上下文预测模型，得到已训练的联合模器翻译模型；利用获取的第二篇章级平行语料对所述已训练的神经机器翻译模型进行训语料中的第二平行句对包括当前源端句子以及针对所述当前源端句子的目标端句子；其所述神经机器翻译模型的模型参数和所述上下文预测模型翻译结果形成单元，用于根据所述待翻译篇章中第一训练单元，用于针对篇章级训练语料为篇章级平一篇章级平行语料中的第一平行句对包括当前源端句子以及针对所述当前源端句子的源第二平行句对包括当前源端句子以及针对所述当前源端句子的目标其中，所述神经机器翻译模型与所述上下文预测模4预测出当前源端句子对应的目标端句子和源端上下文句子；根据预测出的源端上下文句梯度更新所述神经机器翻译模型的模型参数和所述上下文预测模述一个或者一个以上的程序所包含的用于进行如权利要求1～3中任一所述方法的操作指5基于神经网络的技术来实现更多上下文精确6[0013]利用获取的第一篇章级平行语料联合训练所述神经机器翻译模型和所述上下文当前源端句子以及针对所述当前源端句子的源端上下文句子和目[0015]利用获取的第二篇章级平行语料继续对所述已训练的神经机器翻译模型进行训述神经机器翻译模型还包含目标端解码器，所述上下文预测模型还包含源端上下文解码[0018]通过所述源端编码器对所述第一篇章级平行语料中第一平行句对的当前源端句[0019]通过所述目标端解码器和所述源端上下文解码器对所述同一源端编码器的编码[0021]基于所述联合损失梯度更新所述神经机器翻译模型的模型参数和所述上下文预[0023]利用所述篇章级单语语料对预训练模型进行预训练，得到预训练后的预训练模[0024]基于所述预训练后的预训练模型对所述神经机器翻译模型和所述上下文预测模篇章级平行语料的源端句子中学习包含上下文语义信息的句7[0031]利用获取的第一篇章级平行语料联合训练所述神经机器翻译模型和所述上下文当前源端句子以及针对所述当前源端句子的源端上下文句子和目[0033]利用获取的第二篇章级平行语料继续对所述已训练的神经机器翻译模型进行训[0036]基于所述预训练后的预训练模型对所述神经机器翻译模型和所述上下文预测模[0044]模型训练单元，用于通过学习篇章级训练语料中包含上下文语义信息的句子表8的第一平行句对包括当前源端句子以及针对所述当前源端句子的源端上下文句子和目标机器翻译模型进行训练，直至得到与所述神经机器翻译模型对应的目标篇章级翻译模型，述神经机器翻译模型还包含目标端解码器，所述上下文预测模型还包含源端上下文解码[0056]通过所述源端编码器对所述第一篇章级平行语料中第一平行句对的当前源端句[0057]通过所述目标端解码器和所述源端上下文解码器对所述同一源端编码器的编码[0059]基于所述联合损失梯度更新所述神经机器翻译模型的模型参数和所述上下文预9测模型用于从所述篇章级平行语料的源端句子中学习包含上下文语义信的第一平行句对包括当前源端句子以及针对所述当前源端句子的源端上下文句子和目标机器翻译模型进行训练，直至得到与所述神经机器翻译模型对应的目标篇章级翻译模型，上的处理器执行所述一个或者一个以上的程序所包含的用于进行第一方面任一所述方法[0097]在本发明实施例中，目标篇章翻译模型中的神经机器翻译模型可以是基于[0098]需要说明的是，本发明实施例中对目标篇章翻译模型的训练与和上述步骤S10~[0103]具体的，通过联合训练方法得到与神经机器翻译模型对i是si的目标端句子。型还包含源端上下文解码器，其中，上下文预测模型的源端上下文解码器包括前解码器(pre-encoder)和后解码器(next-encoder)。对联合模型的训练就是对神经机器翻译模型[0108]步骤A11、通过源端编码器对第一篇章级平行语料中第一平行句对的当前源端句和后解码器，步骤A11具体包括：通过源端编码器对第一平行句对的当前源端句子进行编[0115]步骤A13、基于联合损失梯度更新神经机器翻译模型和上下文预测模型的模型参经机器翻译模型继续进行训练，直至得到与神经机器翻译模型对应的目标篇章级翻译模括当前源端句子以及针对当前源端句子的目标端句子，比如，第二平行句对可以表示为[0121]需要说明的是，上下文预测模型可以是基于Transformer框架的skip-thought模[0124]预训练模型的模型结构以及对预训练模型进行训练的过程与训练方式二相同或[0133]①包含两个源端解码器(一个前解码器和一个后解码器)和被前解码器和后解码[0135]步骤B12：根据预训练模型预测出的源端上下文句子以及单语训练句对中实际的两个源端编码器(一个前编码器和一个后编码器)得到，其中，神经机器翻译模型是基于94K个篇章(共包含900K个句对)，使用NIS数据库中的NIST06数据集作为开发集，NIST02/BLEU(在BLEU基础上改进的一种评价机器翻译评价指标)分数作为评价尺度，并且使用[0152]25M数量级的篇章单语语料对预训练模型进行训练，然后在两个不同规模的平行“Next”在两个基线上获得了较大的提高。在不使用任何上下文信息的情况下，对Transformer基准模型的提高分别是+0.93和+1.28BLEU点。在表2中，""表示显著性检测优于基准模型(P<0.01)[0155]从上述实验数据可以看出，无论是联合训练还是预训练+微调的方法得到的目标中初始化联合模型。从表1可以看出，获得最高的BLEU分数，比Transformer基准基线高+[0160]通过实验证明，在预训练模型中使用两个独立的编码器对当前源端句子进行编[0163]比较了预训练模型使用两个独立的编码器对当前源端句子进行编码和共享一个词向量、前编码器(pre_encoder)和后编码器(next_encoder)的输出之和作为神经机器翻[0167]在表5中：“pre+next+词向量”表示将上文编码器(pre_encoder)和下文编码器[0168]本发明实施例提供的基于目标篇章翻译模型的翻译方法可以通过消除翻译的歧分析。述篇章级平行语料的源端句子中学习包含上下文语义信息的经机器翻译模型进行训练，直至得到与所述神经机器翻译模型对应的目标篇章级翻译模[0174]在一具体的实施方式下在利用获取的第一篇章级平行语料联合训练所述神经训练模型用于从所述篇章级单语语料的源端句子中学习包含上下文语义信息的句子表示，所述目标组合模型包含神经机器翻译模型和源端上[0180]模型训练单元，用于通过学习篇章级训练语料中包含上下文语义信息的句子表的第一平行句对包括当前源端句子以及针对所述当前源端句子的源端上下文句子和目标机器翻译模型进行训练，直至得到与所述神经机器翻译模型对应的目标篇章级翻译模型，[0192]通过所述源端编码器对所述第一篇章级平行语料中第一平行句对的当前源端句[0193]通过所述目标端解码器和所述源端上下文解码器对所述同一源端编码器的编码[0195]基于所述联合损失梯度更新所述神经机器翻译模型的模型参数和所述上下文预测模型用于从所述篇章级平行语料的源端句子中学习包含上下文语义信的第一平行句对包括当前源端句子以及针对所述当前源端句子的源端上下文句子和目标机器翻译模型进行训练，直至得到与所述神经机器翻译模型对应的目标篇章级翻译模型，机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指[0219]电力组件806为设备800的各种组件提供电力。电力组件806可以包括电源管理系摄像头可以是一个固定的光学透镜系统或具有焦距和光学变置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组[0222]I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可[0223]传感器组件814包括一个或多