CN113239667B 基于注意力机制的文本翻译方法、装置、设备及介质 （平安科技（深圳）有限公司）

道福安社区益田路5033号平安金融中本发明实施例公开了一种基于注意力机制注意力对所述文本向量中的词向量进行字词组意力机制将编码处理后的文本中的字词进行组合并根据组合后的词语的权重确定该文本的最2根据所述翻译请求获取所述文本并对所述文本根据预置的解码器的前置注意力对所述文本向量中的词向量进行所述根据预置的解码器的前置注意力对所述文本向量中的词向量进行字词组判断所述文本向量中的最大权重的词向量是若位于所述文本向量的首列，根据所述文本向量中的词向量的所述根据所述组合向量的权重对所述文本向量进行解码处理，得到所获取最大权重的组合向量以及与所述最大权重的组合向量位置相邻的第一词向量和若不相等，将所述最大权重的组合向量与所述第二词向量再将所述含有词性标注的词向量输入到所述编码器的自注意力层中将所述含有权重的词向量输入到所述编码器的前馈全基于所述解码器的前置注意力，以所述文本中的字符排列顺序对所述文3编码单元，用于根据预置的编码器对预处理后的组合单元，用于根据预置的解码器的前置注意力对所述文本向量第一解码单元，用于根据所述组合向量的权重对所述文本向第一判断单元，用于判断所述文本向量中的最大权重的第二解码单元，用于若位于所述文本向量的首列，根据所所述获取单元，用于获取最大权重的组合向量以及与所述最大权重的组合所述第二判断单元，用于判断所述第一词向量的权重与所述第二词向量的所述第三解码单元，用于若不相等，将所述最大权重的组合向量与次进行字词组合根据再次组合的向量的权重对所述文本向量进行解码，得到所述翻译文7.一种计算机设备，包括存储器、处理器及8.一种计算机可读存储介质，其特征在于，4[0002]机器翻译(MachineTranslation，MT)是指将一种自然语言转换成另一种自然语[0003]针对上述技术问题，本发明实施例提供了一种基于注意力机制的文本翻译方法、装置5计算机程序时实现如上述第一方面所述的基于注预处理后的文本进行编码处理并基于注意力机制对编码后得到的文本向量中的词向量之[0023]图4为本发明实施例提供的基于注意力机制的文本翻译方法的另一子流程示意[0024]图5为本发明实施例提供的基于注意力机制的文本翻译方法的另一子流程示意[0026]图7为本发明实施例提供的基于注意力机制的文本翻译方法的另一子流程示意[0028]图9为本发明实施例提供的基于注意力机制的文本翻译装置的子单元示意性框[0029]图10为本发明实施例提供的基于注意力机制的文本翻译装置的另一子单元示意[0030]图11为本发明实施例提供的基于注意力机制的文本翻译装置的另一子单元示意6[0036]请参阅图1和图2，图1为本发明实施例提供的基于注意力机制的文本翻译方法的应用场景示意图；图2为本发明实施例提供的基于注意力机制的文本翻译方法的流程示意据所述翻译请求便可从用户终端10处获取所述文本并对所述文本进行相方法；所述基于统计的分词方法通过对语料中相邻共现的各个字的组合的频度进行统计，7述文本中的词语在所述语句中的位置关系，然后在预设的语料库的条件下采用预置的HMMDecoder模型框架，即编码_解码模型框架，其中，所述Encoder_Decoder模型框架中的Encoder模型为用于将所述预处理后的文本进行解码处理以将所述文本转化成一个固定长度的向量，所述Encoder_Decoder模型中的Decoder模型为用于将所述Encoder模型生成的例中，通过采用单个字的嵌入和N_Gram模型中的二元的Bi_Gram对所述词性标注后的词语[0054]S132、将所述含有词性标注的词向量输入到所述编码器的自注意力层中进行运8本中的其他位置上的词的关注度以便于所述编码器中的前馈全连接神经网络层更好的对[0057]S140、根据预置的解码器的前置注意力对所述文本向量中的词向量进行字词组入至所述解码器中并通过所述解码器的前置注意力对所述文本向量中的词向量以所述文编码器对该文本的词语进行编码后，得到的文本向量中的词向量分别表示词语中的“上语进行解码，因此所述解码器通过前置注意力获取所述文本向量中每个词向量的权重后，本向量的首列，根据所述文本向量中的词向量的权重的大小以对所述文本向量进行解码，述解码器对所述文本向量进行解码后，得到的所述翻译文本为“Iuseacomputerto9向量中的词向量的权重的大小依次对所述文本向量进行解码后，得到“Iwenttothe述文本向量中获取与该组合向量相邻的第一词向量和第二词向量，其中所述第一词向量、述组合向量与所述第二词向量再次按照文本中字符顺序从左往右以字符组合的方式进行合向量进行解码并将最后组合后前一位置处的词向量按照第一次组合向量的权重大小的[0074]本发明实施例还提供了一种基于注意力机制的文本翻译装置100，该装置用于执行前述基于注意力机制的文本翻译方法的任一实[0084]组合单元140，用于根据预置的解码器的前置注意力对所述文本向量中的词向量[0090]权重计算单元150a，用于调用预置的Argmax函数对所述组合[0092]获取单元151，用于获取最大权重的组合向量以及与所述最大权重的组合向量位[0093]本发明实施例所提供的基于注意力机制的文本翻译装置100用于执行上述接收文[0096]该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序[0102]应当理解，在本发明实施例中，处理器502可以是中央处理单元(Central是微处理器502或者该处理器502也可以是任何常规的[0108]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步