CN112580369A 语句复述方法、训练语句复述模型的方法及其装置 (华为技术有限公司)_第1页
CN112580369A 语句复述方法、训练语句复述模型的方法及其装置 (华为技术有限公司)_第2页
CN112580369A 语句复述方法、训练语句复述模型的方法及其装置 (华为技术有限公司)_第3页
CN112580369A 语句复述方法、训练语句复述模型的方法及其装置 (华为技术有限公司)_第4页
CN112580369A 语句复述方法、训练语句复述模型的方法及其装置 (华为技术有限公司)_第5页
已阅读5页,还剩64页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

本申请涉及人工智能领域中的自然语言处语句中的每一个候选复述语句与所述输入语句模型中的多个复述语句生成器中的每一个包括源信息和相似度信息作为第一奖励训练后得到2确定所述多个候选复述语句中的每一个候选复其中,所述语句复述模型包括预设的多个复述语句句生成器是基于将所述复述语句由所述每个复述语句生成器生成的概率和所述相似度信对于第一复述语句生成器,所述第一复述语句生成器的对于所述多个复述语句生成器中除所述第一复述语句生成器以外的其他复述语句生述其他复述语句生成器的第二奖励是根据参数调整后的所述第一复述语句生成器进行复4.根据权利要求1至3中任一项所述的方法,其特征在6.一种训练语句复述模型的方法,其特征使用强化学习方法,将所述来源信息和所述相似度3将所述复述语句由所述多个复述语句生成器中的每个复述语句生成器生成的概率和生成器中的每个复述语句生成器生成的概率和所述相似度信息作为所述每个复述语句生为所述多个复述语句生成器中生成所述复述语句的概率最调整所述多个复述语句生成器中除所述第一复述语句生成器以外的其他复述语句生9.根据权利要求6至8中任一项所述的方法,其通过预设的来源判别器确定所述复述语句的来源信息复述模块,用于通过语句复述模型,对所述输确定模块,用于确定所述多个候选复述语句中的每一个其中,所述语句复述模型包括预设的多个复述语句语句生成器是基于将所述复述语句由所述每个复述语句生成器生成的概率和所述相似度4对于第一复述语句生成器,所述第一复述语句生成器的对于所述多个复述语句生成器中除所述第一复述语句生成器以外的其他复述语句生述其他复述语句生成器的第二奖励是根据参数调整后的所述第一复述语句生成器进行复来源判别模块,用于确定所述复述语句的来源信语句由所述多个复述语句生成器中每一个复述相似度判别模块,用于确定所述复述语句与所将所述复述语句由所述多个复述语句生成器中的每个复述语句生成器生成的概率和为所述多个复述语句生成器中生成所述复述语句的概率最调整所述多个复述语句生成器中除所述第一复述语句生成器以外的其他复述语句生5通过所述来源判别器,确定所述复述语句的来源信于存储程序指令,所述处理器用于调用所述程序指令来执行权利要求6至10中任一项所述6[0002]人工智能(artificialintelligence,AI)是利用数字计算机或者数字计算机控述来源信息用于指示训练语句的复述语句由所述多个复述语句生成器中每一个复述语句述复述语句是使用所述多个复述语句生成器对7个复述语句生成器是基于将所述复述语句由所述每个复述语句生成器生成的概率和所述句生成器的第二奖励是根据参数调整后的所述第一复述语句生成器进行复述生成的复述[0015]在本申请实施例中,使用(包括第二神经网络的)相似度判别器8多个复述语句生成器中的每个复述语句生成器生成的概率和所述相似度信息作为所述每复述语句生成器中的每个复述语句生成器生成的概率和所述相似度信息作为所述每个复[0029]在本申请实施例中,使用(包括第二神经网络的)相似度判别器9个复述语句生成器是基于将所述复述语句由所述每个复述语句生成器生成的概率和所述句生成器的第二奖励是根据参数调整后的所述第一复述语句生成器进行复述生成的复述[0043]在本申请实施例中,使用(包括第二神经网络的)相似度判别器述来源信息用于指示所述复述语句由所述多个复述语句生成器中每一个复述语句生成器器中的每个复述语句生成器生成的概率和所述相似度信息作为所述每个复述语句生成器生成器的第二奖励是根据参数调整后的所述第一复述语句生成器进行复述生成的复述语[0057]在本申请实施例中,使用(包括第二神经网络的)相似度判别器[0064]上述第五方面和第六方面中的处理器既可以是中央处理器(centralprocessing包括图形处理器(graphicsprocessingunit,GPU)、神经网络处理器(neural-TPU是谷歌(google)为机器学习全定制的人工智能[0069]上述芯片具体可以是现场可编程门阵列(field-programmablegatearray,[0072]当上述电子设备包括上述第四方面中的任意一个方面中的训练语句复述装置的[0090]图1示出了一种自然语言处理系统,该自然语言处理系统包括用户设备以及数据[0106]上述图1和图2中的用户设备具体可以是图3中的本地设备301或者本地设备302,[0107]图1和图2中的数据处理设备可以通过神经网络模型或者其它模型(例如,基于支持向量机的模型)进行数据训练/机器学习/深度学习,并利用数据最终训练或者学习得到[0110]神经网络可以是由神经单元组成的,神经单元可以是指以xs和截距1为输入的运神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层的输入,激活函数可以是sigmoid函数。神经网络是将多个上述单一的神经单元联结在一起形成的第2个神经元的线性系数定义为上标3代表系数W所在的层数,而下标对应的是输出的[0119]卷积神经网络(convolutionalneuronnetwork,CNN)是一种带有卷积结构的深取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元[0122]对于RNN的训练和对传统的CNN或DNN的训练一样。同样使用误差反向传播(back间的差异情况来更新每一层神经网络的权重向量(当然,在第一次更新之前通常会有初始(loss)越高表示差异越大,那么深度神经网络的训练就变成了尽可能缩小这个loss的过设备120基于数据库130中维护的训练数据对训练语句进行处理,得到复述语句,并根据该复述语句确定目标模型/规则101的奖励句通过相关预处理(可以采用预处理模块113和/或预处理模块114进行处理)后输入该目标模型/规则101,即可得到复述语句。本申请实施例中的目标模型/规则101具体可以为(多训练设备120也不一定完全基于数据库130维护的训练数据进行目标模型/规则101的训练,[0132]根据训练设备120训练得到的目标模型/规则101可以应用于不同的系统或设备载终端等,还可以是服务器或者云端等。在图4中,执行设备110配置输入/输出(input/[0133]预处理模块113和预处理模块114用于根据I/O接口112接收到的输入数据(如训练[0134]在执行设备110对输入数据进行预处理,或者在执行设备110的计算模块111执行标模型/规则101,该相应的目标模型/规则101即可以用于实现上述目标或完成上述任务,需要获得用户的授权,则用户可以在客户设备140中设置相应权限。用户可以在客户设备[0151]图6为本申请实施例提供的一种芯片的硬件结构的示意图。该芯片包括神经网络中,用以完成计算模块111的计算工作。该芯片也可以被设置在如图4所示的训练设备120[0152]本申请实施例的语句复述方法的具体可以在NPU50中的运算电路503和/或向量矩阵A数据与矩阵B进行矩阵运算,得到的矩阵的部分结果或最终结果,保存在累加器[0158]在一些实现种,向量计算单元507能将经处理的输出的向量存储到统一缓存器[0160]权重数据直接通过存储单元访问控制器505(directmemoryaccesscontroller,DMAC)将外部存储器中的输入数据搬运到输入存储器501和/或统一存储器以为双倍数据率同步动态随机存储器(doubledataratesynchronousdynamicrandom[0166]本申请实施例提供的语句复述方法可以在服务器上被执行,也可以在云端被执智能电视、笔记本电脑(laptopcomputer,LC)、个人数字助理(personaldigital[0185]在本申请实施例中,可以使用语句复述模型对输入语句(或训练语句)进行[0199]可选地,所述多个神经网络可以为多个循环神经网络(recurrentneural先使用复述语句对语料,预训练所述语句复述模型中的多个复述语句生成器(即预训练所示对于给定的输入序列X(X即输入语句),可以通过该复述语句生成器生成(若干)序列Y(Y[0217]在本申请实施例中,也可以使用长短期记忆网络(longshort-termmemory,LSTM)或门控循环单元(gatedrecurb,,来训练所述来句“从地球到太阳有多远”,来源判别器可以先将词序列中每个词映射为词向量(wordembedding),再通过编码器进行编码,将该词序列转化为定长的句向量(sentenceembedding),然后通过多层感知机(MLP)预测所述多个复述语句生成器中每一个复述语句度判别器可以先将输入语句的词序列中每个词映射为词向量(wordembedding),再通过编两个词序列(即两个语句)构成复述的程度(或者称为来源判别器确定的来源信息和相似度判别器确定的相似度信息则相当于这些动作的奖励(reward),并将所述来源信息和所述相似度信息作为奖励反馈给所述多个复述语句生成[0262]将所述复述语句由所述多个复述语句生成器中的每个复述语句生成器生成的概成器为所述多个复述语句生成器中生成所述复述语句的概率[0266]调整所述多个复述语句生成器中除所述第一复述语句生成器以外的其他复述语[0268]例如,可以由#2复述语句生成器(即第一复述语句生成器)对述语句生成器)的参数向(之后)得到的奖[0270]可以看出,每一次训练时的第一复述语句生成器可以不同(每次均是指对训练语句生成器的参数向(之后)得到的奖励会变大的方向调整,将其他复述语句生成器(所述语句复述模型中除第一复述生成器以外的其他复述语句生成器)的参数向(之后)得到的奖励y于指示训练语句的复述语句由所述多个复述语句生成器中每一个复述语句生成器生成的[0290]图12中的所述语句复述模型可以是使用图8所示的训练语句复述模型的方法进行[0291]S1230,确定所述多个候选复述语句中的每一个候选复述语句与所述输入语句的述语句由所述每个复述语句生成器生成的概率和所述相似度信息作为第一奖励训练后得[0295]对于所述多个复述语句生成器中除所述第一复述语句生成器以外的其他复述语句生成器,所述其他复述语句生成器的第二奖励小于所述其他复述语句生成器的第一奖[0298]在本申请实施例中,使用(包括第二神经网络的)相似度判别器申请实施例的语句复述方法的各个步骤可以通过处理器4002中的硬件的集成逻辑电路或[0309]上述处理器4002还可以是通用处理器、数字信号处理器(digitalsignal理器5002用于执行本申请实施例的训练语句复述申请实施例的训练语句复述模型的方法的各个步骤可以通过处理器5002中的硬件的集成[0317]应理解,通过图14所示的训练语句复述模型的装置5000对语句复述模型进行训过装置5000对语句复述模型进行训练能够得到图12所示

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论