CN110704588A 基于长短期记忆网络的多轮对话语义分析方法和系统 （平安科技（深圳）有限公司）

道福安社区益田路5033号平安金融中基于长短期记忆网络的多轮对话语义分析本发明实施例提供了一种基于长短期记忆长短期记忆网络的多轮对话语义分析方法、系2根据所述当前对话代表向量和预先获取的多个历史对将所述知识编码表示向量和所述当前对话信息中各个分词的词向量输入到第一长短根据所述预测序列标签得到对应的语义信息，根据根据所述多个关键词得到对应的多个子结构，每个子结将所述多个子结构向量分别输入到第二长短期记忆模型中，得对所述当前对话信息进行分词操作，得到多个分词，将所述当前对话编码向量和各个子结构编码向量通过归将所述各个子结构的权重向量与对应的子结构编码向量进将所述子结构代表向量和所述当前对话编码向量进行矩p’)对所述多条历史对话信息进行分词操作，得到多个历将所述多个历史分词向量输入到第五长短期记忆模型中，得到多个历史对话编码向3根据所述历史对话编码向量和所述当前对话代表所述根据所述当前对话代表向量和所述历史对话代表向量，得出知识编码表示向量的步根据所述当前对话代表向量和所述历史对话代表向量，通7.根据权利要求2-3任一项所述的基于长短期记忆网络的多轮对话语义分析方法，其将知识编码表示向量的权重矩阵、各个长短期记忆模型中第二生成模块，用于根据所述当前对话代表向量和预先获取的多个历史对话编码向预测模块，用于将所述知识编码表示向量和所述当9.一种计算机设备，所述计算机设备包括存储4权利要求1至7中任一项所述的基于长短期记忆网络的多轮对话要求1至7中任一项所述的基于长短期记忆网络的多轮对话语5[0002]随着人工智能大规模普及和应用，人机对话作为人工智能领[0003]自然语言理解(NLU，naturallanguageunderstanding)是对话系统中非常重要[0010]将所述知识编码表示向量和所述当前对话信息中各个分词的词向量输入到第一6)为各7息生成当前对话代表向量，再根据当前对话代表向量和预先获取的多个历史对话编码向[0059]图5为本发明基于长短期记忆网络的多轮对话语义分析系统实施例二的程序方块8[0063]参阅图1，示出了本发明实施例一之基于长短期记忆网络的多轮对话语义分析方[0072]步骤S102C，将所述每个子结构转换为对应的子结构向量，以得到多个子结构向[0078]示例性地，将指定存储区域中当前对话进行分词操作，得到多个分词，并通过9[0082]步骤S102G，将所述当前对话编码向量和各个子结构编码向量通过归一化函数计[0088]步骤S102H，将所述各个子结构的权重向量与对应的子结构编码向量进行矩阵乘到子结构代表向量h9：[0098]步骤S104A，根据所述历史对话编码向量和所述当前对话代表向量得到注意力分[0103]步骤S104B，对所述注意力分布进行矩阵乘法运算，以得到多个矩阵乘法运算结型门的结构是由基本的前馈神经网络构成，所述前馈结构的基本概念是，对于一组向量选值它作为当前层产生的候选值可能会添加到记忆单元状态中，把这两部分产生的[0124]当前节点输入信息其中为偏置项，%-1表示t-1节点的隐层状态信息；[0126]输出记忆信息c,=f*ca+i*cn,其中Ct-1表示t-1节点的记忆信息，ft表示t时刻的节点对t-1时刻细胞记忆的选择权重，it表示t时刻的节点对当前节点信息的选择[0135]示例性地，将所述知识编码表示向量o和词向量Wt输入到第五RNN(LSTM)模型中，[0143]步骤S108c，根据所述信息匹配指令与所述操作信息携带的槽位之间预先配置的(SpokenUtteranceClassification)，是将用户输入的自然语言会话进行划分，类别然，可以将意图识别当作一个典型的分类问题。意图的分类和定义可参考ISO-24617-2标槽位填充任务的主要目标是在已知特定领域或特定意图的语义框架(semanticframe)的以转化为序列标注任务，即运用经典的IOB标记法，标记某一个词是某一语义槽的开始[0154]请继续参阅图5，示出了本发明基于长短期记忆网络的多轮对话语义分析系统20)[0163]第二生成模块204，用于根据所述当前对话代表向量和预先获取的多个历史对话[0165]提取预设数据库中的多条历史对话信息；对所述多条历史对话信息进行分词操[0177]预测模块206，用于将所述知识编码表示向量和所述当前对话信息中各个分词的(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器[0183]处理器22在一些实施例中可以是中央处理器(CentralProcessingUnit，CPU)、通讯系统(GlobalSystemofMobilecommunication，GSM)、宽带码分多址(Wideband[0187]例如，图5示出了所述实现基于长短期记忆网络的多轮对话语义分析系统20实施析系统20，被处理器执行时实现实施例一的基于长短期记忆网络的多轮对话语义分析方息生成当前对话代表向量，再根据当前对话代表向量和预先获取的多