CN114547329B 建立预训练语言模型的方法、语义解析方法和装置 （阿里巴巴（中国）有限公司）

本申请实施例公开了一种建立预训练语言多轮对话样本对包括一个对话中的多个由自然语言文本及其对应的结构化查询语言(SQL)语句嵌入(Embedding)层和转换(Transformer)网络2获取第一训练数据，所述第一训练数据包括多于一组的多轮利用所述第一训练数据训练得到包括嵌入层和Transformer网络的预训练语言模型，所述Transformer网络为结合注意力机制和前馈神经网络的编码网络，所述预训练语言模所述会话语义解析任务用以预测所输入自然语言文本及其上下文与所述模式信息的所述对话编辑策略预测任务用以预测所输入自然语言文本相比较其上下文所采用的所述掩码预测任务用以预测所述输入序列中被掩码的所述列标签预测任务用以预测所输入自然语言文本对应的SQL语句覆盖的关联表格的3.根据权利要求2所述的方法，其中，所述获从预设的编辑策略集合中确定适用于当前轮次的样从确定的编辑策略中采样一个编辑策略，利用采样的编辑策略分别将编辑得到的所述下一轮对话的样本对作为当前轮次的样本对，语言文本与所述关联表格的模式信息所标注的语义依存图，所述语义依存图包括节点和3所述会话语义解析任务用以预测所输入自然语言文本及其上下文与所述关联表格的获取第二训练数据，所述第二训练数据包括多于一组的多轮语言文本的向量表示输出SQL语句，所述语义解析模型的训练目标为最小化所述解码器的输出结果与所述第二训练数据中所述所输入自然语言文本对应的SQL语句从第一训练数据中采样一组以上的多轮对话样本对，获取人工针对获取用户所输入问题对应的自然语言文本、同一对话中该自然将所述自然语言文本、所述自然语言文本的上下文以及所述模式信息构成的输第一数据获取单元，被配置为获取第一训练数据，所述然语言文本及其对应的结构化查询语言SQ4Transfomer网络的预训练语言模型，所述Transformer网络为结合注意力机制和前馈神经所述会话语义解析任务用以预测所输入自然语言文本及其上下文与所述模式信息的所述对话编辑策略预测任务用以预测所输入自然语言文本相比较其上下文所采用的所述掩码预测任务用以预测所述输入序列中被掩码的所述列标签预测任务用以预测所输入自然语言文本对应的SQL语句覆盖的关联表格的第二数据获取单元，被配置为获取第二训练数据，所述然语言文本及其对应的结构化查询语言SQ第二模型训练单元，被配置为利用所述第二训练数据训练标为最小化所述解码器的输出结果与所述第二训练数据中所述所输入自然语言文本对应输入获取单元，被配置为获取用户所输入问题对应的语义解析单元，被配置为将所述自然语言文本、所述自然语言执行时实现权利要求1至11中任一项所述5与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行权利要求1至11中任一项所述的方法的步6[0003]其中，将自然语言转化成SQL语句通常采用诸如NL2SQL(NaturalLanguageTo示即编码过程，然后再由下游的转换模型基于自然语言文本的向量表示将其转化为SQL语[0007]利用所述第一训练数据训练得到包括嵌入Embedding层和转换Transformer网络[0008]所述会话语义解析任务用以预测所输入自然语言文本及其上下文与所述模式信[0009]所述对话编辑策略预测任务用以预测所输入自然语言文本相比较其上下文所采7[0011]所述列标签预测任务用以预测所输入自然语言文本对应的SQL语句覆盖的关联表[0016]作为实施例中一种可实现的方式，所述获取多个由自然语言文本和SQL语句构成[0020]作为实施例中一种可实现的方式，所述将各样本对分别[0026]所述会话语义解析任务用以预测所输入自然语言文本及其上下文与所述关联表8[0033]利用所述第二训练数据训练包括编码器和解码器的语义解析模型；在训练过程该自然语言文本的向量表示输出SQL语句，所述语义解析模型的训练目标为最小化所述解码器的输出结果与所述第二训练数据中所述所输入自然语言文本对应的SQL由自然语言文本及其对应的结构化查询语言SQL语Embedding层和转换Transfomer网络的预训练语言模型，所述预训练语言模型用以提取所[0047]所述会话语义解析任务用以预测所输入自然语言文本及其上下文与所述模式信[0048]所述对话编辑策略预测任务用以预测所输入自然语言文本相比较其上下文所采[0050]所述列标签预测任务用以预测所输入自然语言文本对应的SQL语句覆盖的关联表9练目标为最小化所述解码器的输出结果与所述第二训练数据中所述所输入自然语言文本被处理器执行时实现上述第一方面中任一项所述的[0063]与所述一个或多个处理器关联的存方法利用了多轮对话样本对中自然语言文本及其上下文以及关联表格的模式信息进行多[0067]3)本申请能够自动生成大量SQL语句及其自然语言文本构成的样本对以作为语义[0069]5)本申请使用历史SQL语句或历史SQL语句的语义图作为[0097]用户可以使用终端设备101和102通过网络103与服务器104交互。终端设备101和以解决传统物理主机与虚拟专用服务器(VPs，VirtualPrivateServer)服务中存在的管析模型的装置或语义解析装置可以设置并运行于上述服务器104中。其可以实现成多个软[0100]服务器104中的建立预训练语言模型的装置采用本申请所提供的方式建立预训练语言模型。服务器104中的建立语义解析模型的装置在建立的预训练语言模型的基础上进该答案返回给发送问题的终端设备101或终端设备1[0105]步骤202：利用第一训练数据训练得到包括Embedding(嵌入层)和Transfomer(转且该建模方法利用了多轮对话样本对中自然语言文本及其上下文以及关联表格的模式信轮对话样本对作为第一训练数据。图3为本申请实施例提供的一种获取第一训练数据的方[0116]SQL是一门用于访问和处理数据库的标准的计算机语言，用来访问和操作数据库法树与包含了SQL语句可能的语法结构。SQL语法树主要包括操作部分节点和条件部分节部分可以包含指示信息，可以指示对应列名称。fields部分还可以包括函数名function[0129]除了上述遍历SQL语法树的方式之外，也可以依据SQL语法树预先整理出所有模[0131]在得到大量的SQL语句之后，由于语义解析模型需要的训练数据是大量的<SQL,面进行打分，最终选择评分满足预设要求的句子粒度话术模板作为SQL对应的自然语言文[0144]至此就可以得到大量的SQL与其对应的自然语言文本所构成的样本对。这些样本言文本的语法结构是类似的，也可以针对自然语言文本的语法进行设置)的语法设置对应辑策略3。从中采样一个编辑策略，例如随机采样出编辑策略1，则利用编辑策略1分别对焦点参数对应的短语粒度话术模板进行替换，得到Text2为“收益率大于5％的股票有哪后复用图2中所示步骤203针对该新生成的SQL语句生成对应的自然语言文本。但需要说明[0170]假设N为2，将<SQL1,Text1>作为当前轮次，基于采样的编辑策略分别对SQL1和辑策略分别对SQL2和Text2进行编辑，得到<SQL3,Text3>。这样就得到了一组多轮次样本[0173]下面结合实施例对图2中步骤202即“利用第一训练数据训练得到包括Embedding[0175]在上述预训练语言模型中，Embedding层和Transformer网络均是比较常用的网为结合注意力机制和前馈神经网络的编码网络，Transformer网络用以基于各字符的构提出了一种新的训练方式，训练过程中执行会话语义解析(ConversationalSemanticParsing)任务、对话编辑策略预测(DialoguePolicyPrediction)任务、掩码预测(MaskLanguageModeling)任务和列标签预测任务(ColumnContextualPrediction)中的至少一个对话中该自然语言文本的历史SQL语[0178]该自然语言文本的关联表格也就是具体需要查询数据库中哪个表格能够回答该[0183]会话语义解析任务可以理解为在预训练语言模型之后增加了多分类网络(为了在化预测结果与第一训练数据中对应的标注之编码结果经由第一多分类网络后输出自然语言文本及其上下文中的词语与关联表格的列练迭代过程依据loss1的取值采用诸如梯度下降等方式更新模型参数，包括Embedding层、[0185]作为其中一种可实现的方式，上述语义关系可以采用语义依存图的形式来表[0188]对话编辑策略预测任务可以理解为在预训练语言模型之后增加了第二多分类网与第一训练数据中对应的标注(标注的编辑策略标[0192]掩码预测任务可以理解为在预训练语言模型之后增加了第三多分类网络来进行[0193]如图10中所示，输入序列经由Embedding层和Transforme[0196]列标签预测任务可以理解为在预训练语言模型之后增加了第四多分类网络来进测任务的训练目标为最小化预测结果与第一训练数据中对应的标注(标注的列标签)之间[0197]如图11中所示，输入序列经由Embedding层和Transforme该编码结果经由第四多分类网络后输出自然语言文本对应的SQL语句覆盖的关联表格的列名称。可以预先利用列标签预测任务的训练目标设计损失函数loss4，训练迭代过程依据[0204]当采用历史SQL语句替换历史自然语言文本时，四个训练任务的训练过程和处理[0205]当采用历史SQL语句的语义图替换历史自然语言文本时，拼接入输入序列的实际上是自然语言文本的历史SQL语句的语义图信息。Embedding层和Transformer网络对语义本申请实施例提供的建议语义解析模型的方法流程图，该流程可以由图1所示架构中的服本的向量表示输出SQL语句，语义解析模型的训练目标为最小化解码器的输出结果与第二训练数据中所输入自然语言文本对应的SQL语句[0214]语义解析模型实质上是Seq2Seq(序列到序列)模型，输入序列经过编码器得到自语义解析模型的训练目标为最小化解码器的输出结果与第二训练数据中所输入自然语言函数的取值，采用诸如梯度下降等方式更新模型参数(包括编码器和解码器的模型参数)，快速精调训练得到语义解析模型，该语义解析模型适用于针对表格查询的多轮对话场景，[0217]在训练得到语义解析模型之后，就能够利用语义解析模型针对用户问题进行问答，即应用于具体的TableQA服务场景。图15为本申请实施例提供的语义解析方法的流程槛最低的呢<\s>收益大于4个点的理财产品有哪些<\s>产品名称<\s>收益率<\s>风险等级where收益率>4％”。[0223]上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围一个实施例的该建立预训练语言模型的装置的示意性框图，该装置设置于图1所示架构中然语言文本及其对应的结构化查询语言SQL语Embedding层和转换Transfomer网络的预训练语言模型，预训练语言模型用以提取所输入[0227]会话语义解析任务用以预测所输入自然语言文本及其上下文与模式信息的语义[0228]对话编辑策略预测任务用以预测所输入自然语言文本相比较其上下文所采用的[0230]列标签预测任务用以预测所输入自然语言文本对应的SQL语句覆盖的关联表格的[0232]样本对获取单元1601，被配置为获取多个由自然语言文本和SQL语句构成的样本略中采样一个编辑策略，利用采样的编辑策略分别对当前轮次的样本对中的SQL语句和自中确定适用于当前轮次的样本对的编辑策略的操作，直至得到首轮对话的样本对之后N轮[0238]会话语义解析任务用以预测所输入自然语言文本及其上下文与关联表格的模式然语言文本及其对应的结构化查询语言SQ器利用该自然语言文本的向量表示输出SQL语句，语义解析模型的训练目标为最小化解码器的输出结果与第二训练数据中所输入自然语言文本对应的SQL[0247]图18示出根据一个实施例的语义解析装置的示意性框图，该装置设置于图1所示该程序被处理器执行时实现前述方法实施例中任一项[0258]与所述一个或多个处理器关联的存述处理器1910、视频显示适配器1911、磁盘驱动器1912、输入/输出接口1