CN114897163B 预训练模型数据处理方法、电子设备及计算机存储介质 （阿里巴巴（中国）有限公司）

本申请实施例提供了一种预训练模型数据预处理层根据自然语言查询语句和数据库模式拼接向量中数据库模式数据部分的关联词进行成器对掩码向量进行针对被掩码处理的关联词型的判别器基于生成向量对生成器的生成结果进行评估，根据评估结果对预训练模型进行训对自然语言查询语句和数据库模式数据之间的2通过预训练模型的预处理层根据自然语言查询语句和数据库模式数据，生为所述自然语言查询语句和所述数据库模式数据中均具有的，且与查询字段和/或查询条通过所述预训练模型的生成器对所述掩码向量进行针对被掩码处理的关联词的掩码使用所述预训练模型的判别器基于所述生成向量对所述生成器的生成结果进行评估，通过预训练模型的预处理层对自然语言查询语句和数据库模式数据进行拼接，并且，对所述自然语言查询语句和所述数据库模式数据进行关联词分析，所述自然语言查询语句和所述数据库模式数据之间的关联基于训练完成的所述预训练模型中的判别器的模型参数，进通过将训练完成的所述预训练模型中的判别器的模型参数迁移至所述表格问答系统通过所述自然语言理解部分对用户输入的自然语言查询请求进行分根据纠偏结果生成与所述自然语言查询请求对应的数据库所述存储器用于存放至少一可执行指令，所述可执行指令使所39.一种计算机存储介质，其上存储有计算机程序，该程序4[0001]本申请实施例涉及表格问答技术领域，尤其涉及一种预训练模型数据处理方法、预训练模型的预处理层根据自然语言查询语句和数据库模式数据，生成对应的拼接向量；5述计算机指令指示计算设备执行如第一方面或第二方面所述的方[0021]图1示出了一种适用本申请实施例的预训练模型数据处理方法的示例性系统的示6例中，服务器102中设置有表格问答系统，以处理用户输入的涉及表格或数据库的查询请别器)架构，通过预处理层对根据自然语言查询语句和数据库模式数据生成的拼接向量中[0024]用户设备106可以包括与用户进行交互的设置和界面的任何一个或多个用户设7数据之间的关联词的信息，对数据库模式数据中部分数据对应的向量进行掩码(MASK)处[0034]参照图3，示出了根据本申请实施例一的一种预训练模型数据处理方法的步骤流[0036]步骤S302：通过预训练模型的预处理层根据自然语言查询语句和数据库模式数8数据进行掩码处理，可以在后续通过生成器进行恢复，以使模型具有更好的容错性和鲁棒过上下文(自然语言查询语句和数据库模式数据中未被掩码处理的部分)来对掩码向量中[0045]步骤S306：使用预训练模型的判别器基于生成向量对生成器的生成结果进行评9[0052]本实施例的预训练模型数据处理方法从对训练样本的前期处理至训练完成的预果确定自然语言查询语句和数据库模式数据之[0055]而在一些非标准性的输入中，需要将自然语言查询语句中的非规范词(不能直接对应到数据库中的字段的词)转换为最终的规范词，以在用户输入有偏差的情况下也可获[0057]步骤S404：通过预训练模型的预处理层根据自然语言查询语句和数据库模式数同时对多个关联词进行掩码处理的方式也同样适用于本申请实施例的方掩码向量在图2中表示为“[s]麻烦告诉我身高起来180的学生姓名[/s]姓名[/s][MASK]…言模型，通过上下文(自然语言查询语句及其他未被掩码处理的数据库模式数据中的模式[0065]此外，在一种可行方式中，生成器具体可实现为编码器，包括但不限于基于[0066]步骤S408：使用预训练模型的判别器基于生成向量对生成器的生成结果进行评向量中自然语言查询语句中的每个字或每个词相对应的部分与原始输入预处理层的向量[0076]完成了模型迁移后的TableQA的自然语言理解部分，结合已训练完成的对话管理因自然语言理解部分的模型参数来自于预训练[0081]表格问答系统的自然语言生成部分基于上述SQL语句可访问相应的数据库，获得[0098]处理器502可能是CPU，或者是特定集成电路ASIC(ApplicationSpecific[0100]程序510具体可以用于使得处理器502执行前述多个方法实施例中任一实施例所[0101]程序510中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对示计算设备执行上述多个方法实施例中的任一预训练模络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质将通用计算机转换为用于执行在此示出的方法