CN114328861B 一种智能知识库扩充方法、装置、电子设备及存储介质 （泰康保险集团股份有限公司）

本申请实施例提供了一种智能知识库扩充知识库FAQ知识点的用户咨询问题覆盖率。所述模型的嵌入层参数包括伪提示文本对应的嵌入在所述GPT-2模型训练的过程中，用户咨询问题候选集中的文本与智能知识库中问题的文本进2获取用户咨询文本前缀；其中，所述用户咨询文本前缀为用户咨将所述用户咨询文本前缀输入训练好的文本生成模型，进行文本生的嵌入层参数包括伪提示文本对应的嵌入层参数和用户咨询问题文本对应的嵌入层参数，所述伪提示文本为没有实际任务的文本，用于获得文本生成过程中的提示信息，在所述将所述常见咨询问题候选集中的文本与智能知识库中将所述常见咨询问题候选集中相似度高于第一预设阈值的文本添加到所述智能知识将伪提示文本和所述用户咨询问题文本输入所述GPT-2模型的嵌入层进行编码，得到基于所述预测文本，通过损失函数对所述GPT-2模型的嵌入层中所述伪提示文本对应的嵌入层参数进行优化，直到所述GPT-2模型生成的预测文本与所述用户咨询问题文本的3.如权利要求2所述的方法，其特征在于，所述G基于所述提示编码信息和所述文本编码信息按照标准语法顺序依次生成每个字；其将所述伪提示文本和所述目标文本输入所述GPT-2模型的嵌入层按照出现次数对文本前缀进行优先级排序；其中，出现次数最多3根据优先级顺序获取进行文本生成的用户咨通过束搜索算法从所述常见咨询问题候选集中选取预设数量的将所述预设数量的常见咨询问题文本与所述智能知识库中问题的文本进行相似度比将所述预设数量的常见咨询问题文本和所述智能知识库中问题的文本分别转换为具通过深度学习算法分别获取第一字向量序列和第二字向量序列对应的第一语义特征根据注意力机制确定所述第一语义特征向量和第二语义特征向量序列对应的第一全计算所述第一全局特征向量序列中每个全局特征向量与所述第二全局特征向量中每根据所述相似度矩阵，确定所述第一文本中每个文本与所述第二文本中所述处理模块，还用于将所述用户咨询文本前缀输入训练好的文本生得到的，所述GPT-2模型的嵌入层参数包括伪提示文本对应的嵌入层参数和用户咨询问题所述处理模块，还用于将所述常见咨询问题候选集中的文本与智能知所述处理模块，还用于将所述常见咨询问题候选集中相似度高于处理器，用于调用所述存储器中存储的程序指令，按照获得的程序45[0002]常见问题解答(FrequentlyAskedQuestions，FAQ)是当前网络上提供在线帮助提升智能知识库FAQ知识点的用户咨询问模型的嵌入层参数包括伪提示文本对应的嵌入层参数和用户咨询问题文本对应的嵌入层[0008]将所述常见咨询问题候选集中的文本与智能知识库中问题的文本进行相似度比[0009]将所述常见咨询问题候选集中相似度高于第一预设阈值的文本添加到所述智能[0012]将伪提示文本和所述用户咨询问题文本输入所述GPT-2模型的嵌入层进行编码，得到所述伪提示文本对应的提示编码信息和所述用户咨询问题文本对应的文本编码信息，[0013]基于所述预测文本，通过损失函数对所述GPT-2模型的嵌入层中所述伪提示文本对应的嵌入层参数进行优化，直到所述GPT-2模型生成的预测文本与所述用户咨询问题文6[0014]可选的，所述GPT-2模型基于所述提示编码信息和所述文本编码信息生成预测文[0015]基于所述提示编码信息和所述文本编码信息按照标准语法顺[0016]可选的，所述将伪提示文本和所述用户咨询问题文本输入所述GPT-2模型的嵌入[0027]将所述预设数量的常见咨询问题文本与所述智能知识库中问题的文本进行相似[0029]将所述预设数量的常见咨询问题文本和所述智能知识库中问题的文本分别转换[0030]通过深度学习算法分别获取第一字向量序列和第二字向量序列对应的第一语义中的第二文本对应的字向量序列，所述第一字向量序列和所述第二字向量序列的长度相[0031]根据注意力机制确定所述第一语义特征向量和第二语义特征向量序列对应的第[0032]计算所述第一全局特征向量序列中每个全局特征向量与所述第二全局特征向量7文本中的第一个字或以所述第一个字为起点训练得到的，所述GPT-2模型的嵌入层参数包括伪提示文本对应的嵌入层参数和用户咨询[0041]将伪提示文本和所述用户咨询问题文本输入所述GPT-2模型的嵌入层进行编码，得到所述伪提示文本对应的提示编码信息和所述用户咨询问题文本对应的文本编码信息，[0042]基于所述预测文本，通过损失函数对所述GPT-2模型的嵌入层中所述伪提示文本对应的嵌入层参数进行优化，直到所述GPT-2模型生成的预测文本与所述用户咨询问题文[0044]基于所述提示编码信息和所述文本编码信息按照标准语法顺8[0056]将所述预设数量的常见咨询问题文本与所述智能知识库中问题的文本进行相似[0058]将所述预设数量的常见咨询问题文本和所述智能知识库中问题的文本分别转换[0059]通过深度学习算法分别获取第一字向量序列和第二字向量序列对应的第一语义中的第二文本对应的字向量序列，所述第一字向量序列和所述第二字向量序列的长度相[0060]根据注意力机制确定所述第一语义特征向量和第二语义特征向量序列对应的第[0061]计算所述第一全局特征向量序列中每个全局特征向量与所述第二全局特征向量[0069]也就是说，本申请将GPT-2模型的嵌入层中用户咨询问题文本对应的嵌入层参数9提示信息技术(伪提示文本经过嵌入层生成提示信息)和文本生成技术(根据提示信息生成文本)重构了特殊场景下常见咨询问题的文本生成任务，并通过模拟用户咨询前缀生成问第一个字为起点的连续多个字的组合，文本前缀中包含的字的数量可以根据需求进行设应的文本位置参数)和用户咨询问题文本对应的嵌入层参数(用户咨询问题文本对应的文[0088]在一种可能的实施方式中，GPT-2模型基于提示编码信息和文本编码信息按照标[0089]例如，GPT-2模型中嵌入层中伪提示文本和用户咨询问题文本对应的位置参数形t1,t2,…,tn)输入GPT-2模型经过嵌入层编码之后输出提示编码信息和文本编码信息e[0090]生成预测文本之后，通过损失函数对GPT-2模型的嵌入层中伪提示文本对应的嵌入层参数进行优化(即训练经过掩码处理的嵌入层的权重)，当通过GPT-2模型生成的预测[0091]步骤103：将常见咨询问题候选集中的文本与智能知识库中的问题文本进行相似搜索算法从常见咨询问题候选集中选取预设数量(例如是top-n)的常见咨询问题，实现对[0094]将预设数量的常见咨询问题文本和智能知识库中问题的文本分别转换为具有固制确定第一语义特征向量序列和第二语义特征向量序列对应的第一全局特征向量序列和度的Q和q的字向量序列分别输入到两个双向长短时记忆网络Bi-LSTM单元提取上下文语义特征向量序列SQ和Sq，使用文本相似度公式计算全局特征向量序列SQ和Sq的相似度矩阵[0096]步骤104：将常见咨询问题候选集中相似度高于第一预设阈值的文本添加到智能[0097]在本申请实施例中，使用k-MAXPooling从相似度矩阵sim中选取K个相似度最大的特征信息点组成代表问题文本匹配的特征向量，将特征向量输入全连接层，最后使用softmax分类器进行文本语义匹配的二分类预测，将预测值m大于第一预设阈值M的文本添知识库中的问题文本进行扩充，可以有效提升智能知识库FAQ知识点的用户咨询问题覆盖行训练得到的，所述GPT-2模型的嵌入层参数包括伪提示文本对应的嵌入层参数和用户咨[0102]所述处理模块201，还用于将所述常见咨询问题候选集中的文本与智能知识库中[0103]所述处理模块201，还用于将所述常见咨询问题候选集中相似度高于第一预设阈[0106]将伪提示文本和所述用户咨询问题文本输入所述GPT-2模型的嵌入层进行编码，得到所述伪提示文本对应的提示编码信息和所述用户咨询问题文本对应的文本编码信息，[0107]基于所述预测文本，通过损失函数对所述GPT-2模型的嵌入层中所述伪提示文本对应的嵌入层参数进行优化，直到所述GPT-2模型生成的预测文本与所述用户咨询问题文[0109]基于所述提示编码信息和所述文本编码信息按照标准语法顺[0121]将所述预设数量的常见咨询问题文本与所述智能知识库中问题的文本进行相似[0123]将所述预设数量的常见咨询问题文本和所述智能知识库中问题的文本分别转换[0124]通过深度学习算法分别获取第一字向量序列和第二字向量序列对应的第一语义中的第二文本对应的字向量序列，所述第一字向量序列和所述第二字向量序列的长度相[0125]根据注意力机制确定所述第一语义特征向量和第二语义特征向量序列对应的第[0126]计算所述第一全局特征向量序列中每个全局特征向量与所述第二全局特征向量[0128]前述的智能知识库扩充方法的实施例涉及的各步骤的所有相关内容均可援引到限定处理器301与存储器302之间的具体连接介质，图3中是以处理器301和存储器302之间[0134]存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(RandomAccess电可擦除可编程只读存储器(ElectricallyErasableProgrammableRead-OnlyMemory，施例中的存储器302还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序[0135]通过对处理器301进行设计编程，可以将前述实施例中介绍的智能知识库扩充方用于使该检测设备执行本说明书上述描述的根据本申请