CN113569018B 问答对挖掘方法及装置 （腾讯科技（深圳）有限公司）

A,2019.08.09A,2019.01.25A,2019.11.05A,2020.08.25标提问语料中各分词相关联的第一样本提问语所述第二提问语料中任意两语料之间的第一语2根据目标提问语料中的分词进行检索，获得与所述目标提计算每一第一样本提问语料与所述目标提问语料之间根据所述第三语义相似度对所述第一样本提问根据第一样本提问语料在搜索引擎中进行检索，获得所述计算所述第一样本提问语料和所述第二提问语料中任意两语料之间的第一语义相似获取每一第二候选问答对中提问语料所对应的第一语义相似度和所对应的第三语义问语料与所对应第一候选问答对中的第二回答语料所组成的问答对和所述第一候选问答2.根据权利要求1所述的方法，其特征在于，所述根据目标提问语料中的分词进行检获取与所述目标提问语料中各分词相关联的倒排索引，所述倒排索引根据所述倒排索引获取与各个所述分词相关联的第一样根据所述第二语义相似度对所述第一样本提问以需进行第二语义相似度计算的两个第一样本提问语料中的一个语料作为标准提问计算所述对照提问语料中的每个分词与所述标准提根据所述对照提问语料中各分词对应的相关性权重，对所述对照提问对于每一第一样本提问语料，将所述第一样本提问语料和所述目标3由所述语义匹配模型输出所述第一样本提问语料和所述目标提问语料之间的第三语获取训练数据，所述训练数据包括若干样本语料对和所述样签用于指示所述样本语料对中的两个样本语料根据所述样本语料对和所述样本语料对的标签对所述语义匹配模型获取提问语料对集合，所述提问语料对集合包括若干提问语料对，将所述第一样本提问语料和所述第二提问语料中的语料进行两第一样本提问语料获取模块，用于根据目标提问语料中第一候选问答对获取模块，用于根据第一样本提问语料在第一语义相似度计算模块，用于计算所述第一样本提问语料过滤模块，获取每一第二候选问答对中提问语料所对应的第一一样本提问语料与所对应第一候选问答对中的第二回答语料所组成的问答对和所述第一序，所述计算机程序适于被处理器加载并执行如权利要求1-7任一项所述的问答对挖掘方4算机程序适于被处理器加载并执行如权利要求1-7任一项所5第一样本提问语料与所对应第一候选问答对中的第二回答语料所组成的问答对和所述第二候选问答对包括所述第一样本提问语料与所对应第一候选问答对中的第二回答语料所6用于根据所述第二语义相似度对所述第一样本提问语度计算模块，用于计算每一第一样本提问语料与所述目标提问语料之间的第三语义相似所述提问语料对是将所述第一样本提问语料和所述第二提问语料中的语料进行两两组合于由所述语义匹配模型输出所述提问语料对中两语料之间的第一语义获取每一所述第二候选问答对中提问语料所对应的第一语义相似度和所对应的第三语义78本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，[0033]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对[0036]人工智能(ArtificialIntelligence，AI)是利用数字计算机或者数字计算机控网络104用以在终端设备和服务器105之间提供通信链路的介质。网络104可以包括各种连请的方法根据作为挖掘基础的目标提问语料来9答模型自动根据用户输入的提问语料输出回提问请求包括用户所输入的提问语料，然后服务器105通过问答模型通过分析提问语料的[0048]图2示出了根据本申请的一个实施例示出的问答对挖掘方法的流程图，该方法可[0061]在本实施例中，在步骤320之前，先根据每一样本提问语料中的分词构建倒排索[0070]步骤230，计算所述第一样本提问语料和所述第二提问语料中任意两语料之间的可以通过计算两语料所对应语义向量之间的欧式距离来确定两语料之间的第一语义相似[0073]步骤240，根据所述第一语义相似度对第二候选问答对进行过滤，得到目标问答答语料所组成的问答对和所述第一候选问答对；所述目标问答对用于对问答模型进行训答对中提问语料(即第一样本提问语料或者第一候选问答对中的第二提问语料)相关的多的相似度的数量，然后确定所统计的数量超过设定数量的提问语料所在的第二候选问答语料所在的第二候选问答对，第一语义相似度超过第二相似度阈值的数量超过设定数量，一语义相似度阈值低于第三相似度阈值的提问语料所在的第二候选问答对作为目标问答所检索到的第一样本提问语料包括目标提问语料所针对实体对象的多种属性相关的问题，语义相似度称为第二语义相似度)可以如上第一语义相似度的计算过程，基于两第一样本[0090]通过如上步骤410-420的过程，可以将语义相似度较高的多个第一样本提问语料出现因用语义相似高的第一样本提问语料进行检索导致所得到多次检索结果中的第二候[0092]步骤411，以需进行第二语义相似度计算的两个第一样本提问语料中的一个语料[0095]步骤413，计算所述对照提问语料中的每个分词与所述标准提问语料之间的相关b=[0107]在通过如上步骤413和414确定对照提问语料中的每个分词与标准提问语料之间[0112]步骤510，计算每一第一样本提问语料与所述目标提问语料之间的第三语义相似[0114]第一样本提问语料和目标提问语料之间的第三语义相似度可以通过如上先构建为小于过滤阈值的范围，即若一第一样本提问语料对应的第三语义相似度小于该过滤阈[0117]在本申请的一些实施例中，步骤510可以进一步包括：对于每一第一样本提问语型输出所述第一样本提问语料和所述目标提问语料之间的第三语义[0122]交互层620用于进行第一样本提问语料中各分词的隐状态向量和目标提问语料中[0123]具体的，交互层620先将第一样本提问语料中分词对应的隐状态向量与目标提问[0125]然后交互层620基于乘积向量和softmax函数计算两语料中各分词对应的交互向个分词对应的整合序列：样本提问语料中分词对应的序列表示为目标提问语料中分词对应的序列[0135]聚合层630中的池化层631包括平均池化(averagepooling)层和最大池化(max中分词对应的序列进行平均池化操作，将平均池化操作所得到的向量表示为va,avg和vb,avg；最大池化层用于对第一样本提问语料中分词对应的序列和目标提问语料中分词对应的序列进行最大池化操作，将最大池化操作所分别得到的向量表示va,max和vb,max。再将平均池化操作和最大池化操作所得到的向量进行整合生成目标向量v:v＝[va,avg,[0136]最后由输出层640根据目标向量v输出第一样本提问语料与目标提问语料之间的通过其他语义匹配模型来输出第一样本提问语料与目标提问语料之间的第三语义相似度，[0138]为保证语义匹配模型所输出结果的准确性，还需要对该语义匹配模型进行训[0146]在图4所示的实施例中，基于相关性分数和相关性权重来计算两第一样本提问语提问语料对是将所述第一样本提问语料和所述第二提问语料中的语料进行两两组合得到[0150]步骤730，由所述语义匹配模型输出所述提问语料对中两语料之间的第一语义相[0151]在本实施例的方案中，通过图5所示实施例中的语义匹配来计算提问语料对的第[0153]步骤810，获取每一所述第二候选问答对中提问语料所对应的第一语义相似度和[0154]步骤820，将所述第二候选问答对中提问语料所对应的第一语义相似度和所对应[0161]第一候选问答对获取模块920，用于根据第一样本提问语料在搜索引擎中进行检[0162]第一语义相似度计算模块930，用于计算所述第一样本提问语料和所述第二提问于计算每一第一样本提问语料与所述目标提问语料之间的第三语义相似度；第三过滤模义匹配模型输出所述提问语料对中两语料之间的第一语[0174]如图10所示，计算机系统1000包括中央处理单元(CentralProcessingUnit，储部分1008加载到随机访问存储器(RandomAccessMemory，RAM)1003中的程序而执行各器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN(LocalArea因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质从其上读出的计算机程序根据需要被安装入存储部分1008。或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，块或者单元的特征和功能可以进一步划分为由多个模块或者单途或