CN112100332B 词嵌入表示学习方法及装置、文本召回方法及装置 （腾讯科技（深圳）有限公司）

本公开提供了一种词嵌入表示学习方法及对词嵌入表示模型进行训练以获取词嵌入查找词形学接近的词语在词嵌入空间中具有相近的2所述中文文本经分词处理所得到的各分词中每个字对按照各个节点对应的边的数量，将所述无向无环图中各个节点划分为高度采用对边切分方式对所述无向无环图中的低度节点进行切分，并采根据所述节点序列对词嵌入表示模型进行训练以获取词嵌入查找表；获取基于所述无向无环图构建的词表，并根据所述词表获取所根据所述编码在所述词嵌入查找表中确定与所述分词根据所有所述分词对应的词嵌入确定与所述文本语料对应的4.根据权利要求1所述的方法，其特征在于，所述以所述图结构中的各节点为初始节获取预设的第一参数和第二参数，根据当前节点、与所述当前节根据所述预测信息和所述节点序列对应的标记信基于所述损失函数对所述词嵌入表示模型的参数进行优化，以3根据所述搜索分词在词嵌入查找表中进行查询，以获取与所述搜索分词对应的词嵌入，所述词嵌入查找表是根据权利要求1-5中任意一项所述的词嵌入表示学习方法所获取根据所有所述搜索分词对应的词嵌入获取与所述搜索字符串对应的所述搜索向量和候选文本对应的文本向量确根据所述搜索分词在所述目标词嵌入查找表中进行查询，以获取获取所述搜索向量与各所述候选文本对应的文本向量之所述获取所述搜索向量与各所述候选文本对应的文本向量之间的第一根据所述候选文本及所述文本向量进行倒排索引，并确定所述获取所述搜索字符串与所述初始召回得到的候选文本中具有相同属性的字段所对应本经分词处理所得到的各分词中每个字对应按照各个节点对应的边的数量，将所述无向无环图中各个节点划分为高度采用对边切分方式对所述无向无环图中的低度节点进行切分，并采采样模块，用于以所述无向无环图中的各节点为初始节点，随机游词嵌入获取模块，用于根据所述节点序列对词嵌入表示4获取基于所述无向无环图构建的词表，并根据所述词表获取所根据所述编码在所述词嵌入查找表中确定与所述分词根据所有所述分词对应的词嵌入确定与所述文本语料对应的词嵌入获取模块，用于根据所述搜索分词在词嵌入查搜索分词对应的词嵌入，所述词嵌入查找表是根据权利要求1-5中任意一项所述的词嵌入器执行时实现如权利要求1至5中任意一项所述的词嵌入表示学习方法和权利要求6至9中存储装置，用于存储一个或多个程序，当所述一个或多个程序被算机指令适于被处理器加载并执行如权利要求1至5中任意一项所述的词嵌入表示学习方5[0002]词嵌入(wordembedding)又称词向量，词表征、文本表征等，是自然语言处理(NLP)中语言模型与表征学习技术的统称，它是指把一个维数为所有词的数量的高维空间误或者召回结果不完整的情况，缺少与正确的搜索字符串对应的召回结果，降低了用户体验。嵌入查找表确定与所述文本语料对应的词嵌6于根据所述搜索分词在词嵌入查找表中进行查询，以获取与所述搜索分词对应的词嵌入，回模块，用于根据所有所述搜索分词对应的词嵌入获取与所述搜索字符串对应的搜索向算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质取多个节点序列，最后根据多个节点序列对词嵌入表示模型进行训练以获取词嵌入查找7[0025]图10示出了适于用来实现本公开实施例的词嵌入表示学习装置和文本召回装置本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，[0028]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对[0033]在本公开的一个实施例中，用户通过终端设备101中内置或外设的输入装置输入中的各个节点作为初始节点，通过随机游走的方式获取与各个初始节点对应的节点序列；8[0035]在自然语言处理的高级任务中，使用机器学习的方法需要将词转化为数学表型和优化语言模型进行词嵌入，动态表征包括通过ELMo(EmbeddingsfromLanguage的语言模型，存在的问题主要是LSTM特征提取能力有限，双向拼接的特征融合能力较弱。GPT为基于转换解码(Transformerdecoder)结果的单向语言模型，存在单向语义的问题。9[0038]计算机视觉技术(ComputerVision,CV)计算机视觉是一门研究如何使机器“看”[0042]图2示意性示出了根据本公开的一个实施例的词嵌入表示学习方法的流程图，该候会由于疏忽出现拼写错误或者出现错别字的情况，或者在对文本进行光学字符识别(OCR)时出现识别错误的情况，如果搜索召回系统严格按照获取的搜索字符串进行检索召搜索字符串的信息，还能够对包含与搜索字符串在词形学上相近的词语的信息进行召回。信息都是xun，即使是非中文字符也会存在词形学上相近的词语，例如angel和angle，未示出拼音相近字相同的连接关系，但是应当理解的是，图结构所包含的数据量是相当大的，其中包含的节点和边的数量均可能是千万级别乃至亿级别的，因此在图结构中应当是包含了所有的连接关系，比如在重点关注的拼音相同字不同、拼音相近字相同的节点关系单字之间的边设置较高的第一权重，在单字和标准拼音之间设置低于第一权重的第二权结构中的各个节点作为初始节点，通过随机游走的方式获取与初始节点对应的节点序列，二参数q确定当前节点跳到与当前节点相邻的历史节点和未来节点的游走概率；最后根据[0062]在本公开的一个实施例中，在获取以图结构中各个节点为初始节点的节点序列具体地可以将节点序列输入至词嵌入表示模型中以获取词嵌入表示模型输出的预测信息，隐藏层的向量点乘权重矩阵的每一列所得到的结果，最后对输出层向量进行归一化处理，句的词。[0064]从上述流程分析可知，获取词嵌入的关键在于获取输入将对出现频率高的词语进行处理的任务划分为多个子任务，由多个机器同时执行子任务，就是说会使用同一文本语料进行多次重复的模型训练，这就可能导致随着训练次数的增[0069]本公开基于词嵌入表示学习方法还提供了一种文本召回方法，图5示出了文本召[0074]在本公开的一个实施例中，当词嵌入查找表中包含数量足够的词语的嵌入向量[0077]在本公开的一个实施例中，在获取与搜索字符串中各搜时则过滤掉该候选文本。第一相似度可以通过计算搜索向量与文本向量之间的余弦距离、实施例中的方法得到搜索人名及候选人名的词嵌入、搜索产品名及候选产品名的词嵌入，仅通过本公开实施例中的方法获取词嵌入然后计算相似度以进行召回。图6示出了获取召端的显示界面中输入所要查询的搜索企业名称，例如用户输入“腾迅科技(北京)有限公用本公开实施例中的词嵌入表示学习方法获取与企业搜索业务场景相关的词嵌入查找表，[0082]基于本公开中的词嵌入表示学习方法和文本召回方法能够召回包含搜索字符串二参数确定所述当前节点跳到所述历史节点以及所述当前节点跳到所述未来节点的游走于所述损失函数对所述词嵌入表示模型的参数进行优化，以使所述损失函数的值达到最小，并将训练后的所述词嵌入表示模型中隐藏层所对应的嵌入矩阵作为所述词嵌入查找召回单元，用于获取所述搜索向量与各所述候选文本对应的文本向量之间的第一相似度，所述搜索字符串与所述初始召回得到的候选文本中具有相同属性的字段所对应的向量之[0101]如图10所示，计算机系统1000包括中央处理单元(CentralProcessingUnit，储部分1008加载到随机访问存储器(RandomAccessMemory，RAM)1003中的程序而执行各系统操作所需的各种程序和数据。CPU1001、ROM1002以器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN(LocalArea因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质从其上读出的计算机程序根据需要被安装入存储部分1008。或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以上述实施例中描述的词嵌入表示学习装置和文本召回装置中所包含的；也可以是单独存块或者单元的特征和功能可以进一步划分为由多个模块或者单者适应性变化遵循本公开的一般性