CN112231347B 一种数据处理方法、装置、计算机设备及存储介质 （腾讯科技（深圳）有限公司）

于将搜索业务数据和待匹配业务数据进行匹配索业务数据的第一特征提取向量和第一模态业第一特征提取向量和第二模态业务数据的第三向量与第二学习结果中的学习向量进行拼接处对搜索业务数据和待匹配业务数据之间的匹配2获取用于将搜索业务数据和待匹配业务数据进行匹配的多模通过所述特征学习器中的文本特征学习器，对所述搜索业务数据述文本全局信息向量是基于所述文本特征学习器的第一全局特征学习层中的第一多尺度通过所述特征学习器中的多模态特征学习器，对所述第一特征提取向量全局信息向量是基于所述多模态特征学习器的第二全局特征学习层中的第二多尺度卷积通过所述预测生成器，将所述第一学习向量与所述第四学习向量进行拼接处将所述第一拼接向量和所述第二拼接向量，作为向量拼接结果；所述向量于指示对所述搜索业务数据和所述待匹配业务数据之间获取用户终端发送的包括搜索业务数据的业务搜索请求；所述业务搜搜索业务数据是由所述用户终端从所述搜索显示界面的搜索基于所述业务搜索请求，从视频数据库中获取具有第一业务类第二业务类型的业务数据，将具有所述第二业务类型的业务数据作为第二模态业务数据；将所述第一模态业务数据和所述第二模态业务数据所共同映射的业务数据作为待匹将所述搜索业务数据和所述第一模态业务数据作为待编3通过所述词向量提取网络，从所述待编码文本数据中提取得到对所述第二模态业务数据进行抽帧处理得到视频帧，将所对所述待编码文本数据进行预处理，将预处理后的待编码文本数将所述目标字信息输入至所述词向量提取网络中，由所述词向所述词向量提取网络提取出所述第k个字对应的目标字位置向量；所述词向量提取网络是基于所述目标字信息向量以及所述目标字位置向量，得到所述第k个字对应的特征提所述通过所述特征学习器中的文本特征学习器，对所述搜索业务数据的向量和所述第一模态业务数据的第二特征提取向量进行第一学习处理，得到第一学习结将所述搜索业务数据的第一特征提取向量和所述第一模态业务数据的第二特征提取基于所述第一初始隐藏向量、所述第二初始隐藏向量以及所述第一全局特征学习层，基于所述第一初始隐藏向量、所述第二初始隐藏向量以及所述第一局部特征学习层，基于所述文本全局信息向量以及所述文本局部细粒度向量，得到所将所述第一输出向量输入至所述第一多层感知机，得到所述第4取向量对应的第二学习向量，将所述第一学习向量与所述第二学习向量作为第一学习结将所述第一初始隐藏向量和所述第二初始隐藏向量分别作为待匹配文本数据对应的待匹配文本数据中遍历获取到的第k个字所对应的隐藏向量；所述k为小于或者等于H的正将所述初始隐藏向量输入至所述第一全局特征学习层，获取与所述第一卷积特征中获取第一类型卷积特征和第二类型卷积特征；通过所述(N-1)个第二类型将所述第一类型卷积特征和所述(N-1)个第二卷积特征输入至平均池化层，得到所述将所述待匹配文本数据中的每个字分别对应的池化特征输入至连接7.根据权利要求5所述的方法，其特征在于，数据相关联的总字数所得到的；所述n是由与所述第一模态业务数据相关联的总字数所得所述基于所述第一初始隐藏向量、所述第二初始隐藏向量以及所述第将所述第一初始隐藏向量、所述第二初始隐藏向量输入至所述第一局部特征学习层，从与所述搜索业务数据相关联的所述第一初始隐藏向量中，遍历获取第i个字对应的隐藏确定所述隐藏向量pai与所述隐藏向量pbj之间的第一局部权重eij，确定所述隐藏向量5基于所述第一局部权重eij、所述第二局部权重eiv以及隐藏向量pbj的第一中间隐藏向量J,直到所述i的值为m时，得到m个第一中间隐藏向量，基于所述m个基于所述第一局部权重eij、所述第三局部权重euj以及隐藏向量pai的第二中间隐藏向量J,直到所述j的值为n时，得到n个第二中间隐藏向量，基于所述n个将所述第一局部细粒度向量和所述第二局部细粒度向量作为文本局所述通过所述特征学习器中的多模态特征学习器，对所述第一将所述第一特征提取向量和所述第三特征提取向量分别输入至所述第二双向隐藏编基于所述第三初始隐藏向量、所述第四初始隐藏向量以及所述第二全局特征学习层，基于所述第三初始隐藏向量、所述第四初始隐藏向量以及所述第二局部特征学习层，基于所述多模态全局信息向量以及所述多模态局部细粒度向量，将所述第三输出向量输入至所述第二多层感知机，得到所述第取向量对应的第四学习向量，将所述第三学习向量和所述第四学习向量作为第二学习结9.一种数据处理方法，其特征在于，所述方法由获取用于训练多模态训练模型的样本数据组；所述样本数据组包组以及第二类型样本数据组；所述第一类型样本数据组为具有样本标签信息的样本数据将所述样本数据组输入至所述多模态训练模型，由所述多模态6获取所述样本数据组对应的样本拼接向量，基于所述样本拼接信息相关联的所述多模态训练模型的模型损失函数以及与所述多模态训练模型相关联的基于所述最佳扰动量以及所述样本拼接向量，生成所述样本数所述模型收敛条件的多模态训练模型作为用于预测业务数据组之间的匹配度的多模态匹基于所述样本拼接向量、所述预测标签信息、所述模型参数以及获取与所述多模态训练模型相关联的期望条件，在检测到所模型获取模块，用于获取用于将搜索业务数据和待匹配业务数据进行第一学习处理模块，用于通过所述特征学习器中的文数据的第一特征提取向量和所述第一模态业务数据的第二特征提取向量进行第一学习处第二学习处理模块，用于通过所述特征学习器中的多模7拼接处理模块，用于通过所述预测生成器，将所述第一学习向量所述拼接处理模块，还用于将所述第一拼接向量和所述第二拼接向量样本获取模块，用于获取用于训练多模态训练模型的样本数据组；述样本标签信息用于指示所述第一类型样本数据组之间的预测结果输出模块，用于将所述样本数据组输入至所述多模态训练模最佳扰动量确定模块，用于获取所述样本数据组对应的样本迭代训练模块，用于基于所述最佳扰动量以及所述样本拼接向量，生模型确定模块，用于当所述模型训练结果指示迭代训练后的多模态训业务数据和所述待匹配业务数据之间的匹配度进行8算机程序被处理器执行时实现权利要求1-19[0002]目前在业务搜索场景中，用户可以在应用客户端中录入自己感兴趣的业务数据部细粒度向量是基于文本特征学习器的第一局部特细粒度向量是基于多模态特征学习器的第二局部特[0009]通过预测生成器将第一学习结果中的学习向量与第二学习结果中的学习向量进模型收敛条件的多模态训练模型作为用于预测业务数据组之间的匹配度的多模态匹配模取向量和第二模态业务数据的第三特征提取向量进行第二学习处理，得到第二学习结果；第二学习结果中的学习向量是由多模态全局信息向量和多模态局部细粒度向量所得到的；多模态全局信息向量是基于多模态特征学习器的第二全局特征学习层中的第二多尺度卷务搜索请求为用户终端在应用客户端中响应针对搜索显示界面中的搜索控件的触发操作向量提取网络提取出第k个字对应的目标字位置向量；词向量提取网络是基于文本词表所[0040]文本输出向量确定单元，用于基于文本全局信息向量以得到第一特征提取向量对应的第一输出向量，以及第二特征提取向量对应的第二输出向一全局特征学习层相关联的第一多尺度卷积核；第一多尺度卷积核包括N个第一类型卷积[0046]池化特征确定子单元，用于将第一类型卷积特征和(N-1)个第二卷积特征输入至特征提取向量对应的第一全局信息向量，以及第二特征提取向量对应的第二全局信息向[0051]局部权重确定子单元，用于确定隐藏向量pai与隐藏向量pbj之间的第一局部权重向量pbj，确定第i个字对应的第一中间隐[0062]其中，第一学习结果中的学习向量包括第一特征提取向量对应的第一学习向量、拼接处理，从而可以快速且准确的表示出搜索业务数据与待匹配业务数据的特征向量(即[0101]为便于理解，本申请实施例可以在图1所示的多个用户终端中选择一个用户终端作为目标用户终端。例如，本申请实施例可以将图1所示的用户终端100a作为目标用户终该目标用户终端可以通过该应用客户端对应的业务数据平台与服务器10之间实现数据交的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，数据或者图片数据)，进而可以将该搜索业务数据发送至该购物客户端对应的服务器(例的多模态匹配模型。其中，如图2所示，该多模态匹配模型可以包括特征提取器(Feature局信息向量和第二特征提取向量对应的第二全局信息向量)是基于文本特征学习器的第一特征提取向量对应的第一局部细粒度向量和第二特征提取向量对应的第二局部细粒度向量)是基于文本特征学习器的第一局部特征[0113]如图2所示，特征学习器还可以包括多模态特征学习器(Featurelearnerandperceptronformulti-type，简称FLPM)以及与该多模态特征学习器相关联的多层感知量对应的第三全局信息向量和第一特征提取向量对应的第四全局信息向量)是基于多模态粒度向量(例如，第三特征提取向量对应的第三局部细粒度向量和第一特征提取向量对应的第四局部细粒度向量)是基于多模态特征学习器的第二局部特征学习层学习结果中的学习向量与第二学习结果中的学习向量进行拼接处理，以得到向量拼接结务数据匹配失败时，该计算机设备可以继续从视频数据库中获取一个新的待匹配业务数[0123]应当理解，本申请实施例中的应用显示界面400a中可以包括搜索页面切换控件由应用显示界面400a切换至搜索显示界面400b。如图4所示，该用户可以在搜索显示界面以将与该触发操作相关联的标题1作为搜索业务数据，以生成用于向应用客户端对应的计通过该多模态匹配模型对搜索业务数据和待匹配业务数据之间的匹配本申请实施例中的搜索业务数据可以为文本数据1，该第一模态业务数据可以为文本数据分词模型可以为预先训练好的分词模型，也可以为采用qq分词模型等其他类型的分词模残差网络可以用于对图片类型的业务数据进行特征提取。例如，该残差网络可以为该待匹配文本数据的长度过长(即总字数过多)可能会导致该计算机设备在特征提取时出词向量提取网络提取出该第k个字对应的目标字信息向量，将该目标字位置信息输入至该该计算机设备可以从该字信息序列中遍历获取该文本数据中完整的数字和英文单词特征，避免了拆分数字和英文单词带来的语义信息损能够更加准确的匹配搜索业务数据和待匹配过大或者过小的情况。为了解决该问题，该计算机设备可以设定该视频帧的最大帧数(例w2m务数据(例如，文本b)中提取到第二特征提取向量。该第二特征提取向量可以表示为q1，q2n务数据(例如，视频c)中提取到第三特征提取向量。该第三特征提取向量可以表示为r1，r2o特征学习器相关联的第一多层感知机。该文本特征学习器可以包括第一双向隐藏编码层、数据的第一特征提取向量和该第一模态业务数据的第二特征提取向量分别输入至第一双以将第一学习向量与第二学习向量作为第一学习到输入到多模态匹配模型中的业务数据(搜索业务数据或者待匹配业务数据)之间的BiGRU)或者循环神经网络(简称CNN网络[0145]应当理解，图5a所示的全局特征学习层512可以为用于学习全局特征的改进网中量(即第一初始隐藏向量和第二初始隐藏向量)输入至全局特征学习层512，以得到文本全[0146]图5a所示的局部特征学习层513可以为用于学习局部细粒度特征的注意力学习机隐藏向量和第二初始隐藏向量)输入至局部特征学习层513，以得到文本局部细粒度向量。[0147]进一步地，计算机设备可以将通过全局信息特征学习层512得到的文本全局信息向量以及通过局部特征学习层513得到的对应特征提取向量的文本局部细粒度向量进行叠向量可以为该计算机设备将第二全局信息向量和第二局部细粒度向量进行叠加求和处理得到对应的初始隐藏向量的计算公式可以如下述公式(1)和公式STM(a,w),wie[l,…,m],(1)je[l…n],(2)据对应的全局信息向量的计算公式可以如下述公是由该待匹配文本数据中的总字数所得到的。这里的D可以为对该待匹配文本数据进行特[0157]应当理解，该计算机设备可以将该初始隐藏向量输入至隐藏向量输入至第一多尺度卷积核中进行卷积计算的公式可个字对应的隐藏向量所构成的向量矩阵。表示该待匹配文本数据中的第k个字在该卷积[0160]其中，该计算机设备所获取的第一多尺度卷积核可以包括N个第一类型卷积核和[0162]应当理解，该计算机设备可以通过该(N-1)个第二类型卷积核分别对该第二类型全局特征学习层512。本申请实施例中与该全局特征学习层相关联的第一多尺度卷积核可度卷积核可以包括4个第一类型卷积核和3个第二类型卷积核。这4个第一类型卷积核均为以对填充后的4个卷积特征进行平均处理，从而得到该待匹配文本数据中的每个字分别对[0173]可以理解的是，该计算机设备可以通过上述公式(5)确定该隐藏向量pbj之间的第一局部权重eij，该隐藏向量pai与该隐藏向量pbv之间的第二局部权重eiv，藏向量pbj，确定第i个字对应的第一中间隐藏向量J,直到该i的值为m时，得到m个第一中[0175]具体地，该计算机设备确定局部细粒度向量的计算公式可以如下述公式(6)至公b是待匹配文本数据b经过文本特征学习器所得到的输出向量。该第一特征提取向量对应的第一学习向量，且将该第二输出向量输入至该第一多层感知四全局信息向量，且将第三全局信息向量和第四全局信息向量作为多模态全局信息向量。[0199]其中，za是与搜索业务数据相关联的待匹配文本数据a经过与文本特征学习器相关联的第一多层感知机所得到的学习向量(即第一学习向量)，sa是待匹配文本数据a经过的待匹配文本数据b经过与文本特征学习器相关联的第一多层感知机所得到的学习向量该计算机设备可以确定该搜索业务数据与该待匹配[0202]应当理解，该计算机设备确定搜索业务数据与待匹配业务数据的分类结果g可以标题1作为搜索业务数据，以生成用于向该应用客户端对应的服务器6B所发送的业务搜索[0212]在该服务器6B接收到该业务搜索请求时，可以搜索到与该标题1这一搜索业务数送至该用户终端6A，以使该用户终端6A可以将显示界面由该搜索显示界面600切换至业务该业务数据展示界面600，以使该用户a可以便捷的获取到所感兴趣的视频类型的业务数组对多模态训练模型进行初始训练，从而可以得到初始训练完成后的多模态训练模型(例本数据组进行预测，将预测得到的预测结果作为该第二类型样本数据组的样本标签信息。o[0230]具体地，当模型训练结果指示迭代训练后的多模态训练模型满足模型收敛条件模型收敛条件时，该计算机设备将该迭代训练后的多模态训练模型作为多模态过渡模型，该模型匹配条件的多模态过渡模型作为用于预测匹配度的多模态匹122，文本局部向量确定单元123，文本输出向量确定单元124以及第一学习结果确定单元[0237]该文本初始向量确定单元121，用于将搜索业务数据的第一特征提取向量和第一为从待匹配文本数据中遍历获取到的第k个字所对应的隐藏向量；k为小于或者等于H的正取与第一全局特征学习层相关联的第一多尺度卷积核；第一多尺度卷积核包括N个第一类得到N个第一卷积特征，在N个第一卷积特征中获取第一类型卷积特征和第二类型卷积特[0243]该池化特征确定子单元1224，用于将第一类型卷积特征和(N-1)个第二卷积特征[0250]该局部权重确定子单元1232，用于确定隐藏向量pai与隐藏向量pbj之间的第一局及隐藏向量pbj，确定第i个字对应的第一中间隐藏向量J,直到i的值为m时，得到m个第一及隐藏向量pai，确定第j个字对应的第二中间隐藏向量J,直到j的值为n时，得到n个第二[0255]该文本输出向量确定单元124，用于基于文本全局信息向量以及文本局部细粒度定单元123，文本输出向量确定单元124以及第一学习结果确定单元125的具体实现方式可[0261]该多模态初始向量确定单元131，用于将第一特征提取向量和第二模态业务数据征提取向量对应的第三初始隐藏向量以及第一特征提取向量对应的第四[0264]该多模态输出向量确定单元134，用于基于多模态全局信息向量以及多模态局部向量确定单元133，多模态输出向量确定单元134以及第二学习结果确定单元135的具体实[0268]其中，第一学习结果中的学习向量包括第一特征提取向量对应的第一学习向量、[0273]该请求获取模块15，用于获取用户终端发送的包括搜索业务数据的业务搜索请由词向量提取网络提取出第k个字对应的目标字位置向量；词向量提取网络是基于文本词[0290]在图9所示的计算机设备1000中，网络接口1004主要用于与用户终端进行网络通部细粒度向量是基于文本特征学习器的第一局部特细粒度向量是基于多模态特征学习器的第二局部特[0294]通过预测生成器将第一学习结果中的学习向量与第二学习结果中的学习向量进计算机可读存储介质中存储有前文