CN113569094B 视频推 荐方法、装置、电子设备及存储介质 （腾讯科技（深圳）有限公司）

2基于所述查询信息的文本特征和所述至少两个视频各自对应的视基于所述至少两个视频各自与所述查询信息的相似度，对所述至少两个视频进行排所述基于所述查询信息的文本特征和所述至少两个视频各自对应的视觉根据所述文本特征的第一注意力权重，确定所述文本特征的所述文本特征的第一注意力权重表征所述文本特征与第一拼接矩阵中各个特征的关联程在所述字序列的首部添加分类字，以及在所述字序列的尾部添根据各个字向量的第三注意力权重，分别确定所述各个字向量对应对所述一个视频进行特征提取，得到所述一个视频中每个视频帧分别根据所述动态特征的第四注意力权重和各个图像特征3将所述一个视频的每个视频帧输入图像特征提取子模型中，分别对将所述一个视频输入动态特征提取子模型的特征提取层中进行卷积处个视频中连续视频帧内至少一个对象的运动状态，并根据所述至少一个对象的运动状态，根据所述第一拼接矩阵和预设的多个权重矩阵，分别获得所述第一根据获得的所述各个文本子特征的查询向量和所述第一拼接矩阵的键向量根据获得的所述文本特征的第一注意力权重和所述第一拼接矩根据所述第一拼接矩阵和预设的多个权重矩阵，分别获得所述第一根据获得的所述各个视觉子特征的查询向量与所述第一拼接矩各个视觉子特征的第七注意力权重，并将所述各个视觉子特征的第七注意力权重进行拼根据获得的所述视觉特征的第二注意力权重和所述第一拼接矩分别对获得的字幕信息和语音转文字信息进行特征提取根据所述文本特征的第八注意力权重，确定所述文本特征的第三上所述文本特征的第八注意力权重表征所述文本特征对第三拼接矩阵中各个特征的关联程4基于所述第三上下文关联特征、所述第四上下文关联特征和所述第五上下文关联特处理模块，用于基于所述查询信息的文本特征和所述至少两个视排序模块，用于基于所述至少两个视频各自与所述查询信息的相根据所述文本特征的第一注意力权重，确定所述文本特征的所述文本特征的第一注意力权重表征所述文本特征与第一拼接矩阵中各个特征的关联程5[0014]根据所述文本特征的第一注意力权重，确定所述文本特征的第一上下文关联特6标字序列；表征相应的一个字向量与其他各个字向量的阵的查询向量包括所述文本特征中各个文本阵的查询向量包括所述视觉特征中各个视觉7[0037]分别对获得的字幕信息和语音转文字信息进行特征提取[0038]根据所述文本特征的第八注意力权重，确定所述文本特征的第三上下文关联特据所述视频描述特征的第十注意力权重，确定所述视频描述特征的第五上下文关联特征；89迁移学习、归纳学习等技术，深度学习则包括卷积神经网络(ConvolutionalNeural行自然语言处理和计算机视觉处理，也可以使用基于注意力机制的Transformer网络执行种特殊的RNN，主要用于解决长序列训练过程中产生的梯度消失和梯度爆炸而设计的神经外，还需要使用inceptionv4神经网络和三维卷积膨胀(inflatedofthethree网络中添加了残差学习层(ResidualLearningLayer)，用于解决深度神经网络的退化问[0078]用户可通过终端110登录应用操作界面120，应用操作界面120向用户呈现查询入[0093]参阅图2a的结构示意图可知，在查询信息处理模型中包括预处理模块和文本Transformer网络。参阅图3b示出的文本Transformer网络的结构示意图，在文本Transformer网络中主要包含了一个注意力模块和与注意力模块相连的前馈神经网络，而文本Transformer网络中存在多个注意力模块，将同一字向量矩阵分别输入到各个注意力KV9行n维的矩阵，WQ、WK和WV是相同的权重矩阵，均为n行9维的矩阵，乘得到第三注意力权重为再将第三注意力权重与值向量相乘得到文本子特征为矩阵中的数字仅为示意性表述，并非是精准数特征提取子模型和视觉Transformer网络。在本申请实施例中，图像特征提取子模型为利于提高视频与查询信息之间的相似度计算准确率，进而更好地对召回的视频进行重排[0106]其次，分别根据动态特征的第四注意力权重和各个图像图像特征的第五注意力权重表征相应的一个图像对第二拼接矩阵中各个特征的关联程度，还包括全连接层和Softmax层，步骤2022输出的第一上下文关联特征和第二上下文关联特[0122]除了如图2所示的推荐系统外，还可以将视频的字幕信息和语音转文字信息作为[0125]参阅图4示出的结构示意图可知，在视频辅助处理模型中包括光学字符识别(OpticalCharacterRecognition，OCR)模块和自动语音识别(AutomaticSpeech表征视觉描述特征对第三拼接矩阵中各个特征的关联注程度，第三拼接矩阵是将文本特[0130]参阅图4的结构示意图可知，跨模态交互模型中不仅包括融合Tra[0135]处理模块602，用于基于所述查询信息的文本特征和所述至少两个视频各自对应[0139]根据所述文本特征的第一注意力权重，确定所述文本特征的第一上下文关联特标字序列；表征相应的一个字向量与其他各个字向量的阵的查询向量包括所述文本特征中各个文本阵的查询向量包括所述视觉特征中各个视觉[0162]分别对获得的字幕信息和语音转文字信息进行特征提取[0163]根据所述文本特征的第八注意力权重，确定所述文本特征的第三上下文关联特据所述视频描述特征的第十注意力权重，确定所述视频描述特征的第五上下文关联特征；[0170]与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设[0172]存储器801可以是易失性存储器(volatilememory)，例如随机存取存储器(random-accessmemory，RAM)；存储器801也可以是非易失性存储器(non-volatile[0175]本申请实施例中不限定上述存储器801、通讯模块803和处理器802之间的具体连[0176]存储器801中存储有计算机存储介质，计算机存储介质中存储有计算机可执行指例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的视频推荐方法[0182]本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包