CN116304120B 多媒体检索方法、装置、计算设备和存储介质 （中移(苏州)软件技术有限公司）

质据各个相似度值的大小确定与所述检索文本匹2分析检索文本，得到所述检索文本的分词及其词性；结合检索文本进行句法分析得到句法特征向量；将所述分词向量和句法特征向量进行拼接融将各个所述子属性和所述相关关系输入到预训练的语义匹配模型中，确定各个所述子属性的标签与预得到的多媒体子类标签之间的述相似度值的大小确定与所述检索文本匹配其中，所述第一交叉熵损失函数以归一化指数函数和实际关系值度损失函数以所述第一隐向量的平均值和目标子属性隐向量的平从检索文本样本中根据语义分析结果提取出子属性，根据所述子属将所述正样本向量、检索文本向量和负样本向量分别经过编码器进将所述正向比编码向量、文本比编码向量和负向比编码向量其中，所述第二交叉熵损失函数以归一化指数函数和实际标签值抽取多媒体中的关键帧，并对所述关键帧进行目标检测，3述乘积值的大小和第一损失函数确定子属性之间的相关标签获取模块，适于将各个所述子属性和所述相关关系输入到预训练的检索匹配模块，适于确定各个所述子属性的标签与预得到的多媒体子类所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行8.一种计算机存储介质，所述存储介质中存储有使处理器执行根据权利要求1-5中任一项所述的多媒体4个所述相似度值的大小确定与所述检索文本匹配5[0017]根据所述检索文本和所述依存关系构建依存关系矩阵，根据所述依存关系矩阵、所述乘积值的大小和第一损失函数确定所述子属性之间的相关KL散度损失函数以所述第一隐向量的平均值和目标子属性隐向量的6[0037]上述说明仅是本发明技术方案的概述，为了能够更清楚[0051]结合图2所示的多媒体检索场景示意图，本发明实施例可以用于通过接收用户输7[0055]步骤130：确定各个所述子属性的标签与预得到的多媒体子类标签之间的相似度[0056]继续参见图2所示的，视频等多媒体数据是通过分析提取相应标签后保存到数据[0068]根据所述检索文本和所述依存关系构建依存关系矩阵，根据所述依存关系矩阵、所述乘积值的大小和第一损失函数确定所述子属性之间的相关81m52戴v43n24的u55n0[0075]优选的，本示例中的依存关系可以采用PKUMulti‑viewChineseTreeban体之间的依赖关系识别，其具体的过程如图4中的检索文本细粒度层级语义属性抽取的流kj9找L属性字符，然后到下L字符所在列找下一个L或者E属性字符，以E属性字符作为片段结KL散度损失函数以所述第一隐向量的平均值和目标子属性隐向量的[0087]为了使得上述模型得到收敛的结果，可以采用softmax函数对神经网络的输出结解码后的预测子属性的序列。检索过程中，只需要将语义分析的标签(解码特征)与已经预存好的视频分析结果的标签[0104]将编码信息分别经过BiLSTM网络，得到信息进一步融合的语义信息BiLSTM[0106]Loss1＝CrossEntryLoss(F(X),Y))+CrossEntryLoss(F(X正),Y))+[0114]本发明的实施例中，可以根据已经设定好固定层级类别的标签对多媒体进行分[0117](2)通过经预训练过的编码器模型，将解析完成的子属性进行比编码(即得到[0118](3)将所述比编码输入到语义匹配模型，预测得到所述检索文本二级子类相应的[0119](4)与视频子类的所有编码结果(即预先得到的BiLSTM(Encoder(X子类1)[0123]标签获取模块720，适于将各个所述子属性和所述相关关系输入到预训练的语义[0124]检索匹配模块730，适于确定各个所述子属性的标签与预得到的多媒体子类标签[0134]根据所述检索文本和所述依存关系构建依存关系矩阵，根据所述依存关系矩阵、所述乘积值的大小和第一损失函数确定所述子属性之间的相关KL散度损失函数以所述第一隐向量的平均值和目标子属性隐向量的[0149]三是本发明实施例克服了现有方案中关键词抽取可能导致的检索用语之间的混至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的多媒体检索方[0151]图9示出了本发明计算设备实施例的结构示意图，本发明具体实施例并不对计算[0155]处理器902可能是中央处理器CPU，或者是特定集成电路ASIC(Application[0157]程序910具体可以用于使得处理器902执行上述多媒体检索方法实施例对应的操[0158]在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编