CN113704506B 一种媒体内容排重方法和相关装置 （腾讯科技（深圳）有限公司）

本申请公开一种媒体内容排重方法和相关应的第一图像集和第二媒体内容对应的第二图中的第二图像分别进行特征提取得到第一特征像和第二图像集中的第二图像分别进行主体识一第一图像的第一主体特征和第一特征向量进第二目标特征向量确定第一媒体内容与第二媒2获取第一媒体内容对应的第一图像集以及第二媒体内容对应的第对所述第一图像集中的第一图像进行特征提取得到第一特征向量，以对所述第一图像集中的第一图像进行主体识别得到第一主体特征，以对属于同一第一图像的所述第一主体特征和所述第一特征向若根据所述第一目标特征向量和所述第二目标特征向量确定所述第一媒体内容与所其中，利用特征匹配模型确定第一媒体内容与第二媒体内获取训练样本中第一历史媒体内容对应的第三图像通过特征匹配模型中的特征提取子模型，确定所述第三图像集通过所述特征匹配模型中的主体检测子模型，确定所述第三三主体特征和所述第四图像集中的图像对应的通过所述特征匹配模型中的拼接层对属于同一图像的所述第三主体特征和所述第三根据所述第三目标特征向量、所述第四目标特征向量以及目标标签对通过回归模型确定所述第三图像集或第四图像集中相邻视频帧之间根据所述第一特征距离和基准距离对所述回归模型进行训练，所述括视频，所述获取第一媒体内容对应的第一图像集以及第二媒体内容对应的第二图像集，从所述第一媒体内容中抽取多个第一视频帧，得到所述第一图像集，所述第从所述第二媒体内容中抽取多个第二视频帧，得到所述第二图像集，所述第3若所述第一关键视频帧的数量小于第一预设阈值，对所若所述第二关键视频帧的数量小于第二预设阈值，对所通过特征匹配模型中的特征提取子模型，确定所述第一特征向量和所述第二特征向对所述第一图像集中的第一图像进行主体识别得到第一主体特征，以通过所述特征匹配模型中的主体检测子模型，确定所述第一主对属于同一第一图像的所述第一主体特征和所述第一特征向通过所述特征匹配模型中的拼接层对属于同一第一图像的所述第一主体特征和所述所述根据所述第一目标特征向量和所述第二目标特征向量确定所述第一媒体内容与通过所述特征匹配模型中的匹配子模型，根据所述第一目标特征向媒体内容为视频，所述第三图像集中图像为从所述第一历史媒体内容中抽取的多个视频像按照视频帧在所述第二历史媒体内容中的时序排列。根据所述第一目标特征向量和所述第二目标特征向量确定所述第一媒体内容与所述4根据所述第一目标特征向量和所述第二目标特征向量，确定所若所述第二特征距离小于或等于第一距离阈值，确定所述第对所述第一图像集中的第一图像与所述第二图像集中的第二图像针对每对具有对应关系的第一图像和第二图像，根据所若所述第三特征距离小于或等于第二距离阈值，确定所述第一图像获取相似的第一图像和第二图像的对数，所述相似的第一图像和表示所述第一媒体内容与所述第二媒体内容之间所述获取单元，用于获取第一媒体内容对应的第一图像集以及所述提取单元，用于对所述第一图像集中的第一图像进行特征提取得到第一特征向所述识别单元，用于对所述第一图像集中的第一图像进行主体识别得到第一主体特所述拼接单元，用于对属于同一第一图像的所述第一主体特征和所述所述去重单元，用于若根据所述第一目标特征向量和所述第二目获取训练样本中第一历史媒体内容对应的第三图像5通过特征匹配模型中的特征提取子模型，确定所述第三图像集通过所述特征匹配模型中的主体检测子模型，确定所述第三三主体特征和所述第四图像集中的图像对应的通过所述特征匹配模型中的拼接层对属于同一图像的所述第三主体特征和所述第三根据所述第三目标特征向量、所述第四目标特征向量以及目标标签对通过回归模型确定所述第三图像集或第四图像集中相邻视频帧之间根据所述第一特征距离和基准距离对所述回归模型进行训练，所述包括图片，所述第一图像集中的第一图像和所述第二图像集中的第二图像为所述图片本从所述第一媒体内容中抽取多个第一视频帧，得到所述第一图像集，所述第从所述第二媒体内容中抽取多个第二视频帧，得到所述第二图像集，所述第集中第一视频帧的数量与所述第二图像集中第二视若所述第一关键视频帧的数量小于第一预设阈值，对所若所述第二关键视频帧的数量小于第二预设阈值，对所根据所述第一目标特征向量和所述第二目标特征向量确定所述第一媒体内容与所述根据所述第一目标特征向量和所述第二目标特征向量，确定所6若所述第二特征距离小于或等于第一距离阈值，确定所述第对所述第一图像集中的第一图像与所述第二图像集中的第二图像针对每对具有对应关系的第一图像和第二图像，根据所若所述第三特征距离小于或等于第二距离阈值，确定所述第一图像获取相似的第一图像和第二图像的对数，所述相似的第一图像和表示所述第一媒体内容与所述第二媒体内容之间所述处理器用于根据所述程序代码中的指令执行权利要求1_9任意一项设备的处理器执行所述计算机指令，使得所述计算机设备执行权利要求1_9任意一项所述7频为例，内容创作者对视频进行简单的编辑修改或者直接拷贝抄袭其他号主的重复的内[0013]若根据所述第一目标特征向量和所述第二目标特征向量确定所述第一媒体内容8图像的第二主体特征和第二特征向量进行拼接，得到第二图像对应的第二目标特征向量，这样得到的第一目标特征向量和第二目标特征向量确定第一媒体内容与第二媒体内容是9[0031]图5为本申请实施例提供的一种利用特征匹配模型将主体特征嵌入特征向量的示[0034]图8为本申请实施例提供的回归模型的训练和特征匹配模型的训练交替进行的训大面积背景相似但是主体存在差别的媒体内容来说，例如图2左侧的图片和图2右侧的图[0047]本申请实施例提供的媒体内容排重方法是基于人工智能实现的，人工智能出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能[0050]计算机视觉技术(ComputerVision,CV)计算机视觉是一门研究如何使机器“看”[0051]本申请实施例例如可以涉及计算机视觉(ComputerVision)中的图像识别(Image[0053]本申请提供的媒体内容排重方法可以应用于具有数据处理能力的媒体内容排重媒体内容和第二媒体内容为例，服务器301可以获取第一媒体内容对应的第一图像集以及[0059]其中，第一图像集是根据第一媒体内容中包括的视频或[0060]服务器301对第一图像集中的第一图像进行特征提取得到第一特征向量，以及对在比较大面积的背景相似但是主体存在差别，为了更准确的体现这些媒体内容之间的差[0061]服务器301根据这样得到的第一目标特征向量和第二目标特征向量确定第一媒体与304所示的第二媒体内容背景相似但人物不同，本申请实施例提供的方法与相关技术相[0063]下面以服务器作为媒体内容排重设备对本申请实施例提供的媒体内容排重方法[0064]参见图4，图4为本申请实施例提供的一种媒体内容排重方法的流程图。如图4所[0065]S401、获取第一媒体内容对应的第一图像集以及第二媒体内容对应的第二图像用户可以利用终端程序和/或服务器端程序，通过自媒体账号在自媒体平台上发布媒体内[0067]第一媒体内容和第二媒体内容是指用户通过自媒体账号在自媒体平台中所发布设阈值和第二预设阈值预设阈值例如为30帧。对于时间较长的视频例如超过30秒的视所述第二图像集中的第二图像进行特征提取得到第征向量，例如将第一图像集中的第一图像和第二图像集中的第二图像输入到特征匹配模任意提取图像特征向量的神经网络模型，例如可以是残差网络(ResidualNetwork，所述第二图像集中的第二图像进行主体识别得到第[0077]S404、对属于同一第一图像的所述第一主体特征和所述体特征，例如将第一图像集中的第一图像和第二图像集中的第二图像输入到特征匹配模特征匹配模型中的拼接层对属于同一第一图像的第一主体特征和第一特征向量进行拼接，法，其最大的特点是运行速度很快，可以用于实时系统,对于大量图像的主体检测效2这些大小不同的featuremaps，在多个featuremaps上同时进行softmax分类和位置回持代码。Faiss库包含相似性搜索的多种方法，核心模块包括高性能聚类、主成分分析频、文本文件或其他渠道就已经可以被输入进相似性搜索库进行检索匹配。在本实施例征向量，从而根据第一目标特征向量和第二目标特征向量，确定第一媒体内容与第二媒体间的相似度的方式可以是对第一图像集中的第一图像与第二图像集中的第二图像进行对[0093]例如，第一图像集中第一图像的数量是30帧，按照时序排列依次是a1、a2、系，……,a25与b25具有对应关系，从而比较具有对应关系的第一图像和第二图像是否相[0094]利用相似的第一图像和第二图像的对数表示第一媒体内容与第二媒体内容之间似的第一图像和第二图像的对数与总对数的比值作为第一媒体内容与第二媒体内容之间的最小值。例如上述对第一图像集中的第一图像与第二图像集中的第二图像进行对齐后，得到的对应关系为a1与b1具有对应关系，a2与b2具有对应关系，a3与b3具有对应关图像的第二主体特征和第二特征向量进行拼接，得到第二图像对应的第二目标特征向量，这样得到的第一目标特征向量和第二目标特征向量确定第一媒体内容与第二媒体内容是[0100]其中，第一历史媒体内容和第二历史媒体内容作为训练特征匹配模型的训练样应的第三特征向量和所述第四图像集中的图像对应像对应的第三主体特征和所述第四图像集中的图[0106]特征匹配模型根据第三目标特征向量和第四目标特征向量预测第一历史媒体内容与第二历史媒体内容是否相似，并根据预测结果与目标标签调整特征匹配模型的参数，程中，设置了两支输入的通道（pipeline一支就是正常的正负样本对对比学习的cost(ho(z),s)=-y,log(ho(z))-(1-y6)log(1-ho(a))，这就是逻辑回归最终的损失i是输入为目标预测结果。[0124]这里衡量两个特征向量的距离是使用特征向量的内积，结果的范围是_1024~这些都是分发内容的主要内容来源；费端1102获得的内容索引信息，通常是内容访问的入口统一资源定位器（Uniform一图像集和第二图像集作为后续构造特征向量的数据源。检索服务1111和图4对应实施例中提供的排重方法，来检索第一媒体内容是否与第二媒体据产品策略比如原创号主或者质量清晰度最述第一图像集中的第一图像和所述第二图像集中像集中的第一图像按照所述多个第一视频帧在所述第一媒体内容中的图像集中第一视频帧的数量与所述第二图像集中第过所述特征匹配模型中的拼接层对属于同一第二图像的所述第二主体特征和所述第二特三特征向量和所述第四图像集中的图像对应的[0194]通过所述特征匹配模型中的拼接层对属于同一图像的所述第三主体特征和所述[0197]通过回归模型确定所述第三图像集或第四图像集中相邻视频帧之间的第一特征和所述第二目标特征向量确定所述第一媒体内容与所述第二媒体[0201]在一种可能的实现方式中，若所述第一媒体内容和所述[0203]在一种可能的实现方式中，若所述第一媒体内容和所述图像的第二主体特征和第二特征向量进行拼接，得到第二图像对应的第二目标特征向量，这样得到的第一目标特征向量和第二目标特征向量确定第一媒体内容与第二媒体内容是[0208]本申请实施例还提供了一种用于媒体内容排重的设备，[0209]图13示出的是与本申请实施例提供的终端设备相关的智能手机的部分结构的框入单元1330可包括触控面板1331以及其他输入设备1332，显示单元1340可包括显示面板[0210]存储器1320可用于存储软件程序以及模块，处理器1380通过运行存储在存储器