CN113704528B 聚类中心确定方法、装置和设备及计算机存储介质 （腾讯科技（北京）有限公司）

2获取图像样本集合，并基于所述图像样本集合构造对所述多个图像样本组包括的各个图像样本分别进行特征编码，基于编码根据所述多个图像样本组分别包括的至少两个图像样本之间的相似基于所述特征表示损失值和所述聚类损失值确定所述图像聚输出最后一轮聚类获得的聚类结果包含的多个聚类中心向量，一个分别对获得的各个基础特征向量进行特征压缩，获得针对所述多个图像样本组，分别执行以下操作：基于所述多个图针对所述多个图像样本组，分别执行以下操作：在所述多3从所述多个特征表示向量中，选取所述多个图像样本组中第一图像样将所述多个特征表示向量中的一个特征表示向量，分别映射到各个图像的取值表征所述一个特征表示向量对应的图像样本是否属于相应图像将所述图像类别向量，与上一轮聚类中针对所述一个特征表示向从所述多个特征表示向量中，选取所述多个图像样本组中第一图像样分别确定所述一个特征表示向量，与本轮聚类确定的各个聚类中心向量之间的相似基于获得的各个相似度，分别确定所述一个特征表示向量对应的图像基于所述特征表示损失值与上一轮聚类的特征表示损失值之基于特征表示损失值、所述聚类损失值以及所述权重值，确定所述基于所述模型总损失值确定所述图像聚类模对所述特征表示损失值和所述聚类损失值进行尺度变换，使得所述特4在基于所述特征表示损失值确定所述特征编码子模型未收敛时，对调整后的特征编码子模型进行至少一次迭代更新，直至本轮聚类满足设定条件为基于本轮聚类中最后一次迭代更新后的特征编码子模型编码获得的多个特征表示向基于所述多个聚类中心向量，分别确定所述各个视频中的一个视频基于所述多个聚类中心向量，确定所述目标视频包括的各个图像帧所属的图像类别，从所述候选匹配视频中选取向所述目标用户推荐的目标样本获取单元，用于获取图像样本集合，并基于所述图像样本集合所述特征编码子单元用于对所述多个图像样本组包括的各个图像样本分别进行特征所述聚类子单元用于对所述多个特征表示向量进行聚类，并所述模型调整子单元用于基于所述特征表示损失值和所述聚类损失值确定所述图像所述处理器执行所述计算机程序时实现权利要求1至12任一项所述方该计算机程序指令被处理器执行时实现权利要求1至12任一5[0014]所述特征编码子单元用于对所述图像样本集合中的各个图像样本分别进行特征6[0016]所述模型调整子单元用于基于所述特征表示损失值和所述聚类损失值确定所述个图像样本组中所述第一图像样本与所述第二图像样本之间的相似度不小于预设的相似图像样本与第三图像样本之间的第二相似度，并基于所述第一相似度和所述第二相似度，[0029]基于获得的各个图像样本组各自对应的三元组损失值，获得所述特征表示损失元素的取值表征所述一个特征表示向量对应的图像样本是否属于相应图像7[0056]基于本轮聚类中最后一次迭代更新后的特征编码子模型编码获得的多个特征表8[0063]本申请实施例的聚类中心确定方法中，构建了一种基于更大程度保持新聚类与上一次聚类的相似性，使得聚类到同一类别的特征都相互更接近，9[0080]openimage预训练模型：基于开源数据集openimage训练得到该模型的参数权重即为openimage言，聚类方法可以包括K-均值(K-MEANS)算法、K-中心点(K-MEDOIDS)算法、划分方法(如CLARANS算法)以及基于密度的聚类方法(DBS的embedding。tripletloss的输入为三元组，一个三元组包括锚(Anchor，a)示例、正似度较低的图像样本或者为不同类别图像样本，最终的优化目标是拉近图像样本a和图像远图像样本a和图像样本n的embedding之间的距离，即使得图像样本a和图像样本n之间的于表征第一相似度与第二相似度之间的差异程度，因而三元组损失值的目标函数定义如[0088]目前在进行图像聚类时，通常是基于已学习的图像表示进行聚类来获得聚类中[0089]考虑到相关技术中产生上述问题的根本原因在于相关技术中特征学习阶段与聚[0095]服务器10可以包括一个或多个处理器101、存储器102以及与其他设备交互的I/O程序指令，这些程序指令被处理器101执行时能够用以实现本申请实施例提供的聚类中心心确定方法对数据库104中存储的图像进行特征学习获得相应的特征表示向量，同时对各[0098]当服务器10为视频应用服务器时，服务器10可以将数据库104中的各个视频划分[0099]服务器10和终端20之间可以通过一个或者多个网络30进行直接或间接的通信连[0103]计算机视觉技术(ComputerVision，CV)计算机视觉是一门研究如何使机器“看”可按照设定的选取规则从图像样本集合中进[0128]本申请实施例中，基础特征提取层可以采用任意可进行图像基础特征提取的模[0134]本申请实施例中，上述基础特征提取层的参数初始化，如上述表1中的Conv1~Conv5可以采用Imagenet预训练模型的模型参数，也就是在ImageNet数据集上预训练的ResNet101的参数，当然，也可以采用openimage预训练模型的模型参数，也就是在openimage数据集上预训练的基础对于1亿个特征向量，若不压缩则需要1525.9MB即1.5GB，而压缩之后仅需要200万B即图像样本之间的预测相似度，预测相似度可以基于第i个图像样本组中两个图像样本的特的相似度小于所述相似度阈值，即3个图像样本中第一图像样本和第二图像样本为相似样的聚类中心向量，即将1*128的特征向量(1*128为对应上述表2中的特征表示向量的示例)1*128的embedding映射到10[0160]需要说明的是，表3示出的聚类层仅包含一层全连接层的结构仅为一种可能的示图像类别向量中包含多个元素(图6中每个框表征一个元素位置)的每个元素对应于一个图像类别，每个元素的取值表征一个特征表示向量对应的图像样本是否属于相应图像类别，特征表示向量A对应的图像样本是否属于相应的聚类中心向量表征的图像类别，获得确定量A与类别B的聚类中心向量之间的相似度大于设定阈值时，则确定特征表示向量A对应的的取值，通过对每个类别的相似度计算和判断，则可以获得特征表示向量A的图像类别向从中选取相似度最大的作为特征表示向量A对应的图像样本所属的类别，进而将图像类别向量中相应元素位置的取值置为属于该类别的取值，从而获得特征表示向量A的图像类别对应的比较结果，并基于针对多个特征表示向量获得的多个比较结果，确定聚类损失值个簇中选取最能够代表该簇的图像样本的特征表示向量作为该簇的聚[0209]本申请实施例提供的embedding在线(即边学习边聚类)聚类方式，用于聚类的特征是基于聚类过程的反馈调整后的模型获得的，因而各个图像样本的embedding在一定程个图像类别。即图9所示的目标图像1～N，分别通过本申请实施例提供的图像聚类模型获取其相应的图示向量1分别与各个聚类中心向量进行相似度计算，并将相似度最大的聚类中心向量所对[0221]综上所述，本申请实施例通过借助深度学习图像embedding以及聚类的多任务结[0226]特征编码子单元10021用于对图像样本集合中的各个图像样本分别进行特征编[0227]聚类子单元10022用于对多个特征表示向量进行聚类，并基于聚类结果确定聚类[0228]模型调整子单元10023用于基于特征表示损失值和聚类损失值确定图像聚类模型[0229]输出单元1003，用于输出最后一轮聚类获得的聚类结果包含的多个聚类中心向[0234]基于图像样本集合构造多个图像样本组，每个图像样本组包括至少两个图像样本组包括的至少两个图像样本的特征表示向量，获得至少两个图像样本之间的预测相似及第一图像样本与第三图像样本之间的相似度小于值表征一个特征表示向量对应的图像样本是否属于相应图像类[0255]分别确定一个特征表示向量，与本轮聚类确定的各个聚类中心向量之间的相似[0267]基于本轮聚类中最后一次迭代更新后的特征编码子模型编码获得的多个特征表多个聚类中心向量，分别确定各个视频中的一个视频包括的各个图像帧所属的图像类别，并根据确定的各个图像类别将一个视频关联至各个图频分桶单元1004和视频检索单元1005并非必选的功能模块，因此在图10中以虚线进行示[0275]存储器1101可以是易失性存储器(volatilememory)，例如随机存取存储器(random-accessmemory，RAM)；存储器1101也可以是非易失性存储器(non-volatile使所述计算机设备执行本说明书上述描述的根据本申请各种