CN114387650B 聚类及模型训练方法和装置、设备及存储介质 （浙江商汤科技开发有限公司）

DistributionRepresentationNetwoPersonClusteringWith质本公开实施例公开了一种聚类及模型训练少用于表征每一所述模态数据与所述待处理数2获取待处理数据集，所述待处理数据集中包括至少两种类型的模态确定每一所述模态数据的目标分布表征，每一所述模态数据的表征每一所述模态数据与所述待处理数据集中的其它模态数据属于所述特征图神经网络用于构建每一模态数据的特征图，所述特征图征节点属于同一个对象的概率或不同模态内每两个特征节点属于同所述分布图神经网络用于构建每一模态数据的分布图，所述分布图包括3.根据权利要求2所述的方法，其特征在于，所述图神经网络模型包括特征图神经网所述利用已训练的图神经网络模型，对每一模态数据的分布表征进行至少一次更新，37.根据权利要求6所述的方法，其特征在于，所述待处理数据集包括至少两个子数据所述利用已训练的所述特征图神经网络，基于每一模态数据的关联确定不同模态的子数据集中每两个模态数据的关联表征之间的第确定同一模态的子数据集中每两个模态数据的关联表征之间的第基于每一所述第一特征相似度和每一所述第二特征相似度，确确定不同模态的子数据集中每两个模态数据之间基于归一化处理后的每一所述第二特征相似度和每一所述特征关联确定不同模态的子数据集中每两个模态数据之间基于同一模态的子数据集中每一模态数据的前一次的关联表征利用已训练的所述分布图神经网络，基于每基于每两个所述目标分布表征之间的相似度，对每一所述模态数获取样本集，所述样本集包括至少一个数据子集，每一数据4征同一模态内每两个特征节点属于同一个对象的概率或不同模态内每两个特征节点属于模态数据的分布表征，每一分布连接关系用于表征每两个分布节点属于同一个对象的概基于每一所述数据子集中的每一模态数据的目标分布表征和每一模态数据的标签信所述利用待训练的图神经网络模型，对每一模态数据的分布表征进行至少一次更新，所述基于每一所述数据子集中的每一模态数据的目标分布表征和每一模态数据的标基于每一次更新中同一模态的子数据集中的每两个模态数据的关联表征之间的第二5基于历史每一次更新中每两个模态数据的分布表征之间的分布据的目标分布表征之间的分布相似度和每一模态数据的标签信息，确定分布相似度损失第一获取模块，用于获取待处理数据集，所述待处理数据集中第一确定模块，用于确定每一所述模态数据的目标标分布表征至少用于表征每一所述模态数据与所述待处理数据集中的其它模态数据属于第二确定模块，用于利用待训练的图神经网络模型，确定每一特征关联关系用于表征同一模态内每两个特征节点属于同一个对象的概率或不同模态内每两个特征节点属于同一个对象；所述分布图神经网络用于构建每一模态数据的分布图，第三确定模块，用于基于每一所述数据子集中的每一模态数第一更新模块，用于在所述损失值满足预设条件的情况6处理器执行时实现权利要求1至17中任一7[0001]本公开涉及但不限于计算机技术领域，尤其涉及一种聚类及模型训练方法和装[0012]基于每一所述数据子集中的每一模态数据的目标分布表征和每一模态数据的标的目标分布表征至少用于表征每一所述模态数据与所述待处理数据集中的其它模态数据8模态数据与所述数据子集中的其它模态数据属于同9技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的，行该聚类的电子设备可以为笔记本电脑，显示操作界面的电子设备也可以为该笔记本电表征至少用于表征每一所述模态数据与所述待处理数据集中的其它模态数据属于同一对人工标注设定待处理数据集中部分模态数据之间的人脸的模态数据和包含人体的模态数据设定为[0065]更新参数可以包括但不限于不同模态内每两个模态数据之间的第一特征相似度、同一模态内每两个模态数据之间的第二特征相似度、每两个模态数据的融合分布关联度个模态数据的融合分布关联度可以包括但不限于每两个模态数据的分布表征之间的关联η为一概率值，在关联关系中指示第i个模态数据与第j个模态数据属于同一个对象的情况态数据与所述待处理数据集中的其它模态数据属于同一态数据的分布表征，每一分布连接关系用于表征每两个分布节点属于同一个对象的概率。至少一次更新，将最后一次的分布图中的每一分布节点作为该模态数据的目标分布表征。接线将属于同一对象的不同模态的模态数据布表征至少用于表征每一所述模态数据与所述待处理数据集中的其它模态数据属于同一目标分布表征至少用于表征每一所述模态数据与所述待处理数据集中的其它模态数据属一模态数据的特征图，该特征图包括至少一个特征节点以及特征节点之间的特征连接关述第二连接关系用于连接不同模态内属于同一个对象的两个[0097]在待处理数据集包括6个模态数据，这6个模态数据分别表示对象A的两个人脸数特征节点属于同一个对象的概率，通过第二特征连接线SP2来连接人脸类别和人体类别中属于同一个对象的两个特征节点，该每一第二特征连接线SP2用于表征连接的两个特征节征在当前这一次中每两个模态数据的分布表征[0103]在一些实施方式中，可以基于属于同一模态内的每两个模态数据之间的关联表更新中第i个模态数据的分布表征，e,y用于表征第l次更新中第i个模态数据和第j个模态来确定不同模态的子数据集中每两个模态数据之间的第一特来确定同一模态的子数据集中每两个模态数据之间的第二特每两个所述模态数据的关联表征之间的第二关系来确定不同模态的子数据集中每两个模态数据之间的特征[0135]步骤S343、基于归一化处理后的每一所述第二特征相似度和每一所述特征关联为0。[0149]在一些实施方式中，所述图神经网络模型包括特征图神经网络和分布图神经网[0151]上述步骤S421对应于前述步骤S321至步骤S322，在实施时，可以参照前述步骤[0155]在待处理数据集包括6个模态数据，这6个模态数据分别表示对象A的两个人脸数[0159]在一些实施方式中，对于第l次的聚合特征关联度可以表示可以通过如下公式(4-1)来确定每两个模态数据之间的当前融[0163]在一些实施方式中，对于第l次的聚合特征关联度vf可以表示为在实施时，可以通过如下公式(4-2)来确定每一模r;[0177]步骤S53、基于每一所述数据子集中的每一模态数据的目标分布表征和每一模态[0178]这里，目标损失值用于表征每一模态数据的标签信息和目标分布表征之间的差[0181]图神经网络模型的参数可以包括但不限于可学习门控残差块0、分布表征的相似点以及特征节点之间的特征连接关系，每一特征节点用于表征每一模态数据的关联表征，关系，所述第一特征连接关系用于表征同一模态内每两个特征节点属于同一个对象的概ik分别表示第i个模态数据和第j个模态数据属于[0209]步骤S532、基于历史每一次更新中每两个模态数据的分布表征之间的分布相似数据和第j个模态数据的分布表征之间的相似度；BCE表示二元交叉熵损失为0。[0216]L=APLr+AaLa(5-3);态数据与所述待处理数据集中的其它模态数据属于同一[0223]在一些实施方式中，所述图神经网络模型包括特征图神经网络和分布图神经网特征连接关系用于表示不同模态内每两个特征节点属于类别中每两个特征节点，通过第二特征连接线SP2来连接人脸类别与人体类别中属于同一个对象的两个特征节点，该每一第一特征连接线SP1用于表征连接的两个特征节点属于同一个对象的概率，该每一第二特征连接线SP2用于表征连接的两个特征节点属于同一个对每一第一分布连接线SD1用于表示连接的两个分布节点属于同[0236]在一些实施方式中，所述第二特征相似度模块可以包括当前第二特征相似度模[0239]本公开实施例提供的聚类方法与相关技术中的聚类方法相比，至少存在以下改开实施例中通过为每一模态数据构建统一的分布表征，使得每一模态数据与模态类型无f和λd表示特征相似度损失值Lr和分布相似度损失值的超参数，将除电视比之下，本公开实施例提供的方法可以利用特征图神经网络(Multi-modalityClueFeatureGraph，MMFG)和分布图神经网络(Modality-AgnosticDistributionGraph，实施例提供的用与模态无关的分布表征对多模态数据[0260]为了证明MAGNET对噪声关联的鲁棒性，通过以给定概率ρ在轨道之间随机交换特征来模拟错误关联的身体。将ρ表示为噪声比，因为它可以控制随机交换后噪声关联的比ρ078.3061.8476.5685.0793.110.178.0961.6275.6284.0991.970.277.5561.3974.8983.5191.670.377.4261.5874.7682.7890.310.477.0260.8273.9981.7689.400.576.4960.6173.9581.1488.82only是没有分布图的模型，通过特征相似度进行特征聚合。具有相同模态的模态数据在WCP92.6089.0760.3271.9375.0792.3391.9062.8075.2890.0788.3965.0874.9677.6293.2787.3266.3175.3879.06[0268]如表4所示，使用所有模态的模态数据进行聚类比使用部分模态的模态数据进行据、面部和身体的模态数据、面部和语音的模态数据进行的人物聚类。比较MAGNET_fb、MAGNET_fv和MAGNET_f，可以看到使用身体或语音进行聚类在NMI上可以带来1.65％、因为不同模态的两个模态数据的特征相似度不能反映这两个模态数据属于同一个对象的[0277]多视图聚类是对来自不同视图的具有多个特征的实例进行聚类。采用VoxCeleb2数据集来评估多视图聚类的性能。将VoxCeleb2数据集拆分为具有2048个对象的测试集和512和2048个对象的测试集上的F-sc据的目标分布表征至少用于表征每一所述模态数据与所述待处理数据集中的其它模态数模态数据的更新后的分布表征分别确定为每一模态数据的目[0288]在一些实施方式中，所述图神经网络模型包括特征图神经网络和分布图神经网述模态数据与所述数据子集中的其它模态数据属于同一模态数据的更新后的分布表征分别确定为每一模态数据的[0313]存储器903配置为存储由处理器901可执行的指令和应用，还可以缓存待处理器通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(RandomAccess构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本公开的各种实施例中，上述各过程的序号的大小并不意味着执行