CN114387650B 聚类及模型训练方法和装置、设备及存储介质 （浙江商汤科技开发有限公司）

(19)国家知识产权局(12)发明专利(10)授权公告号CN114387650B(65)同一申请的已公布的文献号(43)申请公布日2022.04.22(73)专利权人浙江商汤科技开发有限公司地址311215浙江省杭州市萧山区宁围街道市心北路857号288-8室(72)发明人刘凯鉴赵瑞(74)专利代理机构北京派特恩知识产权代理有限公司11270专利代理师马丽胡春光DistributionRepresentatiPersonClusteringWithMultiple审查员朱小卫聚类及模型训练方法和装置、设备及存储介本公开实施例公开了一种聚类及模型训练方法和装置、设备及存储介质，所述聚类方法包括：获取待处理数据集，所述待处理数据集中包括至少两个模态数据，所述至少两个模态数据属于至少一个对象；确定每一所述模态数据的目标分布表征，每一所述模态数据的目标分布表征至少用于表征每一所述模态数据与所述待处理数据集中的其它模态数据属于同一对象的概率；基于每一所述目标分布表征，对每一所述模态数据2获取待处理数据集，所述待处理数据集中包括至少两种类型的模态数据，所述至少两种类型的模态数据属于至少一个对象，所述模态数据包括以下之一：包含人脸的模态数据、包含人体的模态数据、包含虹膜的模态数据、包含声音确定每一所述模态数据的目标分布表征，每一所述模态数据的目标分布表征至少用于表征每一所述模态数据与所述待处理数据集中的其它模态数据属于同一对象的概率；基于每一所述目标分布表征，对每一所述模态数据进行聚类，得到至少一个聚类簇，每一所述聚类簇包括属于同一对象的至少一个模态数据。2.根据权利要求1所述的方法，其特征在于，所述确定每一所述模态数据的目标分布表利用已训练的图神经网络模型，对每一模态数据的分布表征进行至少一次更新，在更新次数达到预设值的情况下，将每一模态数据的更新后的分布表征分别确定为每一模态数据的目标分布表征；其中，所述图神经网络模型包括以下至少之一：特征图神经网络、分布图神经网络；所述特征图神经网络用于构建每一模态数据的特征图，所述特征图包括至少一个特征节点和所述至少一个特征节点之间的特征连接关系，每一特征节点用于表征每一模态数据的关联表征，所述关联表征用于表征每一模态数据的关联信息，每一特征连接关系用于表征每两个模态数据之间的特征关联关系，所述特征关联关系用于表征同一模态内每两个特征节点属于同一个对象的概率或不同模态内每两个特征节点属于同一个对象；所述分布图神经网络用于构建每一模态数据的分布图，所述分布图包括至少一个分布节点和所述至少一个分布节点之间的分布连接关系，每一分布节点用于表征每一模态数据的分布表征，每一分布连接关系用于表征每两个分布节点属于同一个对象的概率。3.根据权利要求2所述的方法，其特征在于，所述图神经网络模型包括特征图神经网所述利用已训练的图神经网络模型，对每一模态数据的分布表征进行至少一次更新，利用已训练的所述特征图神经网络，基于每一模态数据的关联表征，更新每一模态数据的分布表征，每一所述关联表征用于表征每一模态数据的关联信息。4.根据权利要求2所述的方法，其特征在于，所述利用已训练的图神经网络模型，对每一模态数据的分布表征进行至少一次更新，包括：利用已训练的图神经网络模型，对每一模态数据的分布表征和关联表征进行至少一次更新，每一所述关联表征用于表征每一模态数据的关联信息。5.根据权利要求4所述的方法，其特征在于，所述图神经网络模型包括特征图神经网络和分布图神经网络，所述利用已训练的图神经网络模型，对每一模态数据的分布表征和关利用已训练的所述特征图神经网络，基于每一模态数据的关联表征，更新每一模态数据的分布表征；利用已训练的所述分布图神经网络，基于每一模态数据更新后的分布表征，更新每一模态数据的关联表征。36.根据权利要求3所述的方法，其特征在于，所述利用已训练的所述特征图神经网络，基于每一模态数据的关联表征，更新每一模态数据的分布表征，包括：利用已训练的所述特征图神经网络，基于每一模态数据的关联表征，确定每两个模态数据之间的当前融合分布关联度；基于每两个模态数据之间的当前融合分布关联度，更新每一模态数据的分布表征。7.根据权利要求6所述的方法，其特征在于，所述待处理数据集包括至少两个子数据集，每一所述子数据集分别对应一种模态；所述利用已训练的所述特征图神经网络，基于每一模态数据的关联表征，确定每两个模态数据之间的当前融合分布关联度，包括：确定不同模态的子数据集中每两个模态数据的关联表征之间的第一特征相似度；确定同一模态的子数据集中每两个模态数据的关联表征之间的第二特征相似度；基于每一所述第一特征相似度和每一所述第二特征相似度，确定每两个模态数据之间的当前融合分布关联度。8.根据权利要求7所述的方法，其特征在于，所述确定不同模态的子数据集中每两个模态数据的关联表征之间的第一特征相似度，包括：确定不同模态的子数据集中每两个模态数据之间的特征关联度；对每一所述第二特征相似度进行归一化处理；基于归一化处理后的每一所述第二特征相似度和每一所述特征关联度，确定每两个模态数据的关联表征之间的第一特征相似度。9.根据权利要求8所述的方法，其特征在于，所述确定不同模态的子数据集中每两个模确定不同模态的子数据集中每两个模态数据之间的关联关系；基于每一所述关联关系，确定每一所述特征关联度。10.根据权利要求7所述的方法，其特征在于，所述确定同一模态的子数据集中每两个模态数据的关联表征之间的第二特征相似度，包括：基于同一模态的子数据集中每一模态数据的前一次的关联表征，确定每两个所述模态数据的关联表征之间的第二特征相似度。11.根据权利要求5所述的方法，其特征在于，所述利用已训练的所述分布图神经网络，基于每一模态数据更新后的分布表征，更新每一模态数据的关联表征，包括：利用已训练的所述分布图神经网络，基于每一模态数据更新后的分布表征，确定每两个模态数据之间的当前融合特征关联度；基于每一所述当前融合特征关联度，更新每一模态数据的关联表征。12.根据权利要求1至11任一项所述的方法，其特征在于，所述基于每一所述目标分布基于每两个所述目标分布表征之间的相似度，对每一所述模态数据进行聚类，得到至少一个聚类簇。获取样本集，所述样本集包括至少一个数据子集，每一数据子集包括至少两种类型的模态数据，所述至少两种类型的模态数据属于至少一个对象，每一所述模态数据具有标签4信息，所述样本集中包括至少两种类型的模态数据，所述模态数据包括以下之一：包含人脸的模态数据、包含人体的模态数据、包含虹膜的模态数据、包含声音的模态数据、包含指纹的模态数据；利用待训练的图神经网络模型，确定每一所述数据子集中的每一模态数据的目标分布表征，每一所述模态数据的目标分布表征至少用于表征每一所述模态数据与所述数据子集中的其它模态数据属于同一对象的概率，所述图神经网络模型包括以下至少之一：特征图神经网络、分布图神经网络；所述特征图神经网络用于构建每一模态数据的特征图，所述特征图包括至少一个特征节点和所述至少一个特征节点之间的特征连接关系，每一特征节点用于表征每一模态数据的关联表征，所述关联表征用于表征每一模态数据的关联信息，每一特征连接关系用于表征每两个模态数据之间的特征关联关系，所述特征关联关系用于表征同一模态内每两个特征节点属于同一个对象的概率或不同模态内每两个特征节点属于同一个对象；所述分布图神经网络用于构建每一模态数据的分布图，所述分布图包括至少一个分布节点和所述至少一个分布节点之间的分布连接关系，每一分布节点用于表征每一模态数据的分布表征，每一分布连接关系用于表征每两个分布节点属于同一个对象的概基于每一所述数据子集中的每一模态数据的目标分布表征和每一模态数据的标签信在所述目标损失值满足预设条件的情况下，对所述图神经网络模型的参数进行更新。14.根据权利要求13所述的方法，其特征在于，所述利用待训练的图神经网络模型，确定每一所述数据子集中的每一模态数据的目标分布表征，包括：利用待训练的图神经网络模型，对每一模态数据的分布表征进行至少一次更新，在更新次数达到预设值的情况下，将每一模态数据的更新后的分布表征分别确定为每一模态数据的目标分布表征。15.根据权利要求14所述的方法，其特征在于，所述图神经网络模型包括特征图神经网所述利用待训练的图神经网络模型，对每一模态数据的分布表征进行至少一次更新，利用待训练的所述特征图神经网络，基于每一模态数据的关联表征，更新每一模态数据的分布表征，每一所述关联表征用于表征每一模态数据的关联信息。16.根据权利要求15所述的方法，其特征在于，所述图神经网络模型还包括分布图神经利用待训练的所述分布图神经网络，基于每一模态数据更新后的分布表征，更新每一模态数据的关联表征。17.根据权利要求15或16所述的方法，其特征在于，每一所述数据子集包括至少两个子数据集，每一所述子数据集分别对应一种模态；所述基于每一所述数据子集中的每一模态数据的目标分布表征和每一模态数据的标基于每一次更新中同一模态的子数据集中的每两个模态数据的关联表征之间的第二特征相似度和每一模态数据的标签信息，确定特征相似度损失值；5基于历史每一次更新中每两个模态数据的分布表征之间的分布相似度、每两个模态数据的目标分布表征之间的分布相似度和每一模态数据的标签信息，确定分布相似度损失基于所述特征相似度损失值和所述分布相似度损失值，确定目标损失值。第一获取模块，用于获取待处理数据集，所述待处理数据集中包括至少两种类型的模态数据，所述至少两种类型的模态数据属于至少一个对象，所述模态数据包括以下之一：包含人脸的模态数据、包含人体的模态数据、包含虹膜的模态数据、包含声音的模态数据、包含指纹的模态数据；第一确定模块，用于确定每一所述模态数据的目标分布表征，每一所述模态数据的目标分布表征至少用于表征每一所述模态数据与所述待处理数据集中的其它模态数据属于同一对象的概率；第一聚类模块，用于基于每一所述目标分布表征，对每一所述模态数据进行聚类，得到至少一个聚类簇，每一所述聚类簇包括属于同一对象的至少一个模态数据。第二获取模块，用于获取样本集，所述样本集包括至少一个数据子集，每一数据子集包括至少两种类型的模态数据，所述至少两种类型的模态数据属于至少一个对象，每一所述模态数据具有标签信息，所述模态数据包括以下之一：包含人脸的模态数据、包含人体的模第二确定模块，用于利用待训练的图神经网络模型，确定每一所述数据子集中的每一模态数据的目标分布表征，每一所述模态数据的目标分布表征至少用于表征每一所述模态数据与所述数据子集中的其它模态数据属于同一对象的概率，所述图神经网络模型包括以下至少之一：特征图神经网络、分布图神经网络；所述特征图神经网络用于构建每一模态数据的特征图，所述特征图包括至少一个特征节点和所述至少一个特征节点之间的特征连接关系，每一特征节点用于表征每一模态数据的关联表征，所述关联表征用于表征每一模态数据的关联信息，每一特征连接关系用于表征每两个模态数据之间的特征关联关系，所述特征关联关系用于表征同一模态内每两个特征节点属于同一个对象的概率或不同模态内每两个特征节点属于同一个对象；所述分布图神经网络用于构建每一模态数据的分布图，所述分布图包括至少一个分布节点和所述至少一个分布节点之间的分布连接关系，每一分布节点用于表征每一模态数据的分布表征，每一分布连接关系用于表征每两个分布节点属于同一个对象的概率；第三确定模块，用于基于每一所述数据子集中的每一模态数据的目标分布表征和标签第一更新模块，用于在所述损失值满足预设条件的情况下，对所述图神经网络模型的参数进行更新。20.一种电子设备，包括处理器和存储器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至17任一项所述方21.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序被6处理器执行时实现权利要求1至17中任一项所述方法。7聚类及模型训练方法和装置、设备及存储介质技术领域[0001]本公开涉及但不限于计算机技术领域，尤其涉及一种聚类及模型训练方法和装背景技术[0002]聚类，是指将物理或抽象对象的集合分成由类似的对象组成的多个类的过程，例如，人物聚类，是指将特定人物在视频内出现的各种信息(包括面部、身体和声音)聚类在一起，这对于视频剧情理解、视频剪辑等都具发明内容[0003]本公开实施例提供一种聚类及模型训练方法和装置、设备及存储介质。[0004]本公开实施例的技术方案是这样实现的：[0006]获取待处理数据集，所述待处理数据集中包括至少两个模态数据，所述至少两个模态数据属于至少一个对象；[0007]确定每一所述模态数据的目标分布表征，每一所述模态数据的目标分布表征至少用于表征每一所述模态数据与所述待处理数据集中的其它模态数据属于同一对象的概率；[0008]基于每一所述目标分布表征，对每一所述模态数据进行聚类，得到至少一个聚类簇，每一所述聚类簇包括属于同一对象的至少一个模态数据。[0009]本公开实施例提供一种模型训练方法，所述方法包括：[0010]获取样本集，所述样本集包括至少一个数据子集，每一数据子集包括至少两个模态数据，所述至少两个模态数据属于至少一个对象，每一所述模态数据具有标签信息；[0011]利用待训练的图神经网络模型，确定每一所述数据子集中的每一模态数据的目标分布表征，每一所述模态数据的目标分布表征至少用于表征每一所述模态数据与所述数据子集中的其它模态数据属于同一对象的概率；[0012]基于每一所述数据子集中的每一模态数据的目标分布表征和每一模态数据的标[0013]在所述目标损失值满足预设条件的情况下，对所述图神经网络模型的参数进行更新。[0014]本公开实施例提供一种聚类装置，所述聚类装置包括：[0015]第一获取模块，用于获取待处理数据集，所述待处理数据集中包括至少两个模态数据，所述至少两个模态数据属于至少一个对象；[0016]第一确定模块，用于确定每一所述模态数据的目标分布表征，每一所述模态数据的目标分布表征至少用于表征每一所述模态数据与所述待处理数据集中的其它模态数据属于同一对象的概率；[0017]第一聚类模块，用于基于每一所述目标分布表征，对每一所述模态数据进行聚类，8得到至少一个聚类簇，每一所述聚类簇包括属于同一对象的至少一个模态数据。[0018]本公开实施例提供一种模型训练装置，所述模型训练装置包括：[0019]第二获取模块，用于获取样本集，所述样本集包括至少一个数据子集，每一数据子集包括至少两个模态数据，所述至少两个模态数据属于至少一个对象，每一所述模态数据具有标签信息；[0020]第二确定模块，用于利用待训练的图神经网络模型，确定每一所述数据子集中的每一模态数据的目标分布表征，每一所述模态数据的目标分布表征至少用于表征每一所述模态数据与所述数据子集中的其它模态数据属于同一对象的概率；[0021]第三确定模块，用于基于每一所述数据子集中的每一模态数据的目标分布表征和[0022]第一更新模块，用于在所述目标损失值满足预设条件的情况下，对所述图神经网络模型的参数进行更新。[0023]本公开实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。[0024]本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法。[0025]本公开实施例中，通过获取待处理数据集，所述待处理数据集中包括至少两个模态数据，所述至少两个模态数据属于至少一个对象；确定每一所述模态数据的目标分布表征，每一所述模态数据的目标分布表征至少用于表征每一所述模态数据与所述待处理数据集中的其它模态数据属于同一对象的概率；基于每一所述目标分布表征，对每一所述模态数据进行聚类，得到至少一个聚类簇，每一所述聚类簇包括属于同一对象的至少一个模态数据。这样，通过为每一模态数据构建统一的分布表征，利用该分布表征对每一模态数据进行聚类，从而使得属于同一对象的至少一种模态的模态数据均可以聚类，进而提高了聚类[0026]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。附图说明[0027]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。[0028]图1为本公开实施例提供的一种聚类方法的实现流程示意图；[0029]图2为本公开实施例提供的一种聚类方法的实现流程示意图；[0030]图3A为本公开实施例提供的一种聚类方法的实现流程示意图；[0031]图3B为本公开实施例提供的一种基于特征图神经网络构建特征图的示意图；[0032]图4A为本公开实施例提供的一种聚类方法的实现流程示意图；[0033]图4B为本公开实施例提供的一种基于分布图神经网络构建分布图的示意图；[0034]图5为本公开实施例提供的一种模型训练方法的实现流程示意图；[0035]图6A为本公开实施例提供的一种聚类系统的示意图；[0036]图6B为本公开实施例提供的一种初始化模块的实现示意图；9[0037]图6C为本公开实施例提供的一种分布表征初始化的示意图；[0038]图6D为本公开实施例提供的一种根据特征和分布表征进行检索的示意图；[0039]图7为本公开实施例提供的一种聚类装置的组成结构示意图；[0040]图8为本公开实施例提供的一种模型训练装置的组成结构示意图；[0041]图9为本公开实施例中电子设备的一种硬件实体示意图。具体实施方式[0042]为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，所描述的实施例不应视为对本公开的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。[0044]在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。[0045]除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的，不是旨在限制本公开。[0046]聚类，是指将物理或抽象对象的集合分成由类似的对象组成的多个类的过程，例如，人物聚类，是指将特定人物在视频内出现的各种信息(包括面部、身体和声音)聚类在一起，相较于传统的人脸聚类的方式，人物聚类不仅仅需要聚类人脸出现的情况，还需要对人体进行聚类，将同一个人的人脸人体信息聚类在一起。这样包含人脸人体多模态信息的人物聚类的方式，可以获取视频中特定人物所有的出现的信息，这对于视频剧情理解、视频问答、以及基于特定人物的视频剪辑都具有重大意义。[0047]相关技术中，现有的对视频中人物进行聚类的方法大多只利用了人脸信息进行聚类，但是在视频场景下，很多时候人脸在拍摄到背面，或者遮挡等情况下是不可见的，如果仅仅利用人脸信息来进行聚类的话，会遗漏掉很多人物出场的片段，这对于完整全面地获取视频中特定人物的信息具有很大的影响。目前也有一些少量的能够处理视频中人物多模态信息进行聚类的方法，但是都对不同模态采取了不同的人工设计的策略进行处理，这样人工设计的规则的方式对不同模态采用不同的策略进行聚类的方法，不能很好地适用于更加复杂的场景。[0048]本公开实施例提供一种聚类方法，通过为每一模态数据构建统一的分布表征，利用该分布表征对每一模态数据进行聚类，从而使得属于同一对象的至少一种模态的模态数据均可以聚类，进而提高了聚类效果。本公开实施例提供的聚类方法和模型训练方法均可种类型的终端，也可以实施为服务器。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函DeliveryNetwork,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。[0049]下面，将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。[0050]图1为本公开实施例提供的一种聚类方法的实现流程示意图，如图1所示，所述方法包括步骤S11至步骤S13:[0051]步骤S11、获取待处理数据集，所述待处理数据集中包括至少两个模态数据，所述至少两个模态数据属于至少一个对象。[0052]这里，模态数据可以包括但不限于包含模态信息的模态数据，例如，包含人脸的模态数据、包含人体的模态数据、包含虹膜的模态数据、包含声音的模态数据、包含指纹的模态数据等。不同的模态数据可以是属于同一个对象或者不同对象的模态数据。在一些实施[0053]在一些实施方式中，待处理数据集可以包括但不限于同一对象或不同对象的至少一种类型的模态数据等。例如，待处理数据集可以包含同一对象的同一类型的模态数据，比如，待处理数据集中包括对象A的人脸的模态数据。又例如，待处理数据集可以包含同一对象的至少两种类型的模态数据，即该待处理数据集包含属于同一个对象的跨模态的至少两个模态数据，比如，待处理数据集中包括对象A的人脸的模态数据、对象A的人体的模态数据。再例如，待处理数据集可以包括不同对象的同一类型的模型数据，比如，待处理数据集可以包括对象A的人脸的模态数据、对象B的人脸的模态数据。还例如，待处理数据集可以包括不同对象的至少两种类型的模态数据，比如，待处理数据集中包括对象A的人脸的模态数[0054]在一些实施方式中，待处理数据集可以是用户通过操作界面上传的或设定的，其中，该操作界面包括用于对待处理数据集进行配置操作及信息展示的交互界面。该操作界面可以显示在任意合适的具有界面交互功能的电子设备上。在实施时，显示操作界面的电子设备与执行该聚类方法的设备可以是相同的，也可以是不同的，这里并不限定。例如，执行该聚类的电子设备可以为笔记本电脑，显示操作界面的电子设备也可以为该笔记本电脑，操作界面可以为该笔记本电脑上运行的客户端的交互界面，也可以是该笔记本电脑上运行的浏览器中显示的网页。又如，执行该聚类方法的计算机设备可以为服务器，显示操作界面的电子设备可以为笔记本电脑，操作界面可以为该笔记本电脑上运行的客户端的交互界面，也可以是该笔记本电脑上运行的浏览器中显示的网页，该笔记本电脑可以通过该客户端或者浏览器访问该服务器。[0055]在一些实施方式中，对源数据进行特征提取处理得到待处理数据集。[0057]例如，在目标视频中查找目标对象的模态数据的应用场景中，用户可以在操作界面中输入指定的包含目标对象的人脸的模态数据及目标视频，对目标视频进行处理后得到待处理数据集，其中该待处理数据集中包含多个对象的多种类型的模态数据，比如，包含人脸的模态数据、包含人体的模态数据及包含声音的模态数据。电子设备对待处理数据集进行聚类，输出与包含目标对象的人脸的模态数据、人体的模态数据、及声音的模态数据到同表征至少用于表征每一所述模态数据与所述待处理数据集中的其它模态数据属于同一对象的概率。态信息无关。分布表征。人脸的模态数据和包含人体的模态数据设定为关联关同一模态内每两个模态数据之间的第二特征相似度、每两个模态数据的融合分布关联度个模态数据的融合分布关联度可以包括但不限于每两个模态数据的分布表征之间的关联关系。η为一概率值，在关联关系中指示第i个模态数据与第j个模态数据属于同一个对技术人员可以根据实际需求选择分布表征的初始化的方式，本公开实施例不作限定。[0070]步骤S13、基于每一所述目标分布表征，对每一所述模态数据进行聚类，得到至少一个聚类簇，每一所述聚类簇包括属于同一对象的至少一个模态数据。[0071]在一些实施方式中，可以基于每两个目标分布表征之间的相似度、距离等来进行[0072]例如，确定每两个模态数据的目标分布表征之间的距离，在该距离不小于第一阈值的情况下，表明这两个模态数据属于同一个对象，将这两个模态数据聚类为同一个类；在该距离小于第一阈值的情况下，表明这两个模态数据属于不同的对象，将这两个模态数据[0073]在一些实施方式中，所述步骤S13,包括：[0074]步骤S131、基于每两个所述目标分布表征之间的相似度，对每一所述模态数据进[0075]在一些实施方式中，可以基于每两个目标分布表征之间的相似度和第二阈值，实现对同一对象的至少一种模态数据进行聚类。其中，第二阈值可以包括但不限于相似度、接[0076]例如，在第二阈值为相似度的情况下，若两个目标分布表征之间的相似度不小于第二阈值，表明这两个模态数据非常相似，那么这两个模态数据属于同一个对象，将该两个模态数据聚类为同一个聚类簇。又例如，在第二阈值为无关度的情况下，若两个目标分布表征之间的相似度不小于第二阈值，表明这两个模态数据不相似，那么这两个模态数据属于不同对象，将该两个模态数据聚类为不同聚类簇。[0077]本公开实施例中，通过获取待处理数据集，所述待处理数据集中包括至少两个模态数据，所述至少两个模态数据属于至少一个对象；确定每一所述模态数据的目标分布表征，每一所述模态数据的目标分布表征至少用于表征每一所述模态数据与所述待处理数据集中的其它模态数据属于同一对象的概率；基于每一所述目标分布表征，对每一所述模态数据进行聚类，得到至少一个聚类簇，每一所述聚类簇包括属于同一对象的至少一个模态数据。这样，通过为每一模态数据构建统一的分布表征，利用该分布表征对每一模态数据进行聚类，从而使得属于同一对象的至少一种模态的模态数据均可以聚类在一起，进而提高了聚类效果。[0078]图2为本公开实施例提供的一种聚类方法的实现流程示意图，如图2所示，所述方法包括步骤S21至步骤S23:[0079]步骤S21、获取待处理数据集，所述待处理数据集中包括至少两个模态数据，所述至少两个模态数据属于至少一个对象。[0080]上述步骤S21对应于前述步骤S11,在实施时，可以参照前述步骤S11的具体实施方[0081]步骤S22、利用已训练的图神经网络模型，对每一模态数据的分布表征进行至少一次更新，在更新次数达到预设值的情况下，将每一模态数据的更新后的分布表征分别确定为每一模态数据的目标分布表征，每一所述模态数据的分布表征至少用于表征每一所述模态数据与所述待处理数据集中的其它模态数据属于同一对象的概率。通过保留图的网络拓扑结构和节点内容信息，将图中顶点表示为低维向量，以便使用简单的机器学习算法(例如，支持向量机分类等)或深度学习算法进行处理。预设值可以包括但不限于设定的经验值、根据多次聚类的聚类效果计算得到的值等。在实施时，本领域技术人员可以根据实际需求自主确定预设值，本公开实施例不作限定。[0083]在一些实施方式中，已训练的图神经网络模型至少包括分布图神经网络。[0084]在一些实施方式中，分布图神经网络用于构建每一模态数据的分布图，该分布图包括至少一个分布节点以及分布节点之间的分布连接关系，每一分布节点用于表征每一模态数据的分布表征，每一分布连接关系用于表征每两个分布节点属于同一个对象的概率。基于更新参数，对分布图神经网络构建的分布图中的每一分布节点及其分布连接关系进行至少一次更新，将最后一次的分布图中的每一分布节点作为该模态数据的目标分布表征。其中，更新参数可以包括但不限于每两个不同模态的模态数据之间的第一特征相似度、每两个同一模态的模态数据之间的第二特征相似度、每两个模态数据的融合分布关联度等。[0085]在一些实施方式中，已训练的图神经网络模型至少包括特征图神经网络和分布图神经网络。在实施时，将特征图神经网络的输出参数作为更新参数来更新分布图中的每一模态数据的分布表征，将分布图中更新后的分布表征作为更新参数来更新特征图神经网络中的关联表征，从而可以使得将属于同一个对象的多个模态数据聚类成同一个聚类簇。其中，特征图神经网络用于构建每一模态数据的特征图，该特征图包括至少一个特征节点以及特征节点之间的特征连接关系，每一特征节点用于表征每一模态数据的关联表征，关联表征用于表征每一模态数据的关联信息，每一特征连接关系用于表征每两个模态数据之间的特征关联关系。其中，该特征关联关系可以包括第一特征连接关系和第二特征连接关系，所述第一特征连接关系用于表征同一模态内每两个特征节点属于同一个对象的概率，所述第二特征连接关系用于表示不同模态内每两个特征节点属于同一个对象。在一些实施方式中，可以通过第一特征连接线来表示该第一特征连接关系，通过该第二特征连接线来表示该第二特征连接关系。[0086]例如，待处理数据集包括N个模态数据，该N个模态数据包括M个对象的0种类型的模态数据，此时特征图可以包括0个特征子图，其中，每一特征子图中的每个特征节点用于表征属于同一个模态类别的多个模态数据。在实施时，可以根据每两个模态数据之间的关联关系，通过第一特征连接线将属于同一模态的多个模态数据进行连接，通过第二特征连接线将属于同一对象的不同模态的模态数据进行连接。[0087]比如，200个模态数据为A、B这三个对象的人脸、身体、声音这三种类型的模态数象B的人脸数据为30个、对象A的身体数据为40个、对象A的声音数据为25个，此时根据每两个模态数据之间的关联关系，通过第一特征连接线将属于人脸类型的80个人脸数据进行连接、将属于身体类型的70个身体数据进行连接、将属于声音类型的50个声音数据进行连接；通过第二特征连接线将属于对象A的人脸数据、身体数据及声音数据分别进行连接，将属于对象B的人脸数据、身体数据及声音数据分别进行连接。[0088]步骤S23、基于每一所述目标分布表征，对每一所述模态数据进行聚类，得到至少一个聚类簇，每一所述聚类簇包括属于同一对象的至少一个模态数据。布表征至少用于表征每一所述模态数据与所述待处理数据集中的其它模态数据属于同一目标分布表征至少用于表征每一所述模态数据与所述待处理数据集中的其它模态数据属一模态数据的特征图，该特征图包括至少一个特征节点以及特征节点之间的特征连接关[0097]在待处理数据集包括6个模态数据，这6个模态数据分别表示对象A的两个人脸数第三特征节点为对象B的人脸数据NP3,第四特征节点为对象A的人体数据NP4,第五特征节点为对象B的人体数据NP5,第六特征节点为对象B的人体数据NP6,其中第一特征节点NP1至NP6构成了属于人体类别的多个模态数据，通过第一特征连接线SP1来连接人脸类别中每两个特征节点、人体类别中每两个特征节点，该每一第一特征连接线SP1用于表征连接的两个特征节点属于同一个对象的概率，通过第二特征连接线SP2来连接人脸类别和人体类别中属于同一个对象的两个特征节点，该每一第二特征连接线SP2用于表征连接的两个特征节点属于同一个对象。[0098]步骤S33、基于每一所述目标分布表征，对每一所述模态数据进行聚类，得到至少一个聚类簇，每一所述聚类簇包括属于同一对象的至少一个模态数据。[0099]上述步骤S33对应于前述步骤S13,在实施时，可以参照前述步骤S13的具体实施方[0100]在一些实施方式中，所述利用已训练的图神经网络模型中的特征图神经网络，基于每一模态数据的关联表征，更新每一模态数据的分布表征，包括步骤S321至步骤S322:[0101]步骤S321、利用已训练的所述特征图神经网络，基于每一模态数据的关联表征，确定每两个模态数据之间的当前融合分布关联度。[0102]这里，关联表征用于表征每一模态数据的关联信息，当前融合分布关联度用于表征在当前这一次中每两个模态数据的分布表征之间的关联信息。[0103]在一些实施方式中，可以基于属于同一模态内的每两个模态数据之间的关联表征、第二特征相似度、及属于不同模态内的每两个模态数据之间的关联关系、特征关联度、第一特征相似度等来确定每两个模态数据之间的当前分布关联度。这里，关联关系可以用于表征每两个模态数据属于同一个对象，或者每两个模态数据属于不同的对象，该关联关系可以是用户预先设置的，或在获取待处理数据集的过程中得到的。特征关联度可以包括但不限于不同模态内每两个模态数据的关联关系。[0104]步骤S322、基于每两个模态数据之间的当前融合分布关联度，更新每一模态数据的分布表征。[0105]在一些实施方式中，可以基于每两个模态数据之间的当前融合分布关联度，将每一模态数据的上一分布表征更新为每一模态数据的当前分布表征。在实施时，可以通过如下公式(3-1)来更新每一模态数据的分布表征：更新中第i个模态数据的分布表征，用于表征第1次更新中第i个模态数据和第j个模态数据之间的当前融合分布关联度。[0108]在一些实施方式中，所述待处理数据集包括至少两个子数据集，每一所述子数据集分别对应一种模态，所述步骤S321包括步骤S331至步骤S333:[0109]步骤S331、确定不同模态的子数据集中每两个模态数据的关联表征之间的第一特征相似度。[0110]这里，第一特征相似度用于表征不同模态的子数据集中每两个模态数据的关联表征之间的相似度。[0111]在一些实施方式中，可以基于不同模态的子数据集内的每两个模态数据之间的关来确定不同模态的子数据集中每两个模态数据之间的第来确定同一模态的子数据集中每两个模态数据[0124]其中，S是模态相似度矩阵内的归一化，S{用于表示第1次中同一模态内每两个模系。关系来确定不同模态的子数据集中每两个模态[0135]步骤S343、基于归一化处理后的每一所述第二特征相似度和每一所述特征关联处理数据集中的其它模态数据属于同一对象的概率，[0147]上述步骤S41对应于前述步骤S11,在实施时，可以参照前述步骤S11的具体实施方[0148]步骤S42、利用已训练的图神经网络模型，对每一模态数据的分布表征和关联表征进行至少一次更新，在更新次数达到预设值的情况下，将每一模态数据的更新后的分布表征分别确定为每一模态数据的目标分布表征，每一所述关联表征用于表征每一模态数据的关联信息，每一所述模态数据的目标分布表征至少用于表征每一所述模态数据与所述待处理数据集中的其它模态数据属于同一对象的概率。[0149]在一些实施方式中，所述图神经网络模型包括特征图神经网络和分布图神经网络，所述利用利用已训练的图神经网络模型，对每一模态数据的分布表征和关联表征进行至少一次更新，包括步骤S421至步骤S422:[0150]步骤S421,利用已训练的所述特征图神经网络，基于每一模态数据的关联表征，更新每一模态数据的分布表征。[0151]上述步骤S421对应于前述步骤S321至步骤S322,在实施时，可以参照前述步骤S321至步骤S322的具体实施方式。[0152]步骤S422,利用已训练的所述分布图神经网络，基于每一模态数据更新后的分布表征，更新每一模态数据的关联表征。[0153]这里，已训练的图神经网络模型至少包括分布图神经网络，该分布图神经网络用于构建每一模态数据的分布图，该分布图包括至少一个分布节点以及分布节点之间的分布连接关系，每一分布节点用于表征每一模态数据的分布表征，每一分布连接关系用于表征每两个分布节点属于同一个对象的概率。[0154]在一些实施方式中，可以通过第一分布连接线来表示该分布连接关系。[0155]在待处理数据集包括6个模态数据，这6个模态数据分别表示对象A的两个人脸数据和一个人体数据，对象B的一个人脸数据和两个人体数据的情况下，图4B为本公开实施例提供的一种基于分布图神经网络构建分布图的示意图，如图4B所示，此时，分布图410中包括6个分布节点，分别为分布节点ND1至分布节点ND6,每一分布节点用于表征每一模态数据的分布表征，通过第一分布连接线SD1来连接每两个分布节点，该每一第一分布连接线SD1用于表示连接的两个分布节点属于同一对象的概率。[0156]在一些实施方式中，所述步骤S422,包括步骤S431至步骤S432:[0157]步骤S431、利用已训练的所述分布图神经网络，基于每一模态数据更新后的分布表征，确定每两个模态数据之间的当前融合特征关联度。[0158]这里，当前融合特征关联度用于表征当前这一次每两个模态数据的关联表征之间的关联关系。[0159]在一些实施方式中，对于第1次的聚合特征关联度E可以表示为{e:,;}。在实施时，可以通过如下公式(4-1)来确定每两个模态数据之间的当前融合特征关联度：[0161]其中，vi,;用于表示第次中第i个模态数据的分布表征，σ:RN→R得到两个全连接层和一个激活层的分布表征的相似度块。[0162]步骤S432、基于每一所述当前融合特征关联度，更新每一模态数据的关联表征。[0163]在一些实施方式中，对于第1次的聚合特征关联度v可以表示为{v}。在实施时，少两个模态数据，所述至少两个模态数据属于至少一个对象，所述数据子集中的其它模态数据属于同一对象的概率。[0176]这里，图神经网络模型可以为基于图神经网络构建的模型。在实施时，将每一数据子集输入至待训练的图神经网络模型中，便可以得到每一数据子集中每一模态数据的目标分布表征。[0177]步骤S53、基于每一所述数据子集中的每一模态数据的目标分布表征和每一模态数据的标签信息，确定目标损失值。[0178]这里，目标损失值用于表征每一模态数据的标签信息和目标分布表征之间的差异。[0179]步骤S54、在所述目标损失值满足预设条件的情况下，对所述图神经网络模型的参数进行更新。[0180]这里，预设条件可以包括但不限于满足收敛条件等。其中，收敛条件可以包括但不限于目标损失值大于阈值等。在实施时，本领域技术人员可以根据实际需求自主确定预设条件，本公开实施例不作限定。[0181]图神经网络模型的参数可以包括但不限于可学习门控残差块ø、分布表征的相似[0182]在一些实施方式中，在所述目标损失值不满足预设条件的情况下，将当前的图神经网络模型作为已训练的图神经网络模型。[0183]例如，在目标损失值小于阈值的情况下，将当前的图神经网络模型作为已训练的图神经网络模型。[0185]步骤S521、利用待训练的图神经网络模型，对每一模态数据的分布表征进行至少一次更新。[0186]在一些实施方式中，待训练的图神经网络模型至少包括分布图神经网络，该分布图神经网络用于构建每一模态数据的分布图，该分布图包括至少一个分布节点以及分布节点之间的分布连接关系，每一分布节点用于表征每一模态数据的分布表征，每一分布连接关系用于表征每两个分布节点属于同一个对象的概率。通过该分布图神经网络确定每一模态数据的目标分布表征。基于更新参数，对分布图神经网络构建的分布图中的每一分布节点及其分布连接关系进行至少一次更新，将最后一次的分布图中的每一分布节点作为该模态数据的目标分布表征。其中，更新参数可以包括但不限于不同模态内每两个模态数据之间的第一特征相似度、同一模态内每两个模态数据之间的第二特征相似度、每两个模态数据的融合分布关联度等。所述第一特征相似度可以包括但不限于不同模态内每两个模态数据的关联表征之间的相似度。这里，每一模态数据的关联表征用于表征每一模态数据的关联信息。所述第二特征相似度可以包括但不限于同一模态内每两个模态数据的关联表征之间的相似度。所述每两个模态数据的融合分布关联度可以包括但不限于每两个模态数据的分布表征之间的关联关系。[0187]在一些实施方式中，可以基于每两个模态数据之间的关联关系对每一模态数据的分布表征进行初始化，并基于更新参数对分布表征进行更新，以确定每一模态数据的目标分布表征。其中，该关联关系可以包括但不限于属于同一个对象等。在实施时，该关联关系可以是用户预先设定的，也可以是在获取样本集的过程中得到的。[0188]在实施时，通过每两个模态数据之间的关联关系对每一模态数据的分布表征进行初始化，并基于更新参数，对初始化后的分布表征进行至少一次更新。该v,;表示第i个模态数据与所有模态数据1,2,......,N属于同一个对象的概率，可以基于每两个模态数据之间的关联关系，采用上述公式(1-1)对v8,进行初始化。在实施时，本领域技术人员可以根据实际需求选择分布表征的初始化的方式，本公开实施例不作限定。[0190]在一些实施方式中，可以将特征图神经网络的输出参数作为更新参数来更新分布图中的每一模态数据的分布表征，将分布图中更新后的分布表征作为更新参数来更新特征图神经网络中的关联表征，通过循环更新的方式，以得到每一模态数据的更准确的分布表征。其中，特征图神经网络用于构建每一模态数据的特征图，该特征图包括至少一个特征节点以及特征节点之间的特征连接关系，每一特征节点用于表征每一模态数据的关联表征，关联表征用于表征每一模态数据的关联信息，每一特征连接关系用于表征每两个模态数据之间的特征关联关系。其中，该特征关联关系可以包括第一特征连接关系和第二特征连接关系，所述第一特征连接关系用于表征同一模态内每两个特征节点属于同一个对象的概率，所述第二特征连接关系用于表示不同模态内每两个特征节点属于同一个对象。在一些实施方式中，可以通过第一特征连接线来表示该第一特征连接关系，通过该第二特征连接线来表示该第二特征连接关系。[0191]步骤S522、在更新次数达到预设值的情况下，将每一模态数据的更新后的分布表征分别确定为每一模态数据的目标分布表征。[0192]这里，更新次数可以包括但不限于设定的经验值、根据多次聚类的聚类效果计算得到等。在实施时，本领域技术人员可以根据实际需求自主确定更新次数，本公开实施例不[0193]在一些实施方式中，所述图神经网络模型包括特征图神经网络，所述步骤S521,包[0194]步骤S5211、利用待训练的所述特征图神经网络，基于每一模态数据的关联表征，更新每一模态数据的分布表征，每一所述关联表征用于表征每一模态数据的关联信息。[0195]这里，待训练的图神经网络模型至少包括待训练的特征图神经网络，该特征图神经网络用于构建每一模态数据的特征图，该特征图包括至少一个特征节点以及特征节点之间的特征连接关系，每一特征节点用于表征每一模态数据的关联表征，每一特征连接关系用于表征每两个模态数据之间的特征关联关系。其中，该特征关联关系可以包括第一连接关系和第二连接关系，所述第一连接关系用于表征同一模态内每两个模态数据属于同一个对象的概率，所述第二连接关系用于连接不同模态内属于同一个对象的两个模态数据。在一些实施方式中，可以通过第一特征连接线来表示该第一连接关系，通过该第二特征连接线来表示该第二连接关系。[0196]在一些实施方式中，所述图神经网络模型还包括分布图神经网络，所述方法还包[0197]步骤S5212、利用待训练的所述分布图神经网络，基于每一模态数据更新后的分布表征，更新每一模态数据的关联表征。[0198]这里，待训练的图神经网络模型至少包括分布图神经网络，该分布图神经网络用于构建每一模态数据的分布图，该分布图包括至少一个分布节点以及分布节点之间的分布连接关系，每一分布节点用于表征每一模态数据的分布表征，每一分布连接关系用于表征每两个分布节点属于同一个对象的概率。在一些实施方式中，可以通过第一分布连接线来表示该分布连接关系。[0199]在实施时，可以预先对每一模态数据的关联表征进行初始化，并基于每一模态数据更新后的分布表征，对初始化后的关联表征进行至少一次更新。那么V可以表示为(f₁,……,fp,b,……,b,u,…,u),i个模态数据为包含人脸的模态数据、第i个模态数据为包含身体的模态数据、第k个模态数据为包含声音的模态数据。在实施时，本领域技术人员可以根据实际需求选择关联表征的初始化的方式，本公开实施例不作限定。[0201]在一些实施方式中，每一所述数据子集包括至少两个子数据集，每一所述子数据集分别对应一种模态，所述步骤S53,包括：[0202]步骤S531、基于每一次更新中同一模态的子数据集中的每两个模态数据的关联表征之间的第二特征相似度和每一模态数据的标签信息，确定特征相似度损失值。[0203]这里，第二特征相似度用于表征同一模态的子数据集中每两个模态数据的关联表征之间的相似度。标签信息用于指示每一模态数据所属的对象。[0204]在实施时，可以通过如下公式(5-1)来确定特征相似度损失值：[0206]其中，L代表更新次数；N表示模态数据的总个数；S.;用于表征在第1次中，同一模态内第i个模态数据和第j个模态数据的第二特征相似度；BCE表示二元交叉熵损失；o(i)表示1,在x为0的情况下，II(x)为0;y,;为一联合标签，在第i个模态数据和第j个模态数据属于同一对象的情况下，y,为1,否则y,;为0。[0207]在一些实施方式中，可以基于每个模态数据的标签信息，确定联合标签。[0208]例如，标签信息i指示第i个模态数据属于对象A,标签信息j指示第j个模态数据属于对象A,此时联合标签y,;为1。又例如，标签信息i指示第i个模态数据属于对象A,标签信息j指示第j个模态数据属于对象B,此时联合标签y;,;为0。[0209]步骤S532、基于历史每一次更新中每两个模态数据的分布表征之间的分布相似度、每两个模态数据的目标分布表征之间的分布相似度和每一模态数据的标签信息，确定分布相似度损失值。[0210]这里，分布相似度用于表征每两个模态数据的分布表征之间的相似度。标签信息用于指示每一模态数据所属的对象。[0211]在实施时，可以通过如下公式(5-2)来确定特征相似度损失值：数据和第j个模态数据的分布表征之间的相似度；BCE表示二元交叉熵损失；u为权重值；Y₁,;为一联合标签，在第i个模态数据和第j个模态数据属于同一对象的情况下，y₁,;为1,否则y,;为0。[0214]步骤S533、基于所述特征相似度损失值和所述分布相似度损失值，确定目标损失值。[0215]在一些实施方式中，可以通过如下公式(5-3)来确定特征相似度损失值：[0218]本公开实施例中，基于预设的带有标签信息的样本集，对图神经网络模型进行训练，实现端到端的学习。这样，训练得到的图神经网络可以为每一模态数据构建统一的目标分布表征，利用该目标分布表征对每一模态数据进行聚类，实现了端到端的对属于同一对象的至少一种模态的模态数据进行聚类，不需要人工设定和维护大量的模态融合规则，不仅可以极大地减少人工成本，同时也提高了聚类效果。[0219]图6A为本公开实施例提供的一种聚类系统60的示意图，如图6A所示，所述聚类系统60包括初始化模块61、更新模块62、聚类模块63,其中：[0220]初始化模块61,用于基于待处理数据集，对图神经网络模型进行初始化，其中，所述待处理数据集中包括至少两个模态数据，所述至少两个模态数据属于至少一个对象。[0221]更新模块62,用于基于图神经网络，对每一模态数据的分布表征进行至少一次更新，在更新次数达到预设值的情况下，将每一模态数据的更新后的分布表征分别确定为每一模态数据的目标分布表征，每一所述模态数据的目标分布表征至少用于表征每一所述模态数据与所述待处理数据集中的其它模态数据属于同一对象的概率。[0222]聚类模块63,用于基于每一模态数据的目标分布表征，对每一模态数据进行聚类，得到至少一个聚类簇，每一所述聚类簇包括属于同一对象的至少一个模态数据。[0223]在一些实施方式中，所述图神经网络模型包括特征图神经网络和分布图神经网络，所述初始化模块61包括特征初始化模块和分布初始化模块。[0224]所述特征初始化模块，用于基于已训练的特征图神经网络构建每一模态数据的特征图，该特征图包括至少一个特征节点以及特征节点之间的特征连接关系，每一特征节点用于表征每一模态数据的关联表征，每一特征连接关系用于表征每两个模态数据之间的特征关联关系。其中，该特征关联关系可以包括第一特征连接关系和第二特征连接关系，所述第一特征连接关系用于表征同一模态内每两个特征节点属于同一个对象的概率，所述第二特征连接关系用于表示不同模态内每两个特征节点属于同一个对象。[0225]在一些实施方式中，可以通过第一特征连接线来表示该第一特征连接关系，通过该第二特征连接线来表示该第二特征连接关系。[0226]所述分布初始化模块，用于基于已训练的分布图神经网络构建每一模态数据的分布图，该分布图包括至少一个分布节点以及分布节点之间的分布连接关系，每一分布节点用于表征每一模态数据的分布表征，每一分布连接关系用于表征每两个分布节点属于同一个对象的概率。[0227]在一些实施方式中，可以通过第一分布连接线来表示该分布连接关系。[0228]例如，待处理数据集包括6个模态数据，这6个模态数据分别表示对象A的两个人脸数据和一个人体数据，对象B的一个人脸数据和两个人体数据，那么通过该特征初始化模块和分布初始化模块，便可以得到初始化后的特征图和分布图，图6B为本公开实施例提供的一种初始化模块61的实现示意图，如图6B所示，此时，特征图610中包括6个特征节点，第一特征节点为对象A的人脸数据NP1,第二特征节点为对象A的人脸数据NP2,第三特征节点为对象B的人脸数据NP3,第四特征节点为对象A的人体数据NP4,第五特征节点为对象B的人体数据NP5,第六特征节点为对象B的人体数据NP6,其中第一特征节点NP1至第三特征节点NP3构成了属于人脸类别的多个模态数据，第四特征节点NP4至第六特征节点NP6构成了属于人体类别的多个模态数据，通过第一特征连接线SP1来连接人脸类别中每两个特征节点、人体类别中每两个特征节点，通过第二特征连接线SP2来连接人脸类别与人体类别中属于同一个对象的两个特征节点，该每一第一特征连接线SP1用于表征连接的两个特征节点属于同一个对象的概率，该每一第二特征连接线SP2用于表征连接的两个特征节点属于同一个对象的概率；分布图620中包括6个分布节点，分别为分布节点ND1至分布节点ND6,每一分布节点用于表征每一模态数据的分布表征，通过第一分布连接线SD1来连接每两个分布节点，该每一第一分布连接线SD1用于表示连接的两个分布节点属于同一对象的概率。[0229]在一些实施方式中，所述更新模块62可以包括分布更新模块和特征更新模块。[0230]所述分布更新模块，用于利用已训练的所述特征图神经网络，基于每一模态数据的关联表征，更新每一模态数据的分布表征，每一所述关联表征用于表征每一模态数据的关联信息。[0231]所述特征更新模块，用于利用已训练的分布图神经网络，基于每一模态数据更新后的分布表征，更新每一模态数据的关联表征。[0232]在一些实施方式中，分布更新模块可以包括融合分布关联度模块和分布表征更新模块。其中，所述融合分布关联度模块，用于利用已训练的所述特征图神经网络，基于每一模态数据的关联表征，确定每两个模态数据之间的当前融合分布关联度。所述分布表征更新模块，用于基于每两个模态数据之间的当前融合分布关联度，更新每一模态数据的分布[0233]在一些实施方式中，所述待处理数据集包括至少两个子数据集，每一所述子数据集分别对应一种模态；所述融合分布关联度模块可以包括第一特征相似度模块、第二特征相似度模块和当前融合分布关联度模块。其中，第一特征相似度模块，用于确定不同模态的子数据集中每两个模态数据的关联表征之间的第一特征相似度；第二特征相似度模块，用于确定同一模态的子数据集中每两个模态数据的关联表征之间的第二特征相似度；当前融合分布关联度模块，用于基于每一所述第一特征相似度和每一所述第二特征相似度，确定每两个模态数据之间的当前融合分布关联度。[0234]在一些实施方式中，所述第一特征相似度模块可以包括特征关联度模块、归一化模块及当前第一特征相似度模块。其中，所述特征关联度模块，用于确定不同模态的子数据集中每两个模态数据之间的特征关联度；所述归一化模块，用于对每一所述第二特征相似度进行归一化处理；所述当前第一特征相似度模块，用于基于归一化处理后的每一所述第二特征相似度和每一所述特征关联度，确定每两个模态数据的关联表征之间的第一特征相[0235]在一些实施方式中，所述特征关联度模块可以包括关联关系模块和当前第一特征相似度模块。其中，所述关联关系模块，用于确定不同模态的子数据集中每两个模态数据之间的关联关系；所述当前第一特征相似度模块，用于基于每一所述关联关系，确定每一所述特征关联度。[0236]在一些实施方式中，所述第二特征相似度模块可以包括当前第二特征相似度模块。其中，所述当前第二特征相似度模块，用于基于同一模态的子数据集中每一模态数据的前一次的关联表征，确定每两个所述模态数据的关联表征之间的第二特征相似度。[0237]在一些实施方式中，所述特征更新模块可以包括融合特征关联度模块和关联表征模块。其中，所述融合特征关联度模块，用于利用已训练的所述分布图神经网络，基于每一模态数据更新后的分布表征，确定每两个模态数据之间的当前融合特征关联度；所述关联表征模块，用于基于每一所述当前融合特征关联度，更新每一模态数据的关联表征。[0238]在一些实施方式中，所述聚类模块63包括当前聚类模块。所述当前聚类模块，用于基于每两个所述目标分布表征之间的相似度，对每一所述模态数据进行聚类，得到至少一个聚类簇。[0239]本公开实施例提供的聚类方法与相关技术中的聚类方法相比，至少存在以下改[0240]1)相关技术中对人物聚类的方法通过只利用了人脸信息进行聚类，也有少部分处理多模态信息的聚类方法，但都只是在特征空间进行聚类，由于不同模态的特征是由不同的特征提取网络来实现的，因此，该特征是与模态有关的，不能直接进行相似度比较，也就无法直接进行聚类。而本公开实施例中通过为每一模态数据构建统一的分布表征，使得每一模态数据与模态类型无关，这样便可以实现多模态的聚类。[0241]2)相关技术中，通过网络学习的有监督的聚类方法通常只是在特征空间内进行增强和更新。而本公开实施例中通过在分布空间中为每一模态数据构建分布表征，利用特征图神经网络和分布图神经网络互相增强、循环更新的方式，可以得到更好的分布表征。[0242]3)相关技术中，有少部分处理多模态信息的聚类方法，会设计不同的策略处理不同模态的信息，因为依赖于人工设计的规则，很难处理实际场景下的复杂数据分布。而本公开实施例中通过为每一模态数据构建统一的分布表征，使得每一模态数据与模态类型无关，通过计算每两个模态数据的分布表征之间的相似度，便可以实现属于同一对象的多个模态数据的聚类。[0243]本公开实施例提供的聚类方法至少具有以下有益效果：1)通过构建每一模态数据的分布表征，使得每一模态数据与模态类型无关，这样可以实现多模态的聚类；2)通过该模型的特征图神经网络基于每一模态数据的关联表征更新每一模态的分布表征，通过该模型的分布图神经网络基于每一模态数据更新后的分布表征更新每一模态数据的关联表征，如此循环更新、相互增强的方式，可以得到更加准确的每一模态数据的目标分布表征，从而提高了聚类效果；3)利用每一模态数据的目标分布表征对每一模态数据进行聚类，实现了端到端的对属于同一对象的至少一种模态的模态数据进行聚类，不需要人工设定和维护大量的模态融合规则，不仅可以极大地减少人工成本，同时也提高了聚类效果。[0244]为了更好地说明本公开实施例的有益效果，下面对本申请实施例提供的聚类方法与相关技术中的聚类方法的实验数据进行比较说明。[0246]采用数据集VPCD,其包含了电影1、电视剧2、电影3、电视剧4、电视剧5这5个数据集。其中，电视剧可以包含一集或几集，每一集中包含至少一个对象。括了32999个人脸的模态数据、36724个身体的模态数据和9863个声音的模态数据。[0248]分别采用归一化互信息(NormalizedMutualInformation,NMI)、加权聚类纯度CR)和F分数(F-score,CF)。这些指标的值越高表明聚类结果越准确。[0250]采用交叉验证来评估图神经网络模型的聚类性能。具体来说，从五个子数据集中[0251](4)图神经网络模型中部分参数的初始化[0252]所有实验均使用Adam优化器，初始学习率为10⁻³,学习率衰减为0.1。更新次数设置为2。损失权重λ和λ表示特征相似度损失值Lr和分布相似度损失值La的超参数，将除电视[0253](5)实验结果[0254]1)与现有的聚类方法相比[0255]表1为本公开实施例提供的聚类方法与相关技术中的聚类方法的聚类结果。MuHPC聚类方法是利用人脸、身体和语音信息进行人物聚类，因此其性能优于B-ReID(仅包含身体信息)和B-C1C(包含面部和身体信息)。本公开实施例提供的聚类方法为与模态无关的分布图神经网络(Modality-AgnosticdistributionGraphNETwork,MAGNET)和现有技术的聚了三种不同的规则来利用所有的模态信息，这可能无法捕捉到复杂场景下的不同人物。相比之下，本公开实施例提供的方法可以利用特征图神经网络(Multi-modalityClueFeatureGraph,MMFG)和分布图神经网络(Modality-AgnosticDistributionGraph,MADG)的循环更新策略学习分布图上人物之间的相似性，从而可以捕获复杂场景下的人物。电视剧2中：NMI+1.84%,在电影1中：+8.39%NMI和电视剧4中：+1.97NMI),这进一步说明了(AutoencoderinAutoencoderNetworks,AE²⁻Nets)、COMIC和基于比对预测的缺失视图聚这三种多视图聚类方法进行了比较，其中不同的模态可以被视为不同的视图。利用不同视图之间的相关性，将多视图特征投影到统一的特征空间进行聚类。然而，在人物聚类任务中，人脸特征、身体特征和声音特征很难投影到一个统一的空间中，因为这些特征相关性很实施例提供的用与模态无关的分布表征对多模态数据进行聚类。[0256]表1不同聚类方法的聚类结果电影1电视剧2电影3电视剧4电视剧5[0258]2)带有噪声关联的人物聚类结果[0259]人物聚类依赖于不同模态给定的关联信息。人脸和身体之间的关联通常由人脸边界框和身体边界框之间的交集(IOU)决定，这在拥挤的情况下可能无效。在这种情况下，当两个人站得太近时，一个人的脸可能会错误地与另一个人的身体相关联，这给跨模态的两个模态数据之间的特征关联度带来了噪声。[0260]为了证明MAGNET对噪声关联的鲁棒性，通过以给定概率p在轨道之间随机交换特征来模拟错误关联的身体。将p表示为噪声比，因为它可以控制随机交换后噪声关联的比也仅降低了4.1%。由于MADG中的分布特征聚合了来自所有模态的信息，因此分布图上的聚类结果对具有噪声关联的数据具有鲁棒性。[0261]表2带有噪声关联的人物聚类结果[0262]P电影1电视剧2电影3电视剧4电视剧5078.3061.8476.5685.0793.110.178.0961.6275.6284.0991.970.277.5561.3974.8983.5191.670.377.4261.5874.7682.7890.310.477.0260.8273.9981.7689.400.576.4960.6173.9581.1488.82only是没有分布图的模型，通过特征相似度进行特征聚合。具有相同模态的模态数据在MMFG中单独聚类，然后具有不同模态的模态数据根据在同一对象中的共现进行分组。对于中的关联度由原始特征的模态内特征相似度固定。同时为了验证多模态融合模块的有效性，通过在公式(3-3)中设置α₁=0来移除该模块，将其表示NMI中提高了4%,因为它可以从所