CN113590849B 多媒体资源分类模型训练方法和多媒体资源推 荐方法 （深圳市雅阅科技有限公司）

道海滨社区宝兴路6号海纳百川总部多媒体资源分类模型训练方法和多媒体资本申请涉及一种多媒体资源分类模型训练属性信息集合输入待训练的多媒体资源分类模型；通过多媒体资源分类模型中各个特征子网个属性特征向量输入多媒体资源分类模型中各任务对应的预测标签和训练标签调整多媒体资到用于对待推荐多媒体资源的质量进行分类的2获取训练多媒体资源的目标属性信息集合和训练标签集合；将所述训练多媒体资源的目标属性信息集合输入待训练的多媒多媒体资源分类模型包括多个特征子网络和通过所述多媒体资源分类模型中各个特征子网络，分别对与特征子基于同一任务对应的训练标签和预测标签调整对应的任务子网络的在当前任务子网络中，通过所述专家层对所述各个属性特征向量进行2.根据权利要求1所述的方法，其特征在于，所述获取训练多媒体资源的训练标签集获取多个历史多媒体资源分别对应的推荐互动信息集合；所基于推荐互动信息和对应的参考互动信息对历史多媒体资源的基于历史多媒体资源和对应的质量标签集合得到所述训练多媒体资源和对应的训练信息对历史多媒体资源的质量进行分类，得到各个历史多媒体资源对应的质量标签集合，在同一历史多媒体资源对应的推荐互动信息集合中，比较同一将推荐互动度大于参考互动度的推荐互动信息对应的任务的质量标签确将推荐互动度小于参考互动度的推荐互动信息对应的任务的质量标签确所述通过所述多媒体资源分类模型中各个特征子网络，分别对3通过所述文本特征子网络中各个数据处理通道，分别对对应的文基于各个文本特征向量得到所述文本特征子网络输出所述通过所述多媒体资源分类模型中各个特征子网络，分别对通过所述原子特征子网络，对与所述原子特征子网络关联的目标属基于各个交叉特征向量得到所述原子特征子网络输出7.根据权利要求1所述的方法，其特征在于，所述特征子网络包括图文融合特征子网络，与所述图文融合特征子网络关联的目标属性信息包括文本属性信息和图像属性信息，所述图文融合特征子网络包括所述文本属性信息对应的文本数据处理通道和所述图像属所述通过所述多媒体资源分类模型中各个特征子网络，分别对基于所述图像特征向量对所述中间特征向量进行注意力分配处理基于所述中间特征向量对所述图像特征向量进行注意力分配处理基于所述第一图文融合特征向量和所述第二图文融合特征向量得到所述图文融合特所述通过所述多媒体资源分类模型中各个特征子网络，分别对通过所述第一数据处理通道对所述样式属性信息进行编码处理，得到初始特征向量，基于所述第一特征向量和所述第二特征向量得到所述样式特征子网络输出的属性特4获取验证多媒体资源的目标属性信息集合和验证标签集合；所将所述验证多媒体资源的目标属性信息集合输入训练基于所述验证多媒体资源对应的预测标签集合和验证标签集合获取待推荐多媒体资源的目标属性信息集合；所述目标属性将所述目标属性信息集合输入已训练的多媒体资源分类模型；所述多通过所述多媒体资源分类模型中各个特征子网络，分别对与特征子基于各个预测标签得到所述待推荐多媒体资源对应的质量在当前任务子网络中，通过所述专家层对所述各个属性特征向量进行信息获取模块，用于获取训练多媒体资源的目标属性属性信息输入模块，用于将所述训练多媒体资源的目标属性信息处理模块，用于通过所述多媒体资源分类模型中标签预测模块，用于将各个属性特征向量输入各个任务子网络，得5模型调整模块，用于基于同一任务对应的训练标签和预测标签在当前任务子网络中，通过所述专家层对所述各个属性特征向量进行属性信息获取模块，用于获取待推荐多媒体资源的属性信息输入模块，用于将所述目标属性信息集合输入已训练的多媒体资源分类模属性信息处理模块，用于通过所述多媒体资源分类模型中标签预测模块，用于将各个属性特征向量输入各个任务子网络，质量分类模块，用于基于各个预测标签得到所述待推在当前任务子网络中，通过所述专家层对所述各个属性特征向量进行理器执行时实现权利要求1至11中任一项所述的方法6体资源分类模型包括多个特征子网络和各个任个任务对应的训练标签和预测标签调整各个特征子网络的模型参数，直至满足收敛条件，[0012]信息获取模块，用于获取训练多媒体资源的目标属性信息集7动度；将推荐互动度大于参考互动度的推荐互动信息对应的任务的质量标签确定为正标各个文本特征向量得到文本特征子网络输出的属征向量和第二图文融合特征向量得到图文融合特征子网络输出的属8[0027]模型更新模块，用于获取验证多媒体资源的目标属性信息集体资源分类模型包括多个特征子网络和各个任个任务对应的训练标签和预测标签调整各个特征子网络的模型参数，直至满足收敛条件，体资源分类模型包括多个特征子网络和各个任9个任务对应的训练标签和预测标签调整各个特征子网络的模型参数，直至满足收敛条件，征子网络关联的目标属性信息进行向量化处理，得到各个特征子网络输出的属性特征向于训练多媒体资源的目标属性信息集合和训练标签集合可以对多媒体资源分类模型进行有监督训练，得到能够对待推荐多媒体资源的质量进行准确分类的多媒体资源分类模型。分类模型，通过综合考虑各个维度的目标属性信息可以对多媒体资源的质量进行准确分[0045]将各个属性特征向量输入各个任务子网络，得到各个任务子网络输出的预测标[0050]属性信息输入模块，用于将目标属性信息集合输入已训练的多媒体资源分类模[0059]将各个属性特征向量输入各个任务子网络，得到各个任务子网络输出的预测标[0066]将各个属性特征向量输入各个任务子网络，得到各个任务子网络输出的预测标[0070]图1为一个实施例中多媒体资源分类模型训练方法和多媒体资源推荐方法的应用[0073]图4为一个实施例中基于推荐互动信息和对应的参考互动信息确定历史多媒体资[0093]人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控[0095]计算机视觉技术(ComputerVision,CV)计算机视觉是一门研究如何使机器“看”[0096]自然语言处理(NatureLanguageprocessing,NLP)是计算机科学领域与人工智可以用独立的服务器或者是多个服务器组成的[0100]终端102和服务器104均可单独用于执行本申请实施例中提供的多媒体资源分类属性信息集合包括多个维度的目标属性信息，训练标签集合包括多个任务对应的训练标个任务对应的预测标签。服务器104可以基于同一任务对应的训练标签和预测标签调整对[0102]终端102获取待推荐多媒体资源的目标属性信息集合，目标属性信息集合包括多[0103]终端102和服务器104也可协同用于执行本申请实施例中提供的多媒体资源分类集合，服务器104基于训练多媒体资源的目标属性信息集合和训练标签集合对多媒体资源[0105]终端102从服务器104获取已训练的多媒体资源分类模型。终端102通过已训练的法应用于图1中的计算机设备为例进行说明，计算机设备可以是上述图1中的终端102或服源1和多媒体资源2的内容较为相似时，确定多媒体资源2在点击率任务上的质量标签也为媒体资源分类模型，多媒体资源分类模型中各个特征子网络可以接收相应的目标属性信对应的与文本相关的目标属性信息。原子特征子网络用于处理多媒体资源对应的原子特于点击率任务对应的训练标签和预测标签调整点击率任务对应的任务子网络的模型参数，基于浏览时长任务对应的训练标签和预测标签调整浏览时长任务对应的任务子网络的模务(maintasks)使用相关任务(relatedtasks)的训练信号所拥有的领域相关信息作为一直推导偏差(inductivebias)来提升主任务(maintasks)泛化效果(generalizationMixture-of-Experts)等。多媒体资源分类模型的主任务为多媒体资源的质量分类，也就于同一任务对应的推荐互动信息和参考互动信息的比较结果对历史多媒体资源的质量在推荐互动信息对应的推荐互动度和参考互动信息对应的参率任务对应的质量标签为负标签。历史多媒体资源1的质量标签集合包括点击率任务对应本特征向量二和文本特征向量三进行拼接得到属[0155]具体地，与原子特征子网络关联的目标属性信息包括多媒体资源的各种原子特源分类模型中各个特征子网络，分别对与特征子网络关联的目标属性信息进行向量化处于处理文本属性信息和图像属性信息。将目标属性信息集合输入多媒体资源分类模型后，融合特征子网络包括文本属性信息对应的文本数据处理通道和图像属性信息对应的图像[0167]在一个实施例中，可以通过transformer(变换)模型对文本属性信息进行编码处[0168]参考图7，与图文融合特征子网络关联的目标属性信息包括文本属性信息和图像网络通过LSTM(LongShort-TermMemory，长短期记忆网络)对样式属性信息进行编码处同等规模下单个网络无法有效学习到所有任务之间通用的表达但通过划分得到多个子网相关性和区别。k[0186]步骤S1004，将验证多媒体资源的目标属性信息集合输入训练完成的多媒体资源[0187]步骤S1006，基于验证多媒体资源对应的预测标签集合和验证标签集合计算分类[0189]其中，验证多媒体资源是用于验证多媒体资源分类模型的准确性的多媒体资证多媒体资源对应的预测标签集合和验证标签集合计算多媒体资源分类模型的分类准确最新的多媒体资源分类模型进行更新，以保障多媒体资源分类模型始终适应当前推荐环图1中的计算机设备为例进行说明，计算机设备可以是上述图1中的终端102或服务器104。[0204]计算机设备基于各个任务预测结果可以预测待推荐多媒体资源对应的质量分类和数据处理过程也可以参照前述多媒体资源分类模型训练方法的各个相关实施例所述的据对应的质量分类结果。各个特征子网络和任务子网络之间可以通过MLP层进行连接。图13B的模型包括预测点击率的任务子网络和预测浏览时长的任务子网络，即点击率任务对目标属性信息集合输入图文内容分类模型，即可得到待推荐图文内容对应的质量分类结优质识别的模型自动更新方案，是一种基于具体业务场景的算法以及模型结构上的创新。网络的参数，基于各个任务对应的训练标签和预测标签调整各个特征子网络的模型参数，动信息对历史多媒体资源的质量进行分类，得到各个历史多媒体资源对应的质量标签集动度；将推荐互动度大于参考互动度的推荐互动信息对应的任务的质量标签确定为正标各个文本特征向量得到文本特征子网络输出的属征向量和第二图文融合特征向量得到图文融合特征子网络输出的属[0248]关于多媒体资源分类模型训练装置和多媒体资源推荐装置的具体限定可以参见上文中对于多媒体资源分类模型训练方法和多媒体资源推荐方法的限定，在此不再赘述。上述多媒体资源分类模型训练装置和多媒体资源推荐装置中的各个模块可全部或部分通计算机程序被处理器执行时以实现一种多媒体资源分类模型训练方法和多媒体资源推荐算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-