CN112148899B 多媒体推 荐方法、装置、设备及存储介质 （深圳市雅阅科技有限公司）

道海滨社区宝兴路6号海纳百川总部史播放序列中包括登录目标用户标识的终端播根据兴趣特征，为目标用户标识推荐多媒体数2获取目标用户标识对应的历史播放序列，所述历史播放序列中包括登录将每个多媒体数据的内容特征与位置特征进行融合，得到所述每调用多媒体推荐模型中的兴趣提取层，按照所述多个多调用多媒体推荐模型中的特征融合层，将所述每个多获取第一样本播放序列中多个样本多媒体数据的内容特征、正样调用所述多媒体推荐模型，根据所述第一样本播放序根据所述第一兴趣特征、所述第一样本内容特征和所述第二样本内获取所述第一兴趣特征与所述第一样本内容特征之间的第一相似度和所述第一兴趣根据所述第一相似度和所述第二相似度训练所述多媒对所述第二样本播放序列中的第一样本多媒体数据进行掩盖处理，3调用所述多媒体推荐模型，根据掩盖处理后的所述第二样根据所述第一样本多媒体数据和所述第二样本多媒体数据，训练所述多媒体推荐模调用所述多媒体推荐模型中的内容提取层，从多媒调用内容识别模型，对所述每个多媒体数据进行特征提调用所述内容识别模型，对所述每个多媒体数据进行其中，所述多模态内容特征包括多媒体标题的内容特征、多获取样本信息，所述样本信息包括样本多媒体数据和样本标签调用所述内容识别模型，对所述样本多媒体数据进调用所述内容识别模型，对所述样本多媒体数据进其中，所述多模态内容特征包括多媒体标题的内容特征、多根据所述兴趣特征和所述至少一个待推荐多媒体数据的内容4序列获取模块，用于获取目标用户标识对应的历史播放顺序排列；第一融合模块，用于将每个多媒体数据的内容特征与位置特第二融合模块，用于调用多媒体推荐模型中的兴趣提取层，与所述目标多媒体特征的相关度越大，在从所述目标多媒体特征中提取隐层多媒体特征获取第一样本播放序列中多个样本多媒体数据的内容特征、正样调用所述多媒体推荐模型，根据所述第一样本播放序根据所述第一兴趣特征、所述第一样本内容特征和所述第二样本内获取所述第一兴趣特征与所述第一样本内容特征之间的第一相似度和所述第一兴趣根据所述第一相似度和所述第二相似度训练所述多媒对所述第二样本播放序列中的第一样本多媒体数据进行掩盖处理，调用所述多媒体推荐模型，根据掩盖处理后的所述第二样5根据所述第一样本多媒体数据和所述第二样本多媒体数据，训练所述多媒体推荐模第一特征获取模块，用于调用所述多媒体推荐模型中的内容第二特征获取模块，用于调用所述多媒体推荐模型中的位置获取样本信息，所述样本信息包括样本多媒体数据和样本标签调用所述内容识别模型，对所述样本多媒体数据进调用所述内容识别模型，对所述样本多媒体数据进其中，所述多模态内容特征包括多媒体标题的内容特征、多特征匹配单元，用于根据所述兴趣特征和所述至少一个待推荐多媒体数据的内容特荐模型中的特征匹配层，根据所述兴趣特征和所述至少一个待推荐多媒体数据的内容特中存储有至少一条程序代码，所述程序代码由所述处理器加载并执行以实现如权利要求1625.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如权利要求1至权利要求11任一项所述的多机设备执行如权利要求1至权利要求11任一项所述的多媒体推荐方法所7[0012]调用所述多媒体推荐模型中的兴趣提取层，按照所述多个多媒体数据的排列顺8[0021]获取所述第一兴趣特征与所述第一样本内容特征之间的第一相似度和所述第一[0030]调用所述多媒体推荐模型中的位置提取层，获取所述多个多媒体数据的位置特9[0040]根据所述样本标签和所述预测标签，训练所述内容识别模型和所述内容分类模所述多个多媒体数据的排列顺序，确定所述每个多媒体特征与目标多媒体特征的相关度，[0063]获取所述第一兴趣特征与所述第一样本内容特征之间的第一相似度和所述第一[0080]根据所述样本标签和所述预测标签，训练所述内容识别模型和所述内容分类模述计算机程序包括计算机程序代码，所述计算机程序代码存储在计算机可读存储介质中。[0115]图2是本申请实施例提供的一种多媒体推荐方法的流程图。执行主体为计算机设[0122]图3是本申请实施例提供的一种多媒体推荐模型的训练方法的流程图。在该实施播放时间，根据该多个多媒体数据的标识以及每个多媒体数据对应的播放时间的先后顺[0130]可选地，服务器对第二样本播放序列中的第一样本多媒体数据进行随机掩盖304包括：根据参考数量个被掩盖内容的样本多媒体数据和参考数量个预测得到的多媒体列中被掩盖内容的多媒体数据，使得模型学习到播放序列中多个多媒体数据间的依赖关[0141]第一样本播放序列包括登录第一样本用户标识的终端播器获取距离当前时间参考时间范围内的历史播放序列，例如，获取最近1小时内的播放序一用户标识的第一兴趣特征。通过多个多头自注意力子层所融合得到的兴趣特征更加准征匹配层405，确定第一兴趣特征与第一样本内容特征之间的第一相似度以及第一兴趣特征与第一样本内容特征之间的第一相似度以及第一兴趣特征与第二样本内容特征之间的第二相似度之前，要先调用感知机层406将第一样本内容特征和第二样本内容特征的特征[0163]可选地，服务器根据第一相似度和第二相似度训练多媒体推荐模型的实现方式[0167]可选地，上述多媒体推荐模型为BERT(BidirectionalEncoderRepresentation[0168]在本申请实施例中，根据多个样本多媒体数据的内容特取距离当前时间参考时间范围内的历史播放序列，例如，获取最近1小时内的历史播放序301中服务器根据样本用户标识的行为日志获取第二样本播放序列的实现方式类似，此处内容特征包括多媒体背景画面的内容特征和字幕标签与该样本标签相同，则通过新的样本信息继续训练该内容识别模型和内容分类模型，[0206]可选地，服务器从多媒体数据库中查询该至少一个待推荐多媒体数据的内容特[0212]继续参考图4，服务器在确定兴趣特征与至少一个待推荐多媒体数据的内容特征之间的相似度之前，要先调用感知机层406将至少一个待推荐多媒体数据的内容特征的特获取到用户的兴趣特征后，基于待推荐多媒体据的内容特征与用户的兴趣特征的相似度，[0216]终端接收到该目标多媒体数据后，能够根据检测的用户操作播放目标多媒体数[0217]参考表1，为本申请实施例中的多媒体推荐模型与其他多媒体推荐模型的性能比序列，预测后半部分的播放序列，然后统计每个多媒体推荐模型的性能指标。其中，metriclearningforvideounderstanding，协作式深度度量学习)模型、DMLBBS(DeepMetricLearningBeyondBinarySupervision，非二元监督的深度度量学习)模型。HR(HitRatio，命中率)是指多媒体推荐模型所预测正确的多媒体数据的数量占后半部分播放序列中多媒体数据的总数量的比例。NDCG(NormalizedDiscountedcumulativegain，[0232]调用多媒体推荐模型，根据第一样本播放序列中多个样本多媒体数据的内容特[0233]根据第一兴趣特征、第一样本内容特征和第二样本内容特征训练多媒体推荐模[0235]获取第一兴趣特征与第一样本内容特征之间的第一相似度和第一兴趣特征与第[0246]内容特征识别模块707，用于调用内容识别模型，对每个多媒体数据进行特征提[0258]特征匹配单元7042，用于根据兴趣特征和至少一个待推荐多媒体数据的内容特[0263]图9示出了本申请一个示例性实施例提供的终端900的结构框图。该终端900可以动态影像专家压缩标准音频层面3)、MP4(MovingPictureExpertsGroupAudioLayer理器901可以采用DSP(DigitalSignalProcessing，数字信号处理)、FPGA(Field-处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessing一些实施例中，处理器901可以在集成有GPU(GraphicsProcessingUnit，图像处理器)，[0266]存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器901所执行以[0268]外围设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器摄像头融合实现全景拍摄以及VR(VirtualReality，虚拟现实)拍摄功能或者其它融合拍声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路[0273]定位组件908用于定位终端900的当前地理位置，以实现导航或LBS(LocationBasedService，基于位置的服务)。定位组件908可以是基于美国的GPS(Global[0276]加速度传感器911可以检测以终端900建立的坐标系的三个坐标轴上的加速度大[0277]陀螺仪传感器912可以检测终端900的机体方向及转动角度，陀螺仪传感器912可[0279]指纹传感器914用于采集用户的指纹，由处理器901根据指纹传感器914采集到的户与终端900的正面之间的距离逐渐变小时，由处理器901控制显示屏905从亮屏状态切换理器901控制显示屏905从息屏状态切换为性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing[0287]