CN113868523B 推 荐模型训练方法、电子设备及存储介质 （腾讯音乐娱乐科技（深圳）有限公司）

司本申请实施例公开了一种推荐模型训练方初始预测模型以获取样本用户针对样本推荐对2获取样本特征集合；所述样本特征集合包含样本用户的用户属性将所述样本特征集合输入初始预测模型，基于所述初始预测模型基于所述点击标签和所述预测点击率生成点击损失函数，基于所述点根据所述点击损失函数、所述点击损失函数对应的第一权重函数以及基于所述权重损失函数生成所述点击损失函数对应的点击权重以及所述点击转化损基于所述点击权重、所述点击转化权重、所述点击损失函数和根据所述点击梯度函数和所述平均梯度函数确定目根据所述点击转化梯度函数和所述平均梯度函数确定目标点根据所述目标点击梯度函数和所述目标点击转化梯度函数生成所基于所述权重损失函数对所述第一权重函数进行求导，得到第一据所述第一权重调整函数和所述第一权重函数基于所述权重损失函数对所述第二权重函数进行求导，得到第二据所述第二权重调整函数和所述第二权重函数确定在所述初始预测模型中，生成所述用户属性信息对应的用户属基于所述用户属性特征和所述对象属性特征获取所述预测点击率和3基于所述融合属性特征获取所述预测点击率和基于所述融合属性特征生成点击预测特征以基于所述点击预测特征获取所述预测点击率，基于所述转化预测特征8.根据权利要求7所述的方法，其特征在于，所述初始预测模型包含点击权重预测网将所述融合属性特征输入所述N个预测特征生成网络，并分别在每个预测特征生成网将所述融合属性特征输入所述点击权重预测网络，在所述点击权重将所述融合属性特征输入所述转化权重预测网络，在所述转化权重利用所述每个预测特征生成网络对应的第一预测权重分别对所述每个预测特征生成利用所述每个预测特征生成网络对应的第二预测权重分别对所述每个预测特征生成获取预测用户的目标用户属性信息和待推荐对象将所述目标用户属性信息和所述目标对象属性信息输入目标预测模模型是采用上述权利要求1-8任一项所述的方法进行训练得在所述目标预测模型中生成所述预测用户针对所述待推荐对象的目标预测点击率和基于所述目标预测点击率和所述目标预测转化率，获取所述若所述兴趣分数大于兴趣分数阈值，则将所述待推荐对象推4失函数和转化率预测任务的损失函数训练得到用于预测点击率和转化率的目标预测模型。[0013]在目标预测模型中生成预测用户针对待推荐对象的目标预测点击率和目标预测5[0015]若兴趣分数大于兴趣分数阈值，则将待推荐对象推送至预测用户对应的用户终本用户针对样本推荐对象的预测点击率以及该计算机设备执行上述提供的推荐模型训练方法和/或基于推荐6而目标预测模型针对预测点击率和转化率的准权重预测网络以及N个预测特征生成网络，电子设备可以在该预测特征生成层中利用点击权重预测网络、转化权重预测网络以及N个预测特征生成网络并基于融合属性特征得到点7[0049](2)预测层可以包括点击预测网络和转化预测网络，电子设备可以在该预测层中签生成点击损失函数以及基于得到的预测转化率和样本特征集合中的转化标签生成点击[0050](3)权重调节层可以用于在初始预测模型的训练过程中利用点击损失函数和点击重损失函数对点击损失函数对应的初始点击权重(此前模型训练时使用的点击权重)和点击转化损失函数对应的初始点击转化权重(此前模型训练时使用的点击转化权重(如第i行求和得到此次(如第i+1次)模型训练的目标损失函数，后续可以基于该目标损失函数对享层和预测层部分。此外，点击率又称为CTR(Click-throughRate)、转化率又称为CVR预测任务中，即电子设备可以利用样本用户和样本推荐对象的相关信息(如样本用户的用续可以执行基于推荐模型的数据推荐方法以获取预测用户的目标用户属性信息和待推荐8阅读文章的用户，电子设备可以利用样本用户和样本推荐对象的相关信息对模型进行训周内的主播打赏数等)等等；在线主播即样本推荐对象的对象属性信息可以为基础画像属为指用户点进在线主播的直播间，转化行为指用户在在线直播的直播间观看一定时长(例9征处理层生成用户属性特征具体可以是，利用特征处理层对用户属性信息进行热独编码户的年龄为24，则进行热独编码所得到的年龄属性对应的属性特征可以表示为[0,1,0,0,属性特征可以为由用户属性信息包含的属性所得到的一种或多种属性特征所组成的特征基于用户属性特征的特征矩阵和对象属性特征的特征矩阵所拼接得到的特征向量。例如，层中基于点击预测特征获取预测点击率以及基于转化预测特[0066]可选的，初始预测模型的共享层中的预测特征生成层可以包括点击权重预测网融合属性特征输入预测特征生成层，并利用预测特征生成层中的点击权重预测网络和N个预测特征生成网络生成点击预测特征，以及利用转化权重预测网络和N个预测特征生成网第i个样本特征集合得到的点击预测特征，xi(cvr)表示根据样本数据集中第i个样本特征集可以为第t次训练时的次数或者时刻(该时刻为相较于第0次模型(设此时指示的时刻为0)重调节层并利用权重损失函数得到第一权重函数对应的第一权重调整函数和第二权重函根据第二权重函数和第二权重调整函数得到该预测用户针对该待推荐对象的目标点击率和目标转化率实现对于预测用户和待推荐对户可以点击查看所推送的待推荐对象的相关信息(如在线主播对应的直播间，或资讯文章点击率以及预测转化率生成针对初始预测模型的点击转化损失函数，根据点击损失函数、点击损失函数对应的点击权重以及点击转化损失函数对应的点击转化权重，基于点击权理层生成用户属性信息对应的用户属性特征，以及生成对象属性信息对应的对象属性特数从嵌入矩阵中获取对应的行向量，该行向量在嵌入矩阵中的所在行数与该所在列数相嵌入矩阵的大小和嵌入矩阵中每个元素的具体数值(V1)，基于用户属性信息包含的多种用户属性(1、2、...、n)得到对应的属性特征(V1、对象属性信息包含的多种对象属性(n+1、n+2、...、N)得到对应的属性特征(Vn+1、Vn+种形式的目标特征矩阵可以如图4中的目标特征矩阵1和目标特征矩阵2所表征的形式。其该融合属性特征可以为基于用户属性特征的特征矩阵和对象属性特征的特征矩阵所拼接属性特征作为特征集合，并对特征集合中两两特征进行特征交叉(即两两向量进行内积)，接特征中利用用户属性信息对第一目标属性特征和/或第二目标属性特征进行乘积处理，第一目标属性特征和第二目标属性特征可以由相关业务人员根据实际情况个预测特征生成网络对应的第一预测权重分别对每个预测特征生成网络对应的初始预测基于融合属性特征和点击权重预测网络预测针对每个预测特征生成网络的第一预测权重，并基于融合属性特征和转化权重预测网络预测针对每个预测特征生成网络的第二预测权在转化权重预测网络中生成每个预测特征生成网络对应的对应的第一预测权重，gcvr(x)i表示N个预测特征生成网络中第i个预测特征生成网络对应的第二预测权重；fi(x)表示N个预测特征生成网络中第i个预测特征生成网络对应的初始转化权重预测网络又可称为门限(gate)网络，N个预测特征生成网络又可称为专家化预测特征获取预测转化率具体可以是是利用初始预测模型中的预测层并基于点击预测预测任务(CTRTower)构建的点击预测网络和针对转化率预测任务构建的转化预测网络现模型训练过程中动态调节点击损失函数的点击权重和点击转化损失函数的点击转化权平均梯度函数时用到的模型参数可以是点击预测网络的网络参数以及转化预测网络的网[0128]即确定平均梯度Gr()具体可以是：函数取平均得到；E[A+B]表示对输入的A和B进行均值处理得到A和B的均值结果(平均结据针对点击率预测任务的逆训练速率和针对转化率预测任务的逆训练速率确定平均逆训i,表示针对转化率预测任务均逆训练数量，rctr(t)表示针对点击率预测任务的相对逆训练[0135]在一些实施例中，根据目标点击梯度函数Gradctr(t)和目标点击转化梯度函数的第一权重函数和第二权重函数进行调整得到下一轮的调整后的第一权重函数和调整后练时使用的目标损失函数中的点击权重和点击转化据用户属性特征和对象属性特征生成融合属性特征；(3)在预测特征生成层根据融合属性特征生成点击预测特征和转化预测特征；(4)在预测层利用点击预测网络并根据点击预测[0152]其中，利用训练集作为样本特征集合对初始预测模型进行训练得到目标预测模评估指标AUC(areaunderthecurve，曲线下面积)相较于现有的预测模型也有较大的提[0156]其中，CTRAUC表示预测点击率对应的AUC，CVRAUC表示预CTRAUC和CVRAUC越大表示模型针对预测点击率和预测转化率的效果越好，即准确率越高。由上述描述可以得知，本申请技术方案是采用的最后一种模型结构(FM+MMOE+ESMM+参数确定点击转化梯度函数，根据点击梯度函数和点击转化梯度函数生成权重损失函数，基于权重损失函数生成点击损失函数对应的点击权重以及点击转化损失函数对应的点击户属性信息分别和每个待推荐对象的目标对象属性信息一起输[0163]其中，该目标预测模型可以是通过上述图2所示实施例和/或图3所示实施例中的分比，每组流量设为1％的流量，利用多种预测模型和本申请的目标预测模型进行测试得上述描述可以得知，本申请技术方案是采用的最后一种模型结构(FM+MMOE+ESMM+子设备获取当前的在线主播，并将预测用户分别和每个在线主播组成待预测对((u,i1)、用户属性信息分别和每个在线主播的目标用户属性信息组成属性对((u,i1)、(u,[0179]本申请实施例中可以获取预测用户的目标用户属性信息和待推荐对象的目标对样本用户针对样本推荐对象的预测点击率以及[0183]生成模块902，用于基于点击标签和预测点击率生成点击损失函数，基于转化标[0187]获取点击损失函数对应的第一权重函数以及点击转化损失函数对应的第二权重[0191]在一个可能的实施方式中，生成模块902在用于根据点击梯度函数和点击转化梯[0196]在一个可能的实施方式中，生成模块902在用于基于权重损失函数生成点击损失[0203]在一个可能的实施方式中，获取模块901在用于基于初始预测模型获取样本用户[0206]在一个可能的实施方式中，获取模块901在用于基于用户属性特征和对象属性特[0209]在一个可能的实施方式中，获取模块901在用于基于融合属性特征获取预测点击[0213]获取模块901在用于基于融合属性特征生成点击预测特征以及转化预测特征时，[0214]将融合属性特征输入N个预测特征生成网络，并分别在每个预测特征生成网络中[0217]利用每个预测特征生成网络对应的第一预测权重分别对每个预测特征生成网络[0218]利用每个预测特征生成网络对应的第二预测权重分别对每个预测特征生成网络点击转化损失函数得到目标损失函数，并基于目标损失函数修正初始预测模型的模型参请参照本申请图7所示的实施例。该基于推荐模型的数据推荐装置1000可包括：获取模块[0223]输入模块1002，用于将目标用户属性信息和目标对象属性信息输入目标预测模标对象属性信息；输入模块将目标用户属性信息和目标对象属性信息输入目标预测模型；生成模块在目标预测模型中生成预测用户针对待推荐对象的目标预测点击率和目标预测[0240]获取点击损失函数对应的第一权重函数以及点击转化损失函数对应的第二权重[0267]将融合属性特征输入N个预测特征生成网络，并分别在每个预测特征生成网络中[0270]利用每个预测特征生成网络对应的第一预测权重分别对每个预测特征生成网络[0271]利用每个预测特征生成网络对应的第二预测权重分别对每个预测特征生成网络[0275]在目标预测模型中生成预测用户针对待推荐对象的目标预测点击率和目标预测[0277]若兴趣分数大于兴趣分数阈值，则将待推荐对象推送至预测用户对应的用户终[0278]其中，所述目标预测模型是采用上述图2所示实施例和/或图3所示实施例中的相