CN114240555B 训练点击率预测模型和预测点击率的方法和装置 （北京沃东天骏信息技术有限公司）

JianZhu,CongcongLiu,PeiWang,XiweiZhao.DYNAMICPARAMETERIZED训练点击率预测模型和预测点击率的方法本公开的实施例公开了训练点击率预测模施方式包括：获取训练样本集和点击率预测模表示嵌入层和第二表示嵌入层得到稀疏类目向向量输入基于用户行为的动态参数化层得到第通过第一全连接层进行点击率预测，得到预测2执行如下训练步骤：从所述训练样本集中选取目标训练样本其中，所述基于所述第一输出结果和所述第二输出结果将所述第一注意力结果和所述第二输出结果的加权和作为第一将所述第一加权结果和所述查询向量输入基于搜索行为的动态参数第三输出结果；将所述第二注意力结果和所述第三输出结果的加权和作为第二基于所述第一输出结果和所述第二加权结果通过第一全连接层进行点击如果损失值大于等于预定阈值，则调整所述点击率预测所述基于所述第一输出结果和所述第二输出结果通过第一全连接层进行点击率预测，将所述第一输出结果通过第三全连接层进行线性投射到低维度后和第二加权结果进将所述拼接结果和所述上下文向量输入到基于特征的动态参数化3所述基于所述第一输出结果和所述第二输出结果通过第一全连接层进行点击率预测，将所述第一输出结果和第二输出结果通过第三全连接将所述投射结果和所述上下文向量输入到基于特征的动态参数化将所述用户信息、所述商品信息和所述用户历史行为输入根据权利要求1-6中任一项按商品的点击率预测值由大到小的顺序选择预定数目个预测点击率过程中根据所述用户信息、所述商品信息和所述用户获取所述用户点击的商品信息添加到所述用户的用4其中，所述基于所述第一输出结果和所述第二输出结果将所述第一注意力结果和所述第二输出结果的加权和作为第一将所述第一加权结果和所述查询向量输入基于搜索行为的动态参数第三输出结果；将所述第二注意力结果和所述第三输出结果的加权和作为第二基于所述第一输出结果和所述第二加权结果通过第一全连接层进行点击预测单元，被配置成将所述用户信息、所述商品信息和用户历求1-6中任一项所述方法训练得到的点击率预测模型，得到所述用户对商品的点击率预测5[0002]近年来，深度神经网络(Deepneuralnetworks，DNN)在点击率(Click-through来对尝试对这种关系进行刻画，但是这些方法无法基于输入和上下文进行自适应的交互，且其模型表达能力和高延迟性的问题限制了其在真实推荐系6结果的加权和作为第一加权结果；将所述稀疏类目向量输入第二全连接层得到查询向量；品信息和所述用户历史行为调整所述点击率预测模型中以下至少一种动态参数化层的权789[0041]图1示出了可以应用本公开实施例的训练点击率预测模型的方法、训练点击率预[0045]数据库服务器104可以是提供各种服务的数据库服务器。例如数据库服务器中可[0051]继续参见图2，其示出了根据本公开的训练点击率预测模型的方法的一个实施例[0053]在本实施例中，训练点击率预测模型的方法的执行主体(例如图1所示的服务器[0060]在本实施例中，执行主体可以从步骤201中获取的训练样本集中选取训练样本作[0061]步骤203，将目标训练样本的用户信息和商品信息输入第一表示嵌入层得到稀疏[0063]步骤204，将目标训练样本的用户行为序列输入第二表示嵌入层得到用户行为向[0064]在本实施例中，第二表示嵌入层对于用户行为序列使用Multi-Hot编码进行特征MLP(多层感知机，也称为全连接层)来生成前向权重和偏置值，这里假设输入特征维度为可以将两层MLP之后的输出变为一个kernel(权重)和bias(偏置)用于模仿全连接层中的前用卷积操作对原始用户行为向量进行局部线性变换(使用动态卷积核进行卷积再加上偏于所述第一输出结果和所述第二加权结果通过第一全连接层进行点击率预测，得到预测向量维度为32，聚合后的用户行为向量维度为64，两层的MLP的输出维度则可以设置为8，[0076]将第三输出结果和第二注意力结果的加权和与第一输出结果作为第一全连接层四偏置将拼接结果进行线性变化得到第四输出结果；将第四输出结果输入第一全连接层，进行整体训练.其中基于域的动态参数化层用于学习特征域之间的动态交互信息；态权重分别用于样本自适应卷积和聚合用户搜[0092]训练得到的点击率预测模型可直接应用在基于特征的建模和基于用户行为序列[0093]请参见图4，其示出了本公开提供的预测点击率的方法的一个实施例的流程40于推荐阈值的则不推荐给用户。[0100]在本实施例中，点击率预测模型可以是采用如上述图2实施例所描述的方法而生置，并根据所述第二权重和所述第二偏置对所述用户行为向量进行卷积得到第二输出结[0113]在本实施例的一些可选的实现方式中，所述基于搜所述点击率预测模型中以下至少一种动态参数化层的权重和偏置：基于域的动态参数化的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执因特网的计算机网络和/或各种电信网络与其他设备交换信机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0128]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器[0131]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，