CN115309981B 一种支持多种细粒度兴趣提取的深度点击率预估方法 （湖州师范学院）

一种支持多种细粒度兴趣提取的深度点击本发明提出了一种支持多种细粒度兴趣提用深度兴趣网络中的局部兴趣激活层对用户的2S1.采用深度兴趣网络中的局部兴趣激活层对用户的局部兴趣表示进行学习；在局部S3.使用多核卷积层自适应地将长序列划分为短期行为序列，并对这些子序列进行建变换的用户侧特征被拼接为矩阵AeRrxd,其中，m为输入部分特征的数量，d为所设置的嵌V依据第二维度分别被划分为h个子矩阵，随后在对应的子矩阵之间作点积自注意力计算，即:S5.使用多层感知机对步骤S1至步骤S4所学习的特征进行结果预测，输出用户对候选2.如权利要求1所述的一种支持多种细粒度兴趣提取的深度点击率预估方法，其特征3S22.将经过扩展表示的用户表示vu与用户历史行为序列中每个物品表示向量进行拼接3.如权利要求1所述的一种支持多种细粒度兴趣提取的深度点击率预估方法，其特征4.如权利要求1所述的一种支持多种细粒度兴趣提取的深度点击率预估方法，其特征4看作是输出0到1之间任意值的回归学习任务。传统的CTR预估模型如逻辑回归模型妙地设计了特殊的如向量内积、外积网络结构使模型能够显式地学习特征之间的高阶交意力机制的网络模型可以更好地捕获用户的多出能够很好融合两种技术路线的模型方案。此外，在如深度兴趣网络(DeepInterest了用户其他兴趣点对当前点击可能性的影响。图1中上下部分分别展示了两位不同用户的5列划分的方法难以将用户复杂的行为划分为一个个序列内同质的子序列。[0010]S1.采用深度兴趣网络(DIN)中的局部兴趣激活层对用户的局部兴趣表示进行学[0012]S3.使用多核卷积层自适应地将长序[0014]S5.使用多层感知机对步骤S1至步骤S历史行为序列B＝[i1,i2,…,imaxlen]经过嵌入层转化为稠密矩阵VB＝[vi,1,vi,2,…,历史物品向量进行加权求和得出用户的局部兴趣表示向量vl6[0019]S23.经过两层全连接层的分线性转化，最后一层输出权重向量vw，其长度为[0020]S24.最后，将拼接矩阵中所有物品向量按照softmax(vw)中对应的值进行加权求和得到用户总体兴趣表示voverall户向量参与计算各个历史物品的权重信息可以使得用户向量在向量空间中更接近行为序的转换如下:维度拼接作为多头自注意力的输出:mhto＝concat(head1,head2,…,headh)WO，其中7注意力层提取到的特征向量，在全连接层拼接起来作为全连接层的输入x0，x0＝Concat序列划分下难以建模用户间不同的行为模式与用户内复杂行8[0050]定义1.连续特征：第m条数据中的连续特征数据集中素有离散特征集合.离散特征集合中包含来自用户、物品侧以及上下文信息中的[0053]定义4.数据表示：经过构建处理的样本xm可以使用元组{x⃞",",u,B.,i,y}来表记录了用户在某个时刻对物品的点击记录与一些上下文信息例如时间和物品在页面的展x",u,B.,i,1])x",u,B.,i',0)9x",u,B.,i',0I)码成为独热向量，例如，对于物品类别特征进行独热编码后得到向量：vcate_one_hot＝[o个可学习的参数向量,最后通过特征值检索出对应的低纬度稠密向量作为特征的嵌入表B为注意力机制的键与值矩阵，通过局部兴趣激活层为每个历史物品计算出注影响用户向量的学习，使得最终的用户向量与其对应的行为序列矩阵有更加密切的关系，对这些经由嵌入层编码的向量特征进行特征抽取。与通常的多头自注意力网络有所不同，换的用户侧特征被拼接为矩阵AeRxd,其中m为输入部分特征的数量，d为所设置的嵌入的转换如下:化的输出为矩阵eRr第二维度拼接作为多头自注意力的输出:mhto＝concat(head1,head2,…,headh)WO，其中模块的计算过程如算法2所示。OO[0123]经过各个子模块提取到的特征向量在该层拼接起来作为全连接层的输入x0,x0=是由亚马逊网站公开的免费数据集,其中包含了来自亚马逊网站用户以及物品的信息以及本文从集合中抽取了100万条记录并制作为符合模型输入要求的数据[0134]Alibaba(/dataset/dataDetail？dataId＝56).Ali_Display_Ad_Click是由阿里巴巴提供的一个在淘宝网上广告展示点击率预估数据集，该数据集包含了来自淘宝网2017年5月6日至2017年5月13日之间随机抽样的广告展示[0137]本发明使用神经网络框架tensorflow2实现了模型的设计与构造，并在英伟达Sigmoid激活函数。同时在训练过程中[0139]LR.逻辑回归是较早应用于点击[0140]Wide&Deep使用浅层线性结构与深层网络结合的方式同时提升模型的记忆和特征[0141]DeepFM使用因子分解机替换Wide&Deep的浅层子模块以增强模型显式特征交互能[0144]DAMIN与通常的注意力机制不同,DAMIN使用向量之意力得分的指标.接着,经过权重转化的用户行为序列向量被送入三层多头自注意力层以[0146]AUC(AreaUnderCurve)指受试者工作特征曲线(ReceiverOperatingCharacteristicCurve,ROC)的曲线下面积.AUC在二分类任务中可以指示预测结果中正负例之间排序准确情况，因此在点击率预估任务中被广泛使用.AUC的计算结果介于0和1之[0147]由于在模型随机输出的情况下AUC结果为0.5,为了更好地量化不同模型之间的性[0151]在表2中展示了各个模型在三个数据集