CN114329218B 一种基于多行为特征增强的注意力序列推 荐方法 （杭州电子科技大学）

US2021248461A1,2021.08.12一种基于多行为特征增强的注意力序列推本发明公开了一种基于多行为特征增强的自适应增强的注意力模块主要有两种增强的结的注意力模块采用可学习参数对机制可以对局2通过滑动窗口机制定义四种符合用户行为规律的项目交互模式；包括单向交互模式、将步骤2得到的项目交互模式转换为项目交互矩阵；α,β是可学习的而且和为1的参数步骤4：利用步骤3得到的项目交互矩阵来构建自适应通过步骤3得到的项目交互矩阵来构建自适应增强的注意力3aub是项目交互模式矩阵增强的注意力机制，是反向项目交自适应增强的注意力机制对步骤1得到的隐藏层特征序列进行特征提取，得到隐藏层特征步骤6:利用若干层的传统变压器对隐藏层特征序2.根据权利要求1所述的一种基于多行为特征增强的注意力序列推荐方法，其特征在于步骤1获取用户的行为历史数据序列其中表示用户u在t时间入位置嵌入得到隐藏特征输入序列E"=[",……N"…,⃞"1,其中E0表示第一层输入。3.根据权利要求1所述的一种基于多行为特征增强的注意力序列推荐方法，其特征在于步骤5：根据步骤1中的公共数据集类型选择步骤4中的增强的注意力机制类型；具体地自适应增强的注意力机制对步骤1得到的隐藏层特征序列进行特征提取得到隐藏层特征序列E'=[6",…"……⃞"1,其中E1表示第二层输入。4.根据权利要求3所述的一种基于多行为特征增强的注意力序列推荐方法，其特征在于步骤6利用若干层的传统变压器对步骤5中的提取结果进行进一步的特征提取得到隐藏根据行为历史数据序列中按指定比例进行随机Mask的部分行为对隐藏层特征序列E"进5.根据权利要求4所述的一种基于多行为特征增强的注意力序列推荐方法，其特征在4户从海量的数据中挑选出用户可能感兴趣的目标数据，提高用户的体验感并创造商业价[0003]早期的推荐方法更倾向于以静态的方式对用户-物品进行建模，得到用户的长期[0005]本发明要解决的技术问题是增强注意力机制对符合行为特征的局部相对信息的[0006]本发明采用的技术方案是：采用滑动窗口模块，来自定义项目交互模式(ItemInteractionPattern),通过可学习参数将项目交互模式进一步转换为项目交互矩阵(ItemInteractionMatrix)，然后采用自适应增强的注意力机制(AdaptiveAugmented高效融入项目交互矩阵(ItemInteractionMatrix)来对注意力图进行约束和修正，增强5Pattern)转换为项目交互矩阵(ItemI(AdaptiveAugmentedAttention)，其中包括单通道增强的注意力机制(Single-channelAugmentedAttention)和双通道的注意力机制(Dual-channelAugmen适应增强的注意力机制(AdaptiveAugmentedAttention)对步骤1得到的序列数据进行特[0013]步骤6:利用若干层的传统变压器(Transformer)对隐藏层特征序列Ⅰ进行进一步[0020]进一步的，项目交互模式(ItemInteractionPattern)转换为项目交互矩阵6[0028]进一步的，用项目交互矩阵来构建自适应增强的注意力机制(A[0031]其中Q、K和V分别表示分块经过线性变换后得到的问题矩阵(query)、键值矩阵[0036]本发明使用基于项目交互模式模块(ItemInteractionPattern)和自适应增强的注意力机制模块(AdaptiveAugmentedAttention)对用户行为序列的注意力图进行修强的注意力机制模块将注意力机制和项目交互模式融合，从而实现特定的局部特征的增道地增强注意力机制则具有更高的性能。本发明在花费可以忽略不计的计算开销的情况7[0042]图6是在二个公开数据集下，四种项目交互模式在两种增强结构上的四种指标结为历史数据序列长度，然后对用户的行为历史数据序列中的行为按指定比例进行随机输入序列其中E0表示第一层输入。模式(ItemInteractionPattern)。它们分别是单向(unidirectional)交互模式、短期8增强的注意力机制(Single-channelAugmentedAttention)和双通道增强的注意力机制[0060]其中Q、K和V分别表示分块经过线性变换后得到的问题矩阵(query)、键值矩阵[0061]双通道增强的注意力机制(Dual-channelAugmentedAttention)整体公式如下适应增强的注意力机制(AdaptiveAugmentedAttention)对步骤1得到的序列数据进行特征提取得到隐藏层特征序列其中E1表示第二层输入。[0065]步骤6:利用若干层的传统变压器(Transformer)对步骤5中的提取结果进行进一步的特征提取得到隐藏层特征序列其中表示预测层输x表示中间层的数量。根据行为历史数据序列中按指定比例进行随机Mask的部分行为选择步骤1中被Mask的行为所对应的隐藏特征输出结果带入到最后的softmax函数计算中。[0068]图5显示了在相同的实验条件下，本发明中的两个方法和SSE-PT、BERT4Rec、9现最好的模型的实验结果在表格中加粗表示。从图6表格中可以看到单通道自适应增强注意力机制方法(AUBRec)和双通道自适应增强注意力机制方法(AUBRec+)对比其余六种方法[0069]图6表格显示了在相同的实验条件下，四种项目交互模式在两种增强结构上的八制方法(AUBRec)和双通道自适应增强注意力机制方法(AUBRec+)与BERT4Rec在训练速度和推荐性能(ND@5)的比较和变化。可以看