CN115203529B 一种基于多头自注意力机制的深度神经网络推 荐模型及方法 （电子科技大学）

RU2017126525A,2019一种基于多头自注意力机制的深度神经网本发明的目的在于提供一种基于多头自注交互层通过多头自注意力网络挖掘用户在会话活层结合上下文关系捕捉会话间用户兴趣的演深层次隐性特征，从而提升了推荐系统的准确2 步骤3.基于步骤2得到的用户行为嵌入向量Qansehg_r计算得到单头注意力分布向步骤3.1.将步骤2得到的用户行为嵌入向量步骤3.2.将各个相关性权重向量拼接后转换为与用户行为嵌入向量维度相同的多维；步骤3.3.使用层次归一化对多维相关性权重向量MultiHead(g,k,p)中同一层的数3得到的会话中的用户多维兴趣向量进行分部分激活，得到会话间用户兴趣演化特局表达式和会话中多维兴趣向量的全局表达式v'；逆序输入两个长短期记忆神经网络进行特征提取，得到正序候选隐层状态和逆序候选隐层状态，最后将两个方向的隐层状态拼接后形成结合上下文信息的会话间用户兴趣到多维兴趣向量的全局表达v'；第二部分是对双向建模挖掘的会话间用户兴趣演化关系步骤5.将拼接的用户行为特征向量作为多个全连接层的输入，基于目标损失函数进行初步预测，然后增加辅助损失函数修正每个时间步的预测结果，最后将预测结果进行3为辅助损失函数具体为，3.一种如权利要求1或2任一权利要求所述推荐方法所采用的深度神经网络推荐系统，所述行为数据预处理模块用于获取用户历史行为数据，所述会话划分模块用于对预处理后得到的用户行为序列在会话层面进行细粒度划分，含不同时间间隔的用户行为序列；所述会话兴趣交互模块包括多头自注意力子层及通过残差连接构成的多头自注意力所述会话兴趣激活模块采用双向长短期记忆结构，用于捕捉用户在所述全连接模块用于根据预处理得到用户行为序列和会话兴趣激活模块输出的兴趣45[0002]推荐算法是基于用于的历史行为和个人偏好等差异推测出用户可能喜欢的东推荐，后者是通过用户的历史评价提取用户隐性特征并对特征相似度排序取TopN实现推etal.Deepcrossing:web-scalemodelingwithoutmanuallycraftedcombinatorialfeatures[C].InProceedingsofthe22ndACMSIGKDDInternationalConferenceonKnowledgeDiscoveryandDataMining(KDD),2016:255-262.)提取用户兴趣注定无[0005]针对背景技术所存在现有多数会话型推荐算法没有充分考虑多个不同空间下的种基于多头自注意力机制的深度神经网络推荐模型(Multi-headSelf-attentionDeep6[0007]一种基于多头自注意力机制的深度神经网络推荐模型，包括行为数据预处理模[0008]所述行为数据预处理模块用于获取用户历史行为数据，并对历史数据进行预处[0009]所述会话划分模块用于对预处理后得到的用户行为序列在会话层面进行细粒度[0010]所述会话兴趣交互模块包括多头自注意力子层及通过残差连接构成的多头自注[0012]所述全连接模块用于根据预处理得到用户行为序列和会话兴趣激活模块输出的[0016]本发明还提供一种基于多头自注意力机制的深度神经网[0018]步骤2.对步骤1得到的用户行处理得到低维稠密特征向量Qembedding，再添加会话间位置偏置，得到用户行为嵌入向量[0019]步骤3.基于步骤2得到的用户行为嵌入向Qembedding_pos计算得到单头注意力分布向7骤3得到的会话中的用户多维兴趣向量Ik进行分部激活，得到会话间用户兴趣演化特征全每个单头结构中利用缩放点积计算各个子空间下的[0024]步骤3.2.将各个相关性权重向量拼接后转换为与用户行为嵌入向量维度相同的选隐层状态最后将两个方向的隐层状态拼接后形成结合上下文信息的会话间用户兴趣具体为：第一部分是对兴趣交互层提取的当前会话层用户多维兴趣向量IK进行局部激活，[0037]针对现有多数会话型推荐算法没有充分考虑多个不同空间下的其他维度的隐性网络推荐模型(MSDN)，设计会话划分层引入会话内和会话间不同行为之间的顺序位置信8息，在会话兴趣交互层通过多头自注意力网络挖掘用户在会话中各行为间的多维隐性关系，然后在会话兴趣激活层结合上下文关系捕捉会话间用户兴趣的演化规律进行分部激[0043]一种基于多头自注意力机制的深度神经网络推荐模型，其结构示意图图如图1所[0044]所述行为数据预处理模块用于获取用户历史行为数据，并对历史数据进行预处[0045]所述会话划分模块用于对预处理后得到的用户行为序列在会话层面进行细粒度[0046]所述会话兴趣交互模块包括多头自注意力子层及通过残差连接构成的多头自注[0048]所述全连接模块用于根据预处理得到用户行为序列和会话兴趣激活模块输出的9输入样本比例不均衡导致的整个模型损失向某一边[0059]步骤2.对步骤1得到的用户行[0061]按照时间间隔阈值将用户行为序列划分到不同会话中，整个用户行为序列S划分[0064]步骤2.2.将高维稀疏独热编码的用户行为序列进行Embedding映射成低维稠密特表示用户基础行为嵌入向量Qembedding在维度[0070]步骤3.1.将步骤2得到的附加位置编码的用户行为嵌入向量Qembedding_pos均分到hQki[0072]然后在每个单头结构中利用缩放点积计算各个子空间下的相关性权重向量",[0081]其中，μl,σl分别为输入样本xil的均值和方差，xil为多头自注意力分布向量MultiHead(Q,K,V)中同一层的数据，z为多头自注意力分布向量MultiHead(Q,K,V)的简化l[0087]步骤4.1.采用双向长短期记忆方法(Bi-LS层状态和逆序候选隐层状态最后将两个方向的隐层状态拼接后形成结合上下文信[0096]第一部分是对兴趣交互层提取的当前会话层用户多维兴趣向量Ik进行局部激活，造的行为e;c+1l作为负样本，即将下一时刻的正负采样结果同时作为当前时刻损失函数L[0113]步骤5