CN115098786B 一种基于门控多头自我关注的新闻推 荐方法及系统 （齐鲁工业大学(山东省科学院)）

A,2022.07.12A,2019.08.20A,2021.12.31A,2022.03.18一种基于门控多头自我关注的新闻推荐方本发明提出了一种基于门控多头自我关注知识的预训练模型BERT应用于新闻推荐来增强2获取历史点击新闻和候选新闻，使用预训练模型BERT分别进行基于多头自我注意力，捕捉历史点击新闻特征之间的关联性，所述捕捉历史点击新闻特征之间的关联性，具体步骤为：计算历史点击所述用候选新闻特征进行特征过滤的具体步骤为：基于加强后的历史点击新闻特征、询信息组成的浏览新闻的内部信息v，另外一条是由候选新闻特征h和查询信息方式如下：对新闻内部信息和通道调节门信息进行点积运算，得到重构后的新联合历史点击新闻特征、候选新闻特征和用户特征，预测用户浏3所述捕捉历史点击新闻特征之间的关联性，具体步骤为：计算历史点击所述用候选新闻特征进行特征过滤的具体步骤为：基于加强后的历史点击新闻特征、询信息组成的浏览新闻的内部信息，另外一条是由候选新闻特征和查询信息方式如下：对新闻内部信息和通道调节门信息进行点积运算，得到重构后的新权利要求1-5任一项所述的一种基于门控多头自我关注的新闻推荐方法中的征在于，所述处理器执行所述程序时实现如权利要求1-5任一项所述的一种基于门控多头45[0002]本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技[0004]然而，在建模用户兴趣过程中仅考虑了用户浏览新闻之间的关系可能不是最佳6执行时实现如本发明第一方面所述的一种基于门控多头自我关注的新闻推荐方法中的步7备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过而这对候选新闻与特定用户兴趣准确匹配来说增强的具有门控多头自我关注的神经新闻推荐框架PGRec，门控自注意力机制利用候选新8用负采样技术预测点击评分，即候选新闻由用户的一个正样本和随机选择的该用户的K个点击新闻的数量；目标是计算给定用户点击一组候选新闻DC的概率5,DC＝[Dc1,Dc2,…,[0059]新闻编码旨在学习新闻的深层语义表示，之前通常使用预训练的单词嵌入如Word2vec以及Glove来初始化模型的嵌入层，但这些预训练的单词嵌入大多数是上下文无得到含丰富上下文语义信息的新闻特征h，其中用户历史点击新闻特征和候选新闻特征分9[0084]Znews＝MultiHead(Hquery,Hkey,Hvalue)＝Concat(head1,head2,…,headh)Woquery和查询信息Hquery组成的浏览新闻的内部信息v，另外一条是由候选新闻特征hc和查询信息query[0107]预测用户点击候选新闻的概率概率的计算是用户特征u和候选新闻特征的内样本同一曝光序列中但没有被用户点击的新闻组成的；公开实施例1所述的一种基于门控多头自我关注的新闻推荐述处理器执行所述程序时实现如本公开实施例1所述的一种基于门控多头自我关注的新闻现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0131]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一需要