CN115098786B 一种基于门控多头自我关注的新闻推 荐方法及系统（齐鲁工业大学(山东省科学院)）

(19)国家知识产权局(12)发明专利3501号(72)发明人杨振宇崔来平李晓阳李怡雯公司37221GO6F40/30(2020.01)GO6N3/0442(2023审查员姜思雨一种基于门控多头自我关注的新闻推荐方本发明提出了一种基于门控多头自我关注知识的预训练模型GLgz9n续性交换拼h注…做这网Hquery9u21.一种基于门控多头自我关注的新闻推荐方法，其特征在于，包括：获取历史点击新闻和候选新闻，使用预训练模型BERT分别进行新闻编码，得到历史点击新闻特征和候选新闻特征；基于多头自我注意力，捕捉历史点击新闻特征之间的关联性，并用候选新闻特征进行所述捕捉历史点击新闻特征之间的关联性，具体步骤为：计算历史点击新闻特征中每个特征的查询信息、键信息和值信息；对查询信息、键信息和值信息进行多轮缩放点积注意力计算，保存每轮的计算结果；将全部计算结果进行拼接，并进行一次线性变化，得到加强后的历史点击新闻特征；所述用候选新闻特征进行特征过滤的具体步骤为：基于加强后的历史点击新闻特征、查询信息和候选新闻特征，计算新闻内部信息和通道调节门信息；所述查询信息为历史点击新闻特征中每个特征的查询信息；所述计算新闻内部信息和通道调节门信息，具体过程门控调节单元包含两条信息流的输入，一条是通过多头注意力重建后的特征Znews和查询信息Hquery组成的浏览新闻的内部信息v,另外一条是由候选新闻特征h。和查询信息Hquery组成的通道调节门信息8;为保证特征数量相同，先将候选新闻特征向量复制N次并进行线性变换，N是用户历史点击新闻的数量，门控调节单元中两条信息输入流v和8计算方式如下：对新闻内部信息和通道调节门信息进行点积运算，得到重构后的新闻特征；对实现重构后的新闻特征进行注意力加权聚合，生成用户特征；联合历史点击新闻特征、候选新闻特征和用户特征，预测用户浏览每个候选新闻的概率，基于预测概率向用户推荐候选新闻。2.如权利要求1所述的一种基于门控多头自我关注的新闻推荐方法，其特征在于，所述新闻编码的具体步骤为：用Bi-LSTM捕捉文本表征的双向语义依赖；基于双向语义依赖，用注意力网络对Bi-LSTM的输出进行聚合，得到含丰富上下文语义信息的新闻特征。3.如权利要求1所述的一种基于门控多头自我关注的新闻推荐方法，其特征在于，所述预测用户浏览每个候选新闻的概率，基于预测概率向用户推荐候选新闻，具体步骤为：构建由正样本和负样本组成的训练库，对概率预测模型进行训练；将待预测的候选新闻特征输入到训练好的模型中，得到候选新闻的点击概率；3用户编码模块，被配置为：基于多头自我注意力，捕捉所述捕捉历史点击新闻特征之间的关联性，具体步骤为：计所述用候选新闻特征进行特征过滤的具体步骤为：基于加强后的历史点击新闻特征、查询信息和候选新闻特征，计算新闻内部信息和通道调节门信息；所述查询信息为历史点击新闻特征中每个特征的查询信息；所述计算新闻内部信息和通道调节门信息，具体过程询信息Hquery组成的浏览新闻的内部信息v,另外一条是由候选新闻特征h。和查询信息对新闻内部信息和通道调节门信息进行点积运算，得到重构后征在于，所述处理器执行所述程序时实现如权利要求1-5任一项所述的一种基于门控多头4自我关注的新闻推荐方法中的步骤。5技术领域[0001]本发明属于新闻的个性化推荐领域，尤其涉及一种基于门控多头自我关注的新闻推荐方法及系统。背景技术[0002]本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。[0003]新闻推荐作为推荐系统研究领域的一个重要分支，旨在通过新闻内容和用户信息尽可能多地帮助用户找到与用户兴趣偏好相匹配的新闻；不同的单词和不同的新闻文章在表示新闻和用户时所隐含的信息是不同的；注意力机制的使用可以赋予不同的单词和新闻不同的权重，来实现捕捉新闻关键的语义信息和用户的重要的兴趣线索；例如An等人提出个性化的词级与新闻级的关注机制来关注不同单词与新闻对用户产生的影响；wu等人提出了一个注意的多视图学习机制，从新闻的多种成分(标题，类别，正文)学习新闻的表示；Qi等人进一步提出了多头自我关注的方法实现捕捉单词与单词、新闻与新闻之间的长距离的相关性；在这些方法中，注意力机制的使用有效的改善了新闻推荐的性能。[0004]然而，在建模用户兴趣过程中仅考虑了用户浏览新闻之间的关系可能不是最佳的，这是因为用户的兴趣是广泛的，如在注意力学习用户兴趣的过程中不考虑候选新闻，这会使得学习得到的用户兴趣有较多的与候选新闻无关的信息，很难将候选新闻与特定用户兴趣准确匹配。发明内容[0005]为克服上述现有技术的不足，本发明提供了一种基于门控多头自我关注的新闻推荐方法及系统，用门控多头自我关注机制来调节用户的兴趣，以便更好地将候选新闻与特定的用户兴趣准确匹配；而且将丰富语言知识的预训练模型BERT应用于新闻推荐来增强新闻文本表示，提高新闻推荐的准确性。[0006]为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：[0007]本发明第一方面提供了一种基于门控多头自我关注的新闻推荐方法；[0008]一种基于门控多头自我关注的新闻推荐方法，包括：[0009]获取历史点击新闻和候选新闻，使用预训练模型BERT分别进行新闻编码，得到历史点击新闻特征和候选新闻特征；[0010]基于多头自我注意力，捕捉历史点击新闻特征之间的关联性，并用候选新闻特征[0011]联合历史点击新闻特征、候选新闻特征和用户特征，预测用户浏览每个候选新闻的概率，基于预测概率向用户推荐候选新闻。[0012]进一步的，所述新闻编码的具体步骤为：[0013]用预训练模型BERT提取新闻的文本表征；6[0014]用Bi-LSTM捕捉文本表征的双向语义依赖；[0015]基于双向语义依赖，用注意力网络对Bi-LSTM的输出进行聚合，得到含丰富上下文语义信息的新闻特征。[0016]进一步的，所述捕捉历史点击新闻特征之间的关联性[0017]计算历史点击新闻特征中每个特征的查询信息、键信息和值信息；[0018]对查询信息、键信息和值信息进行多轮缩放点积注意力计算，保存每轮的计算结[0019]将全部计算结果进行拼接，并进行一次线性变化，得到加强后的历史点击新闻特[0020]进一步的，所述用候选新闻特征进行特征过滤的具体步骤为：[0021]基于加强后的历史点击新闻特征、查询信息和候选新闻特征，计算新闻内部信息和通道调节门信息；[0022]对新闻内部信息和通道调节门信息进行点积运算，得到重构后的新闻特征；[0023]对实现重构后的新闻特征进行注意力加权聚合，生成用户特征。[0024]进一步的，所述预测用户浏览每个候选新闻的概率，基于预测概率向用户推荐候[0025]构建由正样本和负样本组成的训练库，对概率预测模型进行训练；[0026]将待预测的候选新闻特征输入到训练好的模型中，得到候选新闻的点击概率；[0027]对一组候选新闻的点击概率进行排序，取前几个候选新闻推荐给用户。[0028]进一步的，所述概率预测模型，输入的是候选新闻特征和用户特征，输出的是候选新闻的点击概率。[0030]本发明第二方面提供了一种基于门控多头自我关注的新闻推荐系统。[0031]一种基于门控多头自我关注的新闻推荐系统，包括新闻编码模块、用户编码模块和概率预测模块：别进行新闻编码，得到历史点击新闻特征和候选新闻特征；[0033]用户编码模块，被配置为：基于多头自我注意力，捕捉历史点击新闻特征之间的关[0034]概率预测模块，被配置为：联合历史点击新闻特征、候选新闻特征和用户特征，预测用户浏览每个候选新闻的概率，基于预测概率向用户推荐候选新闻。[0035]本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的一种基于门控多头自我关注的新闻推荐方法中的步[0036]本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的一种基于门控多头自我关注的新闻推荐方法中的步骤。[0037]以上一个或多个技术方案存在以下有益效果：[0038]本发明提供了一种基于门控多头自我关注的新闻推荐方法，其通过门控机制，利7用候选新闻去将历史浏览新闻中与候选新闻无关的信息给过滤掉，以实现候选新闻与用户特定兴趣的准确匹配。[0039]本发明提供了一种基于门控多头自我关注的新闻推荐方法，其采用预训练模型挖掘文本的深层语义，进一步加强了新闻的语义表示，大大提高了模型的表现力。[0040]本发明提供了一种基于门控多头自我关注的新闻推荐方法，利用用户历史点击新闻与候选新闻的相关性，捕捉更相关的用户兴趣，进一步加强了用户的兴趣表示，从而在准确性和速度之间提供了改进的折衷。[0041]本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得附图说明[0042]构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。[0043]图1为一个用户新闻的阅读行为的示例图。[0044]图2为第一个实施例的方法流程图。[0045]图3为第二个实施例的系统结构图。具体实施方式[0046]应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。[0047]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过[0048]在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。[0049]事实上，用户的兴趣是多样的；当候选新闻与用户发生匹配时通常只会匹配用户的一小部分兴趣，如图1所示，灰色显示的是重要的文本片段，从用户浏览的新闻中推断出他对动物、健康、体育和政治领域的新闻感兴趣，第四条候选新闻是与政治主题有关的新闻，它仅匹配用户浏览的政治方面的新闻，而它与用户浏览的其他主题(动物和体育)的新闻相关性较低；在学习用户兴趣过程中，使用注意力会侧重建立相关主题的新闻之间的联系；但是不依赖候选新闻的情况下进行自注意力学习，会过多保留与候选新闻无关的信息；而这对候选新闻与特定用户兴趣准确匹配来说是一种噪音。[0050]如果在用户建模中不考虑候选新闻信息，则可能难以准确匹配候选新闻，因此，本发明提供了一种基于门控多头自我关注的新闻推荐方法，提出了一种使用预训练语言模型增强的具有门控多头自我关注的神经新闻推荐框架PGRec,门控自注意力机制利用候选新闻作为通道调节门，过滤用户浏览的新闻特征表示在自注意力学习过程中的输出结果，从8而实现减少候选新闻与特定用户兴趣准确匹配过程的噪声信息。为了更加有效地理解新闻的语义，引入了预先训练的BERT来增强新闻的表示；还使用点击新闻与候选新闻的相关性来对其加权以捕获更多相关的用户兴趣以进行匹配；在模型训练过程中，联合K+1条新闻应用负采样技术预测点击评分，即候选新闻由用户的一个正样本和随机选择的该用户的K个负样本负样本组成，之后共同预测正面新闻+和个负面新闻预测得分。[0051]实施例一[0052]本实施例公开了一种基于门控多头自我关注的新闻推荐方法；[0053]如图2所示，一种基于门控多头自我关注的新闻推荐方法，主要包括三个步骤：新闻编码，候选参与的用户编码以及点击预测。[0054]步骤1、获取历史点击新闻和候选新闻，使用预训练模型BERT分别进行新闻编码，得到历史点击新闻特征和候选新闻特征；[0055]步骤101、获取历史点击新闻和候选新闻[0056]获取给定用户浏览过的一组历史点击新闻，记为D=[D₁,D₂,…,D],N是用户历史点击新闻的数量；目标是计算给定用户点击一组候选新闻D的概率y,Dc=[D₁,Dᴄ2,…,DCM],M是候选新闻的数量，然后对候选新闻的概率进行排序来推荐最佳的新闻。[0059]新闻编码旨在学习新闻的深层语义表示，之前通常使用预训练的单词嵌入如Word2vec以及Glove来初始化模型的嵌入层，但这些预训练的单词嵌入大多数是上下文无关的，这会使得模型捕捉的语义信息并不是足够的。[0060]由于预训练模型BERT(Devlinetal.,2019)具备12层transform以及大量参数可以使得模型能够更好的建模文本中复杂上下文信息的能力，本发明采用预训练模型BERT作为新闻编码器。[0061]将输入的新闻特征用T个tokens表示记为[w₁,W₂,…,w],将新闻文本输入到BRET模型中经过几层transform后，将得到的隐藏层的tokens表示记为[e₁,e₂,…,er][0063]为了进一步加强语义关系，将BRET模型的隐藏层的输出送到Bi-LSTM中，进一步提取文本表征的双向语义依赖。[0064](3)基于双向语义依赖，用注意力网络对Bi-LSTM的输出进行聚合，得到含丰富上下文语义信息的新闻特征。[0065]将Bi-LSTM的输出连接到注意力网络中，对有双向语义依赖的文本表征进行聚合，得到含丰富上下文语义信息的新闻特征h,其中用户历史点击新闻特征和候选新闻特征分[0066]步骤2、基于多头自我注意力，捕捉历史点击新闻特征之间的关联性，并用候选新[0067]用户编码旨在从用户浏览的历史点击新闻中学习用户的表示，包含两个步骤：[0068]步骤201、基于新闻级别的多头自我关注网络，捕捉历史点击新闻特征之间的关联9为可训练的权重矩阵。结果；的公式为：一样的。特征。[0107]预测用户点击候选新闻的概率y,概率的计算是用户特征u和候选新闻特征的内样本同一曝光序列中但没有被用户点击的新闻组成的；共同预测正面新闻和k个负面新概率进行归一化，以计算正样本的点击概率，模型训练方法中的损失函数[是所有正样本[0114]其中，父表示第i条正面新闻的点击概率，j表示与第i条正面新闻处于同一时段的第j条负面新闻的点击概率，s是正训练样本的集合。[0115]步骤302、将待预测的候选新闻特征输入到训练好的模型中，得到候选新闻的点击[0116]步骤303、对一组候选新闻的点击概率进行排序，取前几个候选新闻推荐给用户。[0118]本实施例公开了一种基于门控多头自我关注的新闻推荐系统；[0119]如图3所示，一种基于门控多头自我关注的新闻推荐系统，包括新闻编码模块、用户编码模块和概率预测模块：[0120]新闻编码模块，被配置为：获取历史点击新闻和候选新闻，使用预训练模型分别进行新闻编码，得到历史点击新闻特征和候选新闻特征；[0121]用户编码模块，被配置为：基于多头自我注意力，捕捉历史点击新闻特征之间的关[0122]概率预测模块，被配置为：联合历史点击新闻特征、候选新闻特征和用户特征，预测用户浏览每个候选新闻的概率，基于预测概率向用户推荐候选新闻。[0123]实施例三[0124]本实施例的目的是提供计算机可读存储介质。[0125]计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例1所述的一种基于门控多头自我关注的新闻推荐方法中的步骤。[0126]实施例四[0127]本实施例的目的是提供电子设备。[0128]电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的一种基于门控多头自我关注的新闻推荐方法中的步骤。[0129]本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品，因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式，而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。[0130]本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。[0131]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装