CN119397105B 一种融合知识图谱和情感分析的推 荐方法 （江西师范大学）

本发明公开了一种融合知识图谱和情感分2步骤S3：通过预训练语言学习模型将评论文本数据转换为预将上下文语义信息的向量输入双向长短时记忆网络进行处理，得到情感分析的概率分布连接值，采用多头注意力机制来计算交互中的评论文本数据的上下文表示对用户的重要步骤S5：构建推荐模块；通过推荐模块对步骤S4将用户和项目之间交互的数据构建成数据集，并对数据集进行处3score(h,r,t)=llweh+ep-werl⃞（1式中，score(h,r,t)表示三元组的评分函数计算；表示关系的线(h,r,t)的负样本；hi表示在实体矩阵中随机取出与h不同的实体作为负样本的头实体；ti表示实体矩阵的实体集合中随机取出与t不同的实体作为负样本的尾实体；y表示控制中最大的值；于稳定，形成代表调整后实体和关系嵌入向量；最终输出调整后实体嵌入向量矩阵,af表示调整后实体f嵌入向量存储在调整后实体嵌入向量矩阵中的形系嵌入向量矩阵，表示调整后关系r嵌入向量存储调整后关系嵌入向量步骤S24：三元组的特征中调整后头实体h嵌入向量有cnrt=LeakyRelu(w3·pnre)（4式中，chrt表示三元组(h,r,t)的注意力得分值；LeakyRelu表示激活函数来引入非线整后头实体h嵌入向量的所有邻居实体的集合；v表示调整后实体h嵌入向量的一个邻居实(h,u,v)的注意力得分值；4步骤S26：使用多头自注意力机制中个独立的注意力头分别捕捉过滤后的注意力得利用拼接操作将多层的信息传播机制中所有层信息传播的综合头实体聚合为单个向步骤S28：采用多层的信息传播机制对用户和项目采用步骤首先预训练语言学习模型将评论文本数据转换为预训练的词元嵌量与词元嵌入向量相应的段落标识向量和位置标识向量相结合，构建输入序列的综合向综合向量被输入至预训练语言学习模型嵌入层的多层转换器网络的连续处理，为输入序列中的每个综合向量生成包含丰富的上下文语义信息的向将上下文语义信息的向量传递给双向长短时记忆网络；双向长短时前向长短时记忆网络单元依次从输入序列的起始端到终止记忆网络单元则从终止端到起始端进行处理；前向和后向长短时记忆网络单元通过输入Ha=oa·tanh(ca)（95采用全连接层对双向长短时记忆网络的当前时间步a的隐藏状态进行线性变换，表示式中，表示全连接层的输出向量；w,和bz分别表示全连接层的线性变换的权重矩阵权重和偏置项；式中，W,和ba分别表示输出层的线性变换的权重矩阵和偏置项将用户嵌入向量U和项目嵌入向量I进行交互通过点积方式进行融合，获得融合向量，中第i个评论文本数据的上下文表示记为q；将q与对应的情感分析的概率分布值连接起B=concatenate((uo),(q田s))（12在得到情感连接值B后，采用多头注意力机制来计算交互中的i通过归一化函数对注意力头合并结果的所有评论文本数据进6示WZ的偏置项；G表示用户嵌入向量U和项目嵌入向量I对应的评论文本数据的上下文表示总数；ReLU表示激活函数；g表示用户嵌入向量U和项目嵌入向量I对应的第9个评论文的情感特征嵌入El，将用户的情感特征嵌入EU与项目的情感特征嵌入El分别与用户嵌入使用均方误差损失来衡量预测用户与项目的匹配评分Jrs与实际用户与项目的匹配评7量的信息，为推荐系统提供了丰富的背景知识。知识图谱嵌入技术，如知识图谱嵌入分析使用。8[0012]步骤S3：通过预训练语言学习模型将评论文本数据转换为预训练的词元嵌入向[0021]score(h,r,t)=llweh+ep-werl⃞（19[0023]步骤S22：接着使用知识图谱嵌入学习模型对三元组的评分函数进行训练，表示[0024]LWC=anrsememax(0.ytscore(h,元组(h,r,t)的负样本；hieg表示在实体矩阵中随机取出与h不同的实体作为负样本的头实体；ti表示实体矩阵的实体集合中随机取出与t不同的实体作为负样本的尾实体；y表示量趋于稳定，形成代表调整后实体和关系嵌入向量；最终输出调整后实体嵌入向量矩阵,af表示调整后实体f嵌入向量存储在调整后实体嵌入向量矩阵中的形系嵌入向量矩阵，表示调整后关系r嵌入向量存储调整后关系嵌入向量和at分别表示调整后头实体h嵌入向量，调整后关系r嵌入向量和调整后尾实体t嵌入向[0031]cnrt=LeakyRelu(w3·qnre)（4[0032]式中，chrt表示三元组(h,r,t)的注意力得分值；LeakyRelu表示激活函数来引入示指调整后头实体h嵌入向量的所有邻居实体的集合；v表示调整后实体h嵌入向量的一个三元组(h,u,v)的注意力得分值；[0040]利用拼接操作将多层的信息传播机制中所有层信息传播的综合头实体聚合为单[0053]采用全连接层对双向长短时记忆网络的当前时间步a的隐藏状态进行线性变换，[0056]然后使用激活函数将全连接层的输出向量映表示的学习的线性变换的权重矩阵；wo表示生成值映表示的学习的线性变换的权重矩ba表示WZ的偏置项；G表示用户嵌入向量U和项目嵌入向量I对应的评论文本数据的上下文表示总数；ReLU表示激活函数；g表示用户嵌入向量U和项目嵌入向量I对应的第9个评论文本数据的上下文表示；[0074]通过对用户或项目的情感特征嵌入进行情感分析，得到用户的情感特征嵌入EU和项目的情感特征嵌入El，将用户的情感特征嵌入EU和项目的情感特征嵌入El分别与用[0081]使用均方误差损失来衡量预测用户与项目的匹配评分Jrs与实际用户与项目的匹[0087]（3）本发明通过将情感分析与知识图谱嵌入向量融合得到情感分析的概率分布[0092]步骤S3：通过预训练语言学习模型将评论文本数据转换为预训练的词元嵌入向[0101]score(h,r,t)=llweh+ep-werl⃞（1[0103]步骤S22：接着使用知识图谱嵌入学习模型对三元组的评分函数进行训练，表示[0104]LWC=anrsememax(0.ytscore(h,元组(h,r,t)的负样本；hieg表示在实体矩阵中随机取出与h不同的实体作为负样本的头实体；ti表示实体矩阵的实体集合中随机取出与t不同的实体作为负样本的尾实体；y表示控制间隔的超参数，它的设置能够帮助知识图谱嵌入学习模型区分真实三元组和负样本；量趋于稳定，形成代表调整后实体和关系嵌入向量；最终输出调整后实体嵌入向量矩阵,af表示调整后实体f嵌入向量存储在调整后实体嵌入向量矩阵中的形系嵌入向量矩阵，表示调整后关系r嵌入向量存储调整后关系嵌入向量和at分别表示调整后头实体h嵌入向量，调整后关系r嵌入向量和调整后尾实体t嵌入向[0111]cnrt=LeakyRelu(w3·qnre)（4[0112]式中，chrt表示三元组(h,r,t)的注意力得分值；LeakyRelu表示激活函数来引入头实体h嵌入向量与邻居实体之间的所有关系的集合；u表示调整后实体h嵌入向量与邻居实体之间的一个关系嵌入向量；表示注意力得分阈值；c[0120]R'=R'*W4；[0123]利用拼接操作将多层的信息传播机制中所有层信息传播的综合头实体聚合为单[0136]情感预测：采用全连接层对双向长短时记忆网络的当前时间步a的隐藏状态进行[0139]然后使用激活函数softmax将全连接层的输出向量映射成情感分析的概率分布值[0143]为了学习到用户嵌入向量U和项目嵌入向量I交互中的评论文本数据对于用户的向量U与项目嵌入向量I交互中第i个评论文本数据的上下文表示记为q；将第i个评论文本数据的上下文表示q与对应的情感分析的概率分布值连接起来，得到情感连接值B，表示ba表示WZ的偏置项；G表示用户嵌入向量U和项目嵌入向量I对应的评论文本数据的上下文表示总数；ReLU表示激活函数；g表示用户嵌入向量U和项