CN114943010B 基于自注意力的融合三元组信的短序列扩充电影推 荐方法 （浙江工业大学）

基于自注意力的融合三元组信的短序列扩一种基于自注意力的融合三元组信息的短据预先设定好的电影关系为每部电影制作知识电影序列，使用单向Transformer模型反向训练2间戳]的格式，针对每部电影根据预先设定好的电影的关系schema为每部电影制作知识图2)根据时间戳为每个用户制作观看的历史电影序列，下一项将要预测的item，以[item1,item2...itemn]作为输入序列，使用单向2.1)对于每个输入的电影item当作头实体，使τir＝g(i,r)2.2)将item的嵌入item_embedding和item的三元组融合嵌入kg_embedding相加[item_embedding1+kg_embedding1,item_embedding2+kg_embedding2...item_embeddingn+kg_embeddingn]作为Transformer模块中的Q和K，将[item_embedding1,item_embedding2...item_embeddingn]作为Transformer模块中的V，送入单向2.3)根据每一个位置的单向Transformer模块的输出与真实值计算交叉熵损失，利用其中xi,t为模型输出Ht与所有item矩阵的点击值，at为时间步t的期望输出pad＞表32.4)通过预训练模型输入[item0,item1,item2...itemn]预测前一个电影item-3)将扩充序列[item-k...item-2,item-1,item0,item1,item2...ite预训练模型进行正向模型的微调，根据输入的扩充长度的序列经过正向Transformer模型0,item1,item2...itemn]经过正向Transformer模型预测该用户下一部将要观看的电45的三元组融合嵌入kg_embedding相加[item_embedding1+kg_embedding1,item_embedding2+kg_embedding2......item_embeddingn+kg_embeddingn]作为Transformer模块中的Q和K，将[item_embedding1,item_embedding2......item_[0016]2.3)根据每一个位置的单向Transformer模块的输出与真实值计算交叉熵损失，[0020]其中xi,t为模型输出Ht与所有it[0021]2.4)通过预训练模型输入[item得到k个原item序列前的伪item，将这k个伪item加到原序列前，得到扩充序列[item-[0022]3)将扩充序列[item-k......item-2,item-1,item0,item1,item正向Transformer模型预测最后一项itemn，微调的过程与反向训练一致，过程见2.2)、[0023]4)使用微调后的正向预训练模型，通过输入扩充序列[item-k...item-1,item0,item1,item2......itemn]经过正向Transformer模型预测该用户下6rr[0035]2.2)将item的嵌入item_embedding和item的三元组融合嵌入kg_embedding相加[item_embedding1+kg_embedding1,item_embedding2+kg_embedding2......item_embeddingn+kg_embeddingn]作为Transformer模块中的Q和K，将[item_embedding1,item_embedding2......item_embeddingn]作为Transformer模块中的V，送入单向7[0038]2.3)根据每一个位置的单向Transformer模块的输出与真实值计算交叉熵损失，[0042]其中xi,t为模型输出Ht与所有it[0043]2.4)通过预训练模型输入[item得到k个原item序列前的伪item，将这k个伪item加到原序列前，得到扩充序列[item-[0044]3)将扩充序列[item-k......item-2,item-1,item0,item1,item正向Transformer模型预测最后一项itemn，微调的过程与反向训练一致，过程见2.2)、[0045]4)使用微调后的正向预训练模型，通过输入扩