CN115860875B 一种基于双线性池化的多模态知识融合的商品推 荐方法 （安徽农业大学）

一种基于双线性池化的多模态知识融合的种基于双线性池化的多模态知识融合的商品推种单模态特征采集器的特征利用双线性池化的2S3、根据上述步骤S2中的各种单模态特征采集器S4、通过对上述步骤S3中抽取的多模态融合的深S6、利用基于上述步骤S5中的推荐内容，反馈模2.根据权利要求1所述的一种基于双线性池化的多模态知识融合的商品推荐方法，其(1)将特征采集器和特征融合模块以及智能推荐模块初始化，利用预处理的数据对模(2)在模型训练阶段，多模态特征提取模块为了提高正确判断商品是否能被推荐的能(3)训练过程中的各类融合模块将使用不同种类的大批量多模态数据进行无标签训3.根据权利要求2所述的一种基于双线性池化的多模态知识融合的商品推荐方法，其3其中，η是学习率，为了保持模型训练过程的稳定，采用公式x来调整学习率η,公式如4.根据权利要求1所述的一种基于双线性池化的多模态知识融合的商品推荐方法，其Z=4w,zv以文本图像为例其中zrz,eR"是步骤S2中提取的商品文本特征，Z,eR"是步骤S2其中k是两个低秩矩阵的维度，U;=[u,…,u]eRK,v1=[v,…,v]eRK,U=[u,…,u.]eRmtko和v=[u1,…,ualeR"ko作为o维输出的权值，在保持上述公式表示使用一个大小为k的一维非重叠窗口对5.根据权利要求4所述的一种基于双线性池化的多模态知识融合的商品推荐方法，其4e)6.根据权利要求1所述的一种基于双线性池化的多模态知识融合的商品推荐方法，其荐指数为J,则：g(4)推荐指数计算模块通过推荐区域指数计算模块的推荐向量以及融合特征，通过指g57.根据权利要求1所述的一种基于双线性池化的多模态知识融合的商品推荐方法，其8.根据权利要求1所述的一种基于双线性池化的多模态知识融合的商品推荐方法，其9.根据权利要求1所述的一种基于双线性池化的多模态知识融合的商品推荐方法，其67[0015](1)将特征采集器和特征融合模块以及智能推荐模块初始化，利用预处理的数据[0016](2)在模型训练阶段，多模态特征提取模块为了提高正确判断商品是否能被推荐[0020](3)训练过程中的各类融合模块将使用不同种类的大批量多模态数据进行无标签8[0028]Z=4w,zv[0032]其中k是两个低秩矩阵的维度，U=[uy,…,u]eRmk,v;=[v,…,vleRK,符号o是哈达玛积(Hadamardproduct)，Ι是全为1矩阵，将获得的两个三阶张量U=[u,.,u]eRmko和v=[u,…,ualeR"ko作为o维输出的权值，在保持重新改写为：9域可推荐指数为Ji,则：[0050](4)推荐指数计算模块通过推荐区域指数计算模块的推荐向量以及融合特征，通gg[0062]图1为本发明提出的一种基于双线性池化的多模态知识融合的商品推荐方法的框[0063]图2为本发明提出的一种基于双线性池化的多模态知识融合的商品推荐方法中模[0064]图3为本发明提出的一种基于双线性池化的多模态知识融合的商品推荐方法中模[0073]Z=4w,zv[0077]其中k是两个低秩矩阵的维度，U;=[u1,…,u]eR"k,v=[v1,…,v]eRK,符号o是哈达玛积(Hadamardproduct)，Ι是全为1矩阵，将获得的两个三阶张量U=[u,…,u]eRmko和v=[u,…,ualeR"ko作为o维输出的权值，在保持重新改写为：域可推荐指数为ji,则：[0095](4)推荐指数计算模块通过推荐区域指数计算模块的推荐向量以及融合特征，通gg[0102](1)将特征采集器和特征融合模块以及智能推荐模块初始化，利用预处理的数据[0103](2)在模型训练阶段，多模态特征提取模块为了提高正确判断商品是否能被推荐[0107](3)训练过程中的各类融合模块将使用不同种类的大批量多模态数据进行无标签[0108]在寻找最终目标参数时加入梯度反转层GRL解决参数寻优