【《基于评分和评论特征融合的深度模型分析案例》9200字】

基于评分和评论特征融合的深度推荐模型分析案例目录TOC\o"1-3"\h\u25242基于评分和评论特征融合的深度推荐模型分析案例 1108971.1引言 1221891.2目标描述 1140201.3DRMF模型结构 2225081.4带偏置的深度矩阵分解模型 492461.4.1BDMF模型设计思路 453021.4.2BDMF模型结构 6222271.1.3算法伪代码 8231651.5评论文本处理模型 1083041.5.1评论文本处理模型结构 1038221.5.2评论文本处理模型实现 11104641.6DRMF模型特征融合模块 14305831.6.1DRMF模型特征融合层 1441861.6.2评论预测层 17271161.7模型训练及优化 181.1引言由于用户-物品评分矩阵中存在数据稀疏性问题，经常会致使推荐模型的评分预测性能受到限制。随着互联网的快速发展，越来越多的人愿意参与到这个互联的网络中来，他们也更愿意在网络上面发表自己的想法和评论来分享给大家。因此在推荐模型中从用户给出的评论文本数据提取更具价值的信息到推荐模型中成了可行之法，于是研究者们也都对这一数据源开始展开研究，并进行了合理的分析与利用，经研究表明这一方法的确有利于提升推荐的准确度。本文基于这一角度，在有效利用深度学习技术的情况下，分别完成对评分和评论文本数据的特征提取，并把它们融合到本文提出的推荐模型中来提升模型的准确性。1.2目标描述从网上获取的json格式的Amazon数据集，数据集中包含有个数据样本，每个数据样本中包括（，，，），指代的是用户对物品所给出的一个评分，评分为1-5的5个整数，指代的是用户对物品所给出的一条评论，评论文本所含词汇数可参差不齐。最终目标是训练出一个可以充分利用用户以往对商品给出的评论数据来算出预测评分的模型，评论数据包括两种，以用户为基准的评论集合（除了的用户给出的所有评论集），以物品为基准的评论集（除了的物品得到的所有评论集），并尽可能让和两者之间的差值减小。1.3DRMF模型结构因为现有的一些基于评分和评论的推荐模型中存在的局限性，所以本文分别就这几个方面进行改进，最终提出了基于评分和评论特征融合的深度推荐模型DRMF（DeepRecommendationModelBasedonFusionofRatingandReviewFeatures）。由于经过传统的矩阵分解模型LFM提取出来的只是低阶特征向量ADDINEN.CITE<EndNote><Cite><Author>冯兴杰</Author><Year>2020</Year><RecNum>129</RecNum><DisplayText><styleface="superscript">[48]</style></DisplayText><record><rec-number>129</rec-number><foreign-keys><keyapp="EN"db-id="xxp5f09arwdtx3e2907vv2rwtxzpxpx2ezat"timestamp="1649378800">129</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>冯兴杰</author><author>曾云泽</author></authors></contributors><titles><title>基于评分矩阵与评论文本的深度推荐模型</title><secondary-title>计算机学报</secondary-title></titles><periodical><full-title>计算机学报</full-title></periodical><pages>17</pages><volume>43</volume><number>5</number><dates><year>2020</year></dates><urls></urls></record></Cite></EndNote>[48]，而要想获得高阶非线性交互信息就必须采用采用深度矩阵分解模型DMFADDINEN.CITE<EndNote><Cite><Author>尹志强</Author><Year>2021</Year><RecNum>126</RecNum><DisplayText><styleface="superscript">[63]</style></DisplayText><record><rec-number>126</rec-number><foreign-keys><keyapp="EN"db-id="xxp5f09arwdtx3e2907vv2rwtxzpxpx2ezat"timestamp="1649339461">126</key></foreign-keys><ref-typename="Thesis">32</ref-type><contributors><authors><author>尹志强</author></authors><tertiary-authors><author>孙永奇,</author></tertiary-authors></contributors><titles><title>融合评分矩阵与评论文本的混合推荐算法的研究</title></titles><keywords><keyword>推荐系统</keyword><keyword>BERT</keyword><keyword>注意力机制</keyword><keyword>门限递归单元</keyword><keyword>深度矩阵分解</keyword></keywords><dates><year>2021</year></dates><publisher>北京交通大学</publisher><work-type>硕士</work-type><urls></urls><electronic-resource-num>10.26944/ki.gbfju.2021.000449</electronic-resource-num><remote-database-provider>Cnki</remote-database-provider></record></Cite></EndNote>[63]，但它不能充分利用好交互数据中不可以忽视的偏置信息，所以该使用表达用户和物品偏好信息更为准确的的矩阵分解模型，本文采用带偏置的深度矩阵分解模型BDMFADDINEN.CITE<EndNote><Cite><Author>马昌胜</Author><Year>2019</Year><RecNum>127</RecNum><DisplayText><styleface="superscript">[64]</style></DisplayText><record><rec-number>127</rec-number><foreign-keys><keyapp="EN"db-id="xxp5f09arwdtx3e2907vv2rwtxzpxpx2ezat"timestamp="1649378084">127</key></foreign-keys><ref-typename="Thesis">32</ref-type><contributors><authors><author>马昌胜</author></authors><tertiary-authors><author>李剑军,</author></tertiary-authors></contributors><titles><title>一种带偏置的深度矩阵分解推荐模型</title></titles><keywords><keyword>个性化推荐</keyword><keyword>带偏置的矩阵分解</keyword><keyword>神经网络</keyword><keyword>隐语义</keyword></keywords><dates><year>2019</year></dates><publisher>华中科技大学</publisher><work-type>硕士</work-type><urls></urls><electronic-resource-num>10.27157/ki.ghzku.2019.003623</electronic-resource-num><remote-database-provider>Cnki</remote-database-provider></record></Cite></EndNote>[64]来解决这一问题。又因为词向量模型Word2vec不能很好地对文本内容中的有些词语实现多语义理解ADDINEN.CITE<EndNote><Cite><Author>吴莹莹</Author><Year>2020</Year><RecNum>128</RecNum><DisplayText><styleface="superscript">[65]</style></DisplayText><record><rec-number>128</rec-number><foreign-keys><keyapp="EN"db-id="xxp5f09arwdtx3e2907vv2rwtxzpxpx2ezat"timestamp="1649378226">128</key></foreign-keys><ref-typename="Thesis">32</ref-type><contributors><authors><author>吴莹莹</author></authors><tertiary-authors><author>任志波,</author></tertiary-authors></contributors><titles><title>基于评分矩阵和评论文本的混合推荐算法</title></titles><keywords><keyword>个性化推荐</keyword><keyword>混合推荐算法</keyword><keyword>卷积神经网络</keyword><keyword>隐语义模型</keyword></keywords><dates><year>2020</year></dates><publisher>河北大学</publisher><work-type>硕士</work-type><urls></urls><electronic-resource-num>10.27103/ki.ghebu.2020.000746</electronic-resource-num><remote-database-provider>Cnki</remote-database-provider></record></Cite></EndNote>[65]，而卷积神经网络也不能很好地处理序列问题，因此设计了基于BERT的注意力网络模型来解决。最后，提出了FM模块和MLP模块串联组成的DRMF模型特征融合模块，该模型层可以利用好之前提取的特征向量来进行交互学习得到更复杂的特征向量，然后将得到的深度特征向量输入到全连接层中来获得用户对物品的预测评分。DRMF模型结构如下图所示：图3-1DRMF模型结构图在上述的DRMF模型结构图中包含三个子模块，他们分别是带偏置的深度矩阵分解模型BDMF、评论文本处理模型和特征融合模块。BDMF模型负责将用户-物品的评分矩阵进行特征提取，得到用户和物品两者对应的的潜在评分特征和。评论文本处理模型则由用户注意力网络和物品注意力网络这两个并行的网络组成，分别处理用户和物品的评论文本数据集，到用户和物品两者对应的的潜在评论特征和。最后，通过在特征融合模块中来将之前提取的特征向量来进行交互学习得到更复杂的特征向量，得到用户和物品的高阶特征和，最后将它们输入到全连接层中，经过回归得出用户对物品的评分预测。1.4带偏置的深度矩阵分解模型1.4.1BDMF模型设计思路深度矩阵分解模型（DMF）通过将神经网络引入其中得到矩阵分解模型得到的，它可以同时利用好显示的交互评分和隐式反馈数据，但是评分是一个具有差异性的数据。比如，在实际生活中每一位用户的评分标准是不一样的。有的用户给分就比较严苛，对于物品给出的分数普遍不高；也有的用户给分标准比一般人低，对于物品普遍给分都比较高。也有因为不同购物网站销售理念和出售的物品小类别存在差异造成评分数据集的整体分布存在差异的现象。比如，逛网站某些区域内物品的用户对于该区域内的物品能轻易地给出高分，有些区域内的物品用户对于他们的要求更高一些，普遍给出的分数也就低一些。正是由于这种问题的存在，我们希望模型能具备有效地方法为该问题提供一定程度上的缓解，决定将这些差异性的信息都定义为偏置信息，避免对用户和物品之间的交互数据中提取出来的特征进行过拟合的学习。综上，带偏置的深度矩阵分解模型BDMF所提取的特征向量更能体现用户和物品的偏好信息，因此在DRMF模型的矩阵分解过程采用BDMF模型。在2.2.2节中提到的DMF模型在编码过程的输入中包含了差异性的信息，而想要保护这些输入的底层特征一直到高层网络，我们就必须确保它的完整性，可以利用残差网络ResNet来完成。ResNet提出的原因是因为训练神经网络时会发现，持续为深神经网络提高层结构的数量，准确率能得到一定提高，但在达到顶峰之后如果仍然继续则会不增反降，考虑改变学习的目标。在高速网络HighwayNetwork技术中，它是通过将网络结构中的一部分输出进行留存操作，而ResNet在设计上与前者的设计理念是互相接近的，它是通过在网络中设计几个可以前后直接连接通道，这个通道能帮助一开始的输入直接抵达到后方去，这在一定程度上为原始信息的留存进行铺垫。在这一技术方法中，也使得该层网络不用将所有输出都进行一遍学习了，它只要将前一网络输出的残差把一块进行学习即可，残差由输出减掉输入来获得，这种方式学习目标简化了。接下来，对传统神经网络、高速网络和ResNet的详细计算过程进行说明，具体内容如下：传统的神经网络在处理输入时，它是通过非线性变换来为进行处理，然后将处理后的结果作为输出，将其形式化： （3-1）其中代表的是输出，代表的是激活函数，代表的是输入，代表的是网络权重参数。HighwayNetwork基于门机制引入了transformgate（变换系数）和carrygate（保留系数），输出由transforminput和carryinput组成，将其形式化： （3-2）利用上述方法，来到上一层的一部分内容进行留存操作，使其无需在原网络中的进行非线性变换等操作直接抵达下一层。添加了恒等映射的ResNet与HighwayNetwork类似，也能达到前传后的直接传输目的。首先，若将在CNN其中一层的输入看作为，并将模型处理后我们需要的得到的输出看作是。然后，在传统神经网络的基础上加入了一组前后连通的连接，这样也就构成了一个残差学习模块。具体样式如图3-2所示：图3-2残差学习模块结构图将输入直接传到输出作为初始结果，那么目标函数为： （3-3）残差网络采用残差块和shortcut连接的方式，这样就可以是网络仅对差值进行学习即可，差值为输出减去输入，而不再是原来的。这种方式有两个好处，一方面留存下来的信息在一定程度上得到了保护，另一方面可以很好地解决加深网络的层数可能会出现的梯度消失问题。由于深度矩阵分解模型（DMF）是成一个小塔形状的结构，每经过一层操作向量的维度都在逐渐下降，而要想让目标函数可以计算，必须是两个同维度的向量才能进行计算。于是对输入向量采取一种线性变换的操作来促使其变成与输出向量同一维度的向量形式，加入维度处理后的残差学习模块结构如图3-3所示：图3-3输入输出维度一致的残差学习模块结构残差学习模块中权重矩阵负责通过线性变换将输入向量维度处理成与输出向量的维度，维度与非线性变换的最后一层一样，这样能够保证向量之间是可计算的。1.4.2BDMF模型结构BDMF模型与前文2.2.2节提到的DMF结构类似，两者将神经网络引入到了传统的矩阵分解模型之中，它们都可以根据提取的用户和物品的两个隐语义向量来完成计算得到需要补全的评分数据。在BDMF模型中，将用户-物品矩阵作为模型输入数据，它能充分结合该矩阵中的显示评分数据和隐式反馈信息，具体方式是通过交互学习低维空间中的用户和物品对应的偏好表示来获得新的高阶非线性关系。该模型结构一般分为3层：Inputlayer（输入层），Hiddenlayer（隐藏层），和LatentfactorrepresentationLayer（融合层）。图3-4BDMF模型结构图（1）输入层（Inputlayer）输入层同DMF模型一样输入两个分别以用户和物品为基础的高维向量和。根据公式（2-4）来建立用户-物品的评分矩阵，提取的每一行来得到，提取的每一行来得到。（2）隐藏层（Hiddenlayer）隐藏层中利用两个结构相同的网络来处理高维向量和，两个网络都是由单层的线性隐射层和多层的非线性隐射层组成。线性隐射层作为偏执层来完成输入向量的维度变换，为输入和输出建立直连通道，目的是将含有用户和物品特征信息的数据尽量完整的保存下来传到输出。另一隐射层将分别用户和物品为基准的两个高维向量和进行映射，然后得到新的向量空间的向量。从图中可以发现，在权重矩阵存在那一层进行操作是并没有采用Relu激活函数，而是在第二层至第层才开始使用，具体如第二章两公式（2-7）（2-8）所示。这是因为如果输入的数据集合相当庞大，我们就会得到很大的一个输入向量，这不利于后续操作。于是在第一层通过维度变换先将高维特征向量压缩成低维稠密向量，可以增强模型的泛化能力。（3）融合层（Fusionlayer）将单层线性隐射层和多层的非线性隐射层隐射出来的两个向量对应元素一一相加，得到最终的隐语义向量和，向量表示具体如图所示： （3-4） （3-5）从BDMF模型结构图可以发现，和是在经过了两个网络的处理后得到的，在网络中将用户和物品的输入向量向潜在空间进行映射，便可以得到他们对应的隐语义向量，和指代的是偏置层的权重矩阵，和表示偏置层的偏置项。最后，在进行获得预测评分的计算中，使用余弦函数对两个向量进行计算，具体如公式（3-6）所示： （3-6）最后通过DMF模型的损失函数公式（2-10）来计算得到预测值和实际评分两者之间的差值大小。1.1.3算法伪代码按照上述模型结构，编写BDMF算法的伪代码，如表3-2所示:表3-2BDMF算法的伪代码Algorithm1:BDMFTrainingAlgorithmWithNormalizedCrossEntropyInput::Originalratingmatrix,:Trainingiterations,:Negativesamplingratio,:Earlystopsteps,:NumberoftimesHRhasnotimprovedOutput:and：Theuserandproductweightmatrixofthenetwork;and：Biaslayerweightmatrix;and：Biastermforthebiaslayer;1:Initialization:2:randomlyinitialize,,,,,;3:setuseformula(2-4)with;4:setallnonezerointeractionsin;5:setallzerointeractionsin;6:setsampleinteractionsfrom;7:set;8:forfrom1todo9:foreachinteractionofeachandindo10:setuseformula(3-4)(3-5)withinputof;11:setuseformula(3-6)withinputof;12:setuseformula(2-10)withinputof13:if14:break;15:usebackpropagationtooptimizemodelparameters;16:endfor17:endfor在BDMF算法中首先确定好该算法程序的输入和输出的数据，输入数据包括从数据集中得到的用户-物品的评分矩阵数据和需要单独设置的模型参数（训练的迭代次数、负采样率、程序及时停止的步数，预测命中率没有持续提升的步数）。输出数据则包括用户和物品的网络权重矩阵、偏置层的权重矩阵和偏置层的偏置项。当程序正式运行之前，需要先将程序的目标输出进行初始化操作，并将交互数据处理成用户-物品的评分矩阵样式，接着采用留一验证法和样本数据负采样的方法来得到训练数据集。然后是网络训练，通过将用户和与它存在交互关系的物品两者的特征输入模型中来获取用户和物品的隐语义向量和。最后通过预选相似度来计算两个隐语义向量的相似性，然后利用损失函数来计算预测评分和实际评分的差值，根据此差值不断利用Adam算法进行网络训练，要不等到设置的训练的次数走完，要不因性能持续无较大提升而被终止训练。在DRMF模型特征融合层模块的评分预测层中，输入到全连接层的是评分和评论中提取并融合的特征，而其中评分特征用的是BDMF模型提取出来的用户隐向量和物品隐向量。将该特征与评论文本特征进行融合得到表达更精准的高阶特征，然后根据高阶特征完成评分预测。因此在融合层1.2.3中分别将用户隐向量和物品隐向量分别记为和。1.5评论文本处理模型在文本处理方面，大多数研究者选择采用主题模型来完成本信息的特征提取。LDA主题模型是较为常用的主题模型，该模型指出任何一篇文章都是可以有几个主题的，而每个主题都有它对应的词。手动确定要划分的主题个数，采用非监督的机器学习，并采用词袋模型为文章构造词向量。但是这种处理方式没有充分考虑词的顺序所附加的含义和上下文信息，得到的主题有时并不能很好地表达出文本含义。因此本文决定采用基于BERT和注意力机制的双向GRU网络来完成对评论文本的处理，双向GRU网络结构中一般由两层左右读取序列相反的RNN层组成，它可以分别从两个相反的方向捕获到词的内容，因此它更能读取到丰富的语义信息。注意力机制作为辅助引入到文本处理模块中，它可以过滤掉一些不那么重要的信息，聚焦于重要信息，通过计算两种序列中每个单词的权重来完成于文本内容相关度更高的词的捕获。1.5.1评论文本处理模型结构为了提取用户和物品评论文本数据的特征，需要在这些数据上进行建模来表达。在本节设计了一个评论文本处理模块，它由两个基于BERT和注意力机制的双向GRU网络用户注意力网络和物品注意力网络构成，可以分别用来处理用户和物品对应的文本类型评论数据集，他们两个网络结构一致，都是由词嵌入层、序列编码层、注意力机制层和特征投影层这四个部分组成。绘制两个注意力网络的处理与某位用户或者某件物品的相关评论文本数据过程，网络具体结构如图3-5所示：图3-5注意力网络处理文本数据流程图接下来对用户注意力网络和物品注意力网络在评论文本处理模型中的具体运用过程进行讲述。1.5.2评论文本处理模型实现同上一节的带偏置的深度矩阵分解模型一样假设在某网络平台中存在用户集和物品集，以用户为基准，用指代用户给出去的所有评论；同样以物品为基准，指代物品从所有用户处得到的评论。不难发现存在一条评论同时存在于两个集合中的现象，用户给出物品某条评论不仅存在于中，同时也存在于中。面对这种情况，我们希望能够在中学习得到用户评论特征表示，在中学习得到物品评论特征表示，因此需要设置两个基于BERT和注意力机制的双向GRU网络（用户注意力网络）和（物品注意力网络）来分别处理和，他们两个网络结构一致，参数根据数据适当调整。通过和学习得到用户评论特征表示和物品评论特征表示，用于与深度矩阵分解模型提取出来的和进行特征融合。因为中含有用户给出去的所有评论，评论的数量不在少数，所以我们先利用完成中每条评论的特征提取（每条评论特征是否设置数字符号），再将平均化处理特征提取得到的所有的特征表示作为中学习到的用户特征。对也进行相同的处理。模型结构以（用户注意力网络）为例展开介绍，（物品注意力网络）也是一样的，就是数据不一样。结构如图3-5所示，网络结构总共包含4层：第一层是词嵌入层，中间层分别是序列编码层和注意力机制层，最后一层为特征投影层。（1）词嵌入层以某一用户发出的所有评论组成的集合作为研究对象，设置为进入模型的评论条数最大值。当存在大于时，取中的前条评论构成，使用BERT映射处理得到相同维度的向量组成的列表；当存在小于时，先BERT映射处理得到相同维度的向量，然后向中加入若干条与映射出来的向量维度相同的零向量，再度构成具有条相同维度的向量组成的列表，因此可作为BERT映射后的输出向量列表。同理，物品的输出向量列表为。（2）序列编码层在序列编码层中选择使用双向GRU网络来处理BERT映射后的输出向量列表，对中的每一条向量进行编码，且可以分别从前向和后向两个方向完成更丰富的信息提取。前向负责从到的编码处理，负责从到的编码处理，将其形式化： （3-7） （3-8）采用拼接策略来获取的隐藏状态，具体如公式（3-9）所示： （3-9）每个GRU隐藏的单元个数为,则整个双向GRU网络的隐藏状态连接起来得到，将其形式化： （3-10）（3）注意力机制层在注意力机制层，本文使用注意力机制这个方法来让用户不同的评论可以表达出来不同的喜好偏向，因为该方法可以为不同的评论附上一个不同的权值，完成评论文本聚焦工作。而在注意力机制的计算过程中有两个关键步骤：一是完成对输入的所有信息注意力分布的计算。二是根据前一个步骤得出的注意力分布再完成信息的加权平均计算，然后完成输出。通过计算每条评论的相对重要性的注意力分布（Attentiondistribution）来完成对中所有信息的汇总，具体如公式（3-11）所示： （3-11）公式内，，其中是超参数，且可以将其设置成任意维度，再引入的计算方式来完成数值转换得到。该注意力分布可以发挥两个作用：一是完成了注意力权重的归一化，权重分布相加后的数值为1；二是采用这种方式后能突出相对更重要的元素的权重。在注意力向量中的信息可以将评论影响用户偏好的程度进行一个很好的体现。因此在计算用户相关的评论集合数据的整体特征表示时，可以利用注意力数值进行加权求和操作。当这个利用了双向GRU的用户注意力网络中的隐藏状态经过的操作后，便得到了需要的，将其形式化： （3-12）（4）特征投影层最后将用户评论集合的整体特征表示作为特征投影层的输入，然后进行特征转换，得到在用户注意力网络的处理后的用户在用户评论集合的最终偏好表示，将其形式化： （3-13）其中代表的该结构层的权重，代表的是它的偏倚项。以上是以用户注意力网络为基础进行描述的，同样我们也可以按照上述方法采用物品注意力网络来处理物品的物品评论集合，得到以物品为基准的。因此该层模块可以分别通过两种不同的数据集合，经过注意力网络和的处理，输出和。1.6DRMF模型特征融合模块1.6.1DRMF模型特征融合层利用上述两个模型分别从评分矩阵提取得到了特征向量和从评论文本数据提取得到了特征向量，但是它们两者本质上是位于不一样的特征空间中的，无法实现有效的交互学习。因此设计了在DRMF模型中加入一个融合层模块来实现数据的多源特征融合，并加以利用，实现用户对物品的评分预测任务。通过带偏置的深度矩阵分解模型可以从评分矩阵中提取得到用户和物品的特征矩阵和，通过文本处理的注意力网络可以从评论文本中提取得到用户和物品的特征矩阵和，为了更好地完成特征之间的多种交互，将、、和这四个特征矩阵设置成为同一维度的向量。然后在DRMF模型融合层将特征向量进行融合，并经过交互学习得到特征向量，然后将其输入全连接层中，获得最终的评分预测值。在仅使用评论文本数据的DeepCoNN模型中，它将提取得到的用户和物品的评论特征实行有效拼接，再将拼接后的新向量放入FM模块来完成评分预测任务。这样的操作无疑是没有任何问题的，因为用户和物品的特征向量均取自与评论文本这同一类型的数据集，在后续的特征交互学习过程中也取得了很好的表现效果。但是本文考虑将非同源的特征进行融合，所以这种特征拼接后送入FM的方式并不适用。（是否引入文献）在推荐模型中，深度神经网络在学习特征交互的方面具有出色的表现。通过研究深度因子分解机模型（DeepFactorisationMachine，DeepFM），设计一个由FM模块与MLP模块串联组成的融合层，可以通过该融合层来实现用户与物品间的线性交互和非线性交互。在融合层中首先通过向量对应维度相加来获得用户和物品的原始特征，然后分别将两种特征输入到FM模块中来获取对应的低阶特征，再将低阶特征输入到串联其后的MLP模块中来获取对应的高阶特征，再将其输入评分预测层中获得最终的预测评分值。融合层中FM模块和MLP模块的具体计算过程如下图所示：图3-6融合层结构图在进行有关于不同源的特征融合的研究过程中，发现利用评分矩阵和评论文本数据两者进行有效结合能提高推荐模型的性能，而一般的操作是将两者提取得到的特征向量中的元素进行对应维度的相加操作。因此在融合层中，也利用这一相加操作来获取用户和物品相应的原始特征集合，将其形式化： （3-14） （3-15）表示的是用户相应的原始特征，它是通过BDMF模型处理得到的和用户注意力网络得到的对应维度的相加得到的，采用相同方法来获取物品相应的原始特征。（1）低阶特征经过特征相加操作后得到了两个原始特征，分别是和，再将他们输入到FM模块中，来获取用户和物品的不同源数据融合后的低阶特征，在FM模块中具体计算过程如下： （3-16）由文献ADDINEN.CITE<EndNote><Cite><Author>冯兴杰</Author><Year>2020</Year><RecNum>129</RecNum><DisplayText><styleface="superscript">[48]</style></DisplayText><record><rec-number>129</rec-number><foreign-keys><keyapp="EN"db-id="xxp5f09arwdtx3e2907vv2rwtxzpxpx2ezat"timestamp="1649378800">129</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>冯兴杰</author><author>曾云泽</author></authors></contributors><titles><title>基于评分矩阵与评论文本的深度推荐模型</title><secondary-title>计算机学报</secondary-title></titles><periodical><full-title>计算机学报</full-title></periodical><pages>17</pages><volume>43</volume><number>5</number><dates><year>2020</year></dates><urls></urls></record></Cite></EndNote>[48]中提及的运算简化过程可知在上一公式中可以对二次项进行转化来实现运算复杂度的下降，转化结果为公式（3-17a）。为了促使其更易完成，将其继续进行变换得到了公式（3-17c）。将其形式化： （3-17） （3-17a） （3-17b） （3-17c）根据上述公式（3-17a）表明，FM模块可以把特征向量转化为来实现运算复杂度的下降，在这些特征向量中将所有的两维特征都互相进行交互计算，经过计算得到的用户和物品的特征是基于FM模块模拟对特征进行的二阶交互得到的，因此得到的特征属于低阶特征。依然以用户相关数据为基准进行展开说明，将相加操作得到的带入公式（3-16）得： （3-18）在该公式中指代的是全局偏差，则指代的是与中的第个变量所对应的权重。采用相同方法来获取物品的低阶特征（2）高阶特征尽管FM模块能够在数据稀疏性问题明显的数据中完成参数学习任务，但是最终得到的结果只是特征向量经过二阶交互所产生的，该结果只是属于低阶特征。而高阶特征一般都采用神经网络来对复杂特征进行学习后产生，但是神经网络学习本身具有一定的局限性，那就是当数据稀疏性问题明显时，会使得参数过多，从而使得性能下降。考虑到以上两种方法中存在的优势和不足，因此将两者结合，首先使用FM模块对数据进行过滤处理可以达到缓解稀疏性问题的作用，然后将处理得到的低阶特征输入到MLP模块中进行高阶特征的提取，这样便可以实现两者兼顾，获得表现效果更佳的用户和物品的高阶特征和。将其形式化： （3-19）在上述公式中，指代的是第层的输出向量，指代的是第层的激活函数，该处的激活函数也采用的是Relu激活函数，指代的是第层的权重向量，指代的是第层的偏置项，指代的是隐藏层所含层数。将低阶向量输入到MLP模块中进行学习训练最终得到了一个更深层的用户高阶特征，采用相同方法来获取物品的高阶特征。1.6.2评论预测层评分预测层就是将经过