CN115964482B 一种基于用户认知一致性推理的多模态虚假新闻检测方法 （西北工业大学）

一种基于用户认知一致性推理的多模态虚本发明涉及一种基于用户认知一致性推理多模态新闻中包含的文本信息与图像信息进行文本特征与新闻图像特征两个角度捕捉到的一2分别采用BERT编码器与ResNet_152对多模态新闻中包含的文本信息与图像信息进行设计上下文交互层，使所有的评论信息与全局评论语义进行全面地交设计由协同引导块、交叉注意力块和聚合融合块组成的协同推理2.根据权利要求1所述基于用户认知一致性推理的多模态虚假新闻检测方法，其特征其中，在文本内容中，设置在图像信息中，设置Q-K-V-Gehead;wo(5)iqikww",o"w",o'w")(8)33.根据权利要求2所述基于用户认知一致性推理的多模态虚假新闻检测方法，其特征fR(cf)=wcf+b(11)s(c$)=cfofc(cf)(12)S34：从k条评论中挖掘的显著有用信息进行整合，从4.根据权利要求3所述基于用户认知一致性推理的多模态虚假新闻检测方法，其特征0=tanh(w20cc+br2)4针对文本和图像学习到的不一致语义分别标记为OT=[of"";oc](22)G=[og";0"(23)S45：使用Softmax函数对学习概率分布进行预测，6.一种计算机可读存储介质，其特征在于存储有7.一种计算机程序，其特征在于包括计算5[0003]最近，在社交媒体上传播的新闻已经逐渐从基于文本的单模态形式转变为以图有的研究主要集中在提取和学习不同多模态信息之间的关联特征进行检测，主要分为两以捕获多模态之间的不一致信息并将这种高可信度指示特征应用于检测。为解决这些问6注的评论语义与新闻的一致语义进行交互推断，并对推断的不一致特征进行聚合和融合，[0008]一种基于用户认知一致性推理的多模态虚假新闻检测方法，其特征在于步骤如[0010]分别采用BERT编码器与ResNet_152对多模态新闻中包含的文本信息与图像信息we(5)7f;wo(7)[0038]fR(cf)=wcf+b(11)[0039]s(cf)=cfofc(cf)[0042]0"=[s(c⃞);s(c);…;s(c)](13)[0046]0⃞=tanh(w20c+br2)(15)B(o⃞)=wp0+bp(17)8的显著特征部分，即of与其次，利用残差网络将显著特征与文本和图像特征进行ogc=o"oof(21)T=[of";0G](22)[0068]本发明提出的一种基于用户认知一致性推理的多模态虚假新闻检测方法[0069]1：本发明提出了基于用户认知谣言过程的一致性推理网络用于多模态假新闻检9[0071]3：本发明所开发的上下文交互层能够通过交叉交互和双通道门控机制的结合来[0072]本发明在三个具有竞争力的虚假新闻检测数据集上进行广泛的实验证实了本发注的评论语义与新闻的一致语义进行交互推断，并对推断的不一致特征进行聚合和融合，[0081]针对多模态新闻中包含的文本信息与视觉信息，该发明分别采用BERT编码器与[0083]本模块模拟人们在观察一条多模态新闻的注意力过程，即通常首先观察视觉信[0087]本模块构建了协同指导层与交叉注意力层使多模态新闻语义与最受关注的评论[0091]步骤2：针对新闻图像的编码，本发明将图像转变为224×224个像素，然后采用编码后的图像表示ResNet(I)通过线reR2048,i=1,2,…,49}(1)rr这里面存在着更多不同声音的观点。为了从评论中学习读者(受众)广泛讨论的有价值信cf+b(11)[0120]s(c$)=cfofc(cf)(12)O⃞=tanh(wo:+b)(14)[0128]0货=tanh(w20c+b2)(15)征为oge,将o:替换为[0138]og"=o"oorf(21)T=[of";0'](2