【《社交网络分析及谣言检测方法的文献综述》7000字】

社交网络分析及谣言检测方法的文献综述1.1引言在当今网络飞速发展的时代，社交网络对现实社会的各种方面都有重大影响。社交网络的飞速发展导致了社交网络用户团体庞大、产生的数据量巨多和用户之间的相互交互十分复杂，这些特征使得社交网络的相关研究变得异常困难。为了更好地了解社交网络的各种特性，利用特性使社交网络更好地带来价值和减少危害，学术界早已开始对社交网络进行分析。目前已有的理论研究对社交网络的内部规律，结构特性、信息传播规律和用户交互行为已经有了较深的理解和分析。该论文研究的内容正是社交网络中谣言检测识别方法研究。1.2社交网络概述HaythornthwaiteREF_Ref71538955\r\h[14]将社交网络定义为由个人、组织或团体之间交换信息和其他资源的社交实体集合，它的全称是在线社交网络（OnlineSocialNetwork,OSN）。该门学科的发展是随着在线社交服务（SocialNetworkService,SNS）的出现而诞生。在线社交服务的种类大致可分为四种：即时消息类应用（QQ、微信、Telegram等），在线社交类应用（QQ空间、Facebook、Google等），微博类应用（新浪微博、Twitter等），共享空间类应用（论坛、博客等）。由于在线社交网络拥有迅捷性、蔓延性、平等性和自组织性四大特点，加上移动设备和计算机网络互联网等飞速发展，全球在线社交网络的用户在短短几年内得到激增，发展至数十亿用户，这也使得在线社交网络对现实社会的各种方面都产生了或大或小的冲击。这些冲击不仅仅对社会有着正面影响，也存在一些负面影响，例如Facebook上充斥着各种暴力恐怖的信息，Twitter上充斥着各种假新闻，微博微信上充斥着各种谣言，这些有害信息借助社交网络的特点迅速传播并且往往产生不可控的后果。社交网络的应用方向有许多方面，目前比较主流的社交网络研究主要包括以下4个方面。（1）社交推荐REF_Ref71539827\r\h[15]。社交推荐就是参考用户个人生活中的社交网络或社交行为，来对该用户进行社交用户或消息等事件的推荐。常见的社交推荐有QQ好友推荐、微博话题推荐等。最初，这种推荐系统并不是用来推荐好友的，亚马逊最初通过这种推荐系统来向用户推荐商品，以促进消费。随着互联网的发展和用户需求的增多，越来越多的推荐系统应运而生。近些年，“流量分发是互联网第一入口”已经成为了最热点的概念，这个概念主要有两个核心来支撑：推荐和内容。我们今天所熟知的今日头条之所以能在短短几年内迅速传播并发展，就是依靠这种推荐系统的迅猛发展。根据推荐系统和推荐原理，社交推荐可以被定义为“协同过滤的一种。所谓协同过滤，就是结合用户实际的好友情况进行推荐，而不是仅仅依赖于其个人行为。对于互联网中的每一个用户，我们通过其社交账号能会很快获得这个用户的众多特点，再加上社交网络中用户数目众多，这些都使得基于社交关系而发展起来的社交推荐备受关注。（2）情感分析REF_Ref71541249\r\h[16]。在上个世纪互联网还未普及时，人们获取信息的方式主要通过报纸、电视等大众传媒手段；21世纪以来，随着计算机网络和移动设备的蓬勃发展，人们可以在互联网上实时获取信息和发布信息。网络上的文本可以根据文本内容被划分为客观描述信息和主观性信息，前者是指对事件、产品等实体存在进行客观描述；后者是指用户对人物事件等进行主观评价。（3）舆情分析。在互联网普及之前，政府公共管理、商业竞争等领域就广泛使用了舆情分析的手段。在那时，主要的舆情分析手段是各大报社的报纸，或是某个官方网站的新闻稿件等，而当互联网普及之后的社交网络和社交媒体的飞速发展，舆情分析的手段不再仅仅只集中在官方媒体上，一个十分普通的微博用户，一个私人开的网络博客或是一个由兴趣创建的个人公众号都有可能是舆情分析的重要场所。这些新的场所的特点就是实时性很高，更新周期短，且更新成本低。当然，这些新特点也带来了很多缺点，例如真实度无法保证，传播和蔓延不受控制，容易引发社会秩序动荡等问题。（4）谣言检测REF_Ref71539918\r\h[17]。谣言检测实质上是舆情分析的一个子集，但由于其重要性很高，故在舆情分析中占有主要地位，所以将其拿出来单独讨论。前些年，新浪微博总是充斥着大量的谣言。为了应对这一问题，新浪微博不得不设置官方的“微博辟谣”账号。时至今日，仅有的官方账号已经无法满足人们辟谣的需求，所以除了官方辟谣账号以外，微博中也已经出现了许多用户自发设立的辟谣账号，同样的情况也出现在微信公众号中。以前，人们是通过试验检验，用事实说话来进行辟谣。近年来，随着互联网技术的发展和机器学习技术的日渐成熟，现在已经实现了通过追踪信息传播的轨迹、检索信息内容等手段来自动判断消息是否属于谣言。1.3谣言的相关概念第7版《现代汉语词典》REF_Ref71539976\r\h[18]对谣言的定义是：1)指没有事实存在而捏造的话；2)没有公认的传说；3)民间流传的评议时政的歌谣,谚语。但谣言在其他语种下定义略有差别，例如在《柯林斯英汉双解大词典》中rumor的定义为：“Arumorisastoryorpieceofinformationthatmayormaynotbetrue,butthatpeoplearetalkingabout.”在社会心理学中，谣言是“一些未经证实却被广为传播的信息，其内容具有不确定性同时暗示环境中可能存在潜在的威胁，能够提高人们对环境的警觉”REF_Ref71540116\r\h[19]。本论文采用社交网络谣言的定义为一种虚假信息，未经官方验证或已经被官方正式为虚假且在社交网络中广为流传和传播的假信息。社交网络谣言的构成如图2-1所示：图2-1社交网络谣言的构成社交网络谣言的几个特点分别是：发布成本低、交互性较强、传播速度快和传播方式途径多样等。1.4深度学习与神经网络1.4.1深度学习概述深度学习（Deeplearning，DP）是机器学习（Machinelearning,ML）的一个子集，而机器学习又是人工智能（Artificialintelligence,AI）的一个子集，它们三者的关系如图2-2所示：图2-2人工智能、机器学习与深度学习深度学习是一种从数据中学习表示的全新方法，这种方法主要是从连续的层中来进行学习。其中，“深度学习”中的“深度”指的是一系列连续的表示层，而不是指使用深度学习方法能够得到更加具有深度的结果。目前深度学习中的连续表示层往往包含数十层到上百层，而全部的表示层都是从给定的训练数据中机器自动学习后而获取的。其他传统的机器学习方法主要强调学习少数层次的数据表示，因而也常常被称作为浅层学习（ShallowLearning）。深度学习中的分层表示往往都是通过神经网络（NeuralNetwork,NN）来学习得到的。神经网络是通过逐层次堆叠来进行工作的。图2-3是一个最经典的多层网络，它通过对数字图像进行变换来识别手写数字图像所代表的数字。图2-3用于手写数字识别的深度神经网络图2-4数字图像分类模型学到的深度表示如图2-4所示，这个网络将数字图像转化成转换成与原始图像差别越来越大的表示，但是这之中关于最终结果的信息却越来越丰富。深度网络可以被看做是信息提纯的过程：当信息通过深度神经网络中的层层网络时，它所具有的纯度也越来越高，对完成任务所带来的的帮助会越来越大。由此，不难理解深度学习的技术定义是学习数据表示的多级方法。1.4.2神经网络模型目前现有的神经网络模型有许多，例如常见的卷积神经网络（ConvolutionalNeuralNetwork,CNN）、循环神经网络（RecurrentNeuralNetwork,RNN）、感知器（Perceptron）等。不同的神经网络模型的区别主要集中在它们使用了不同的神经元激活规则、网络的拓扑结构以及学习算法等。神经元的激活规则主要是指神经元输入到输出之间的映射关系，一般为非线性函数；网络的拓扑结构主要是指不同神经元之间有其链接关系；学习算法主要是指通过训练数据来学习神经网络的参数。目前最为常用的神经网络结构包括前馈网络结构、反馈网络结构和记忆网络结构。三种网络结构的介绍如下：在前馈神经网络中，不同的神经元分别属于不同的层。每一层的神经元可以接收前一层神经元的信号，并产生信号输出到下一层。所有层中的第一层被称作输入层，最后一层被称作输出层，其它中间层被称作隐藏层。信号从输入层向输出层单向传播，由于整个网络中无反馈，所以可以用一个有向无环图表示，如图2-5（a）所示。反馈神经网络的神经元不仅可以接收其他神经元的信号，还可以接收本身的反馈信号，所以可用一个完备的无向图表示，如图2-5（b）所示。由于反馈神经网络加入了反馈信息，所以与前馈网络不同，它在不同时刻的状态不同，因而具有一定的记忆功能。记忆网络是在前馈网络或反馈网络的基础上，新增了一组记忆单元，用来保存信息的中间状态如图2-5（c）所示。除此之外，记忆网络还通过一定的取址、读写机制来增强网络的处理能力。因此记忆网络拥有更加强大的记忆能力。前馈网络、反馈网络和记忆网络三种网络的简化结构如图2-5所示：图2-5前馈网络、反馈网络和记忆网络的结构示例1.5循环神经网络1.5.1一般循环神经网络人脑可以记住以前发生过的事情，并作为后续预测行为的基础。传统的神经网络很难做到这一点，这是传统神经网络潜在的弊端。例如，基于影片中的每个时间点对事件类型进行分类，传统的神经网络很难求解这类带有时间序列的问题。循环神经网络是一个包含时间循环结构的网络，基于这样的结构特性，它可以处理具备时序相关信息的能力。传统神经网络能够实现对物体的分类和标注，当处理有前后依赖信息的预测问题时，就显得力不从心。该问题的本质是由传统神经网络的结构决定的，因此要处理联想预测的问题时，就需要设计新的网络结构来实现。这种网络的输出不仅依赖当前的输入，还需要结合前一时刻或后一时刻的输入作为参考，因此该网络属于反馈型神经网络类型。循环神经网络是反馈型神经网络中处理时序相关反馈的典型代表，循环神经网络目前在应用中代表了大多数反馈型神经网络。图2-6经典神经网络结构示例如图2-6所示，它展示了一个经典神经网络的简化结构。通常来说，输入层、隐藏层和输出层是一个神经网络不可缺少的三层结构。在图2-6中，代表输入层，代表隐藏层的输出，代表输出层的值，、和都使用向量来进行表示，和是权值矩阵。在输入层中，一般是数据集中一系列的特征；在隐藏层中，的维度代表了神经元的个数；在输出层中，的维度代表了最终分类的类别数。循环神经网络简化结构如图2-7所示：图2-7循环神经网络结构示例对比图2-6与图2-7可以发现，经典神经网络和循环神经网络大体上十分相似，它们都具有输入层、隐藏层和输出层。但是，在循环神经网络的隐藏层中具有一个经典神经网络所没有的环形连接，该连接由自身指向自身。这说明权值矩阵除了由和决定外，还与新的权值矩阵和上一次的输出有关。由于该网络的隐藏层中引入了一个循环输入，所以也被称作循环神经网络。循环神经网络的训练过程可以较好地训练模型的参数，但是在实际应用中，与其他网络一样，循环神经网络会遇到不稳定的梯度问题，即梯度消失和梯度爆炸问题，从而导致训练时的梯度不能在较长序列中传递下去，从而无法获取长距离的影响。对于梯度爆炸问题相对容易解决，一般情况下梯度爆炸的时候计算过程会收到类似非数（NotaNumber,NaN）错误，因此可以设置一个梯度阈值，当梯度超过这个阈值的时候直接截取即可。而梯度消失问题相对不容易解决，当前主要采用以下三种方式解决梯度消失问题：（1）对权值矩阵设置合理的初始化值，尽量避免每个神经元不要取极大值或者极小值，以躲避梯度消失的区域。（2）使用不容易产生梯度消失的激活函数，如用线性整流函数（RectifiedLinearUnit,ReLU）函数代替Sigmoid或函数tanh函数。（3）设计其他结构的循环神经网络，例如长短期记忆网络LSTM和门控循环单元。1.5.4长短期记忆网络长短期记忆网络REF_Ref71540389\r\h[21]（LSTM）是经典循环神经网络（RNN）的变体，它能够解决循环神经网络的缺陷，拥有学习长期依赖的能力，很快成为了目前较为流行的网络结构。为了解决RNN的梯度消失问题，LSTM便诞生了，LSTM的核心思想是在循环神经网络的内部增加一个状态，该状态可以用来记忆长期信息，因此可以有效避免梯度消失的问题。RNN与LSTM的差异对比如图2-8所示：图2-8经典RNN与LSTM核心对比图在图2-8中，左图代表传统RNN结构，右图代表LSTM结构。可以看出在LSTM中新引入了一个单元状态C，该单元状态C可以来记忆长期信息。按照时间将图2-8中的右图展开，可以得到图2-9所示的效果图：图2-9长短期记忆网络结构展开图在图2-9中，和分别代表前一时刻网络的输入，当前网络的输入和下一时刻网络的输入，和分别代表上一时刻网络的输出，当前时刻网络的输出，下一时刻网络的输出，和分别代表上一时刻单元的状态，当前时刻单元的状态和下一时刻单元的状态。对于给定某个时刻，LSTM网络的神经元输入由、以三部分组成。从图2-9中可以看出在形式上，LSTM的神经元内部的输入处理方式与传统RNN几乎一致。新引入的单元状态与内部的共同接收上一时刻的输入，再将本时刻的状态传递给下一个神经元。长短时记忆网络的核心则是基于单元状态进行控制。核心思路即引入三个控制开关：第一个开关负责控制是否继续保持长期状态，在图2-9中即为到的输入部分；第二个开关负责是否将当前的输入信息输出到长期状态中，即到的过程；第三个开关负责控制是否将当前的状态作为当前神经元的输出，即到的过程。三个开关的示意图如图2-10所示：图2-10长短期记忆网络内部开关示意图在图2-10中，表示上一时刻的长期状态，表示当前时刻的长期状态，表示当前时刻的即时状态,为当前时刻的输出。1.6社交网络谣言检测1.6.1人工谣言检测方法人工谣言检测方法是目前社交网络平台最主流的检测方式。目前Twitter（推特）、Facebook（脸书）和新浪微博等主流的社交网络平台都采用人工谣言检测的方法。此方法的核心是将社交网络中不确定性程度较大的事件信息传给资深专家或相关人士，他们再利用各自的专业技能对这些事件消息进行甄别，然后反馈给社交网络平台，这样一次人工谣言检测的流程就完成了。人工谣言检测方法虽然具有准确率很高的优点，但是它也存在如下问题：1）人工谣言检测方法需要对可疑事件信息进行逐一判断，耗时耗力的同时实时性也非常差。2）人工谣言检测的方法的准确对与检测者本身的知识素养要求较高，很有可能因个体因素造成误判。3）人工谣言检测方法效率十分低下，面对社交网络中每天的海量数据，单靠人力无法对所有事件信息进行判断，且很有可能会漏判重要事件。1.6.2基于传统机器学习的谣言检测基于传统机器学习的谣言检测是将谣言检测问题转化成为一个二分类问题然后进行处理，大多数是利用有监督的分类方法。首先，手动对谣言消息的特征进行提取；然后，应用合适的机器学习模型对其进行建立模型；最后，利用训练好的分类模型对各种消息实行谣言检测。根据传统机器学习的流程可以看出，该类方法的核心步骤是特征工程，如何找到谣言合适且有效的特征，是该类方法能够区分谣言和非谣言差别的关键。根据现有理论，谣言的特征主要包括文本特征、用户特征和时序传播特征三大类特征。常见的文本特征有词汇特征、句法特征和主题特征。用户特征是指发布和转发评论谣言的用户的有关信息。时序传播特征是指随着时间的推移，网络用户对消息的交互和响应等。在提取到谣言的文本特征、用户特征和时序传播特征三个维度之后，我们可以利用现有的分类模型对获取的特征进行训练，进而得到谣言分类器。目前使用较多的谣言分类器主要有：朴素贝叶斯分类器（NaiveBayesianClassifier）、支持向量机、决策树分类器（DecisionTreeClassifier,DTC）和随机森林分类器（RandomForestClassifier）等。基于机器学习的谣言自动检测的流程图如图2-11所示：图2-11谣言自动检测的流程图1.6.3基于深度学习的谣言检测深度学习的网络结构已有很多，例如深度神经网络、卷积神经网络、递归神经网络等。作为多层非线性神经网络模型，它拥有强大的学习能力，通过与大数据、云计算和图形处理器（GraphicsProcessingUnit,GPU）并行计算相结合，它在图形图像、视觉、语音等方面均获得较好成就，远远超越了传统机器学习的效果，因此深度学习被大众视为人工智能前进的重要一步。卷积神经网络属于前馈神经网络，它对于图形图像的处理有着独特的效果，在结构上至少包括卷积层和池化层。卷积神经网络是最近几年不断发展的深度学习网络，并广泛被学术界重视和在企业中应用，具有代表性的卷积神经网络包括LeNet-5、VGG、AlexNet等。目前卷积神经网络主要应用于影像中物体检测和识别、视频理解，除此之外，卷积神经网络还被应用于自然语言处理。实践证明，卷积神经网络可以有效地应用于自然语言处理中的语义分析、情感分析、文本分类REF_Ref71540324\r\h[20]等。相比于卷积神经网络，循环神经网络更擅长于对语言文本的处理。对文本的分析和处理，更看重时序上的输入与上下文的联系，循环神经网络的内部记忆结构刚好满足这样的需求场景，因此在文本处理方面循环神经网络更胜一筹。循环神经网络概念从提出到现在已经有二三十年历史，在理论与实践方面有不少积累。特别是LSTMREF_Ref71540389\r\h[21]网络结构的引入，解决了此网络模型的疑难问题，使得此网络在市场应用中广泛落地。目前循环神经网络的主要落地场景在机器翻译、情感分析和自然语言处理（NaturalLanguageProcessing,NLP）等领域。基于深度学习的谣言检测方法已经在学术界得到了广泛的运用。深度学习中的神经网络可以对输入的信息进行自动建模，而不用进行繁杂的特征工程。因此，基于深度学习的谣言检测不仅能够自动提取谣言信息的特征，还能进行真伪分类，既能够实现谣言的自动检测，还有效的提高了检测的准确度。由此可见，基于深度学习的谣言检测方法要远远优于人工谣言检测方法和基于传统机器学习的谣言检测方法。参考文献YangF,LiuY,YuX,etal.Automaticdetectionofrumoronsinaweibo[C]//ProceedingsoftheACMSIGKDDworkshoponminingdatasemantics.2012:1-7.陈燕方,李志宇,梁循,等.在线社会网络谣言检测综述[J].计算机学报,2018,41(7):1648-1676.ZubiagaA,AkerA,BontchevaK,etal.Detectionandresolutionofrumoursinsocialmedia:Asurvey[J].ACMComputingSurveys(CSUR),2018,51(2):1-36.QazvinianV,RosengrenE,RadevD,etal.Rumorhasit:Identifyingmisinformationinmicroblogs[C]//Proceedingsofthe2011ConferenceonEmpiricalMethodsinNaturalLanguageProcessing.2011:1589-1599.CastilloC,MendozaM,PobleteB.Informationcredibilityontwitter[C]//Proceedingsofthe20thinternationalconferenceonWorldwideweb.2011:675-684.YangF,LiuY,YuX,etal.Automaticdetectionofrumoronsinaweibo[C]//ProceedingsoftheACMSIGKDDworkshoponminingdatasemantics.2012:1-7.毛二松,陈刚,刘欣,等.基于深层特征和集成分类器的微博谣言检测研究[J].计算机应用研究,2016,33(11):3369-3373.WuK,YangS,ZhuKQ.Falserumorsdetectiononsinaweibobypropagationstructures[C]//2015IEEE31stinternationalconference