【《基于深度学习的谣言检测的案例分析》9500字（论文）】

基于深度学习的谣言检测的案例分析目录TOC\o"1-3"\h\u21845基于深度学习的谣言检测的案例分析 [12]提供的微博数据集的平衡性很好，所以在数据集划分之前，本文对整个数据集进行打乱并随机写入。为了在相同的数据上进行实验，本文保存了这个数据集的无序版本。在该数据集中，4664个事件及其相应的标签被分成了80%的训练集、10%的验证集和10%的测试集。1.7.2损失函数损失函数(lossfunction)是用来估量模型的预测值与真实值的不一致程度，实际意义为构建模型得到的预测值与真实值之间的差距。它是一个非负实值函数,通常使用来表示，损失函数越小，模型的鲁棒性就越好。本文的训练模型有两种输出，其真值标签由一个one-hot向量描述，[1,0]用于表示谣言事件，[0,1]用于表示非谣言事件。损失函数减少为： 式（3-13）其中是训练示例索引，是输出类概率向量中的索引。对于每一个时间间隔，本文的目标都是使参数与训练数据相匹配，从而使整个数据集上的总损失函数最小化。1.7.3过拟合问题过拟合指的是模型在训练集上拟合地很好，但是在测试集上预测结果很差，过拟合问题反映出模型的泛化能力的不足。为了防止过拟合问题，本文采取了正则化和dropout两种手段。正则化(Regularization)是缓解过拟合现象的通用解决方案。它的做法就是在正常代价函数的后方添加一个关于参数的惩罚项，惩罚是指对代价函数中的某些参数做一些限制，以此来缩小解空间，从而减少过拟合的可能性。dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃，以此来减少过拟合的可能性。本文待选取的dropout参数分别为0、0.1、0.2或0.3。采用以上两种方法的任意一种或组合可以有效地防止训练模型出现过拟合问题，具体效果还需根据实验结果进行分析。1.7.4优化器选择优化器指的是在深度学习的反向传播过程中，引导损失函数或目标函数的各个参数往正确的方向更新合适的大小，使得更新后的各个参数让损失函数或目标函数的值不断逼近全局最小。常见的优化器有随机梯度下降（StochasticGradientDescent,SGD）、自适应梯度法（AdaptiveGradient,AdaGrad）和自适应矩估计（AdaptiveMomentEstimation,Adam）等。本文选择使用Adam优化器，因为它结合了AdaGrad的自适应学习率和RMSProp的动量两方面优点来更新网络权重，这使得优化算法为训练模型提供了更快和更稳定的收敛性。第2章实验结果分析2.1实验准备2.1.1实验环境本实验基于macOS10.12.6系统，其中各种环境配置如表4-1所示。表4-1实验环境配置表操作系统macOSMojaveCPU2.6GHzIntelCorei7内存6GB2133MHzLPDDR32.1.2数据集划分为了对比和比较各种社交网络上的谣言检测方法的性能，本文在Ma提供的数据集的基础上进行了多次实验，该数据集是为数不多的包含帖子转发关系的中文谣言数据集，数据集的相关信息如表3-1所示，该数据集的详细介绍见1.2.3节。为了使得训练后的模型能够得到更好地泛化能力，本文将数据集中的所有事件数据根据80%、10%、10%的比例来划分成为训练集、试验集和测试集。2.2参数选择2.2.1恒定参数和可变参数本实验分别考察在不同网络下L-2正则化系数(λ)、学习率(α)、dropout对实验结果的影响。为了尽量避免其他参数对实验结果的影响，本文根据相关工作的经验和多次测试后固定了某些训练参数，这些参数和参数值分别是设置词汇量(K)为2500，嵌入层为100层，批尺寸为64，如表4-2所示：表4-2训练固定参数值参数名称参数值词汇量(K)2500嵌入层100批尺寸64除了上述提到的三项恒定参数外，其他的参数由实验结果分析而得。它们分别是训练轮数、L-2正则化系数(λ)、学习率(α)和dropout参数，它们的取值范围如表4-3所示：表4-3训练可变参数值参数名称可选参数值训练轮数≥1L-2正则化系数(λ)0.001/0.01/0.1学习率(α)0.001/0.01/0.1dropout0/0.1/0.2/0.32.2.2选择可变参数1）考察训练模型的学习率。在三种不同的网络模型上分别设置学习率(α)为0.001、0.01和0.1，并验证三种网络模型在不同学习率(α)下的准确率，实验结果如图4-1所示：图4-1三种网络在不同学习率下的准确率由图4-1可以看出，当学习率为0.001时，三种网络的性能相当；当学习率为0.01时，LSTM和GRU网络的性能变化很小，但RNN网络的性能大幅下降，准确率降至57%左右；当学习率为0.1时，三种网络的性能都急剧下降，降至50%左右。因此，综合考虑后本实验的最佳学习率(α)为0.001。2）考察L-2正则化系数(λ)。在三种不同的网络模型上分别设置正则化系数(λ)为0.001、0.01和0.1，并分别探究在不同的正则化系数(λ)下，三种网络在训练集和测试集上的准确率的变化趋势，实验结果如图4-2、图4-3和图4-4所示：图4-2RNN网络在不同正则化系数下的准确率图4-3LSTM网络在不同正则化系数下的准确率图4-4GRU网络在不同正则化系数下的准确率由图4-2、图4-3和图4-4可以看出，对于RNN网络，当正则化系数依次从0.001变化为0.01和0.1时，RNN网络在训练集上的训练精度不断降低，由72.4%降至70.7%再降至68.3%，但是在测试集上的准确度却几乎没有变化，维持在68.7%。对于LSTM网络，当正则化系数依次从0.001变化为0.01和0.1时，LSTM网络在训练集和测试集上的准确度都在不断降低，分别由69.9%略降至69.4%再降至61.4%和69.4%略降至68.6%再降至61.6%。对于GRU网络，其随正则化系数变化而变化的趋势与LSTM网络变化趋势大致相同。因此，综合考虑后本实验最佳的L-2正则化系数(λ)为0.01。3）考察dropout参数。在三种不同的网络模型上分别设置dropout为0、0.1、0.2和0.3，并分别探究在不同的dropout参数下，三种网络在训练集和测试集上的准确率的变化趋势，实验结果如图4-5所示：图4-5三种网络在不同dropout参数下的准确率以RNN网络为例，测试在不同学习率下dropout参数对实验最后的准确率影响如何，实验结果如图4-6所示：图4-6RNN网络在不同dropout参数和学习率下的准确率由图4-5和图4-6可以看出，在学习率为一定参时，dropout参数对三种网络的性能影响较小，且较不稳定，多次实验后发现dropout参数的选择对实验结果的影响也有一定的随机性，且当dropout为0.1时，最终实验得到的准确率略微由于其他三项，因此，综合考虑后本实验最终选择设置dropout参数为0.1。4)考察epoch训练次数。当选定以上三个可变参数后，即设置学习率(α)为0.001，L-2正则化系数(λ)为0.01，dropout参数为0.1后，开始对模型整体训练次数进行实验和选择。图4-7和图4-8给出了在两种学习率下，RNN网络的准确率随训练轮数递增而变化的趋势。当学习率为0.01时，网络的准确率出现振荡，收敛性较差；而当学习率为0.001时，网络的准确率比较稳定，收敛性更好。因此再一次验证了最佳学习率(α)应当设置为0.001。图4-7学习率为0.01的情况下RNN的分类器精确度图4-8学习率为0.001的情况下RNN的分类器精确度接着考察RNN网络中损失函数随训练次数增加而变化的趋势，实验结果如图4-9所示：图4-9RNN网络损失函数随训练次数的变化由实验结果中的图4-9可以看出，在学习率为0.001的情况下，当训练次数为85轮时，模型的损失函数逐渐收敛于0.605，且在86至100轮时损失函数始终稳定在0.605附近，因此，综合考虑后本实验最佳的训练次数为100轮。2.3实验结果由2.2节可以确定本实验的全部参数，本实验所有参数如表4-4所示：表4-4本实验全部参数参数名称参数值词汇量(K)2500嵌入层100批尺寸64训练轮数100L-2正则化系数(λ)0.01学习率(α)0.001dropout0.1在三种不同的循环神经网络结构（RNN、LSTM、GRU）上，选定表4-4中的参数，在1.1.3节所介绍的数据集中进行实验，最终的测试结果如表4-5所示，每个结果均是由五轮实验平均而得到的，具有良好的代表性。表4-5三种网络上的准确度网络结构训练集试验集测试集RNN70.194%68.606%70.632%LSTM68.451%67.028%70.411%GRU68.177%68.571%70.386%由最终结果可以看出，三种网络结构之间的差别非常微小，在测试集上，一般循环神经网络RNN以略微的优势超过其他两种神经网络。以上结果表明，数据预处理的质量是从不同的网络结构中获得良好结果的关键。如果进行更深入的文本处理，可以提取到更多有意义的信息和特征。虽然本文的训练模型在测试集上取得了较好的准确率，但是仍有很大的空间来进行改进，特别是LSTM和GRU体系结构。通过更大数量的时间间隔来捕获更精确的时间模式，LSTM和GRU架构可以学习在这些更长的时间序列中将存在的长期依赖性。此外，还应该进行更多的实验数据和测试，微调各种训练值，以获取更好地训练和测试结果。2.4对比基线模型为了验证本文提出的基于循环神经网络的谣言检测方法的分类识别效果，选取以下几种基于传统机器学习谣言检测方法作为基线模型进行对比。它们分别为：DTC：使用决策树的模型作为区分谣言和非谣言的分类器，使用了从微博数据集中手工提取的一些特征来作为区分的依据。SVM-TK：使用了支持向量机SVM，使用SVM中的核函数来作为区