【《基于注意力机制的预测模型分析案例》3800字】

基于注意力机制的预测模型分析案例目录TOC\o"1-3"\h\u1962基于注意力机制的预测模型分析案例 1145041.1设计背景 1102991.2Rock-ACNN注意力机制模型 2131971.3实验过程与结果分析 677851.3.1超参的影响 698711.3.2评价指标与实验结果 8在基于特征交互的岩石破裂值预测模型Rock-CNN中，存在岩石特征顺序影响最终破裂值的问题，本章节为解决此问题，引入注意力机制对Rock-CNN模型进行改进，从而设计了基于注意力机制的岩石破裂值预测模型Rock-ACNN。在本章节中首先介绍了为何要引入注意力机制，即利用注意力机制的设计背景；之后详细介绍了在Rock-ACNN模型的工作过程、所采用的注意力机制。最后分析了模型在不同数据划分比例下的实验结果，并对比了注意力机制中的一些超参数对模型实验性能的影响。1.1设计背景用LR、FM和DeepFM等算法建模的一系列特征交互模型中不涉及到特征顺序的问题，即无论给定数据集中的特征顺序是什么，都可以将其处理后直接送入模型去训练。以FM算法为例，从此算法的计算公式中我们可以看到，无论岩石数据中特征的顺序是什么，所有的特征项和特征交叉项是不改变的，因此不会存在声发射数据的特征顺序不同，而导致模型实验性能不同的问题。但是在Rock-CNN模型中，可能会存在岩石数据特征顺序影响实验性能的问题。因为在Rock-CNN模型中，提取声发射数据高阶特征交互信息主要依赖卷积层，而卷积层最主要的作用是提取局部区域最显著的特征。如果喂入模型的数据特征顺序不同，则通过卷积层操作得到的局部最显著的信息不同，卷积操作由浅层向深层堆叠，从而导致在网络深层提取到的特征矩阵也不同，最终可能会产生一些误导数据，对岩石破裂值预测影响不显著，从而导致模型预测时的性能问题。此外，在高阶交互模型Rock-CNN中，特征的相对顺序也会影响特征之间的交互程度，如果按照既定的特征顺序喂入模型，则在第一次卷积操作中只有前三个特征交互（假设卷积核大小为3×3），那么第一个特征e1因此为了解决上述问题，进一步提升模型预测的性能，在本章节中引入注意力机制，主要有以下两个创新点。第一，通过在卷积神经网络之前加入多头自注意力机制，解决卷积操作产生误导信息的问题；其次，通过自注意力机制，加强了任意特征之间的交互，提高模型预测性能。1.2Rock-ACNN注意力机制模型问题定义：训练集由N条记录[e,y]组成，e表示岩石声发射数据的16个特征（震级、能量、幅值等），y介于0到1之间，表示岩石的破裂程度。此岩石破裂值预测问题的目标是利用注意力机制对第三章节的Rock-CNN模型进行改进，解决其模型中存在的一些问题，从而提高模型预测性能。针对1.1章节所描述的特征顺序问题，本论文在3.2章节Rock-CNN模型的基础上，提出在卷积神经网络模块之前添加Vaswani等人在2017年所提出的transformer中的多头自注意力机制。多头自注意力机制意味着并行执行多次自注意力函数，每次的参数都不一样，这样可以使得模型在不同的表示子空间里学习到不同的信息表示，最后将执行h次后得到的信息表示拼接在一起，语义更为丰富且节约时间。其次，使用自注意力可以更好的捕获长距离依赖关系。因为在本论文的岩石破裂值预测任务中，当使用自注意力函数计算任意一个特征和其他特征之间的相互关系时，最长路径总是为1。多头自注意力机制以及自注意力函数的示意图如图1.1(a)和图1.1(b)所示。图1.1多头注意力和自注意力模型图Fig.1.1Thearchitectureofmultiheadattentionandself-attention从图1.1中可以清楚的了解多头自注意力机制和自注意力函数的计算过程，具体计算如公式（1.1）和公式（1.2）。(1.1)(1.2)其中，WiQ,WiK,WiV分别代表在执行第i个注意力函数时query、key、value分别对应的权重矩阵，自注意力函数具体的计算过程如图1.2所示。图1.2自注意力工作过程Fig.1.2Theworkingmechanismofself-attention根据图1.2可以清楚的了解自注意力函数的每一步是如何计算的。为方便之后的模型实验对比，记在Rock-CNN模型卷积神经网络之前加入多头自注意力机制后的模型为Rock-ACNN，Rock-ACNN模型结构图如图1.3所示。图1.3Rock-ACNN模型图Fig.1.3ThearchitectureofRock-ACNN从模型图1.3可以看出，输入层、嵌入层、以及卷积神经网络模块和3.2章节中的Rock-CNN模型都是相同的，此处不再赘述。FM层：FM层结果计算和Rock-CNN模型FM层计算过程类似，记为yFM(1.3)其中，w0，wi为模型FM层中的权重参数，ei为经过嵌入层处理后的特征，v多头自注意力层：如图1.3，在嵌入层和卷积神经网络层之间添加多头自注意力层，将经过嵌入层处理的每个特征ei当做自注意力层中每个时刻的输入。具体来讲，当处理第i个特征时，自注意力函数将会为所有时间步的输入（嵌入层的输出，即每个岩石声发射特征）分配权重值，代表其他时刻特征和当前第i个预测层：Rock-ACNN预测层的处理和Rock-CNN模型的处理相同，如公式（1.4）所示。(1.4)其中，wFM，w图1.4Rock-CNN和Rock-ACNN模型特征交互对比图Fig.1.4ComparisonoffeatureinteractionbetweenRock-CNNandRock-ACNN综上，在卷积神经网络之前加入注意力层，避免了上述存在的特征顺序的问题。从图1.4中可以看到，在没有加入注意力机制之前，在每一次卷积操作中进行特征交互的岩石特征个数有限，而且在卷积神经网络的浅层卷积层中只有3个特征进行交互（假设卷积层过滤器大小为3*3），特征之间交互不充分，可能导致模型性能受限。加入注意力层之后，自注意力层会为每一个特征赋予一个权重向量，向量中的每个值代表了其他特征与当前特征的影响系数，之后，特征会根据其他每个特征（包括它自己）对自己的权重值进行加权求和，从而得到该特征的向量表示。从上述可以得出，每个特征是由所有的特征来表示的，因此在每次进行卷积操作时，无论卷积层过滤器的大小时多少，所有特征都参与了交互，而无须等到更深的卷积层时所有的特征才可以进行交互，从而使得特征与特征之间的交互更加充分。1.3实验过程与结果分析在本章节中，所设计的Rock-ACNN模型的训练过程以及模型训练过程中所采用的dropout机制、模型参数的更新算法和Rock-CNN模型使用的相同。此外，模型运行所利用的实验环境、所采用的数据集以及数据集的划分比例和3.3.2章节相同。在本章节实验过程中，仍采用测试集上的RMSE和MAE值作为模型的评价指标，如公式（3.8）和公式（3.9）所示。实验模型Rock-ACNN模型中的参数设置和第三章节中Rock-CNN模型相同。其中，Batch大小为256，学习率lr为0.01，k为40，dropout为0.1，迭代100轮，卷积神经网络中卷积核的大小为3*3，步长stride为2，此外，在Rock-ACNN模型中卷积神经网络模块之前所采用的多头自注意力为4层4头，在这种情况下，实验效果最好，探究过程如1.3.1章节所示。1.3.1超参的影响本章节为解决Rock-CNN模型中存在的特征顺序影响模型预测性能的问题，在卷积神经网络前增加了多头自注意力机制。为了探究模型在什么情况下的实验效果最优，此章节在训练数据集和测试数据集的比例为4:1，而且其他模型参数不变的情况下，对模型中卷积神经网络之前多头自注意力机制堆叠的层数，和注意力函数执行的次数（即几头注意力）进行了若干探索。具体参数和实验结果如表1.1所示。表1.1多头自注意力实验结果表Tabel1.1Experimentalresultsofmultiheadself-attentionModelRMSEMAE1头2头4头8头1头2头4头8头1层0.08230.08180.08130.08420.06550.06430.06430.06512层0.08580.08570.08200.07930.06830.06810.06610.06734层0.08250.07650.07260.08060.06450.06110.05930.0628表1.1是Rock-ACNN模型中的多头自注意力模块在不同参数设置下的RMSE和MAE结果值。根据表1.1，可以得出在训练集和测试集的划分比例为4:1的情况下，四层和4头注意力机制下的模型实验效果最优，在评价指标RMSE和MAE上分别取得[0.726,0.0593]，而2层1头注意力配置下，RMSE和MAE分别为[0.0858,0.0683]。相比于2层1头注意力机制，4层4头注意力下，模型在两个评价指标上分别提升[1.32%,0.9%]，这进一步提升了模型预测岩石破裂值的性能。不同注意力参数下实验模型的评价指标RMSE和MAE的变化情况如图1.5。图1.5多头自注意力RMSE和MAE折线图Fig.1.5TheRMSEandMAElinechartofmultiheadself-attention1.3.2评价指标与实验结果在这一章节中，实验模型Rock-ACNN及相对应的baseline模型（Rock-CNN）在两个评价指标上的实验结果如表1.2所示。表1.2注意力模型的RMSE和MAE值Tabel1.2RMSEandMAEvalueofattentionmodelModeltrain:test=2:1train:test=3:1train:test=4:1RMSEMAERMSEMAERMSEMAERock-CNN0.100.0850.0930.0750.0870.07Rock-ACNN0.0870.0720.080.0630.0730.06在表1.2中，Rock-ACNN代表在Rock-CNN模型卷积神经网络模块之前添加多头自注意力机制的实验结果。根据表1.2可以看到，无论训练数据集和测试数据集的比例被划分为多少，加入注意力机制后的Rock-ACNN模型相比于之前的模型，性能都有所提升。具体的，当训练集和测试集的划分比例为3:1时，Rock-CNN的RMSE值和MAE值分别为[0.093,0.075]，而Rock-ACNN的RMSE值和MAE值分别为[0.08,0.063]，在两个评价指标上分别提升[1.3%,1.2%]。这通过实验的方法证明了，在基于高阶特征交互的模型