【《基于特征交互的预测模型分析案例》7400字】

基于特征交互的预测模型分析案例目录TOC\o"1-2"\h\u18182基于特征交互的预测模型分析案例 [63]。其工作机制为，通过在模型的训练过程中丢弃一定概率的神经元，使得训练模型的网络结构变简单，以此降低模型过拟合的风险。算法1.1：基于特征交互的岩石破裂值预测模型的学习过程输入：训练集输出：岩石破裂值设置超参（迭代次数epoch、学习率lr等），初始化模型参数2.whileiter<epochdo通过模型前向传播计算每条数据的岩石破裂值；计算预测值和真实值之间的误差；If误差不在可接受范围之内then利用小批次梯度下降算法计算梯度并更新模型参数；结束训练过程算法1.1总结了以上所提出利用LR，FM，DeepFM算法建模的模型以及Rock-CNN模型的学习过程，从此算法中，我们可以清晰的了解到模型是如何学习与训练的。第一步为初始化模型参数，例如迭代次数、学习率、初始权重等；其次是将处理好的数据送入模型中进行前向传播，得到岩石预测值；最后，计算训练集中所有数据真实值和预测值之间的误差，如果误差不在我们的可接受范围之内或没有达到设定的迭代次数，则利用反向传播算法将误差向模型浅层传播，传播过程中的梯度值将由后向前利用链式法则进行传播，并利用小批次随机梯度下降法更新模型权重以达到更优的效果。权重的更新过程如公式（1.7）所示。(1.7)其中，θ代表模型全局参数，α代表学习率，∂L模型在每次迭代过程中将会一直重复此过程，直到达到设定好的迭代次数，训练过程结束。在进行数据预测时，直接将处理后的数据送入训练好的模型即可预测岩石的破裂值。1.2.4评价指标与实验结果在此岩石破裂值预测的任务中，选取测试数据集上的均方根误差RMSE（RootMeanSquareError）和平均绝对误差MAE（MeanAbsoluteError）作为评价指标，RMSE和MAE的计算如公式（1.8）和公式（1.9）所示。(1.8)(1.9)其中，E'为测试数据集，e'为测试数据集上的一条记录，ye在实验过程中，各个模型的参数配置如表1.3所示，以上所设计的一系列模型在评价指标上的实验结果如表1.4、表1.5、表1.6。表1.3特征交互模型参数表Tabel1.3ParameteroffeatureinteractionmodelsParambatchlrepochKhiddenfilterstridedropoutLR2560.01100FM2560.0110040DeepFM2560.0110040512-256-1--0.1Rock-CNN2560.01100--3*320.1表1.4数据集2:1比例下的特征交互模型实验结果Tabel1.4Experimentresultsoffeatureinteractionmodelswhentrain:test=2:1ModelRMSEImpro1MAEImpro2LR0.21-0.195-FM0.1951.5%0.181.5%DeepFM0.1751.5%0.1554%Rock-CNN0.1011%0.08511%表1.5数据集3:1比例下的特征交互模型实验结果Tabel1.5Experimentresultsoffeatureinteractionmodelswhentrain:test=3:1ModelRMSEImpro1MAEImpro2LR0.20-0.185-FM0.191%0.171.5%DeepFM0.164%0.144.5%Rock-CNN0.09310.7%0.07511%表1.6数据集4:1比例下的特征交互模型实验结果Tabel1.6Experimentresultsoffeatureinteractionmodelswhentrain:test=4:1ModelRMSEImpro1MAEImpro2LR0.19-0.165-FM0.1751.5%0.1551%DeepFM0.163%0.1353%Rock-CNN0.08710.3%0.079.5%表1.7不同数据比例下的DNN、CNN和Rock-CNN模型的实验结果Tabel1.7ExperimentresultsofDNN、CNN、Rock-CNNmodelatdifferentratioModeltrain:test=2:1train:test=3:1train:test=4:1RMSEMAERMSEMAERMSEMAEDNN0.1880.1620.1810.1570.1750.152CNN0.1230.0970.1200.0950.1150.094Rock-CNN0.100.0850.0930.0750.0870.07表1.4、表1.5、表1.6分别代表各个模型在训练集与测试集划分比例为2:1、3:1和4:1时的实验结果，impro1代表相比于baseline（利用LR算法模拟的模型），各个模型在RMSE上提升的百分比，impro2代表相比于baseline，各个模型在MAE评价指标上提升的百分比。表1.7代表在不同数据比例下，DNN、CNN以及Rock-CNN模型在评价指标RMSE和MAE上的实验结果。从以上实验结果可以看出，无论训练集和测试集的划分比例为多少，FM算法模拟的模型的实验效果都要优于baseline模型。例如，当训练集和测试集比例为4:1时，相比于baseline，在两个评价指标上FM模拟的模型提升的百分比为[1.5%，1%]，这说明了通过岩石特征的二阶交互抽取出的信息，对于预测岩石破裂值是有效的，从而通过实验的角度证明了特征交互对于此问题的有效性。此外，通过比较上面三个表格中的FM模型和DeepFM模型的实验结果，可以发现无论训练集和测试集的划分比例为多少，DeepFM模型的性能在两个评价指标RMSE和MAE上总是优于FM模型。具体来说，当训练集和测试集划分比例为3：1时，FM模型的RMSE和MAE值分别为[0.19，0.17]，而DeepFM模型的RMSE值和MAE值分别为[0.16，0.14]，在两个评价指标上比FM模型提升了[3%,3%]。除此之外，对比FM模型和Rock-CNN模型，可以发现Rock-CNN模型在两个评价指标RMSE和MAE上性能都有所提升。这从实验的角度证明了，DeepFM模型和Rock-CNN模型中提取到的高阶特征的交互信息有助于提升模型预测性能，从而进一步证明了特征间的高阶交互对于岩石破裂值预测问题的有效性。最后，对比表1.4、表1.5、表1.6，可以发现无论训练集和测试集的划分比例为多少，相比于其他模型，实验模型Rock-CNN在两个评价指标上的性能最优。当训练集和测试集比例为4:1时，Rock-CNN模型相比于DeepFM高阶交互模型，在RMSE和MAE评价指标上分别提升了[7.3%,6.5%]。而通过对比表1.7中DNN和CNN模型的实验结果，可以发现CNN模型在两个评价指标上的实验性能优于DNN模型。这说明，通过卷积神经网络抽取出的高阶交互信息比通过全连接层抽取的高阶交互信息，语义信息更丰富，更有助于提升模型预测性能，对于预测岩石破裂值问题更有效。此外，通过对比表1.7中CNN模型和Rock-CNN模型的实验结果，可以得出FM模块在预测岩石破裂值时是有效的。综述，本论文从实验的角度证明了所设计的模型Rock-CNN的合理性。图1.3是数据集在不同的划分比例下，不同模型的实验结果曲线图，从图片中可以更清晰的了解各个模型在迭代过程中的变化情况。图1.3特征交互模型RMSE和MAE曲线图Fig.1.3RMSEandMAEcurvesoffeatureinteractionmodels为进一步证明不同模型间的差异性，本论文采用了t-test分布。假设在显著性水平0.05的情况下，零假设如果成立即两个模型间没有显著性差异。即当p-value值小于0.05时，认为两个模型之间存在显著性差异，当p-value值大于0.05时，我们认为两个模型之间不存在显著性差异。表1.8代表了当训练集和测试集的比例分别为2:1，3:1和4:1时，FM、DeepFM算法模拟的模型、Rock-CNN模型和baseline（逻辑回归LR）模型进行对比，所得到的p-value值。从表1.8可以看出，无论数据集划分比例为多少，每个p-value值都小于0.05，零假