【《基于深度学习的预测模型分析概述》2200字】

基于深度学习的预测模型分析概述1.1深度神经网络模型深度神经网络（DeepNeuralNetwork，DNN）一般被称为多层次感知器，它是深度学习的基础。图2.4为一个感知器的模型示意图，其输入通过一个线性变换再经过激活函数得到输出：单个感知器模型示意图其中的线性变换见式（2.18）：f=W·X+b=W是权重矩阵，b是偏移，两者都是可学习的参数。结合图2.4，可知式（2.18）中的n取值为5。DNN是在感知器的基础上扩展形成的，分为输入层、隐藏层和输出层，并且隐藏层可以有多层。在DNN中，每一层之间是全连接的，即第i层的任一神经元是同第i+1层的任一神经元相连接的。尽管深度神经网络直观上看起来难以理解，但它的模型构建思路同感知器一样，内部运算都是经由线性变换加上激活函数。图2.5是一个两层DNN的模型（不算输入层），除输入层外，其他层每一个神经元的值都是前一层所有神经元值线性组合的结果，这些结果都由激活函数进行了非线性处理。两层DNN示意图对于慕课辍学预测问题，用向量x1,x1.2长短期记忆模型长短期记忆模型（LongShort-TermMemory，LSTM）是循环神经网络（RecurrentNeuralNetwork，RNN）的一个变种，并且也有一些慕课辍学预测的研究基于原版RNNREF_Ref70104856\r\h[9,REF_Ref70105097\r\h20]，因此，本文先对RNN做一个简单的介绍。RNN是根据“某个人在某时刻的行为和认知依赖于过去的经历”这一观点提出的。RNN不仅能够将前一个时序阶段的输入纳入考虑的范围，还能够兼顾更早时序阶段的内容，也就是说，在RNN中，一个时序阶段的输出蕴含了前面时序阶段的内容，并且，在下一个时序阶段进行计算时，该时序阶段的输出会作为下一个时序阶段输入的一部分，从而使得过去时序阶段的信息融入到新的计算中。RNN模型如图2.6所示，左边是RNN模型的简单表现形式，右边是将RNN模型循环计算展开的流程表示图。其中，红线传递的是上一时序阶段的输出ht−1，t=1,2,…,TRNN计算流程RNN模型神经元内部的计算细节见图2.7，其计算主要是线性的，当前时序阶段的输入xt通过线性变换将维度从i映射为h。在这个计算过程中，RNN模型采用的是矩阵求和的方法来保留此前时序阶段的信息，并在最后一步采用双曲正切激活函数进行非线性变换。RNN模型神经元内部计算细节RNN模型处理时间序列问题的效果非常好，但它也存在不少问题，其中最为严重的是容易出现梯度爆炸或梯度消失的问题。梯度爆炸即梯度发散，在计算过程中，误差梯度经过不断累积可能会变得非常大，导致模型权重更新幅度过大从而影响整个模型的稳定性。梯度消失则意味着模型对较早时序阶段上信息记忆的失效，即由于历史梯度信息随时序阶段的推进衰减，近几个时序阶段的梯度信息逐渐占主导地位，导致模型无法学习较远时序阶段的信息。LSTM模型采用阈值判定的方法，并在细胞内部加入了门控单元，解决了梯度爆炸和梯度消失的问题。相较于RNN，LSTM模型更加复杂，其复杂性具体体现在神经元内部的计算上，如图2.8所示，A为遗忘门，B为输入门，C为输出门。LSTM模型神经元内部计算细节计算一开始，LSTM模型利用当前时序阶段的输入xt和上一时序阶段的输出ht−1进行一个线性变换运算，其得到的中间结果再通过sigmoid激活函数进行非线性变换（sigmoid符号表示为σ），最后将输出向量ftf上式中，Wf为循环权重，Uf为输入权重，bf为偏移，都是可学习的参数。式（2.19）的计算过程称为遗忘门结构，即图2.8中蓝色虚线框的A部分，向量某一维度结果取值为0表示要完全遗忘该维度的信息，取值为1表示要完全保留该维度的信息，之后ft会与状态向量ct−1对位相乘，进行一次信息的记忆与遗忘。例如，通过遗忘门的计算后ft输出向量[0,1,1,1,1,1]，在同图2.8中蓝色虚线框的B部分称为输入门结构，之后会由其中求得的it来决定将要更新的值，ct称为候选状态，用于同it对位相乘来产生新状态的一部分，这一结果和之前时序阶段的状态结合产生当前时序阶段的新状态cicc上式中，Wi和Wc为循环权重，Ui和Uc为输入权重，bi和b最后是输出门的运算，见图2.8蓝色虚线框C部分。利用双曲正切激活函数处理神经元细胞的新状态ct，将状态的值映射到-1到1之间，再用ot向量与之对位相乘来过滤得到输出结果oh上式中，Wo为循环权重，Uo为输入权重，利用LSTM模型预测慕课用户辍学情况的步骤如下：算法2.2：利用LSTM模型进行慕课辍学预测输入：慕课用户数据，处理成时间序列的格式输出：辍学概率步骤1：数据预处理，初始化h0和c步骤2：将向量xt、ht−1以及ct−1输入LSTM细胞进行运算，得到ht