【自然语言处理中的深度网络模型概述3000字】

自然语言处理中的深度网络模型概述目录TOC\o"1-3"\h\u14347自然语言处理中的深度网络模型概述 1126961.1.1多层感知机 13541.1.2循环神经网络 2301111.1.3长短时记忆网络 3254141.1.4双向长短时记忆网络 470821.1.5注意力机制 5随着深度学习技术在计算机视觉方向与模式识别领域的巨大突破，极大地推动了深度学习技术在自然语言处理方向的研究。自然语言处理是以人类语言为研究对象来实现人与计算机之间的交互，其核心是如何从自然语言文本序列中挖掘出复杂的语义和结构信息。自然语言处理的主要研究任务为机器翻译、情感分析、问答系统以及文本语义分析，其中文本语义分析研究对自然语言与代码片段语义理解至关重要。深度学习中的神经网络模型为自然语言理解提供了理论支撑，极大地提高从文本序列中抽取更深层次的语义和结构信息的效率。多层感知机图2.1多层感知机网络 Fig.2.1Multilayerperceptronnetwork多层感知机是至少包含一个隐藏层，且层与层之间的连接为全连接的深度网络结构，其网络结构又称深度神经网络[51](DeepNeuralNetwork,DNN)。多层感知机网络中的每一个隐藏层是采用非线性激活函数的方式来实现数据的非线性转换。多层感知机的第一层为输入层，而最后一层为输出层，中间的若干层统称为隐藏层。图2.1为包含2个隐藏层的多层感知机深度神经网络，其输入层中包含6个神经元，输出层中包含1个神经元，而2个隐藏层中的神经元个数分别为4和3。从图2.1可知，多层感知机中的输入层、隐藏层以及输出层之间都是全连接层的，其迭代公式为: H1=φXW H2=φ(H1 O=H2Wo其中，X为输入样本数据，Wh1和bh1为第一个隐藏层的超参数，Wh2和bh循环神经网络循环神经网络[52](RecurrentNeuralNetwork,RNN)可以很好地处理包含时序关系的相关任务，例如音频数据以及自然语言文本数据，并且RNN网络结构如图2.2所示。RNN采用序列填充对齐的方式不仅可以处理固定长度的序列，也可以处理可变长度的序列，而传统的神经网络只能处理固定长度的序列。RNN以参数共享的方式来保留数据在指定范围内的参数信息，从而来学习具有时序关系数据的有效表示。图2.2RNN网络结构Fig.2.2RNNnetworkstructure图2.2为RNN的时序展开结构，其隐藏层会将上一时刻的状态传递给下一时刻。自然语言处理任务中文本序列是存在时序关系的序列，文本序列特征的理解是一个前后信息合并的过程，与RNN网络的数据处理方式相符。给定一个本文序列，RNN将文本序列中的每个单词映射到一个指定维度的实值向量。xt为t时刻的输入数据，而ht为 ht=tanh⁡(Uxot=softmax⁡(V其中，函数tanh是一个值域在[-1,1]的中心化非线性的激活函数，参数U和W是深度网络中的共享参数，ot为网络在t时刻的softmax操作的概率输出，参数V长短时记忆网络RNN无法捕获距离较远的文本信息，且而距离较近但语义上关联不大信息的对序列语义的理解存在一定的干扰。虽然RNN可以高效的处理时序任务，但随着文本序列长度的增加会产生两个非常严重的问题：(1)梯度消失。如果在RNN反向传播过程中各个层次之间的相乘都在[0,1]之间，会产生梯度消失现象；(2)梯度爆炸。如果在RNN反向传播过程中各个层次之间的相乘都大于1，会产生梯度爆炸现象。图2.3LSTM网络结构Fig.2.3LSTMnetworkstructure长度时记忆网络[53](LongShort-TermMemoryNetwork，LSTM)是为了解决RNN中存在的局限性而提出来的更高效的序列语义特征提取模型，其网络结构如图2.3所示。LSTM主要引入遗忘门、输入门以及输出门来达到门控的目的，并以高速网络的方式充分保留上一时刻的细胞状态来更好的捕捉序列的语义表示。其中遗忘门Ct部分起着保留多少上一时刻信息的作用；输入门向Ct中添加当前时刻的信息，并更新当前记忆细胞的状态；输出们则从 ft=σ⁡(W it=σ⁡(Wi Ct=tanh⁡(WC Ct=f ot=σ⁡(Wo ht=ot双向长短时记忆网络LSTM将上一时刻隐藏层的状态作为相应输入元素来预测下一时刻隐藏层的状态，这样的特征提取方式则说明t时刻的隐藏层的状态只能从t时刻之前序列x0,x1,…,xt−1以及当前时刻的输入x图2.4为双向LSTM结构图。考虑任意时刻t，xt为t时刻的输入，Ht−1为正向LSTM中的隐藏层的状态表示，Ht+1'为反向LSTM中的隐藏层的状态表示。正向LSTM中t时刻的隐藏层的状态表示Mt与Mt−1,x Mt=F⁡( Mt'=F yt=G⁡( 其中，函数F和函数G为神经网络中的激活函数，U、W和V为正向LSTM网络中的参数，而U'、W'和图2.4双向LSTM网络结构Fig.2.4Bi-LSTMnetworkstructure注意力机制注意力核心思想与人类观察物体的方式相似，都是对物体的不同部分给予不同的关注程度。当观察物体时，人类视觉关注物体的时候一定会关注物体的某一个特征点，注意力机制会给予物体特征明显处更多的关注来捕获区域中更多的细节特征，并抑制对图像中噪声部分数据的关注，从而以更精准的方式来捕获物体的显著特征。深度学习中的注意力机制与人类关注物体的视觉注意力机制类似，核心都是将更多的权重给予对目标任务影响更大的部分信息，给予其他不重要部分较小的权重。注意力机制原理为计算当前的初始输入序列与目标输出序列的匹配程度，匹配程度越高则说明给予更多关注权重。图2.5Encoder-Decoder框架Fig.2.5Encoder-Decoderframework Encoder-Decoder框架是一种基于序列到序列模式的编码器-解码器架构，传统的机器翻译就是依赖于Encoder-Decoder框架，其网络结构如图2.5所示。Encoder-Decoder中的编码器Encoder提取输入元素中包含的潜在特征，并将其压缩到一个固定长度且包含输入元素x1,x2,…,x