【深度学习常见算法综述2300字】

深度学习常见算法综述以下是10大最受欢迎的深度学习算法：卷积神经网络(ConvolutionalNeuralNetwork,CNN)长短期记忆网络(LongShort-termMemory,LSTM)循环神经网络（RecurrentNeuralNetwork,RNN）生成对抗网络(GAN)径向基函数网络(Radialbasisfunctionnetwork,RBFN)多层感知器(MultilayerPerceptron,MLP)自组织映射(SOM)深度信念网络(DeepBeliefNetwork,DBN)受限玻尔兹曼机（RestrictedBoltzmannMachine,RBM）自编码器1）卷积神经网络CNN，也称为ConvNets，由多层组成，主要用于图像处理和对象检测。YannLeCun于1988年开发了第一个CNN，当时它被称为LeNet。它用于识别邮政编码和数字等字符。图1为CNN网络模型的应用及模型。CNN广泛用于识别卫星图像、处理医学图像、预测时间序列和检测异常。CNN有多个层来处理和从数据中提取特征：卷积层CNN有一个卷积层，它有几个过滤器来执行卷积操作。整流线性单元(ReLU)CNN有一个ReLU层来对元素执行操作。输出是修正后的特征图。池化层修正后的特征图接下来馈入池化层。池化是一种降低特征图维度的下采样操作。然后，池化层通过将池化特征映射中的二维数组转换为单个、长、连续的线性向量。全连接层当来自池化层的扁平矩阵作为输入馈入时，形成全连接层，该层对图像进行分类和识别。图2-1CNN网络的应用2）生成对抗网络GAN是生成式深度学习算法，可创建类似于训练数据的新数据实例。GAN有两个组件：一个生成器，它学习生成假数据，以及一个鉴别器，它从虚假信息中学习。GAN的使用在一段时间内有所增加。它们可用于改善天文图像并模拟暗物质研究的引力透镜。视频游戏开发人员使用GAN来升级旧视频游戏中的低分辨率、2D纹理，方法是通过图像训练以4K或更高分辨率重新创建它们。GAN有助于生成逼真的图像和卡通人物、创建人脸照片以及渲染3D对象。GAN的工作流程：鉴别器学习区分生成器的假数据和真实样本数据。在初始训练期间，生成器产生假数据，判别器很快学会辨别它是假的。GAN将结果发送给生成器和鉴别器以更新模型。图2-2为GAN的工作流程。图2-2GAN的工作流程3）循环神经网络循环神经网络是一种处理时间序列问题比较优秀的深度学习算法。深度学习算法通常用于顺序或时间问题，例如语言翻译、自然语言处理、语音识别和图像字幕；它们被整合到流行的应用程序中，例如Siri、语音搜索和谷歌翻译。与卷积神经网络一样，循环神经网络利用训练数据进行学习。它们的区别在于它们的“记忆”，因为它们从先前的输入中获取信息来影响当前的输入和输出。虽然传统的深度神经网络假设输入和输出彼此独立，但循环神经网络的输出取决于序列中的先验元素。虽然未来事件也有助于确定给定序列的输出，但单向循环神经网络无法在其预测中考虑这些事件。循环神经网络的结构主要由三层组成：输入层、隐藏层和输出层。循环神经网络对时间序列问题的核心就在隐藏层，因为循环神经网络的隐藏层之间的还相互联系着，隐藏层的状态是基于过去记忆和现在输出加以权重函数。RNN结构如图2-3所示。图2-3RNN结构图图2-3中为x神经细胞输入，o为与之对应细胞的输出，h为隐藏层状态,U为细胞输入的权重,V为细胞输出的权重,W为隐藏层状态的权重.。而其具体公式如下：（2-1）（2-2）4）长短期记忆循环神经网络长短期记忆循环神经网络是一种为了解决RNN在面对长时间序列问题时出现的梯度消失或者梯度爆炸的神经网络。LSTM是一种循环神经网络(RNN)，可以学习和记忆长期依赖关系。长时间回忆过去的信息是默认行为。LSTM会随着时间保留信息。它们在时间序列预测中很有用，因为它们会记住以前的输入。LSTM具有链状结构，其中四个交互层以独特的方式进行通信。除了时间序列预测，LSTM通常用于语音识别、音乐创作和药物开发。LSTM的工作：首先，他们忘记了之前状态的不相关部分接下来，他们有选择地更新细胞状态值，最后输出某些部分的细胞状态。LSTM相对于普通的RNN，LSTM提出了“门”这一结构，即“遗忘门”、“输入门”和“输出门”。LSTM通过“遗忘门”和“输入门”结构增加信息遗忘信息和输出来达到对信息的筛选以保留重要信息和删除没必要的信息，而“输出门”则得出当前细胞的输出来影响下一个细胞。图4为LSTM循环神经网络的具体结构。图2-4LSTM循环神经网络结构如图2-4所示，A所代表的区域为LSTM循环神经网络的一个细胞结构(cell)。贯穿整个神经的上面那条线为细胞状态（cellstate）,如图2-5。其中为上一个神经细胞的记忆内容，为当前这个神经细胞的记忆内容。而从到的过程就是当前细胞A通过“遗忘门”和“输入门”对细胞记忆内容的一个改变，即保留重要信息和删除没必要的信息。图2-5细胞状态“遗忘门”、“输入门”和“输出门”虽然是LSTM核心的三个功能，但是他们本质上都是通过sigmoid()函数进行选择和利用tanh函数进行转换来实现这各自的功能，只是三个“门”对这两个函数有不同的应用。下面会对这三个“门”两种函数的应用进行解析。“遗忘门”决定了上一个神经细胞的记忆内容遗忘多少内容，即乘以，具体公式如下：（2-3）为一个0到1的数值，0表示完全遗忘，1表示不遗忘。为sigmoid函数。为“遗忘门”的权重矩阵，为其偏置。为上一个细胞的输出，为当前这个细胞的输入。图2-6为遗忘门结构。图2-6“遗忘门”结构“输入门”决定了当前神经细胞的输入会有多少保留在细胞状态，即乘以。为保留多少，是一个0到1的数值，0表示不保留，1表示完全保留。是基于和通过tanh函数得到得临时细胞状态。和的具体公式如下：（2-4）(2-5)为“输入门”的权重矩阵，为其偏置。为当前细胞输入的权重矩阵，为其偏置。图2-7为“输入门”结构。图2-7“输入门”结构通过“遗忘门”和“输入门”我们可以得到当前细胞状态，其公式如下：(2-5)而“输出门”基于当前的细胞状态来得到本细胞的输出，其公式如下：（2-6）