【深度学习理论理论基础概述3100字】

1深度学习理论理论基础概述深度学习理论理论基础概述 11.1深度学习概述 1 21.3深度信念网络 31.4卷积神经网络 3 5深度学习是学习样本信息的内在规律和说明水平的方法，因此从这些学习过程中获得的信息在解释文本、图像和声音等知识方面有很大的帮助。它的最终目标是改变机器，使其拥有与人类相似1.1深度学习概述深度学习是目前机器学习领域中最流行的分支，深度学习特别习惯于解决知识选项的深度提取然后将其处理到另一层，因此另一层负责输出信号。然而在深度学习中，它不是一个简单的两层结深度学习的定义并不严格；简单来说就是一个多层网络结构模型的通用术语，是机器学习的一如图1.1所示，神经网络的机器模型通常需要大量的互连节点，并具有以下两个特点。2图1.1神经网络模型深度学习的本质是通过多层非线性部分来表示抽象知识的一些特征，或者通过分层的非线性网络结构来表示一些很多复杂的功能。在图像处理中，就是通过超大范围的训练获得学习的图像选项深度学习就是通过超大范围的实验样本获得学习的图像选项。目前，可以将深度学习的模型大致分成三类：混合型结构：自动编码器等生成型结构：深度信念网络(DeepBeliefNetwork,DBN)等。区分型深度结构：卷积神经网络(ConvolutionalNeuralNetwork,CNN)等。之后我将会对这三种深度学习的主要模型进行介绍。传统的自动编码器可以被看作是一种信息的压缩算法程序，其算法程序由解码和编码两个部分组成，并包含一个对称结构。目前，自动编码器有2个主要的应用，主要的是数据去噪，还有一个是视觉图像和空间属性的还原。在可接受的空间属性和扫描次数限制方面，自动编码器将比PCA等技术学到更多的信息预测。图1.2是传统编码器的编码过程。输入层隐藏层输出层图1.2传统编码器的编码过程下面的公式可以展现出此过程：3编码的偏置、权重表示为：b₁、W₁解码的偏置、权重表示为：b₂.W₂损失函数为：基于梯度的传统方式可以作为自动编码器的训练过程。传统的自编码器的目的是使输出尽可能地与输入相同，这可以完全通过学习2个常数函数来实现，然而这样的变形并没有任何意义，因为我们实际上关心的是隐含表达式，而不是特定的输出。所以，隐层表达被自动编码器的增强功能增加了很多约束，迫使输入与隐层表达产生区别。1.3深度信念网络深度信念网络本身是一个概率生成模型，与神经网络的正常判别模型不同，生成模型在观察和标签之间建立一个联合分布，评估每个P(观察标签)和P(标签观察),而判别模型只评估后者，即P(标签观察)。DBNs包含多层受限玻尔兹曼机，一个典型的网络结构如图1.3所示。这些网络单元”限制"为一个普通层和一个隐藏层，各层之间有连接，但各层之间的单元没有连接。隐蔽层中的单元经过训练，可以捕捉到可见层中显示的高阶信息的相关性[26]。V图1.3深度信念网络结构事实上，每个受限的玻尔兹曼机将被单独用作聚类器，副层由隐含层和普通层组成，前者可用于训练计算机文件，后者则用于特征检测。深度信仰网络由多层受限的玻尔兹曼机组成，每一层都是生成性和鉴别性模型。DBN被用来指导网络模型的利用，并以无监督的贪婪方式逐层获取权重。1.4卷积神经网络1.4.1卷积神经网络概念纽约大学的YannLecun在1998年提出了CNN,它本质上是一个多层感知器，它的成功是由于它使用了本地属性和权重共享。一方面，它减少了创建网络直接优化的权重数量，另一方面，它降低了模型的质量，即过拟合的机会。一旦网络的输入是一张图片，这一优势就非常明显，这使得图片直接被用作网络的输入，避免了传统识别算法中特征提取和信息重建的困难方法，在处理二维图片的方法中具有很好的好处。如网络会自行提取图像的颜色、纹理、形状和拓扑结构等选项，在处理二维图片的过程中，特别是在识别位移、缩放和其他种类的失真无变化等应用中，具有良好的鲁棒性和运行效率。4卷积神经网络的本质是一个多层感知器，其中每个感知器由多个二维平面组成，每个平面由多和信息重建的困难问题。网络将通过读取部分数据的原生领域获得精心设计的数据，通过共享权重削减神经元的数量，削减网络辅导时间，削减复杂性，并通过汇集采样、减少空间属性和去除冗余数据，整个拓扑结构往往是不间断的旅行、移动和缩放不变的。拓扑结构的特点是平移、旋转和缩卷积神经网络不同于一般的神经网络，它包含一个由卷积层和子采样层特征提取器组成的特征并且在一个非常特征平面中的每个神经元都共享权重。在这里，共享权重指的卷积核操作，而且卷积核的大小有时被初始化为一个随机的品种格式化进行[29]。在整个网络模型结构的辅导方法中，卷积核可以学习并获得一个可承受的权重。共享权重的好处是，它们可以缩减网络模型每一层之间的关联数量，并共同减少整个连接方法中的过拟合危险。如图1.5所示t图1.5卷积神经网络基本架构有2种方法可以削减卷积神经网络中的参数数量，首先是局部感知。一般认为，我们通常都是从局部到全局来认识外部世界，对于图片之间的空间关系也是如此，凡是局部像素，像素之间的空间关系是相同的，局部像素通常有更紧密的联系，而远方像素之间的关联性较小30。因此，不是每个神经元都需要理解全局图像。它只需要进行局部感知，然后混合本地数据，以获得更高层次的全图(1)全连接模式图(2)局部连接模式5图1.6神经网络的全连接与局部连接模式不过，网络结构中仍有太多的参数，因此有第二个办法来缩减参数的数量，那就是权重共享。在高于本地的关联中，每个体细胞对应一百个参数，总共有一亿个神经元。如果这十万个神经元的我们将把一百个参数(即卷积运算)视为提取与位置无关的选项的方式。隐含的原则是，图像的1个部分的应用数学特性是相似的，因为图像的1个部分的应用数学特性的不同组件与相反的组件相似。这意味着我们在这一半的时间里倾向于学习的选项往往适用于不同的组件，此外，我们将一个很直观的方法是从一个超大尺寸的图像中随意选择一小部分像素，比如有一个8×8的图片用于图像的任何部分。具体来说，我们将使用从8×8样本中学习到的选项，从8×8样本中学习到的选项与初始大尺寸图像进行卷积，因此我们将获得我们将获得巨大图像上任何地方的各种选项的如图1.7所示，3×3卷积核在5×5图像上的卷积过程。所有卷积都是一种特征提取，它就像一随机选择3×3窗口随机选择3×3窗口