深度学习的常用模型和方法课件

深度学习的常用模型和方法2016年9月18日深度学习的常用模型和方法2016年9月18日1

深度学习的背景1目录

深度学习常用模型和方法2

总结与展望3

自动编码器1

稀疏编码2

卷积神经网络3

RNN与LSTM4深度学习的背景1目录深度学习常用2

深度学习的背景1实际生活中，人们为了解决一个问题，如对象的分类（文档、图像等），首先必须做的事情是如何来表达一个对象，即必须抽取一些特征来表示一个对象。如文本的处理中，常常用词集合来表示一个文档，或把文档表示在向量空间中（称为VSM模型），然后才能提出不同的分类算法来进行分类；又如在图像处理中，我们可以用像素集合来表示一个图像，后来人们提出了新的特征表示，如SIFT，这种特征在很多图像处理的应用中表现非常良好，特征选取得好坏对最终结果的影响非常巨大。因此，选取什么特征对于解决一个实际问题非常的重要。然而，手工地选取特征是一件非常费力、启发式的方法，能不能选取好很大程度上靠经验和运气。自动地学习特征的方法，统称为DeepLearning。深度学习的背景13AutoEncoder自动编码器2.1

深度学习中最简单的一种方法是利用人工神经网络的特点。如果给定一个神经网络，我们假设其输入和输出相同，然后调整其每层参数，得到每一层的权重，自然，就得到了输入的几种不同表示，这些表示就是特征（feature）。

自动编码器是一种尽可能复现输入信号的神经网络。其大致过程如下：1，给定无标签数据，用非监督学习学习特征AutoEncoder自动编4AutoEncoder自动编码器2.1此时的误差可由重构后与原输入相比得到。

经过最小化重构误差之后，可以认为code此时就是input的一种良好的表达。AutoEncoder自动编5AutoEncoder自动编码器2.1

2，通过编码器产生特征，逐层训练

将第一层输出的code作为第二层的输入信号，同样最小化重构误差，就得到了第二层的参数和第二层输出的code。其他层用同样的方法炮制，每一层均能得到输入的一种表达，直到产生到需要的层数。

AutoEncoder自动编6AutoEncoder自动编码器2.1

3，有监督的微调

最后，为了可以实现分类，一般可以在AutoEncoder的最顶层添加一个分类器，然后通过标准的多层神经网络的监督训练方法去训练。

在这里，可以通过有标签样本仅调整分类器，也可以对整个系统进行微调（数据多）。AutoEncoder自动编7AutoEncoder自动编码器2.1在研究中可以发现，如果在原有的特征中加入这些自动学习得到的特征可以大大提高精确度，甚至在分类问题中比目前最好的分类算法效果还要好。两个变体稀疏自动编码器降噪自动编码器稀疏自动编码器：限制每次得到的表达code尽量稀疏。

降噪自动编码器：训练数据加入噪声，迫使编码器更具有鲁棒性。AutoEncoder自动编8SparseCoding稀疏编码2.2稀疏编码是一种无监督学习方法，它用来寻找一组“超完备”基向量来更有效地表示样本数据。其目的是将输入的样本集X分解为多个基元的线性组合，然后这些基前面的系数表示的是输入样本的特征。O=a1*Φ1+a2*Φ2+….+an*Φn，Φi是基，ai是系数。那么可以得出一个优化问题： MIN|I–O|，其中，I为输入，O为输出

通过求解这个最优化式子，可以求得Φi和ai，也就能得出输入的特征表示。

如果我们加上稀疏规则限制，得到：MIN|I–O|+λ（|a1|+|a2|+…+|ai|）

这种方法就是稀疏编码。SparseCoding稀9SparseCoding稀疏编码2.2稀疏编码分为两个部分：

（1）Training阶段:

目标：给定一系列的样本图片[x1,x2,…]，我们需要学习得到一组基[Φ1,Φ2,…]。

训练过程是一个重复迭代的过程，不断交替更改a和Φ使得下面这个目标函数最小。

（2）Coding阶段:

给定一个新的图片x，求a矩阵的值，使得上面的目标函数取得最小值。SparseCoding稀10SparseCoding稀疏编码2.2SparseCoding稀11

卷积神经网络（CNN）2.3卷积神经网络是一种特殊的深层的神经网络模型，它的特殊性体现在两个方面，一方面它的神经元间的连接是非全连接的，另一方面同一层中某些神经元之间的连接的权重是共享的（即相同的）。它的非全连接和权值共享的网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。卷积神经网络（CNN）2.312

卷积神经网络（CNN）2.3卷积神经网络的结构与特点：BP神经网络卷积神经网络（CNN）2.313

卷积神经网络（CNN）2.3LeNet-5文字识别系统卷积神经网络（CNN）2.314

循环神经网络（RNN）与LSTM2.4人类并不是每时每刻都从一片空白的大脑开始他们的思考，人总是基于自己已经拥有的对先前词的理解来推断当前词的真实含义。传统的神经网络没有考虑到时间因素，也就是其并不能记忆之前存储的内容。而RNN解决了这个问题，RNN是包含循环的网络，允许信息的持久化。循环神经网络的基本结构如下所示：循环神经网络（RNN）与LS15

循环神经网络（RNN）与LSTM2.4RNN被广泛的应用在语音识别、语言建模、翻译等方面。而这些应用的关键就是LSTM的使用。长短时记忆网络（LSTM）是一种特殊的RNN模型，其特点是可以学习长期依赖的信息。LSTM可以自动记忆长期的信息而不需要特意花费很大的代价。标准RNN结构循环神经网络（RNN）与LS16

循环神经网络（RNN）与LSTM2.4LSTM的结构根据上个输出和当前的输入决定是否抛弃之前的状态内容循环神经网络（RNN）与LS17

循