《人工神经网络设计 》 课件 第9章 深度信念网络

人工神经网络设计09深度信念网络目录受限玻尔兹曼机01020304深度信念网络深度信念网络设计应用实例：手写数字识别01受限玻尔兹曼机2006年，GeoffreyHinton教授及其同事提出了深度信念网络（DeepBeliefNetworks,DBN）。为了保证深层网络的训练效果，Hinton教授等人借助受限玻尔兹曼机（RestrictedBoltzmannMachine，RBM）对网络进行逐层预训练，解决了深层神经网络训练问题，对神经网络的发展产生了深远的影响。

基本概念3玻尔兹曼机（BoltzmannMachine，BM）是一种由二值随机神经元构成的全连接对称神经网络，包括可见层和隐含层:可见层:用于表示输入数据的特征；隐含层:用于捕捉数据中的隐含特征。

玻尔兹曼机图9-1玻尔兹曼机结构401受限玻尔兹曼机

玻尔兹曼机与受限玻尔兹曼机神经元相互连接构成全连接概率图模型，通过调整神经元间之的连接权值实现似然值最大化，从而建立数据的分布关系。在玻尔兹曼机中，可见单元和隐含单元之间的连接是任意的。例如，任意两个隐含单元可能存在连接，任意两个可见单元也可能存在连接。因此，易导致玻尔兹曼机计算复杂性较高。受限玻尔兹曼机（RestrictedBoltzmannMachine,RBM）应运而生。501受限玻尔兹曼机受限玻尔兹曼机是一个二分图结构的无向图模型。与玻尔兹曼机类似，受限玻尔兹曼机也由可见层与隐含层组成。不同的是，受限玻尔兹曼机的可见单元或者隐含单元之间没有连接。受限玻尔兹曼机也被称为簧风琴（Harmonium）

受限玻尔兹曼机图9-2受限玻尔兹曼机结构601受限玻尔兹曼机假设一个受限玻尔兹曼机由Kv个可见单元和Kh个隐含单元组成，定义如下：（1）可见单元的状态构成随机向量。

受限玻尔兹曼机（2）隐含单元的状态构成随机向量

。（4）偏置和，其中ai为可见单元vi的偏置，bj为可见单元hj的偏置。（3）权值矩阵

，其中元素wij为可见单元vi和隐含单元hj之间边的权值。受限玻尔兹曼机结构相对简单，可以根据具体任务的需求选择使用有监督或者无监督的学习方式，广泛应用于降维、分类、回归、协同过滤、特征学习以及主题建模等领域。701受限玻尔兹曼机

能量最小化类似于Hopfield神经网络，玻尔兹曼机和受限玻尔兹曼机会为网络定义一个“能量函数”，当能量达到最小值时，网络在达到最优状态。受限玻尔兹曼机的能量函数定义如下：若将能量函数写成向量形式，则表示如下：801受限玻尔兹曼机

能量最小化基于能量函数，可以得到联合概率分布：通过对概率函数求极值，可以得到网络的最佳参数。式中，Z为配分函数，也称归一化因子：901受限玻尔兹曼机

深度信念网络02深度信念网络然而，配分函数的计算涉及对所有可能状态的指数级求和，这在大多数情况下是不可行的。因此，马尔可夫链蒙特卡洛（MarkovChainMonteCarlo,MCMC）和对比散度（ContrastiveDivergence,CD）等方法被提出，以有效训练受限玻尔兹曼机。误差反向传播算法是训练神经网络的常用方法，但随着神经网络隐含层数量的增加，误差在从输出层逐层前向传递的过程中会逐渐减小，甚至趋近于零，导致梯度消失，从而使神经网络得不到有效训练。因此，在深度信念网络提出之前，深度神经网络一度被认为难以训练。10

深度信念网络结构深度信念网络是一种由多个堆叠的概率生成模型（通常是受限玻尔兹曼机）组成的深层神经网络。最底层为可见单元，其他层为隐含单元。图9-3深度信念网络结构图1102深度信念网络

深度信念网络结构深度信念网络可以看作由多个受限玻尔兹曼机堆叠而成。因此，可以以受限玻尔兹曼机的训练方式为基础，通过逐层训练的方式对深度信念网络参数进行调整，这种方法被称为贪心逐层训练算法。图9-4深度信念网络逐层训练过程1202深度信念网络

深度信念网络结构①将输入向量v和第一个隐含层h1作为受限玻尔兹曼机的可见层和隐含层，通过训练获得当前受限玻尔兹曼机的最佳参数，包括可见层和隐含层之间的权值、各神经元的偏置等。②将当前的隐含层h1作为下一层的可见层，将隐含层h2作为新的受限玻尔兹曼机，训练该受限玻尔兹曼机并获得参数，即第二个受限玻尔兹曼机被训练为模拟第一个受限玻尔兹曼机的隐含单元定义的分布。③将当前的隐含层h2作为可见层，将隐含层h3作为新的受限玻尔兹曼机隐含层，依次逐层训练。在各受限玻尔兹曼机具体训练过程中，可以采用对比散度算法进行训练。1302深度信念网络上述逐层进行训练的过程被称作预训练过程。在完成预训练后，可以执行反向传播算法对网络就进行微调，以进一步提高神经网络性能。训练完成的深度信念网络则可直接用作生成模型。除用作生成模型外，深度信念网络是否可以产生特定的输出？通常情况下，可以在深度信念网络的顶层增加一层全连接层（Softmax层或线性层）来产生特点的输出。全连接层实现将逐层提取的特征映射到目标输出，例如在分类任务中的类别标签，或者在回归任务中的数值预测。由于在无监督预训练过程中已经获得了权值和偏置的初始值，因此可以通过反向传播算法进一步优化全连接层的参数，从而提高模型在特定任务中的性能。1402深度信念网络

对比散度算法对比散度（ContrastiveDivergence，CD）算法是训练受限玻尔兹曼机的标准方法，该算法通过从数据样本中进行采样，显著降低了传统吉布斯采样所需的计算成本。CD算法的效率提升主要得益于其独特的采样过程：它使用一个训练样本作为可见单元的初始状态，随后通过交替对可见单元和隐含单元进行吉布斯采样来更新状态。与传统的吉布斯采样不同，CD算法通常只需进行有限步数的采样（即CD-k算法），而无需等待采样过程完全收敛，从而大幅减少了计算量。1502深度信念网络

对比散度算法受限玻尔兹曼机是一种由随机二值神经元组成的网络结构，每个神经元在要么处于激活状态（1），要么处于非激活状态（0）。在受限玻尔兹曼机中，单元状态的激活概率是通过能量函数来定义的。能量函数的值越低，表示对应的状态在概率分布中越有可能被实现。为了从能量函数映射到概率分布，引入了逻辑函数，它能够将能量函数的输出转换为概率形式，即计算给定输入条件下某个单元处于激活状态的概率。逻辑函数的应用，使得受限玻尔兹曼机能够以概率的形式表达单元状态的激活可能性，为模型的训练和预测提供了数学基础。1602深度信念网络

对比散度算法单步对比散度的步骤大致如下：（1）根据训练集中的样本设置可见单元vi，计算隐含单元hj的条件概率。在这一概率分布中通过随机采样获取隐含单元hj

。式中，

为逻辑函数：1702深度信念网络

对比散度算法（2）计算vi与hj的外积vihjT，此结果称为正梯度。在CD算法中，使用梯度上升算法更新权值，根据受限玻尔兹曼机能量函数，权值的梯度可以通过对能量函数求偏导得到：式中，偏置项与权值无关，所以忽略。1802深度信念网络

对比散度算法由于直接计算期望梯度通常是非常困难的，它涉及到对所有可能状态的求和。为了使CD算法能够以较低的计算成本有效地训练受限玻尔兹曼机，算法通过采样来估计期望值。CD算法权值wij用下式近似地更新：

为学习率，;表示使用真实数据计算的近似期望梯度（正梯度）;

表示使用重构数据计算的近似期望梯度（负梯度）。1902深度信念网络

对比散度算法（3）根据hj，计算可见单元

的条件概率。并从中随机采样获取一个重构的可见单元

，根据计算隐含单元的条件概率。之后，根据这一概率分布获取隐含单元。这个更新方法的一个特点是仅仅使用了局部信息。即虽然优化目标是整个网络的能量最低，但是每个权值的更新只依赖于它连接的相关变量的状态。2002深度信念网络

对比散度算法（4）同理，计算与的外积，此结果称为负梯度。（5）使用正梯度和负梯度的差值并结合学习率，调整更新权值和偏置。2102深度信念网络

深度信念网络设计DBN通过层层递进的方式提取样本数据中的特征，层数是影响网络性能的关键因素。层数的增加可以提高网络的学习能力，进而提升泛化性能。然而，网络层数的增加必然会导致计算成本的增加，且过多的层数也会导致过拟合。因此，如何选择合适的层数也是深度信念网络研究和应用中的难点问题。在目前的DBN研究中，多是凭借经验或者试凑法确定网络的层数，难以快速确定网络最佳结构。2203深度信念网络设计

深度信念网络设计本章介绍一种基于重构误差的网络层数（深度）确定方法。引入两条引理作为理论依据：RBM的训练精度随着深度的增加而提高。在DBN网络训练中，通过无监督学习，网络权值已处于较好的位置，而基于梯度下降的反向运算只是在某些小的方面调节权值。2303深度信念网络设计

深度信念网络设计在DBN训练过程中，每个RBM被训练为捕捉输入数据的不同层次特征，每一层RBM都会尝试对上一层的输出进行重构。通过最小化重构误差，RBM可以学习到如何最好地表示数据。输入数据首先通过RBM的可见层转化为隐含层表示，然后再从隐含层重构出可见层数据。重构误差就是评估这个重构的可见层与原始输入的相似度，可由下式评价：2403深度信念网络设计

深度信念网络设计训练规则如下所示：如果此时网络通过训练，重构误差达到目标，即低于预设值，则开始进行梯度反向微调；否则，令网络深度自动加一，继续进行训练。2503深度信念网络设计

应用实例：手写数字识别MNIST据库是一个包含手写数字的大型数据库，由60,000张训练图像和10,000张测试图像组成。每张图像都是从0到9的手写数字的扫描，这些数字是由美国人口普查局的雇员和美国高中生手写的，不同的书写风格会带来图像上的差异。由于这个数据集已经被广泛应用于各种模式识别技术的测试，因此被公认为是评估新算法性能的标准基准。在MNIST学习任务的基本版本中，由于没有提供几何知识，也没有进行特殊的预处理或数据增强，即使像素点的位置被随机且固定地排列，这也不会显著影响学习算法的性能。2604应用实例：手写数字识别

应用实例：手写数字识别本节实验从数据库中取5000个样本用于无监督学习，从中取出1000个样本用于有监督学习，再取1000个样本进行测试。数据库所含样本为0∼9的阿拉伯数字，均为手写体，每个图像为28×28的像素，5000个样本分为50批次，每批100个样本，因此每层的神经元默认100个，重构误差条件设定正确率为99%以上。2704应用实例：手写数字识别

应用实例：手写数字识别网络在隐含层层数达到3时停止增加，此时通过测试1000个样本，产生了75处错误，原图像和产生的错误分别如图所示。通过分析图中数字，可进一步统计出网络容易在判断什么样的图像、提取什么样的特征时产生的错误，这有助于对进一步提高网络性能提供参考。图9-5三隐含层DBN的分类错误图9-6三隐含层DBN的错误识别2804应用实例：手写数字识别

应用实例：手写数字识别网络产生的权值图像如图所示。这两张图显示的是DBN训练到的权值具象化，可以看出，随着深度的增加，网络权值愈加抽象，表明网络识别的信息是对这些抽象数据的组合（实际上这种组合具有稀疏特性）。图9-7底层RBM训练权值图9-8顶层RBM训练权值2904应用实例：手写数字识别

应用实例：手写数字识别网络重构误差曲线如图。从中可以看出重构误差