上海交通大学 人工神经网 课程 第六讲_第1页
上海交通大学 人工神经网 课程 第六讲_第2页
上海交通大学 人工神经网 课程 第六讲_第3页
上海交通大学 人工神经网 课程 第六讲_第4页
上海交通大学 人工神经网 课程 第六讲_第5页
已阅读5页,还剩45页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

人工神经网络及其应用第六讲随机神经网络第六讲随机神经网络主讲内容§6.1模拟退火算法§6.2Boltzmann机§6.3受限Boltzmann机§6.4模糊神经网络的基本概念和原理第六讲随机神经网络√确定型神经网络:

解决全局最优化问题时,容易陷入系统的局部极小,对输入数据要求的精度高,问题求解依赖于领域知识;在生物神经元中由于有各种各样的干扰这实际上是很难实现给定神经元的输入其输出就是确定的。同时人工神经元的硬件实现也会有各种扰动,从而带来某些不确定性,因此讨论随机神经元显得必要且必需。√随机型神经网络:

系统中引入随机波动,摆脱局部极小,从而收敛于全局极小,适合于模糊的、带噪声的输入数据;问题求解不依赖或很少依赖于领域知识;随机型神经网络引入随机过程、概率和能量等概念来调整网络的变量,从而使网络达到全局最优;

网络的变量可以是连接权,也可以是神经元节点的状态。在学习过程中,要考虑网络的变量随机变化时,网络的能量函数变化。

如果能量变得更小,就接受这种变化;(网络性能改善)

如果能量没有变化或者变大了(网络性能变差),就以某概率分布接受这种变化,这就相当于给网络的变量引入“噪声”,使网络容易跳出能量函数局部极小,而向全局极小方向发展。√随机神经网络中建立随机机制:

◆随机型神经元激励函数,Boltzmann机◆随机型连接权。√随机系统的数据表示精度:

通过分布式信息表达方式,采用大规模并行分布式处理实现━━强大的容错性;

§6.1模拟退火算法6.1.1模拟退火算法基本思想6.1.2Metropolis接受准则

6.1.3

模拟退火算法6.1.4模拟退火算法的收敛性6.1.5模拟退火算法的参数控制问题CBA快速下降法§6.1模拟退火算法基本思想:

控制连接权修改大小;修改允许网络的性能暂时变差;修改量的大小和网络的“能量”相关;依据网络的能量和温度来决定联接权的调整量(即步长).如何逃离局部极小?§6.1模拟退火算法

模拟退火算法:1983年提出,基于MonteCarlo迭代求解法,进行启发式随机搜索算法,模拟退火过程,寻找全局最优解方法。▶是模拟冷却晶体的过程。▶最早1953年由Metropolis等人提出▶1982年,Kirkpatrick等人将其运用在求最佳化的问题◆金属中原子的能量与温度有关◆原子能量愈高,有能力摆脱其原来的能量状态而最后达到一个更加稳定的状态——全局极小能量状态◆金属的退火过程中,能量的状态分布P(c(Si))——系统处于具有能量c(Si)的状态的概率C(si)▬▬表示系统在状态si下的内能k——Boltzmann常数

T——系统的绝对温度(Kelvin)

§6.1模拟退火算法6.1.1模拟退火算法基本思想

一个物体(例如金属)的退火过程大体上是这样的:首先对该物体加热(熔化),那么物体内的原子就可高速自由运行,处于较高的能量状态。但是作为一个实际的物理系统,原子的运行总是最低的能态。一开始温度较高时,高温使系统具有较高的内能,而随着温度的下降,原子越来越趋向于低能态,最后整个物体形成最低能量的基态◆高温情况T足够大,对系统所能处的任意能量状态c(si),有概率趋于1.

◆中温情况T比较小,

c(si)的大小对P(c(si))有较大的影响,设c(s1)>c(s2),

P(c(s2))>P(c(s1))。即系统处于高能量状态的可能性小于处于低能量状态的可能性◆低温情况T非常小,c(si)的大小对P(c(si))的影响非常大,设c(s1)>c(s2),

P(c(s2))>>P(c(s1))。即当温度趋近于0时,系统几乎不可能处于高能量状态§6.1模拟退火算法降温过程高温低温原子运动平稳原子激烈随机运动能量与温度相关步长与能量和温度相关步长与能量相关步长大步长小可逃离难逃离大小高低高能量低能量目标函数值网络的能量训练步长与能量、温度关系

§6.1模拟退火算法基本思想是把某类优化问题的求解过程与统计热力学中的热平衡问题进行对比,试图通过模拟高温物体退火过程的方法,来找到优化问题的全局最优或近似全局最优解。§6.1模拟退火算法模拟退火算法与传统的启发式搜索算法

传统的启发式搜索算法每次向改变解的方向搜索,容易导致局部极小。局部搜索:通过局部调整来达到某个极大值局部搜索的缺点:容易遇到局部最大值侧向移动:在无法找到一个更好的解的时候,选择一个相等的解。需要限制侧向移动的步数,因为很容易陷入死循环。模拟退火算法模拟退火算法是把局部搜索和随机化思想结合起来应用。在每次选择局部调整的时候,随机选择一个调整方案。如果调整方案得到的解优于当前解,则接受。否则以某个小于1的概率接受。这个概率和解的“恶劣程度”成指数关系,越“恶劣”则越小。并且随着迭代的深入,这个概率也会越来越小。

§6.1模拟退火算法6.1.2Metropolis接受准则

Metroplis抽样过程系统从一个状态s1变化到另一个状态s2,对应的能量从c(s1)变化到c(s2),概率:(1)如果系统c(s2)-c(s1)<0,系统接受此状态;(2)如果系统c(s2)-c(s1)>0,系统以一个概率接受为当前状态,或保留原状态为当前状态。经过一定次数迭代,系统会逐步趋于稳定的分布状态(能量最小),----Metropolis抽样过程§6.1模拟退火算法Metropolis抽样方法——退火组织模拟解决问题的方法,设计微观状态的转变概率和建立平衡条件是实现Metropolis抽样的关键6.1.3模拟退火算法

§6.1模拟退火算法§6.1模拟退火算法初使化随机产生一个初始解扰动产生一个新解是否接受?修改当前解降温降低温度

是否达到中止条件?最佳解NoYesYesYesNoNo①通用性强的全局随机搜索算法,可以达到全局极小②系统沿能量减少的方向搜索时,偶尔允许搜索较差的解,以避开局部极小(最大优点:跳开局部最优解陷阱的能力)

③收敛慢SA算法流程§6.1模拟退火算法6.1.4模拟退火算法的收敛性

§6.1模拟退火算法6.1.5

模拟退火算法的参数控制问题温度T的初始值设置影响SA算法全局搜索性能的重要因素之一。初温高,则搜索到全局最优解的可能性大,但计算时间长;初温低,则可节约计算时间,但可能影响全局搜索性能。实际应用过程中,初温一般需要依据实验结果进行若干次调整退火速度SA算法的全局搜索性能与退火速度密切相关。同一温度下,要“充分”搜索(退火),但很费时。实际应用中,要针对具体问题的性质和特征设置合理的退火平衡条件。温度管理是SA算法难以处理的问题之一§6.2Boltzmann机6.2.1Boltzmann机模型6.2.2Boltzmann机能量函数6.2.3网络状态的Boltzmann分布6.2.4Boltzmann机的学习算法6.2.5Boltzmann机的不足与问题§6.2Boltzmann机图模型hiddenijvisiblehiddenijvisible

无向图模型推理无观测的变量状态容易

学习(调整变量之间权使得网络更可能生成观测数据)和生成过程难

有向图模型推理难

学习与生成过程简单产生式模型(Generativemodel)可以捕获因果过程,生成新的观测数据概率分布联合概率分布边缘概率分布条件概率分布§6.2Boltzmann机1985年由Hinton等人利用统计物理学概念和方法提出来的。在节点的状态变化中引入概率。6.2.1Boltzmann机模型(BM模型)对于n个节点的神经网络,各节点仅有0,1两种状态,并存在对称连接权矩阵。当网络的神经元输入加权和发生变化时,节点将以下列概率发生状态变化:§6.2Boltzmann机输入层隐含层输出层Boltzmann机结构Boltzmann机是多级循环网络,是Hopfield网的一种扩展.T趋近于0时,神经元的状态不再具有随机性,Boltzmann机退化成一般Hopfield网。与Hopfield不同之处:在网络中引入了状态转换的不确定性,并利用模拟退火算法,通过改变温度参数控制这种不确定性。从而增加网络在状态转移过程中逃逸出稳态的可能性。§6.2Boltzmann机

Boltzmann机模型

一层输入层与一层隐含层

每个单元典型二元状态

随机性vs确定性

周期性vs前馈

生成模型

(vs判别):估计观测的分布,而传统判别网络仅估计标签

网络的定义能量与单元的状态概率

:Boltzmann机§6.2Boltzmann机随机搜索

在传统网络中不同优化准则与以优化目的的RBM:

传统方法:误差准则。

BP方法严格按照梯度下降方向。不接受使得误差增大的任何方向。容易陷入局部极小

BM方法:网络与”能量”联系。模拟退火法(SA)使得能量在一定的概率增长§6.2Boltzmann机6.2.2Boltzmann机能量函数单个神经元i的能量网络的能量函数单个神经元i的不同状态下的概率§6.2Boltzmann机6.2.3网络状态的Boltzmann分布

高温时网络的各个状态出现的概率基本相同,这就给它逃离局部极小点提供了机会当系统的温度较低时,如果Eα<Eβ,则Pα

>Pβ

:网络处于较低能量状态的概率较大单个神经元i的2个状态状态下的概率比网络的两个全局状态和及其对应能量和两个全局状态的概率比

§6.2Boltzmann机6.2.4Boltzmann的学习算法越大的K,多重积分实现非常复杂解决办法:吉布斯采样法(GibbsSampling)一种马尔科夫链算法,可称马尔科夫链蒙特卡洛法(MCMC)未知参数向量采集数据求解基于X的未知参数的边缘概率密度,要对联合概率密度中其它所有参数多重积分基本思想:对联合概率密度进行随机采样,再利用这些随机样本估计边缘概率密度吉布斯采样法(GibbsSampling)§6.2Boltzmann机6.2.4Boltzmann的学习算法吉布斯采样过程:抽取样本获得的样本向量序列符合一个马尔可夫链初始值从概率密度抽取样本从概率密度抽取样本从概率密度在联合概率分布未知时,进行采样,每次迭代训练BM。设置一个收敛到模型分布的马尔科夫链,并运行到平衡状态§6.2Boltzmann机§6.2Boltzmann机6.2.5Boltzmann机的不足与问题MCMC采样估计需要经过许多步的状态转移才能保证采集的样本符合目标分布MCMC方法的优点----可以实现对各种类型概率分布的抽样MCMC方法缺点----在达到稳定分布之前需要进行多次状态转移,收敛过程很慢----至今缺乏一个简单可靠的方法来判断抽样是否已达到稳定分布§6.3受限Boltzmann机6.3.1受限Boltzmann机(RBM)网络结构6.3.2

能量函数与概率分布6.3.3RBM参数训练方法---对数似然函数6.3.4RBM参数训练方法---梯度计算6.3.5RBM参数训练方法---对比散度6.3.6RBM的权学习算法受限Boltzmann机

1986年Hinton和Sejnowski提出的一种生成式随机神经网络(generativestochasticneuralnetwork)§6.3受限Boltzmann机6.3.1受限Boltzmann机网络结构下章深度信任网络基础§6.3受限Boltzmann机

定义RBM的两个特性:

所有单元状态:通过概率分布获得

网络的权:通过训练(对比散度:ContrastiveDivergence)获得RBM的目标就是估计输入数据的分布。

已知输入,此目标完全由权确定。

为RBM定义的能量:RBM的可见层分布(Boltzmann分布):

Z是

partitionfunction,对所有可能的{v,h}的配置定义为

处于状态1的单元i的概率为(

σ(.)—logistic/sigmoid函数

)RBM受限Boltzmann机网络结构§6.3受限Boltzmann机两层结构—

可见层(Visiblelayer):描述观测数据隐藏层(hiddenlayer):获取可见层单

元对应变量之间依赖关系(特征提取层)二分图—层内无连接,层间全互连所有神经元都是二值的当给定可见层神经元状态时,各隐藏层神经元的激活条件独立;反之,当给定隐藏层神经元状态时,可见层神经元的激活也条件独立受限Boltzmann机网络结构§6.3受限Boltzmann机RBM中参数6.3.2能量函数与概率分布§6.3受限Boltzmann机RBM模型中,给定状态(V,h)能量函数状态(V,h)的联合概率分布归一化因子观测数据V、隐藏变量h分别对应的概率分布边缘分布能量函数与概率分布§6.3受限Boltzmann机给定可见层状态v,可以推导隐藏层上某个神经元被激活的概率同样可推导可见层上某个神经元被激活的概率6.3.3RBM参数训练方法---对数似然函数§6.3受限Boltzmann机θ是RBM的参数{W,a,b},

其中,W为可见单元和隐藏单元之间权重,b和a分别为可见单元和隐藏单元的偏置其中Z(θ)是归一化因子给定训练样本,训练RBM参数,拟合给定的训练样本,使得在该参数下由RBM表示的概率分布尽可能符合训练数据可见变量v和隐藏变量h的联合配置的能量为v和h的联合概率6.3.3RBM参数训练方法---对数似然函数§6.3受限Boltzmann机

已知独立同分布(i.i.d.)训练样本,训练R

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论