Boltzmann神经网络模型与学习算法

2.10Boltzmann神经网络模型与学习算法,概述,Ackley、Hinton等人以模拟退火思想为基础，对Hopfield模型引入了随机机制，提出了Boltzmann机。,GeoffreyHinton,DavidH.Ackley,概述,Boltzmann机是第一个受统计力学启发的多层学习机，它是一类典型的随机神经网络，属于反馈神经网络类型其命名来源于Boltzmann在统计热力学中的早期工作和网络本身的动态分布行为Boltzmann机结合BP网络和Hopfield网络在网络结构、学习算法和动态运行机制的优点，是建立在Hopfield网基础上的，具有学习能力，能够通过一个模拟退火过程寻求解答。不过，其训练时间比BP网络要长。,2.10.1Boltzmann机的网络结构,Boltzmann机由输入部、输出部和中间部构成,2.10.1Boltzmann机的网络结构,输入部和输出部神经元统称为显见神经元，是网络与外部环境进行信息交换的媒介，中间部的神经元称为隐见神经元，它们通过显见神经元与外界进行信息交换每一对神经元之间的信息传递是双向对称的，即而且自身无反馈，即。显见神经元将被外部环境“约束”在某一特定的状态，而中间部隐见神经元则不受外部环境约束。,2.10.1Boltzmann机的网络结构,Boltzmann机神经元模型每个神经元的兴奋或抑制具有随机性，其概率取决于神经元的输入图中vj表示神经元j的输出,2.10.1Boltzmann机的网络结构,Boltzmann机神经元模型每个神经元的兴奋或抑制具有随机性，其概率取决于神经元的输入图中vi表示神经元i的输出,2.10.1Boltzmann机的网络结构,神经元的全部输入信号的总和由下式给出为神经元的阈值,并将其看作连接权值为1的输入，可以归并到总的加权和中去，即得到下式神经元的输出依概率取1或0：越大，则取1的概率越大，而取0的概率越小,2.10.1Boltzmann机的网络结构,神经元的全部输入信号的总和由下式给出为神经元的阈值,并将其看作连接权值为1的输入，可以归并到总的加权和中去，即得到下式,2.10.1Boltzmann机的网络结构,ui越大，则vi取1的概率越大，而取0的概率越小,神经元的输出依概率取1或0：,（1）,（2）,2.10.1Boltzmann机的网络结构,温度T的作用如图所示，T越高时，曲线越平滑，即使ui有很大变动，也不会对vi取1的概率变化造成很大的影响；反之，T越低时，曲线越陡峭，当uj有稍许变动时就会使概率有很大差异，当T趋向于0时，每个神经元不再具有随机特性，激励函数变为阶跃函数，这时Boltzmann机演变为Hopfield网络,横坐标表示神经元的输入总和，纵坐标表示概率,2.10.1Boltzmann机的网络结构,温度T的作用如图所示，T越高时，曲线越平滑，即使uj有很大变动，也不会对vj取1的概率变化造成很大的影响；反之，T越低时，曲线越陡峭，当uj有稍许变动时就会使概率有很大差异，当T趋向于0时，每个神经元不再具有随机特性，激励函数变为阶跃函数，这时Boltzmann机演变为Hopfield网络,2.10.1Boltzmann机的网络结构,横坐标表示神经元的输入总和，纵坐标表示概率,网络能量函数,与Hopfield神经网络一样，BM神经网络用能量函数作为描述网络状态的函数，能量函数采用与Hopfield网络相同形式,或,由上式可以看出，如果相应于具有相同状态的元vi和vj之间权值wij大多取正值，而具有相反状态wij大多取负值，E才会具有最低的值；反之，E就相对较高。显然低能量的网络状态表达着网络的更加有序性，这与热力学系统是完全对应的，也是与Hebb规则相呼应的。E降至其全局最小点时，网络即达到其最佳状态，这就是我们要搜索的最优解。,2.10.2Boltzmann机学习算法,算法原理Boltzmann机可视为一动力系统，其能量函数的极小值对应系统的稳定平衡点将待求解优化问题的目标函数与网络的能量函数相对应，神经网络的稳定状态就对应优化目标的极小值算法分类状态更新算法用于解决优化组合问题联想记忆算法用于解决依照一定概率重现记忆的问题,BM网络状态演变的能量特征,为简化讨论，假设BM神经网络按异步方式运行，每次只改变一个神经元的状态。设xi取0和取1时系统的能量函数的差值为Ei，则Ei=Exi=0-Exi=1=ui.式中ui是i号神经元的净输入。在HNN中，我们很容易证明了E0,说明网络在其第i号神经元取1时的能量小于取0时的能量，这时可计算出即在下一个时刻xi取1的概率当然高于取0的概率。反之，则可计算出,BM网络状态演变的能量特征,可见，网络运行过程总是以更大的概率朝能量下降的方向演化。不过，这是概率事件，完全存在朝能量上升方向演化的可能。而从概率的角度来看，如果Ei越是一个大正数，xi取1的概率越大，Ei越是一个大负数，xi取0的概率越大。这样我们就把（1）（2）转换成网络状态出现概率与兑现这种状态时网络能量的变化，以及它们对温度T的依赖联系在一起,BM网络状态演变的能量特征,这样，随着逐次调整，系统的总能量总是呈下降趋势，直至达到一个稳定点。我们可以计算出BM神经网络处于不同状态的概率。假设BM神经网络中有vi=1和vi=0的a、b两种状态，在这两种状态下所有其它神经元的取值相同。设a状态的出现概率是Pa,b状态的出现概率是Pb,假设Pa可以表示为,BM网络状态演变的能量特征,则,式中K为一个常数。于是,上式关系是普遍的，稍加推导即可证明，若网络中任意两个状态和出现的概率为P和P，它们的能量为E和E，如下关系总是成立,这就是著名的Boltzmann分布，也是BM网络名称的由来。,BM网络状态演变的能量特征,由此式可见，对网络进行足够多次迭代搜索后，BM神经网络处于哪一种状态的概率，即取决于该网络在此状态下的能量，也取决于温度参数T。显然非常重要的一点是能量低的状态出现的概率大，例如因此相应于各极小点的状态出现的概率就大于周围状态出现的概率，进而全局最小点出现的概率就大于局部极小点出现的概率。,BM网络状态演变的能量特征,另一方面，温度T对网络的状态影响很大。在高温下，即使Ei值有较大变化，神经元状态概率差别较小。反之，在低温下神经元状态对Ei的变化更加敏感。显然，如果温度参数T低到趋于0，则每一个神经元不再具有随机性，输入-输出接近硬限幅函数关系，这时BM神经网络退化为HNN.因此T很高时，各状态出现概率的差异大大减小，网络不会陷在某个极小点中摆脱不出来，它能越过位能壁垒进入其它极小点；当温度比较低时，微小的能量差异使相应状态出现概率的差距被加大，由于网络在全局最小点状态的能量远小于各局部最小点的能量，则网络在搜索结束时停留在全局最小点的概率将远大于局部最小点。,2.10.2Boltzmann机学习算法,状态更新算法（1）网络初始化给初始状态赋-1，1之间的随机数，设定起始温度T0和目标温度值Tfinal。（2）求解内部状态从N个神经元中随机选取一个神经元，根据下式求解出神经元的输入总和，即内部状态。,2.10.2Boltzmann机学习算法,状态更新算法（3）更新神经元状态根据下面公式更新神经元的状态：,2.10.2Boltzmann机学习算法,（4）除i外的神经元的输出状态保持不变,即除i外的神经元的状态由下面公式求解得出：（5）令，按照下式计算出新的温度参数：（6）第5步计算出的温度参数是否小于目标温度，小于目标温度则算法结束，否则返回（2），进入下一轮计算。,注意事项,起始温度T0的选择方法随机选取网络中K个神经元，取这K个神经元能量的方差为T0在初始网络中选取使E最大的两个神经元，取T0为Emax的若干倍。按经验给出确定目标（终止）温度值Tfinal主要根据经验选取，若在连续若干温度下网络状态保持不变，也可认为已达到终止温度。,注意事项,概率阀值的确定方法在网络初始化时按经验确定，或在运行过程中选取一个0，0.5之间均匀分布的随机数。网络权值的确定方法在每一温度下达到热平衡的条件降温方法通常采用指数降温，即为加快网络收敛速度，也可采用一个倍乘小于1的降温系数的办法。,Boltzmann机学习算法的MATLAB实现,在MATLAB的工具箱中，没有Boltzmann神经网络的相关函数，在学习完第4章后，根据自己的需要，利用MATLAB中的数学计算函数