神经信息学课件

1、神经信息学 平行分布式理论框架史忠植shizzics.ict.ac中科院计算所9/25/20221神经信息学 平行分布式理论框架9/24/20221目 录1. 神经计算2. 并行分布式理论框架3. 交互与竞争神经网络4. 误差反向传播神经网络5.Hopfield神经网络9/25/20222目 录1. 神经计算9/24/20222神经网络一个神经网络是由简单处理元构成的规模宏大的并行分布处理器。天然具有存储经验知识和使之可用的特性。神经网络从两个方面上模拟大脑： 神经网络获取的知识是从外界环境中学习得来的。 内部神经元的连接强度，即突触权值，用于储存获取的知识。9/25/20223神经网络一个神

2、经网络是由简单处理元构成的规模宏大的并行分布处发展历史 萌芽期（20世纪40年代） 人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到1949年止。 1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊Bulletin of Methematical Biophysics 949年，心理学家D. O. Hebb提出神经元之间突触联系是可变的假说Hebb学习律。 9/25/20224发展历史 萌芽期（20世纪40年代）9/24/20224发展历史第一高潮期（19501968） 以Marvin Minsky，

3、Frank Rosenblatt，Bernard Widrow等为代表人物，代表作是单级感知器（Perceptron）。 可用电子线路模拟。 人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。 9/25/20225发展历史第一高潮期（19501968）9/24/20225发展历史反思期（19691982） M. L. Minsky和S. Papert，Perceptron，MIT Press，1969年 异或”运算不可表示 二十世纪70年代和80年代早期的研究结果 9/25/20226发展历史反思期（19691982） 9/24/20226发展历史第

4、二高潮期（19831990） 1982年，J. Hopfield提出Hopfield网络用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据阐明了ANN与动力学的关系用非线性动力学的方法来研究ANN的特性指出信息被存放在网络中神经元的联接上 9/25/20227发展历史第二高潮期（19831990） 9/24/2022发展历史第二高潮期（19831990） 1984年， J. Hopfield设计研制了后来被人们称为Hopfield网-Tank 电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大的轰动。 1985年，UCSD的Hinton、Sejnow

5、sky、Rumelhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。 9/25/20228发展历史第二高潮期（19831990）9/24/20228发展历史 1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法BP算法，较好地解决了多层网络的学习问题。（Paker1982和Werbos1974年） 自适应共振理论（ART） 自组织特征映射理论9/25/20229发展历史 1986年，并行分布处理小组的Rumelh发展历史 Hinton 等人最近提出了 Helmboltz 机 徐雷提出的

6、 Ying-Yang 机理论模型 甘利俊一( S.Amari) 开创和发展的基于统计流形的方法应用于人工神经网络的研究, 国内首届神经网络大会是1990年12月在北京举行的。9/25/202210发展历史 Hinton 等人最近提出了 Helmbol并行分布式理论框架 1986年，美国加州大学圣地亚哥分校（UCSD）Rumellhart，McClelland，Hinton： Parallel and Distributed Processing, MIT Press, Cambridge9/25/202211并行分布式理论框架 1986年，美国加州大学圣地亚哥分校（并行分布式理论框架PDP模型

7、1） 一组处理单元（PE或AN）2） 处理单元的激活状态（ai）3） 每个处理单元的输出函数（fi）4） 处理单元之间的连接模式5） 传递规则（wijoi）6）把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）7） 通过经验修改连接强度的学习规则8） 系统运行的环境（样本集合）9/25/202212并行分布式理论框架PDP模型9/24/202212神经网络的维数Various types of neuronsVarious network architecturesVarious learning algorithmsVarious applications9/25/202213神

8、经网络的维数9/24/202213自组织神经网络的典型结构交互与竞争IAC神经网络竞争层输入层9/25/202214自组织神经网络的典型结构交互与竞争IAC神经网络竞争层输入层竞争学习相似性测量欧式距离法9/25/202215竞争学习相似性测量欧式距离法9/24/202215相似性测量余弦法竞争学习9/25/202216相似性测量余弦法竞争学习9/24/202216竞争学习规则Winner-Take-All 网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为Winner Take All。竞争学

9、习原理9/25/202217竞争学习规则Winner-Take-All 寻找获胜神经元 当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神经元。欲使两单位向量最相似，须使其点积最大。即：竞争学习原理9/25/202218寻找获胜神经元 当网络得到一个输入模式向量时，竞争层的所有 从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：竞争学习原理9/25/202219 从上式可以看出，欲使两单位向量的欧式距离最小，须使两3.网络输出与权值调整 jj* 步骤3完成后回到步骤1继续训练，直到学习率衰减到0。竞争

10、学习原理9/25/2022203.网络输出与权值调整 jj* 步骤3完单层感知器模型前馈神经网络j=1,2,m 9/25/202221单层感知器模型前馈神经网络j=1,2,m 9/24/20净输入：输出：ojx1-1xn单层感知器9/25/202222净输入：输出：ojx1-1xn单层感知器9/24/2022感知器的功能(1)设输入向量X=(x1 ,x2)T输出：则由方程 w1jx1+w2jx2-Tj=0 确定了二维平面上的一条分界线。ojx1-1x2单计算节点感知器单层感知器9/25/202223感知器的功能(1)设输入向量X=(x1 ,x2)T输出：则由感知器的功能单层感知器9/25/20

11、2224感知器的功能单层感知器9/24/202224感知器的功能(2)设输入向量X=(x1,x2,x3)T输出：则由方程 w1jx1+w2jx2+w3j x3Tj=0 (3.4) 确定了三维空间上的一个分界平面。 x2ojx1x3-1单层感知器9/25/202225感知器的功能(2)设输入向量X=(x1,x2,x3)T输出：感知器的功能单层感知器9/25/202226感知器的功能单层感知器9/24/202226多层感知器x1o1输出层隐藏层输入层x2o2omxnW(1)W(2)W(3)W(L)网络的拓扑结构9/25/202227多层感知器x1o1输出层隐藏层输入层x2o2omxn双层感知器“异

12、或”问题分类用两计算层感知器解决“异或”问题。“异或”的真值表x1x2y1y2o001011100111多层感知器9/25/202228双层感知器“异或”问题分类用两计算层感知器解决“异或”问题。双层感知器“异或”问题分类用两计算层感知器解决“异或”问题“异或”的真值表x1x2y1y2o001010101111多层感知器9/25/202229双层感知器“异或”问题分类用两计算层感知器解决“异或”问题“双层感知器“异或”问题分类用两计算层感知器解决“异或”问题。“异或”的真值表x1x2y1y2o0011011010011111多层感知器9/25/202230双层感知器“异或”问题分类用两计算层感

13、知器解决“异或”问题。双层感知器“异或”问题分类例四 用两计算层感知器解决“异或”问题。“异或”的真值表x1x2y1y2o00110011011001111110多层感知器9/25/202231双层感知器“异或”问题分类例四 用两计算层感知器解决“异或具有不同隐层数的感知器的分类能力对比多层感知器9/25/202232具有不同隐层数的感知器的分类能力对比多层感知器9/24/20基于BP算法的多层前馈网络模型误差反向传播（BP）网路9/25/202233基于BP算法的多层前馈网络模型误差反向传播（BP）网路9/2基于BP算法的多层前馈网络模型输入向量： X=(x1,x2,xi,xn)T隐层输出向

14、量： Y=(y1,y2,yj,ym)T输出层输出向量： O=(o1,o2,ok,ol)T期望输出向量：d=(d1, d2,dk,dl)T输入层到隐层之间的权值矩阵：V=(V1,V2,Vj,Vm)隐层到输出层之间的权值矩阵：W=(W1,W2,Wk,Wl)误差反向传播（BP）网路9/25/202234基于BP算法的多层前馈网络模型输入向量： X=(x1,3.4.1 基于BP算法的多层前馈网络模型对于输出层：k=1,2,lk=1,2,l对于隐层：j=1,2,mj=1,2,m误差反向传播（BP）网路9/25/2022353.4.1 基于BP算法的多层前馈网络模型对于输出层：k=13.4.1 基于BP算

15、法的多层前馈网络模型双极性Sigmoid函数：单极性Sigmoid函数：误差反向传播（BP）网路9/25/2022363.4.1 基于BP算法的多层前馈网络模型双极性Sigmoi一、网络误差 定义与权值调整思路输出误差E定义：将以上误差定义式展开至隐层：BP学习算法9/25/202237一、网络误差 定义与权值调整思路输出误差E定义：将以上误差定一、网络误差与权值调整进一步展开至输入层：BP学习算法9/25/202238一、网络误差与权值调整进一步展开至输入层：BP学习算法9/2BP学习算法j=0,1,2,m; k=1,2,li=0,1,2,n; j=1,2,m式中负号表示梯度下降，常数(0,

16、1)表示比例系数。在全部推导过程中，对输出层有j=0,1,2,m; k=1,2,l 对隐层有 i=0,1,2,n; j=1,2,mBP学习算法9/25/202239BP学习算法j=0,1,2,m; k=1,2,li对于输出层，式(3.4.9a)可写为对隐层，式(3.4.9b)可写为对输出层和隐层各定义一个误差信号，令 (3.4.11a)yjxiBP算法推导9/25/202240对于输出层，式(3.4.9a)可写为对隐层，式(3.4.9b(1)初始化； (4)计算各层误差信号； (5)调整各层权值； (6)检查是否对所有样本完成一次 轮训； (7)检查网络总误差是否达到精 度要求。 (2)输入训

17、练样本对X Xp、d dp计算各层输出；(3)计算网络输出误差；BP算法的程序实现9/25/202241(1)初始化； (4)计算各层误差信号； (5)调整各层权然后根据总误差计算各层的误差信号并调整权值。 另一种方法是在所有样本输入之后，计算网络的总误差：BP算法的程序实现9/25/202242然后根据总误差计算各层的误差信号并调整权值。 另一(1)非线性映射能力 多层前馈网能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。多层前馈网(感知器)的主要能力9/

18、25/202243(1)非线性映射能力 多层前馈网能学习和存贮(2)泛化能力 当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。(3)容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。多层前馈网(感知器)的主要能力9/25/202244(2)泛化能力 当向网络输入训练时未曾见过的 误差函数的可调整参数的个数 nw 等于各层权值数加上阈值数，即： 误差 E 是 nw+1 维空间中一个形状极为复杂的曲面，该曲面上的每个点的“高度”对应于一个误差值，每个点的坐标向量对应着 nw 个权值，因此称这样的空间为

19、误差的权空间。BP算法的局限性9/25/202245 误差函数的可调整参数的个数 nw 等于各层权误差曲面的分布有两个特点：特点之一：存在平坦区域 BP算法的局限性9/25/202246误差曲面的分布有两个特点：特点之一：存在平坦区域 BP算法的特点之二：存在多个极小点 多数极小点都是局部极小，即使是全局极小往往也不是唯一的，但其特点都是误差梯度为零。 误差曲面的平坦区域会使训练次数大大增加，从而影响了收敛速度；而误差曲面的多极小点会使训练陷入局部极小，从而使训练无法收敛于给定误差。BP算法的局限性9/25/202247特点之二：存在多个极小点 多数极小点都是局部极标准的BP算法在应用中暴露出

20、不少内在的缺陷： 易形成局部极小而得不到全局最优； 训练次数多使得学习效率低，收敛速度慢； 隐节点的选取缺乏理论指导； 训练时学习新样本有遗忘旧样本的趋势。 针对上述问题，国内外已提出不少有效的改进算法，下面仅介绍其中3种较常用的方法。标准BP算法的改进9/25/202248标准的BP算法在应用中暴露出不少内在的缺陷： 易形成局部极1 增加动量项为动量系数，一般有(0，1)2 自适应调节学习率 设一初始学习率，若经过一批次权值调整后使总误差，则本次调整无效，且=(1 )。标准BP算法的改进9/25/2022491 增加动量项为动量系数，一般有(0，1)2 自适应调3 引入陡度因子 实现这一思路

21、的具体作法是，在原转移函数中引入一个陡度因子标准BP算法的改进9/25/2022503 引入陡度因子 实现这一思路的具体作法是，在概述 Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield教授于1982年提出，是一种单层反馈神经网络。Hopfield网络是一种由非线性元件构成的反馈系统，其稳定状态的分析比前向神经网络要复杂得多。1984年，Hopfield设计并研制了网络模型的电路，并成功地解决了旅行商(TSP)计算难题(优化问题)。 Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN (Discrete Hopfie

22、ld Neural Network) 和CHNN (Continues Hopfield Neural Network) 。 Hello,Im John Hopfield9/25/202251概述 Hopfield网络是神经网络发展历史上的一个重离散Hopfield 神经网络9/25/202252离散Hopfield 神经网络9/24/202252离散Hopfield 神经网络网络模型表示法二9/25/202253离散Hopfield 神经网络网络模型表示法二9/24/20离散Hopfield 神经网络相关参数说明任意神经元 i与 j间的突触权值为 ，神经元之间连接是对称的，神经元自身无连接.

23、 每个神经元都同其他的神经元相连,其输出信号经过其他神经元又有可能反馈给自己 设Hopfield网络中有n个神经元，其中任意神经元的输入用 表示，输出 用表示，它们都是时间的函数，其中 也称为神经元在时刻t 的状态。 9/25/202254离散Hopfield 神经网络相关参数说明9/24/2022离散Hopfield 神经网络激励函数9/25/202255离散Hopfield 神经网络激励函数9/24/202255离散Hopfield 神经网络离散Hopfield网络的运行规则(1)串行(异步)工作方式 在任时刻，只有某神经元 (随机的或确定的选择)依上式变化，而其他神经元的状态不变。(2)

24、并行(同步)工作方式 在任一时刻，部分神经元或全部神经元的状态同时改变。9/25/202256离散Hopfield 神经网络离散Hopfield网络的运行离散Hopfield 神经网络串行(异步)工作方式运行步骤第一步 对网络进行初始化；第二步 从网络中随机选取一个神经元；第三步 按式(2-5)求出该神经元i的输出；第四步 按式(2-6)求出该神经元经激活函数处理后的输出，此时网络中的其他神经元的输出保持不变；第五步 判断网络是否达到稳定状态，若达到稳定状态或满足给定条件则结束；否则转到第二步继续运行。 9/25/202257离散Hopfield 神经网络串行(异步)工作方式运行步骤9离散Ho

25、pfield 神经网络稳定状态若网络从某一时刻以后，状态不再发生变化，则称网络处于稳定状态网络为对称连接，即；神经元自身无连接 能量函数在网络运行中不断降低，最后达到稳定9/25/202258离散Hopfield 神经网络稳定状态9/24/202258离散Hopfield 神经网络网络中神经元能量函数变化量Hopfield网络状态向着能量函数减小的方向演化。由于能量函数有界，所以系统必然会趋于稳定状态 。9/25/202259离散Hopfield 神经网络网络中神经元能量函数变化量Ho连续Hopfield 神经网络网络模型9/25/202260连续Hopfield 神经网络网络模型9/24/2

26、02260连续Hopfield 神经网络稳定性分析将下式代入得：因为连续Hopfield网络模型是稳定的9/25/202261连续Hopfield 神经网络稳定性分析因为连连续Hopfield 神经网络连续Hopfield网络模型的主要特性1)连续Hopfield网络的神经元作为I/O转换，其传输特性具有Sigmoid特性；2)具有时空整合作用；3)在神经元之间存在着大量的兴奋性和抑制性连接，这种联接主要是通过反馈来实现。4)具有既代表产生动作电位的神经元，又有代表按渐进方式工作的神经元，即保留了动态和非线性两个最重要的计算特性。 Hopfield神经网络设计的目标就是使得网络存储一些特定的平

27、衡点，当给定网络一个初始条件时，网络最后会在这样的点上停下来 9/25/202262连续Hopfield 神经网络连续Hopfield网络模型的Hopfield 神经网络的MATLAB实现函 数 名功 能satlin( )饱和线性传递函数satlins( )对称饱和线性传递函数newhop( )生成一个Hopfield回归网络nnt2hop( )更新NNT 2.0 Hopfield回归网络MATLAB中Hopfield网络的重要函数和功能 9/25/202263Hopfield 神经网络的MATLAB实现函 数 名功 Hopfield 神经网络的MATLAB实现 MATLAB中与Hopfiel

28、d网络有关的重要函数和功能 newhop( )功能 生成一个Hopfield回归网络。格式 net = newhop(T)说明 net为生成的神经网络，具有在T中的向量上稳定的点；T是具有Q个目标向量的R*Q矩阵（元素必须为-1或1）。Hopfield神经网络经常被应用于模式的联想记忆中。Hopfield神经网络仅有一层，其激活函数用satlins( )函数，层中的神经元有来自它自身的连接权和阈值。 9/25/202264Hopfield 神经网络的MATLAB实现 MATLAB中Hopfield 神经网络的MATLAB实现MATLAB中与Hopfield网络有关的重要函数和功能satlins

29、( )功能 对称饱和线性传递函数格式 A = satlins(N)A输出向量矩阵；N是由网络的输入向量组成的S*Q矩阵，返回的矩阵A与N的维数大小一致，A的元素取值位于区间0，1内。当N中的元素介于-1和1之间时，其输出等于输入；当输入值小于-1时返回-1；当输入值大于1时返回1。 9/25/202265Hopfield 神经网络的MATLAB实现MATLAB中与Hopfield 神经网络的MATLAB实现设印刷体数字由10 10点阵构成，就是将数字分成很多小方块，每个方块就对应数字的一部分，构成数字本部分的方块用1表示，空白处用-1表示。试设计一个Hopfield网络，能够正确识别印刷体的数

30、字。 由点阵构成的数字1由点阵构成的数字29/25/202266Hopfield 神经网络的MATLAB实现设印刷体数字由1程序9/25/202267程序9/24/202267稳定性分析 网络的稳定性是与收敛性不同的问题 Cohen和Grossberg1983年:Hopfield网络的稳定性定理 如果Hopfield网络的联接权矩阵是对角线为0的对称矩阵，则它是稳定的 用著名的Lyapunov函数作为Hopfield网络的能量函数 9/25/202268稳定性分析 网络的稳定性是与收敛性不同的问题 9/24/20Lyapunov函数能量函数 作为网络的稳定性度量wijoioj：网络的一致性测度

31、。xjoj：神经元的输入和输出的一致性测度。joj：神经元自身的稳定性的测度。 9/25/202269Lyapunov函数能量函数 作为网络的稳定性度量9/2当ANk的状态从ok变成ok 1、ANk是输入神经元 9/25/202270当ANk的状态从ok变成ok 1、ANk是输入神经元 9/当ANk的状态从ok变成okwkk=09/25/202271当ANk的状态从ok变成okwkk=09/24/20227=-(netk-k)okANk状态的变化：ok=(ok-ok)ok=0， =0ok0，ok=1& ok=0，ok由0变到1，netkk，netk-k0所以，-(netk-k)ok0故0结论：

32、网络的目标函数总是下降ok0, ok=0& ok=1，ok由1变到0netkk，netk-k0-(netk-k)ok0故0yi= 0if neti1121/29/25/202278激活函数阈值函数随着的增加，该函数趋近于阈值为0的阈值基本BAM的稳定Kosko(1987)：基本的双联存储器无条件稳定联接权矩阵是互为转置矩阵。当输入向量的维数与输出向量的维数相同时，W为方阵，此时如果联接矩阵W是对称的，则基本的双联存储器退化成一个Hopfield网 9/25/202279基本BAM的稳定Kosko(1987)：9/24/20227异联想记忆 样本集：S=(X1,Y1)，(X2,Y2),(Xs,Y

33、s)权矩阵网络需要对输入向量进行循环处理的情况当输入向量中含有“噪音”样本集所含的信息超出网络的容量 9/25/202280异联想记忆 样本集：S=(X1,Y1)，(X2,Y2),容量 Kosko（1987），一般情况下，相联存储器的容量不会超过网络最小层神经元的个数min Haines和Hecht-Nielson（1988），“非均匀”网络的容量最多可以达到2min R. J. McEliece、E. C. Posner、E. R. Rodemich用户随机地选择L个状态每个向量中有4+log2min个分量为1，其它为-198%的向量成为稳定状态 9/25/202281容量 Kosko（1987），一