BP神经网络的简要介绍及应用.ppt

1、BP神经网络的简要介绍及应用,崔义新,目录,一、人工神经网络概述,1.1 人工神经网络概念 人工神经网络（Artificial Neural Networks, ANN）是由大量处理单元互联组成的非线性、自适应信息处理系统.它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理. 人工神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型.这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的.,Hebb规则,1949年,低潮时期 未解决“异或”问题,1969年,M-P神经网络模型,20世纪4

2、0年代,感知器(Perceptron) 模型,1957年,多层网络的误差反传(学习算法,1986年,离散的连续的神经网络模型,20世纪80年代,1.2 人工神经网络的发展,20世纪80年代中期以来 研究热点,（4）细胞体完成电化学信号整合与处理，当胞体中接受的累加刺激超过一个阈值时，胞体就被激发，此时它沿轴突通过树突向其它神经元发出信号.,(1)生物神经元主要由树突、轴突、突触和细胞体组成.树突相当于信号的输入端，用于接受神经冲动.,(2）轴突是由细胞体向外伸出的最长的一条分支相当于信号的输出,(3）突触是神经元之间通过轴突（输出）和树突（输入）相互联结点.,1.3 生物学基础,生物神经元,1

3、.4 人工神经网络结构,1943，神经生理学家 McCulloch 和数学家 Pitts 基于早期神经元学说，归纳总结了生物神经元的基本特性，建立了具有逻辑演算功能的神经元模型以及这些人工神经元互联形成的人工神经网络，即所谓的 McCulloch-Pitts 模型。 McCulloch-Pitts 模型（MP模型）是世界上第一个神经计算模型，即人工神经系统。,MP模型神经元是二值型神经元，其输出状态取值为1或0，分别代表神经元的兴奋和抑制状态。如果 n 0，即神经元输入加权总和超过某个阈值，那么该神经元兴奋，状态为1；如果n 0，那么该神经元受到抑制，状态为0。通常，将这个规定称为MP模型神经

4、元的点火规则。用一数学表达式表示为： 对于MP模型神经元，权值w在（- 1，+1）区间连续取值。 取负值表示抑制两神经元间的连接强度，正值表示加强。,人工神经网络数学模型,.,.,y=f ( W*X + b ) = f ( wj xj + b ),yi是第i个神经元的输出,它可与其他多个神经元通过权连接；net分别指与第i个神经元连接的其他神经元输出；wji分别是指其他神经元与第j个神经元连接的权值；b是指第i个神经元的阈值；xi是第i个神经元的净输入；f是非线性函数，称为输出函数或激活函数。激活函数进行放大处理或限制在一个适当的范围内。典型的激活函数有符号函数、阶跃函数、S型函数等.,人工神

5、经网络常用激活函数,(7.6),二、BP神经网络简介,2.1 BP神经网络介绍 反向传播网络(Back-Propagation Network，简称BP网络)是将W-H学习规则一般化，对非线性可微分函数进行权值训练的多层网络； 权值的调整采用反向传播(Back-propagation）的学习算法； 它是一种多层前向反馈神经网络，其神经元的变换函数常为S型函数； 输出量为0到1之间的连续量，它可实现从输入到输出的任意的非线性映射；,函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近一个函数 模式识别：用一个特定的输出矢量将它与输入矢量联系起来； 分类:把输入矢量以所定义的合适方式进行分类； 数

6、据压缩：减少输出矢量维数以便于传输或存储；,2.2 BP网络应用,2.3 基本BP网络的拓扑结构,BP算法是在导师指导下，适合于多层神经元网络的一种学习，它是建立在梯度下降法的基础上的。理论证明，含有一个隐含层的BP网络可以实现以任意精度近似任何连续非线性函数。,如果神经网络中某一神经元与另一直接与其相连的神经元同时处于兴奋状态，那么这两个神经元间的连接强度应该加强。相关学习法是根据连接间的激活水平改变权值的，相关学习法也称Hebb学习规则，可用一数学表达式表示为：,2.4 BP算法的学习规则,Hebb学习规则,式中，wji( t + 1)表示修正一次后的某一权值; 称为学习因子，决定每次权值

7、的修正量，xi（t）、xj（t）分别表示t时刻第i、第j个神经元的状态。,误差修正学习法 根据期望输出与实际输出之间的误差大小来修正权值。误差修正学习法也称学习规则，可由如下四步来描述；,式中，为学习因子； y je(t)、yj(t) 分别表示第j个神经元的期望输出与实际输出；x i为第i个神经元的输入； (4）返回步骤（2）,直到对所有训练模式，网络输出均能满足要求。,（1）选择一组初始权值和偏差值； （2）计算某一输入模式对应的实际输出与期望输出的误差 （3）更新权值（偏差值可视为输入恒为-1的一个权值）,2.5 BP神经网络的数学模型,误差反传是把学习过程分为两个阶段： 第一阶段（正向传

8、播过程），给出输入信息通过输入层经隐含层处理并计算每个单元的实际输出值；,x1,x2,.,xn,输入层,隐藏层,输出层,V,W,第二阶段（反向过程），若在输出层未能得到期望的输出值，则逐层递归地计算实际输出与期望输出之差值（即误差），以便根据此差值调节权值；,BP算法的主要思想,以单隐层BP网络为例，假设有N个训练样本，即有N个输,输入向量为:,目标输出向量为（实际上的):,网络输出向量为（理论上的）,2.6 BP神经网络基本算法以及公式推导,为网络输入层与隐层，隐层与输出层的连,接权值；,注：理论上单隐层BP神经网络可以逼近任意函数,入输出对（Xn, ）,n=1,N,为网络输入层与隐层，隐层

9、与输出层的,阈值。,BP神经网络正向传播,输入层,隐藏层,输出层,x1,x2,xn,输入向量,输出向量,输入层的输出为X,这也是隐藏层的输入。那么，隐藏层的输出为,其中，激活函数f为S形函数,输出层的输入为,，输出层的输出为,其中，激活函数f为纯线形函数,.,.,误差计算,第k个神经元的实际误差为,所有神经元的实际总误差为,BP神经网络反向传播,输入层,隐藏层,输出层,y1,y2,yn,输入向量,输出向量,由最速下降法，当神经元为输出神经元时，对误差E分别关于权重W2和阈值B2求导得,单位神经元实际误差,实际总误差,当神经元为隐藏神经元时，对误差E分别关于权重W1和阈值B1求导得,.,权值调整

10、公式,输出层权值和阈值调整公式,隐藏层权值和阈值调整公式,学习速率,第二步，输入样本计算隐含层的输出值,计算公式为将其作为输出层的输入. 第三步，计算输出层的输出.,第六步，计算输出层到隐含层的误差信号 ； 第七步，计算隐含层到输入层的误差信号； 第八步，调整计算输出层到隐含层的权值和阈值； 第九步，调整计算隐含层到输入层的权值和阈值； 第十步，输入下一样本，依次循环,第一步，对数据经行归一化处理，网络初始化 根据系统输入输出序列（X,Y）确定网络输入层节点数n，输出层节点数l，输入层输出层的神经元个数分别由函数输入和输出的维数确定.由实验经验隐含层节点个数需要大于输入层隐层节点数，设为m，初

11、始化输入层、隐层、输出层之间的连接权值，初始化隐层阈值，输出层阈值，给定学习速率以及学习误差error；训练次数maxEpoch，可以根据训练需要改动；,2.7 BP人工神经网络基本步骤,2020/7/29,第五步，判断误差是否达到预先设定的要求或者训练次数是否达到最大值，如果是，算法结束；否则，进行第六步,第四步，计算全局误差e,3.应用举例,设计一个BP网络逼近函数：,输入数据有2个; 对应1个输出。 建模：（输入层，中间层，输出层，每层的元素应取多少个？） 建立神经网络,输入层,隐藏层,x1,x2,输入向量,输出向量,输出层,由生成矩阵X,Y，带入函数中，得到矩阵Z。画出函数图像如下图：

12、,图1：标准sin(x)cos(y)图像,随机生成两个权重系数矩阵和阈值矩阵为：,可以画出此时BP网络确定的的函数图像及误差图像,图2：随机权值矩阵确定的函数图像以及各点误差图像,由图像看出，此时的函数与目标函数相差甚远，误差很大，因此需要调整权值矩阵和阈值矩阵,根据BP网络的原理，按以上步骤我们调整逼近函数，首先迭代次数为500时，得到相关图像及误差图像；,图4：BP神经网络逼近sin(x)cos(y)图像,图5：误差,当训练次数为1000时,相应的图像如下：,粗略的可以看出逼近的图像大致接近于原函数图像，随着训练次数的增加可以看出误差有所改变，将两者的误差函数对比为,两者在前500次的训练

13、中误差基本吻合，训练1000次时误差逐渐减小，最小值为2.2060，相对于训练500次最小误差值为4.1159有所减小，这说明神将网络在逐步的逼近原函数。,4、法方程与QR分解,考虑不相容线性方程组,设其为,若实数 ，使,最小，则称 是不相容方程组 的最 小二乘解。,考虑欧氏空间 ，则 。式可 表为,其中 。,则 W 是 的子空间，且求 使最小，即是求 使 最小，亦即求 b到 W 的最短距离。,由前面定理，只须求 ，使 ， 即对 ，均有,令,故 应为线性方程组,的解。,定理 设 是不相容线性方程组，则下列 线性方程组,的解就是原方程组的最小二乘解。称为法方程。,定理 设 是不相容线性方程组，这

14、里 。若 秩(A) = n，则此方程组有 唯一的最小二乘解， 。,对于法方程,，若ATA可逆且易于求逆，,则可以直接求解,若ATA非奇异或难于求逆,用矩阵的满秩分解法解法方程组ATAX=ATb;由满秩分解A=FG，其中F为秩为r的mr矩阵，G是秩为r的rn矩阵。则法方程组变成,因此法方程的解，也是原方程组的最小二乘解为,除此之外，也可以用LU分解，cholesky分解等进行求解。,QR分解,设矩阵ARnn，且非奇异，则存在正交矩阵Q，非奇异上三角矩阵R，使得A=QR，称之为QR分解(QR decomposition)，且此时分解唯一。,而且此时Q=Q1 Q2，R=R1;0，其中Q1Rmn满足Q1TQ1=In，R1Rnn是非奇异上三角矩阵。这样分解式为A=Q1R1，称为compact QR decomp.。,QR分解的实现方式：GS/MGS，Givens变换，Householder变换。,设矩阵ARmn(mn)，且列满秩，则存在正交矩阵QRmm，上三角矩阵RRmn，使得A=QR。,由QR分解（正交三角分解）G=QR,其中Q是正交矩阵,R