BP神经网络重难点

1、BP神经网络重难点BP神经网络PPT人工神经网络人工神经网络 是生物神经网络的某种模型是生物神经网络的某种模型( (数学模型数学模型) ) 是对生物神经网络的模仿是对生物神经网络的模仿 基本处理单元为人工神经元基本处理单元为人工神经元 大量大量的广泛、复杂连接，形成的广泛、复杂连接，形成实现各种智能活动实现各种智能活动 (2)(2)生物神经元的基本特征生物神经元的基本特征 神经元之间彼此神经元之间彼此 神经元之间的连接强度决定神经元之间的连接强度决定的强弱的强弱 神经元之间的神经元之间的可以可以 学习、遗忘、疲劳学习、遗忘、疲劳 -神经网络中各神经元之间神经网络中各神经元之间，按外部的激励，按

2、外部的激励信号做信号做 信号可以起信号可以起作用，也可以起作用，也可以起作用作用 一个神经元接受信号的一个神经元接受信号的决定该神经元的决定该神经元的 每个神经元可以有一个每个神经元可以有一个是是对对的的模模拟拟。 大大量量简简单单的的以以某某种种形形式式连连接接，形形成成一一个个. . 其其中中某某些些因因素素，如如: :连连接接连连接接，其其大大小小决决定定信信号号传传递递强强弱弱) ); ; , ,神神经经元元的的输输入入输输出出特特性性) ); ;甚甚至至等等， 可可依依某某种种规规则则随随外外部部数数据据 进进人人工工神神经经网网络络计计算算单单元元（结结点点，神神经经元元）网网络络

3、强强度度行行适适当当调调整整，最最终终实实现现某某种种功功能能。 ( (权权值值结结点点 神神经经网网络络计计算算特特性性( (激激活活特特性性网网络络结结的的计计算算通通过过网网络络结结构构实实现现； 生生 物物神神经经 构构系系 统统 不不同同网网络络结结构构可可以以体体现现各各种种不不同同的的功功能能； 网网络络结结构构的的是是通通过过逐逐渐渐参参数数学学习习修修正正的的。McCulloch-PittsMcCulloch-Pitts神经元模型神经元模型输入信号；链接强度与权向量；输入信号；链接强度与权向量；信号累积信号累积激活与抑制激活与抑制00权值，激活 连接权值，突触连接强度权值，抑

4、制 输入信号关于神经元突触的线性加权 将神经元的输出信号限制在有限范围内 一组连接 一个加法器一个激励函数人工神经元模型的三要素 :,.,.,1n1ni= xx=,维输入向量 是来自其它 个神经元的输出； 也可以是来自外部的输入信号维权向量 相当于突触的连接强度。TTnxxnnWR输输 入入信信号号权权向向量量1()iinetxynet 单调增函数，通常为非线性函数网络输入 -神经元的输入兴奋总量是多个输入的代数和 其中输出 标量 -执行该神经元所获得的网络输入的变换niW xf 转转移移函函数数, ,激激励励 激激活活 函函数数 传传输输函函数数，输输出出函函数数，限限幅幅函函数数 将将可可

5、能能的的无无线线域域变变换换到到指指定定的的有有限限范范围围输输出出。-单单输输出出()()传传递递函函数数(1) (1) 基本的人工神经元模型基本的人工神经元模型1()iinetbpbynet若带偏置量，则有 标量niW pf-单单输输出出()()(2) (2) 输出函数输出函数f0,f net = k net+cnetf netnetnetnet ： 为常数，称饱和值，是该神经单元的最大输出； 输出函数值限制在范围内。(Ramp Function)bkbbb bA.线性函数B.非线性斜数 函 面(2) (2) 输出函数输出函数f, ,1 net0f net = sgn net =-1 ne

6、t 0hardlims netf net =- net 型函数，不可微；对称硬极限函数； 双极函数 函数 其中非负实数 signmatlabC.符号函数D.阈值函数(2) (2) 输出函数输出函数f210112()11.11netnetnetnetnetnetlogsignetnet 一些重要的学习算法要求输出函数可微 ， 值域， 对数S型函数双曲 函数： 值域， 函正切S数型函数netfematlabeeftheE sigmoidSeematlab函数型函数连续可微tansig：非线性，单调； 无限次可微较小时(权值较小)，可近似线性函数 -高增益区处理小信号较大时(权值较大)，可近似阈值函

7、数. -低增益区处理大信号netnet()网络结构或拓扑(连接形式)神经元的计算特性 传递函数学习规则上述要素不同组合，形成各种神经网络模型3. 人工神经网络三个要素 23HopfieldSOM.1 网络 神经网络feedfroward networkfeedback networkcompetitive learning network4 神经网络三种基本前馈型模神经网络-反馈网络竞争学习重点介绍网络型多多层层感感知知器器 B BP P网网络络 R RB BF F网网络络 自学习 自适应 并行处理 分布表达与计算回归 状态预测 可应用到众多领域,如： 优化计算；信号处理；智能控制； 模式识别

8、；机器视觉；等等。神经网络特点神经网络应用神神经经网网络络本本质质上上，可可以以理理解解为为函函数数逼逼近近 各神经元接受来自前级的输入，并产生输出到下一级，各神经元接受来自前级的输入，并产生输出到下一级，可用一有向无环图表示。可用一有向无环图表示。 网络中的节点分两类：网络中的节点分两类： 节点按层节点按层(layer)(layer)组织组织 ： 第第i i层的输入只与第层的输入只与第i i-1 -1层的输出相连。层的输出相连。 输入信号由输入层输入输入信号由输入层输入, ,由第一层节点输出，传向下层，由第一层节点输出，传向下层，。- (input layer) (input layer)

9、输入节点所在层，无计算能力输入节点所在层，无计算能力 (output layer) (output layer) 节点为神经元节点为神经元 中间层，节点为神经元中间层，节点为神经元2. 2. 感知器神经网络感知器神经网络( (感知器感知器) )、感知器神经元、感知器神经元1 net0f net = sgn net =-1 net 0hardlims1 net0hardlim net =0 net 0对称硬极限函数 函数 matlab符号函数2. 2. 感知器神经网络、感知器神经元感知器神经网络、感知器神经元( (续续) ) 单个阈值神经元可以实现的与与、或或及、逻辑门。 任何逻辑函数可由两层前

10、馈网络（一层计算单元）任何逻辑函数可由两层前馈网络（一层计算单元）实现实现。 多层感知器的适用范围大大超过单层网络。 0111,.,iji0ji=kk1xgygnetvv c 第 个隐含层的第 个节点的净输入输出层的第 个节点的净输入类，c个判别函数 可表达更为复杂的非线性函数不一定为符号函数 nkkjkkjjmkxxkc输出单元的输出隐含层单一般的前馈运算 元 激活函数 常要求激活函数是连续可微的输出层与隐含层的激活函数可以不同，并且输出层各单元的激活函数可有所区别 2Kolmogorov 按照定理,任何一个判决均可用前式所示的三层神经网络实现。即： 只要给定足够数量的隐含层单元、适当的非线

11、性函数、以及权值， 任何由输入向输出的连续映射函数均可用一个实现。三层前馈神经多层网网络能力络的表达 1011,20121301,.,14B,.,P-1=维输入向量 层神经网络层号 输入层层号 隐含层层号 输出层各层节点 输入节点，计算节点 数目， 输入层输出层相邻层连接权值 来自与第层的当前的连接节点第 层节点权值TnlLlijnxxxLllLlLnlLnnnliljm算法训练过程描述约定：标准化 1115111,.,1,.,1,.,i, j,kjOijjkBP：第 层为当前处理层； 其前一层、当前层 、后一层的计算单元序号为； 位于当前层第 个计算单元的输出为， 前层第 个单元到本层第 个

12、单元的连接权值为 本层第 个单元到后层第 个单元的连接权值为注：采用修正权值，输出函数应连续可微，选ljllijlljkllllljninknsigm算法训练过程描述假假定定梯梯度度法法函数。oid 111,1,. ,111. jjnetOOn tle-=+从样本集内取出一个样本,将 各分量从输入层输入至网络,由前向后，逐层得到各的：对于的第 个计算单元, 该单元的 ljlnlnllljijiilljjetllljjjx Dxyefnetf netf netnf1 1 输入信号的正向传递过计算单元实际输出当前层净输入实际输出程若当前层为111,.,jyyydyy，则计算单元预测输出 且给定输出

13、 TljjmTjmlLOyD实际输出输输理想出出层 122122111111,.,112211221xx-=最小误差平方和。 某样本在网络产生的为 样本集内所有样本关于该网络的 输出层节点 的 TnmjjjmmLLjjjjjjtotalLLjijxEDydydOdf netEElLjnetO2 误差反向传播过程I 输出误差准则函数 输出层 各节点输出误差总输出误差净输入2121111-+ LjLnLinetiLjeO实际输出 2211212211111121,.,11,.,121122=隐含层 输出层 输出层与前一层的实际输出 输出误差 输出层误差计算元的单LLLiLjLinLLjjiimmj

14、jjjjLjjjLjnetEnLinetLjLLOyffOdydfnmII 输出层的权调值调整 连接整权值 111111局部梯度 LjLjLjjjLjjlljjjjjjjjjyEydfnetynetydf netf nEnetyydeyt 212111111111111211111.1= 修正应使误差 最快减 续小 LLijLjLiLijLjjjjjLjLjLjLjLijnLiiLijLijLLijijLijLiLjjEyydynetOEnetEnetnEAtOEeII 输出层的权值调整权值对误差 的影响输出层的权值调整 修正量 221111.11 LLiiLLLLijijijijjjjjyd

15、yttyOOBt修正方式 111111111,.,1,.,11节点后层中的节点 的输出 输出层误差 关于隐含层 的节点 净输入的局对后层全部节点部梯度：均有 影响 llllijnnlllkjkjkjjlkllllljljjjkinljljlIIInf nkOfffEnetnenelkOljEEttetne隐含层 当前层当调整 值前层的权111111111111111= llllljllljjlknknnllllkjkkjkkknliiljljjiljljnetOOfnetOetOOn t11111111111111111,.,1, .,1.= llllllijnljlkjnnllllkjkkj

16、kkllljllljjjlljljljknliilklkjijiinljEnetnOOneIIInnetfnetOOEnetOett当前层隐含层的权 权值值调整 11111111 权值修正 lllilijnlllllijjjjkjlljljklkijlllijijlilijijijOEnnetOetOEEOOttt对误差 的影响 ()11 续 ijijijijjiijttttOt为为加加快快收收敛敛速速度度，往往往往在在权权值值 修修正正量量中中加加上上前前次次的的权权值值修修正正 量量，称称为为。2引入惯性误差反向传播过程惯性项项： 权值修正,00011.3.10.3.9BP 输入向量,期望

17、输出 ，如 小随机数 如：之间 通常固定之间；也可动态调整 通常之间包括 输入层节点数；隐含层数目；各隐含层节点数目； 输出层节点数；各神经元节点的激活函数最大可允许迭代ppxDSTEP训练样本权值初始化首先明确学习步长惯性算法步骤样本集的标准化冲量 项系数确定神经网络结构，设定终止条件：处理；0次数 硬条件 ； 训练精度 软条件记训练时间时间t以小随机数初始化网络权值； 111121121,2,1mj=1yfy DBP：按随机或任意顺序从训练集中抽取1个训练样本 计算输入 时，当前网络的续TnnTmmTnl LlrsrjknliisjiSTEPx DxxxRddRxyyffx重复如下过程直至

18、满足算法终止条件 样本输入 期望输出 实际输 出算法步骤 2121,.,1111 激活函数其中Lnrmfeefffe 11311,.,1,.,111,., BP -1 对于第 层，修正权值 权值修正项 输出层 ，具体为 间层：中lllijijijllllijiljjjjljjltttinjntxlLyydyjml算法步权骤调整值从从 输输出出层层开开始始 1111111,., lnllllljjjkjkklLxxtjn 41B1P1213 更新全部权值，对所有训练样本重新计算输出； 计算更新后网络输出与期望输出的误差； 检查算法若不满足终止条件，则 ,转向若条件满足，则终止，转向：算法结束.输

19、出各层连接权值。可以是如下之一：网络实际输出与期望输出 最近 轮训练中所有权值变化 算法达到最大允tt +1STEP3STEP3终止条件 终止条件总误差最大值算法步骤阈值阈值2= 许的 阈值3 总训练次数 建模前输入输出数据的预处理建模前输入输出数据的预处理正向标准化正向标准化 建模后输入输出数据的后处理建模后输入输出数据的后处理反向标准化反向标准化特征的平移特征的平移特征的尺度调整特征的尺度调整0,1,-1,1,-0,1,-1,1,-a,aa,a,0,a0,a 11,1,., ,1,.1.,0,1min1,.,maxminmin1maxminxxyy给定样本集 标准化处理后的样本集 Tdii

20、idiiTmiiimiiikjkikjkjkikjkikjkjkxRxyinyRxyinxxxkdxxyyykyyA. 线性映回归模型中的输入 / 输出数射至据的预处理,.,m1,12min1,.,maxmin2min1,.,maxmin1,.,1,. 1 1 ikjkikjkjkikjkikjkjkikjkikjkikjkikjkxxxkdxxyyykmyyxmean xxkdxymean yykyB.线性映射至C.基于样本标准差及样本均值的线性映射,m 1,0,1 maxminmin1,.2.,yyyy给定标准化处理之后的某个输入样本神经网络回归模型关于该输入产生预测输出对进行反向标准化后处理得最终预测输出 下面给出具体的后处理方式。 Tmkkjkjkjkxxyyyyyyykm回归模型中的输出A. 若标准数据化为线性后处理预处理式的模映射至 1,1maxmin 1min21,.,1,.2.