人工神经网络-BP

1、2021/4/2612021/4/262人工神经网络人工神经网络 是是生物神经网络生物神经网络的某种模型的某种模型( (数学模型数学模型) ) 是对生物神经网络的模仿是对生物神经网络的模仿 基本处理单元为基本处理单元为人工神经元人工神经元2021/4/263 大量大量的广泛、复杂连接，形成的广泛、复杂连接，形成实现各种智能活动实现各种智能活动 2021/4/264 2021/4/265(2)(2)生物神经元的基本特征生物神经元的基本特征 神经元之间彼此神经元之间彼此 神经元之间的神经元之间的连接强度连接强度决定决定的强弱的强弱 神经元之间的神经元之间的可以可以 学习、遗忘、疲劳学习、遗忘、疲劳

2、 -神经网络中各神经元之间神经网络中各神经元之间，按外部的，按外部的激励信号做激励信号做 信号可以起信号可以起作用，也可以起作用，也可以起作用作用 一个神经元接受信号的一个神经元接受信号的决定该神经元的决定该神经元的 每个神经元可以有一个每个神经元可以有一个2021/4/266是是对对的的模模拟拟。 大大量量简简单单的的以以某某种种形形式式连连接接，形形成成一一个个. . 其其中中某某些些因因素素，如如: :连连接接连连接接，其其大大小小决决定定信信号号传传递递强强弱弱) ); ; , ,神神经经元元的的输输入入输输出出特特性性) ); ;甚甚至至等等， 可可依依某某种种规规则则随随外外部部数

3、数据据 进进人人工工神神经经网网络络计计算算单单元元（结结点点，神神经经元元）网网络络强强度度行行适适当当调调整整，最最终终实实现现某某种种功功能能。 ( (权权值值结结点点 神神经经网网络络计计算算特特性性( (激激活活特特性性网网络络结结的的计计算算通通过过网网络络结结构构实实现现； 生生 物物神神经经 构构系系 统统 不不同同网网络络结结构构可可以以体体现现各各种种不不同同的的功功能能； 网网络络结结构构的的是是通通过过逐逐渐渐参参数数学学习习修修正正的的。2021/4/267McCulloch-PittsMcCulloch-Pitts神经元模型神经元模型输入信号；链接强度与权向量；输入

4、信号；链接强度与权向量；信号累积信号累积激活与抑制激活与抑制2021/4/26800权值，激活 连接权值，突触连接强度权值，抑制 输入信号关于神经元突触的线性加权 将神经元的输出信号限制在有限范围内 一组连接 一个加法器一个激励函数人工神经元模型的三要素 :2021/4/269,.,.,1n1ni= xx=,维输入向量 是来自其它 个神经元的输出； 也可以是来自外部的输入信号维权向量 相当于突触的连接强度。TTnxxnnWR输输 入入信信号号权权向向量量2021/4/26101()iinetxynet 单调增函数，通常为非线性函数网络输入 -神经元的输入兴奋总量是多个输入的代数和 其中输出 标

5、量 -执行该神经元所获得的网络输入的变换niW xf 转转移移函函数数, ,激激励励 激激活活 函函数数 传传输输函函数数，输输出出函函数数，限限幅幅函函数数 将将可可能能的的无无线线域域变变换换到到指指定定的的有有限限范范围围输输出出。-单单输输出出()()传传递递函函数数9、 人的价值，在招收诱惑的一瞬间被决定。2022-3-62022-3-6Sunday, March 06, 202210、低头要有勇气，抬头要有低气。2022-3-62022-3-62022-3-63/6/2022 8:05:24 PM11、人总是珍惜为得到。2022-3-62022-3-62022-3-6Mar-226

6、-Mar-2212、人乱于心，不宽余请。2022-3-62022-3-62022-3-6Sunday, March 06, 202213、生气是拿别人做错的事来惩罚自己。2022-3-62022-3-62022-3-62022-3-63/6/202214、抱最大的希望，作最大的努力。2022年3月6日星期日2022-3-62022-3-62022-3-615、一个人炫耀什么，说明他内心缺少什么。2022年3月2022-3-62022-3-62022-3-63/6/202216、业余生活要有意义，不要越轨。2022-3-62022-3-6March 6, 202217、一个人即使已登上顶峰，也仍

7、要自强不息。2022-3-62022-3-62022-3-62022-3-62021/4/2612(1) (1) 基本的人工神经元模型基本的人工神经元模型1()iinetbpbynet若带偏置量，则有 标量niW pf-单单输输出出()()2021/4/2613(2) (2) 输出函数输出函数f0,f net = k net+cnetf netnetnetnet ： 为常数，称饱和值，是该神经单元的最大输出； 输出函数值限制在范围内。(Ramp Function)bkbbb bA.线性函数B.非线性斜数 函 面2021/4/2614(2) (2) 输出函数输出函数f, ,1 net0f net

8、 = sgn net =-1 net 0hardlims netf net =- net 型函数，不可微；对称硬极限函数； 双极函数 函数 其中非负实数 signmatlabC.符号函数D.阈值函数2021/4/2615(2) (2) 输出函数输出函数f210112()11.11netnetnetnetnetnetlogsignetnet 一些重要的学习算法要求输出函数可微 ， 值域， 对数S型函数双曲 函数： 值域， 函正切S数型函数netfematlabeeftheE sigmoidSeematlab函数型函数连续可微tansig：非线性，单调； 无限次可微较小时(权值较小)，可近似线性函

9、数 -高增益区处理小信号较大时(权值较大)，可近似阈值函数. -低增益区处理大信号netnet2021/4/2616()网络结构或拓扑(连接形式)神经元的计算特性 传递函数学习规则上述要素不同组合，形成各种神经网络模型3. 人工神经网络三个要素2021/4/2617 23HopfieldSOM.1 网络 神经网络feedfroward networkfeedback networkcompetitive learning network4 神经网络三种基本前馈型模神经网络-反馈网络竞争学习重点介绍网络型多多层层感感知知器器 B BP P网网络络 R RB BF F网网络络2021/4/2618

10、 自学习 自适应 并行处理 分布表达与计算回归 状态预测 可应用到众多领域,如： 优化计算；信号处理；智能控制； 模式识别；机器视觉；等等。神经网络特点神经网络应用神神经经网网络络本本质质上上，可可以以理理解解为为函函数数逼逼近近2021/4/26192021/4/2620 各神经元接受来自前级的输入，并产生输出到下一级，各神经元接受来自前级的输入，并产生输出到下一级，可用一有向无环图表示。，可用一有向无环图表示。 网络中的节点分两类：网络中的节点分两类： 节点按层节点按层(layer)(layer)组织组织 ： 第第i i层的输入只与第层的输入只与第i i-1 -1层的输出相连。层的输出相连

11、。 输入信号由输入层输入输入信号由输入层输入, ,由第一层节点输出，传向下层，由第一层节点输出，传向下层，。- (input layer) (input layer) 输入节点所在层，无计算能力输入节点所在层，无计算能力 (output layer) (output layer) 节点为神经元节点为神经元 中间层，节点为神经元中间层，节点为神经元2021/4/26212021/4/26222. 2. 感知器神经网络感知器神经网络( (感知器感知器) )、感知器神经元、感知器神经元2021/4/26231 net0f net = sgn net =-1 net 0hardlims1 net0ha

12、rdlim net =0 net 0对称硬极限函数 函数 matlab符号函数2. 2. 感知器神经网络、感知器神经元感知器神经网络、感知器神经元( (续续) )2021/4/2624 单个阈值神经元可以实现的与与、或或及、逻辑门。 任何逻辑函数可由两层前馈网络（一层计任何逻辑函数可由两层前馈网络（一层计算单元）实现算单元）实现。 多层感知器的适用范围大大超过单层网络。2021/4/26252021/4/2626 0111,.,iji0ji=kk1xgygnetvv c 第 个隐含层的第 个节点的净输入输出层的第 个节点的净输入类，c个判别函数 可表达更为复杂的非线性函数不一定为符号函数 nk

13、kjkkjjmkxxkc输出单元的输出隐含层单一般的前馈运算 元 激活函数 常要求激活函数是连续可微的输出层与隐含层的激活函数可以不同，并且输出层各单元的激活函数可有所区别2021/4/2627 2Kolmogorov 按照定理,任何一个判决均可用前式所示的三层神经网络实现。即： 只要给定足够数量的隐含层单元、适当的非线性函数、以及权值， 任何由输入向输出的连续映射函数均可用一个实现。三层前馈神经多层网网络能力络的表达2021/4/26282021/4/26292021/4/26302021/4/2631 1011,20121301,.,14B,.,P-1=维输入向量 层神经网络层号 输入层层

14、号 隐含层层号 输出层各层节点 输入节点，计算节点 数目， 输入层输出层相邻层连接权值 来自与第层的当前的连接节点第 层节点权值TnlLlijnxxxLllLlLnlLnnnliljm算法训练过程描述约定：标准化2021/4/2632 1115111,.,1,.,1,.,i, j,kjOijjkBP：第 层为当前处理层； 其前一层、当前层 、后一层的计算单元序号为； 位于当前层第 个计算单元的输出为， 前层第 个单元到本层第 个单元的连接权值为 本层第 个单元到后层第 个单元的连接权值为注：采用修正权值，输出函数应连续可微，选ljllijlljkllllljninknsigm算法训练过程描述假

15、假定定梯梯度度法法函数。oid2021/4/2633 111,1,. ,111. jjnetOOn tle-=+从样本集内取出一个样本,将 各分量从输入层输入至网络,由前向后，逐层得到各的：对于的第 个计算单元, 该单元的 ljlnlnllljijiilljjetllljjjx Dxyefnetf netf netnf1 1 输入信号的正向传递过计算单元实际输出当前层净输入实际输出程若当前层为111,.,jyyydyy，则计算单元预测输出 且给定输出 TljjmTjmlLOyD实际输出输输理想出出层2021/4/2634 122122111111,.,112211221xx-=最小误差平方和。

16、 某样本在网络产生的为 样本集内所有样本关于该网络的 输出层节点 的 TnmjjjmmLLjjjjjjtotalLLjijxEDydydOdf netEElLjnetO2 误差反向传播过程I 输出误差准则函数 输出层 各节点输出误差总输出误差净输入2121111-+ LjLnLinetiLjeO实际输出2021/4/2635 2211212211111121,.,11,.,121122=隐含层 输出层 输出层与前一层的实际输出 输出误差 输出层误差计算元的单LLLiLjLinLLjjiimmjjjjjLjjjLjnetEnLinetLjLLOyffOdydfnmII 输出层的权调值调整 连接整

17、权值 111111局部梯度 LjLjLjjjLjjlljjjjjjjjjyEydfnetynetydf netf nEnetyydeyt2021/4/2636 212111111111111211111.1= 修正应使误差 最快减 续小 LLijLjLiLijLjjjjjLjLjLjLjLijnLiiLijLijLLijijLijLiLjjEyydynetOEnetEnetnEAtOEeII 输出层的权值调整权值对误差 的影响输出层的权值调整 修正量 221111.11 LLiiLLLLijijijijjjjjydyttyOOBt修正方式 2021/4/2637111111111,.,1,.,

18、11节点后层中的节点 的输出 输出层误差 关于隐含层 的节点 净输入的局对后层全部节点部梯度：均有 影响 llllijnnlllkjkjkjjlkllllljljjjkinljljlIIInf nkOfffEnetnenelkOljEEttetne隐含层 当前层当调整 值前层的权111111111111111= llllljllljjlknknnllllkjkkjkkknliiljljjiljljnetOOfnetOetOOn t2021/4/263811111111111111111,.,1, .,1.= llllllijnljlkjnnllllkjkkjkkllljllljjjlljljl

19、jknliilklkjijiinljEnetnOOneIIInnetfnetOOEnetOett当前层隐含层的权 权值值调整 11111111 权值修正 lllilijnlllllijjjjkjlljljklkijlllijijlilijijijOEnnetOetOEEOOttt对误差 的影响2021/4/2639 ()11 续 ijijijijjiijttttOt为为加加快快收收敛敛速速度度，往往往往在在权权值值 修修正正量量中中加加上上前前次次的的权权值值修修正正 量量，称称为为。2引入惯性误差反向传播过程惯性项项： 权值修正2021/4/2640,00011.3.10.3.9BP 输入向

20、量,期望输出 ，如 小随机数 如：之间 通常固定之间；也可动态调整 通常之间包括 输入层节点数；隐含层数目；各隐含层节点数目； 输出层节点数；各神经元节点的激活函数最大可允许迭代ppxDSTEP训练样本权值初始化首先明确学习步长惯性算法步骤样本集的标准化冲量 项系数确定神经网络结构，设定终止条件：处理；0次数 硬条件 ； 训练精度 软条件记训练时间时间t以小随机数初始化网络权值；2021/4/2641 111121121,2,1mj=1yfy DBP：按随机或任意顺序从训练集中抽取1个训练样本 计算输入 时，当前网络的续TnnTmmTnl LlrsrjknliisjiSTEPx DxxxRdd

21、Rxyyffx重复如下过程直至满足算法终止条件 样本输入 期望输出 实际输 出算法步骤 2121,.,1111 激活函数其中Lnrmfeefffe2021/4/2642 11311,.,1,.,111,., BP -1 对于第 层，修正权值 权值修正项 输出层 ，具体为 间层：中lllijijijllllijiljjjjljjltttinjntxlLyydyjml算法步权骤调整值从从 输输出出层层开开始始 1111111,., lnllllljjjkjkklLxxtjn2021/4/2643 41B1P1213 更新全部权值，对所有训练样本重新计算输出； 计算更新后网络输出与期望输出的误差；

22、检查算法若不满足终止条件，则 ,转向若条件满足，则终止，转向：算法结束.输出各层连接权值。可以是如下之一：网络实际输出与期望输出 最近 轮训练中所有权值变化 算法达到最大允tt +1STEP3STEP3终止条件 终止条件总误差最大值算法步骤阈值阈值2= 许的 阈值3 总训练次数2021/4/26442021/4/2645。2021/4/26462021/4/2647 建模前输入输出数据的预处理建模前输入输出数据的预处理正向标准化正向标准化 建模后输入输出数据的后处理建模后输入输出数据的后处理反向标准化反向标准化特征的平移特征的平移特征的尺度调整特征的尺度调整0,1,-1,1,-0,1,-1,1

23、,-a,aa,a,0,a0,a 2021/4/2648 11,1,., ,1,.1.,0,1min1,.,maxminmin1maxminxxyy给定样本集 标准化处理后的样本集 TdiiidiiTmiiimiiikjkikjkjkikjkikjkjkxRxyinyRxyinxxxkdxxyyykyyA. 线性映回归模型中的输入 / 输出数射至据的预处理,.,m2021/4/26491,12min1,.,maxmin2min1,.,maxmin1,.,1,. 1 1 ikjkikjkjkikjkikjkjkikjkikjkikjkikjkxxxkdxxyyykmyyxmean xxkdxyme

24、an yykyB.线性映射至C.基于样本标准差及样本均值的线性映射,m2021/4/2650 1,0,1 maxminmin1,.2.,yyyy给定标准化处理之后的某个输入样本神经网络回归模型关于该输入产生预测输出对进行反向标准化后处理得最终预测输出 下面给出具体的后处理方式。 Tmkkjkjkjkxxyyyyyyykm回归模型中的输出A. 若标准数据化为线性后处理预处理式的模映射至2021/4/2651 1,1maxmin 1min21,.,1,.2.,yy+=+ jkjkkkjkkkjkjkyyykmyyymean ykmB. 若输出的标准化为线性映射至C.基于样本标准差及样本均值的反向线

25、性映射回归模型中的输出后处理预处理数据的模式2021/4/2652 1,1,., ,1,.,1,2.,0,11,10,1min1,.,maxminyxx-给定样本集 标准化处理后的样本集，或或 iiTdiiidiiiikjkikjkjkxinxRxyinyCxxxkdxxA.预 输出的标准化处理 B. 将输入各分量线性映射3 状态预测模型 分类模型 中的输入 / 输的处理出至数据2021/4/26531,12min1,.,maxmin1,., 1 ikjkikjkjkikjkikjkxxxkdxxxmean xxkdxC.将输入各分量线性线性映射至D.基于样本标准差及样本均值的输入各分量线性映

26、射2021/4/2654对多层网络要确定选用几个隐含层？对多层网络要确定选用几个隐含层？19881988年年CybenkoCybenko指出，若各节点均采用指出，若各节点均采用S S型函型函数，则数，则 一个隐含层一个隐含层足以实现任意判决分类问题；足以实现任意判决分类问题； 两个隐含层两个隐含层足以实现输入图形的任意输出足以实现输入图形的任意输出2021/4/26552021/4/2656取决于取决于: : 输出的表示方法输出的表示方法; ; 类别数目；类别数目； 待逼近的函数数目。待逼近的函数数目。(3)(3)输出节点数是待逼近的函数个数输出节点数是待逼近的函数个数2021/4/26572

27、021/4/26582,1010logIoHIHHIoHn nnnnnnnaann输入,输出层节点数隐含层节点数 2021/4/26592021/4/26601.状态预测状态预测-参考参考MATLAB神经网络神经网络30个案例分析个案例分析例例.基于基于BP神经网络的数据分类神经网络的数据分类四类语音特征信号分析四类语音特征信号分析每组语音信号为24维输入；四类语音信号：民歌、古筝、摇滚、流形共计2000组语音信号要求：基于BP网络设计一个语音信号类别预测模型代码：见案例12021/4/26612021/4/26622. 回归估计回归估计例：基于例：基于BP神经网络的公路运量神经网络的公路运量(客运量、货运量客运量、货运量)预测预测公路运量与该地区人数、机动车数量、公路面积有关。已知某地区20年的公路运量有关数据，对于未来某两年，若明确该地区人数、机动车数量、公路面积，要求：预测该地区的公路运量。分析：(1)明确模型输入输出关系(2)建模： 原始数据读取；数据标准化处理；网络训练；(3)模型评价：