《人工神经网络B》ppt课件

1、2021.7.28 2021.7.28 四四. . 数据处置及神经网络构造的选择数据处置及神经网络构造的选择五五. . 运用运用人工神经网络人工神经网络 是生物神经网络的某种模型是生物神经网络的某种模型( (数学模型数学模型) ) 是对生物神经网络的模拟是对生物神经网络的模拟 根本处置单元为人工神经元根本处置单元为人工神经元(2)(2)生物神经元的根本特征生物神经元的根本特征 神经元之间彼此衔接神经元之间彼此衔接 神经元之间的衔接强度决议信号传送的强弱神经元之间的衔接强度决议信号传送的强弱 神经元之间的衔接强度可以随训练改动神经元之间的衔接强度可以随训练改动 学习、遗忘、疲劳学习、遗忘、疲劳

2、- -神经网络中各神经元之间衔接的强弱，按外部的神经网络中各神经元之间衔接的强弱，按外部的鼓励信号做自顺应变化鼓励信号做自顺应变化 兴奋与抑制兴奋与抑制 信号可以起兴奋作用，也可以起抑制造用信号可以起兴奋作用，也可以起抑制造用 一个神经元接受信号的累积效果综合大小，代一个神经元接受信号的累积效果综合大小，代数和决议该神经元的形状数和决议该神经元的形状( (兴奋、抑制兴奋、抑制) ) 每个神经元可以有一个每个神经元可以有一个“阈值阈值是是对对的的模模拟拟。 大大量量简简单单的的以以某某种种形形式式连连接接，形形成成一一个个. . 其其中中某某些些因因素素，如如: :连连接接连连接接，其其大大小小

3、决决定定信信号号传传递递强强弱弱) ); ; , ,神神经经元元的的输输入入输输出出特特性性) ); ;甚甚至至等等， 可可依依某某种种规规则则随随外外部部数数据据 进进人人工工神神经经网网络络计计算算单单元元（结结点点，神神经经元元）网网络络强强度度行行适适当当调调整整，最最终终实实现现某某种种功功能能。 ( (权权值值结结点点 神神经经网网络络计计算算特特性性( (激激活活特特性性网网络络结结的的计计算算通通过过网网络络结结构构实实现现； 生生 物物神神经经 构构系系 统统 不不同同网网络络结结构构可可以以体体现现各各种种不不同同的的功功能能； 网网络络结结构构的的是是通通过过逐逐渐渐参参

4、数数学学习习修修正正的的。McCulloch-PittsMcCulloch-Pitts神经元模型神经元模型输入信号；链接强度与权向量；输入信号；链接强度与权向量；信号累积信号累积激活与抑制激活与抑制00权值，激活 连接权值，突触连接强度权值，抑制 输入信号关于神经元突触的线性加权 将神经元的输出信号限制在有限范围内 一组连接 一个加法器一个激励函数人工神经元模型的三要素 :,.,.,1n1ni= xx=,维输入向量 是来自其它 个神经元的输出； 也可以是来自外部的输入信号维权向量 相当于突触的连接强度。TTnxxnnWR输输 入入信信号号权权向向量量1()iinetxynet 单调增函数，通常

5、为非线性函数网络输入 -神经元的输入兴奋总量是多个输入的代数和 其中输出 标量 -执行该神经元所获得的网络输入的变换niW xf 转转移移函函数数, ,激激励励 激激活活 函函数数 传传输输函函数数，输输出出函函数数，限限幅幅函函数数 将将可可能能的的无无线线域域变变换换到到指指定定的的有有限限范范围围输输出出。-单单输输出出()()传传递递函函数数(1) (1) 根本的人工神经元模型根本的人工神经元模型1()iinetbpbynet若带偏置量，则有 标量niW pf- - -单单输输出出( () )(2) (2) 输出函数输出函数f f0,f net = k net+cnetf netnet

6、netnet ： 为常数，称饱和值，是该神经单元的最大输出； 输出函数值限制在范围内。(Ramp Function)bkbbb bA.线性函数B.非线性斜数 函 面(2) (2) 输出函数输出函数f f, ,1 net0f net = sgn net =-1 net 0hardlims netf net =- net 型函数，不可微；对称硬极限函数； 双极函数 函数 其中非负实数 signmatlabC.符号函数D.阈值函数(2) (2) 输出函数输出函数f f210112()11.11netnetnetnetnetnetlogsignetnet 一些重要的学习算法要求输出函数可微 ， 值域，

7、 对数S型函数双曲 函数： 值域， 函正切S数型函数netfematlabeeftheE sigmoidSeematlab函数型函数连续可微tansig：非线性，单调； 无限次可微较小时(权值较小)，可近似线性函数 -高增益区处理小信号较大时(权值较大)，可近似阈值函数. -低增益区处理大信号netnet()网络结构或拓扑(连接形式)神经元的计算特性 传递函数学习规则上述要素不同组合，形成各种神经网络模型3. 人工神经网络三个要素 23HopfieldSOM.1 网络 神经网络feedfroward networkfeedback networkcompetitive learning net

8、work4 神经网络三种基本前馈型模神经网络-反馈网络竞争学习重点介绍网络型多多层层感感知知器器 B BP P网网络络 R RB BF F网网络络 自学习 自适应 并行处理 分布表达与计算回归 状态预测 可应用到众多领域,如： 优化计算；信号处理；智能控制； 模式识别；机器视觉；等等。神经网络特点神经网络应用神神经经网网络络本本质质上上，可可以以理理解解为为函函数数逼逼近近 各神经元接受来自前级的输入，并产生输出到下一级，无反各神经元接受来自前级的输入，并产生输出到下一级，无反响，可用一有向无环图表示。响，可用一有向无环图表示。 网络中的节点分两类：输入节点；计算节点网络中的节点分两类：输入节

9、点；计算节点( (神经元节点神经元节点) ) 节点按层节点按层(layer)(layer)组织组织 ： 第第i i层的输入只与第层的输入只与第i-1i-1层的输出相连。层的输出相连。 输入信号由输入层输入输入信号由输入层输入, ,由第一层节点输出，传向下由第一层节点输出，传向下层，层， 前馈：信息由低层向高层单向流动。前馈：信息由低层向高层单向流动。 - 可见层可见层 输入层输入层 (input layer) (input layer) 输入节点所在层，无计算才干输入节点所在层，无计算才干 输出层输出层 (output layer) (output layer) 节点为神经元节点为神经元 隐含

10、层隐含层( hidden layer) ( hidden layer) 中间层，节点为神经元中间层，节点为神经元2. 2. 感知器神经网络感知器神经网络( (感知器感知器) )、感知器神经元、感知器神经元1 net0f net = sgn net =-1 net 0hardlims1 net0hardlim net =0 net 0对称硬极限函数 函数 matlab符号函数2. 2. 感知器神经网络、感知器神经元感知器神经网络、感知器神经元( (续续) ) 单个阈值神经元可以实现恣意多输入的与、或及与非、或非逻辑门。 任何逻辑函数可由两层前馈网络一层计算单元实现。 三层或三层以上的前馈网络通常

11、称为多层感知器 多层感知器的适用范围大大超越单层网络。 0111,.,iji0ji=kk1xgygnetvv c 第 个隐含层的第 个节点的净输入输出层的第 个节点的净输入类，c个判别函数 可表达更为复杂的非线性函数不一定为符号函数 nkkjkkjjmkxxkc输出单元的输出隐含层单一般的前馈运算 元 激活函数 常要求激活函数是连续可微的输出层与隐含层的激活函数可以不同，并且输出层各单元的激活函数可有所区别 2Kolmogorov 按照定理,任何一个判决均可用前式所示的三层神经网络实现。即： 只要给定足够数量的隐含层单元、适当的非线性函数、以及权值， 任何由输入向输出的连续映射函数均可用一个实

12、现。三层前馈神经多层网网络能力络的表达误差逐层反向传播；误差逐层反向传播；信号逐层正向传送信号逐层正向传送 1011,20121301,.,14B,.,P-1=维输入向量 层神经网络层号 输入层层号 隐含层层号 输出层各层节点 输入节点，计算节点 数目， 输入层输出层相邻层连接权值 来自与第层的当前的连接节点第 层节点权值TnlLlijnxxxLllLlLnlLnnnliljm算法训练过程描述约定：标准化 1115111,.,1,.,1,.,i, j,kjOijjkBP：第 层为当前处理层； 其前一层、当前层 、后一层的计算单元序号为； 位于当前层第 个计算单元的输出为， 前层第 个单元到本层

13、第 个单元的连接权值为 本层第 个单元到后层第 个单元的连接权值为注：采用修正权值，输出函数应连续可微，选ljllijlljkllllljninknsigm算法训练过程描述假假定定梯梯度度法法函数。oid 111,1,. ,111. jjnetOOn tle-=+从样本集内取出一个样本,将 各分量从输入层输入至网络,由前向后，逐层得到各的：对于的第 个计算单元, 该单元的 ljlnlnllljijiilljjetllljjjx Dxyefnetf netf netnf1 1 输入信号的正向传递过计算单元实际输出当前层净输入实际输出程若当前层为111,.,jyyydyy，则计算单元预测输出 且给

14、定输出 TljjmTjmlLOyD实际输出输输理想出出层 122122111111,.,112211221xx-=最小误差平方和。 某样本在网络产生的为 样本集内所有样本关于该网络的 输出层节点 的 TnmjjjmmLLjjjjjjtotalLLjijxEDydydOdf netEElLjnetO2 误差反向传播过程I 输出误差准则函数 输出层 各节点输出误差总输出误差净输入2121111-+ LjLnLinetiLjeO实际输出 2211212211111121,.,11,.,121122=隐含层 输出层 输出层与前一层的实际输出 输出误差 输出层误差计算元的单LLLiLjLinLLjjii

15、mmjjjjjLjjjLjnetEnLinetLjLLOyffOdydfnmII 输出层的权调值调整 连接整权值 111111局部梯度 LjLjLjjjLjjlljjjjjjjjjyEydfnetynetydf netf nEnetyydeyt 212111111111111211111.1= 修正应使误差 最快减 续小 LLijLjLiLijLjjjjjLjLjLjLjLijnLiiLijLijLLijijLijLiLjjEyydynetOEnetEnetnEAtOEeII 输出层的权值调整权值对误差 的影响输出层的权值调整 修正量 221111.11 LLiiLLLLijijijijjjj

16、jydyttyOOBt修正方式 111111111,.,1,.,11节点后层中的节点 的输出 输出层误差 关于隐含层 的节点 净输入的局对后层全部节点部梯度：均有 影响 llllijnnlllkjkjkjjlkllllljljjjkinljljlIIInf nkOfffEnetnenelkOljEEttetne隐含层 当前层当调整 值前层的权111111111111111= llllljllljjlknknnllllkjkkjkkknliiljljjiljljnetOOfnetOetOOn t11111111111111111,.,1, .,1.= llllllijnljlkjnnllllkj

17、kkjkkllljllljjjlljljljknliilklkjijiinljEnetnOOneIIInnetfnetOOEnetOett当前层隐含层的权 权值值调整 11111111 权值修正 lllilijnlllllijjjjkjlljljklkijlllijijlilijijijOEnnetOetOEEOOttt对误差 的影响 ()11 续 ijijijijjiijttttOt为为加加快快收收敛敛速速度度，往往往往在在权权值值 修修正正量量中中加加上上前前次次的的权权值值修修正正 量量，称称为为。2引入惯性误差反向传播过程惯性项项： 权值修正,00011.3.10.3.9BP 输入向量

18、,期望输出 ，如 小随机数 如：之间 通常固定之间；也可动态调整 通常之间包括 输入层节点数；隐含层数目；各隐含层节点数目； 输出层节点数；各神经元节点的激活函数最大可允许迭代ppxDSTEP训练样本权值初始化首先明确学习步长惯性算法步骤样本集的标准化冲量 项系数确定神经网络结构，设定终止条件：处理；0次数 硬条件 ； 训练精度 软条件记训练时间时间t以小随机数初始化网络权值； 111121121,2,1mj=1yfy DBP：按随机或任意顺序从训练集中抽取1个训练样本 计算输入 时，当前网络的续TnnTmmTnl LlrsrjknliisjiSTEPx DxxxRddRxyyffx重复如下过

19、程直至满足算法终止条件 样本输入 期望输出 实际输 出算法步骤 2121,.,1111 激活函数其中Lnrmfeefffe 11311,.,1,.,111,., BP -1 对于第 层，修正权值 权值修正项 输出层 ，具体为 间层：中lllijijijllllijiljjjjljjltttinjntxlLyydyjml算法步权骤调整值从从 输输出出层层开开始始 1111111,., lnllllljjjkjkklLxxtjn 41B1P1213 更新全部权值，对所有训练样本重新计算输出； 计算更新后网络输出与期望输出的误差； 检查算法若不满足终止条件，则 ,转向若条件满足，则终止，转向：算法结

20、束.输出各层连接权值。可以是如下之一：网络实际输出与期望输出 最近 轮训练中所有权值变化 算法达到最大允tt +1STEP3STEP3终止条件 终止条件总误差最大值算法步骤阈值阈值2= 许的 阈值3 总训练次数五五 运用运用 11,1,., ,1,.1.,0,1min1,.,maxminmin1maxminxxyy给定样本集 标准化处理后的样本集 TdiiidiiTmiiimiiikjkikjkjkikjkikjkjkxRxyinyRxyinxxxkdxxyyykyyA. 线性映回归模型中的输入 / 输出数射至据的预处理,.,m1,12min1,.,maxmin2min1,.,maxmin1,

21、.,1,. 1 1 ikjkikjkjkikjkikjkjkikjkikjkikjkikjkxxxkdxxyyykmyyxmean xxkdxymean yykyB.线性映射至C.基于样本标准差及样本均值的线性映射,m 1,0,1 maxminmin1,.2.,yyyy给定标准化处理之后的某个输入样本神经网络回归模型关于该输入产生预测输出对进行反向标准化后处理得最终预测输出 下面给出具体的后处理方式。 Tmkkjkjkjkxxyyyyyyykm回归模型中的输出A. 若标准数据化为线性后处理预处理式的模映射至 1,1maxmin 1min21,.,1,.2.,yy+=+ jkjkkkjkkkjkjkyyykmyyymean ykmB. 若输出的标准化为线性映射至C.基于样本标准差及样本均值的反向线性映射回归模型中的输出后处理预处理数据的模式 1,1,., ,1,.,1,2.,0,11,10,1min1,.,maxminyxx-给定样本集 标准化处理后的样本集，或或 iiTdiiidiiiikjkikjkjkxinxRxyinyCxxxkdxxA.预 输出的标准化处理 B. 将输入各分量线性映射3 状态预测模型 分类模型 中的输入 / 输的处理出至数据1,12min1,.,maxmin1,., 1 ikjkikjkjkik