高等教育ch神经网络理论基础oknew学习教案

1、会计学1高等教育高等教育ch神经网络理论基础神经网络理论基础oknew第一页，编辑于星期三：七点 四十分。数值数据、自学习能力等方数值数据、自学习能力等方面远未达到人脑境界面远未达到人脑境界第1页/共45页第二页，编辑于星期三：七点 四十分。微观结构和功能上对人脑进微观结构和功能上对人脑进行抽象和简化，模拟人类智行抽象和简化，模拟人类智能能第2页/共45页第三页，编辑于星期三：七点 四十分。第3页/共45页第四页，编辑于星期三：七点 四十分。第4页/共45页第五页，编辑于星期三：七点 四十分。第5页/共45页第六页，编辑于星期三：七点 四十分。第6页/共45页第七页，编辑于星期三：七点 四十分

2、。第7页/共45页第八页，编辑于星期三：七点 四十分。第8页/共45页第九页，编辑于星期三：七点 四十分。 了 古 典 的 旅 行 推 销 商 问 题了 古 典 的 旅 行 推 销 商 问 题( (Traveling Salesman Traveling Salesman Problem)Problem)，简称简称TSPTSP问题。问题。第9页/共45页第十页，编辑于星期三：七点 四十分。第10页/共45页第十一页，编辑于星期三：七点 四十分。第11页/共45页第十二页，编辑于星期三：七点 四十分。第12页/共45页第十三页，编辑于星期三：七点 四十分。第13页/共45页第十四页，编辑于星期三

3、：七点 四十分。第14页/共45页第十五页，编辑于星期三：七点 四十分。第15页/共45页第十六页，编辑于星期三：七点 四十分。第16页/共45页第十七页，编辑于星期三：七点 四十分。第17页/共45页第十八页，编辑于星期三：七点 四十分。、突触突触(Synapse，又称神经键又称神经键)组组成。成。第18页/共45页第十九页，编辑于星期三：七点 四十分。图图6 61 单个单个生物神经元解剖图生物神经元解剖图 第19页/共45页第二十页，编辑于星期三：七点 四十分。第20页/共45页第二十一页，编辑于星期三：七点 四十分。触后电位。触后电位。第21页/共45页第二十二页，编辑于星期三：七点 四

4、十分。第22页/共45页第二十三页，编辑于星期三：七点 四十分。第23页/共45页第二十四页，编辑于星期三：七点 四十分。第24页/共45页第二十五页，编辑于星期三：七点 四十分。图图 人工神经元模型人工神经元模型 第25页/共45页第二十六页，编辑于星期三：七点 四十分。响应函数（激活函数）的基本作用：响应函数（激活函数）的基本作用：1 1、控制输入对输出的激活作用；、控制输入对输出的激活作用；2 2、对输入、输出进行函数转换；、对输入、输出进行函数转换；3 3、将可能无限域的输入变换成指定的有限范、将可能无限域的输入变换成指定的有限范围内的输出。围内的输出。 jniijijxs1第26页/

5、共45页第二十七页，编辑于星期三：七点 四十分。图图 人工神经元的响应函数人工神经元的响应函数 第27页/共45页第二十八页，编辑于星期三：七点 四十分。2、线性单元 3、非线性单元：Sigmoid函数 第28页/共45页第二十九页，编辑于星期三：七点 四十分。隐含在等效的模拟电压之中隐含在等效的模拟电压之中) )。(3)(3)上述模型未考虑时延、不应上述模型未考虑时延、不应期和疲劳等。期和疲劳等。第29页/共45页第三十页，编辑于星期三：七点 四十分。第30页/共45页第三十一页，编辑于星期三：七点 四十分。第31页/共45页第三十二页，编辑于星期三：七点 四十分。图 神经网络的典型结构 第

6、32页/共45页第三十三页，编辑于星期三：七点 四十分。第33页/共45页第三十四页，编辑于星期三：七点 四十分。常用的神经网络学习方式：常用的神经网络学习方式：（1 1）有导师学习）有导师学习监督学习监督学习 Supervised Learning 例如例如BP 有明确的有明确的“教师教师”信号信号神经网络神经网络比较比较输入输入实际输出实际输出期望输出期望输出（2 2）无导师学习）无导师学习无监督学习无监督学习 Unsupervised Learning 没有任何没有任何“教师教师”信号信号 只是通过输入数据的内部信息只是通过输入数据的内部信息 相当自组织？类方法。相当自组织？类方法。神经

7、网络神经网络输入输入实际输出实际输出第34页/共45页第三十五页，编辑于星期三：七点 四十分。（3 3）再励学习）再励学习Reinforcement Learning 源于心理学源于心理学神经网络神经网络1环境环境输入输入输出输出神经网络神经网络2第35页/共45页第三十六页，编辑于星期三：七点 四十分。第36页/共45页第三十七页，编辑于星期三：七点 四十分。 Hebb学习规则是一种无导师学习的方法，称学习规则是一种无导师学习的方法，称为相关学习或并联学习，是人工神经网络学习的为相关学习或并联学习，是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以基本规则，几乎所有神经网络的学习

8、规则都可以看作看作Hebb学习规则的变形学习规则的变形。 jiijijIIkk1第37页/共45页第三十八页，编辑于星期三：七点 四十分。是用已知样本作为教师对网络进行学习是用已知样本作为教师对网络进行学习。主要利用误差：主要利用误差：ek=dk- - yk 学习目的是通过调整权值，使某一基于学习目的是通过调整权值，使某一基于ek的目标的目标函数达到最小函数达到最小212kkeE如：常用的目标函数是均方误差判据如：常用的目标函数是均方误差判据2DeltaDelta学习规则学习规则pppppppEydE12121pTpXWfy 第38页/共45页第三十九页，编辑于星期三：七点 四十分。可用梯度下降法对权值可用梯度下降法对权值W求导，得求导，得ppippppiXfydw1)()(8 . 622jjE第39页/共45页第四十页，编辑于星期三：七点 四十分。3）竞争学习规则）竞争学习规则在竞争学习时，网络各输出单元相互竞争，最后在竞争学习时，网络各输出单元相互竞争，最后达到只有一个最强者激活。达到只有一个最强者激活。)(ijjijwxw第40页/共45页第