人工神经网络简介

1、12 人类具有高度发达的大脑，大脑是思维活动的物质基人类具有高度发达的大脑，大脑是思维活动的物质基础，而思维是人类智能的集中体现。础，而思维是人类智能的集中体现。 思维是人脑的信息处理方式。人脑的思维有逻辑思维思维是人脑的信息处理方式。人脑的思维有逻辑思维、形象思维和灵感思维三种基本方式。、形象思维和灵感思维三种基本方式。 逻辑思维的基础是概念、判断与推理，即将信息抽象逻辑思维的基础是概念、判断与推理，即将信息抽象为概念，再根据逻辑规则进行逻辑推理。为概念，再根据逻辑规则进行逻辑推理。 由于概念可用符号表示，而逻辑推理可按串行模式进由于概念可用符号表示，而逻辑推理可按串行模式进行，这一过程可以

2、写成串行指令由机器来完成。行，这一过程可以写成串行指令由机器来完成。 计算机就是这样一种计算机就是这样一种用机器模拟人脑逻辑思维用机器模拟人脑逻辑思维的人的人工智能系统。工智能系统。3卡斯帕罗夫在与卡斯帕罗夫在与“深蓝深蓝”对弈对弈(右为右为“深蓝深蓝”现场操现场操作者作者) 4主要内容主要内容3.1 概述概述 3.2 神经网络基础知识神经网络基础知识 3.3 神经网络模型神经网络模型 3.4 神经网络算法神经网络算法3.5 神经网络应用神经网络应用5一、一、人脑的信息处理人脑的信息处理信信息息综综合合能能力力综合判断综合判断耳听耳听八方八方眼观眼观六路六路经验直经验直觉觉3.1 概述概述6二

3、、人脑与计算机信息处理机制的比较二、人脑与计算机信息处理机制的比较系统结构系统结构 存存储储器器 指指令令 输输入入设设备备 运运算算器器 输输出出设设备备 控控制制器器冯冯.诺诺依依曼曼体体系系计计算算机机3.1 概述概述7主要内容主要内容3.1 概述概述 3.2 神经网络基础知识神经网络基础知识 3.3 神经网络模型神经网络模型 3.4 神经网络算法神经网络算法3.5 神经网络应用神经网络应用8 人工神经网络（人工神经网络（Artificial Neural NetworksArtificial Neural Networks，简记作简记作ANNANN），是对人类大脑系统的一种描述。），是

4、对人类大脑系统的一种描述。 ANNANN是一个是一个数学模型数学模型，可以用，可以用电子线路电子线路来实现，也来实现，也可以用可以用计算机程序计算机程序来模拟，是人工智能研究的一来模拟，是人工智能研究的一种方法。种方法。 人工神经网络是人工神经网络是对人脑的模拟对人脑的模拟人工神经元人工神经元 模拟模拟 生物神经元生物神经元人工神经网络人工神经网络 模拟模拟 生物神经网络生物神经网络3.2 神经网络基础知识神经网络基础知识9 神经生理学和神经解剖学的研究结果表明，神经生理学和神经解剖学的研究结果表明，神经元是神经元是脑组织的基本单元脑组织的基本单元，是神经系统结构与功能的，是神经系统结构与功能

5、的单位单位。 人类大脑大约包含有人类大脑大约包含有1.41.4 10101111个神经元，每个神经元与大约个神经元，每个神经元与大约10103 310105 5个其它神经元相连接，个其它神经元相连接，构成一个极为庞大而复杂的网络，构成一个极为庞大而复杂的网络，即即生物神经网络生物神经网络。3.2 神经网络基础知识神经网络基础知识神经元组成：神经元组成：细胞核、树突、轴突、突触细胞核、树突、轴突、突触完成：完成：神经元间信息的神经元间信息的接收、传递和处理接收、传递和处理。103.2 神经网络基础知识神经网络基础知识113.2 神经网络基础知识神经网络基础知识从神经元各组成部分的功能来看，信息的

6、从神经元各组成部分的功能来看，信息的处理与传递处理与传递主要发主要发生在生在突触附近突触附近。当神经元细胞体通过轴突传到突触前膜的。当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度脉冲幅度达到一定强度，即，即超过其阈值电位后超过其阈值电位后，突触前膜，突触前膜将向突触间隙将向突触间隙释放释放神经传递的化学物质神经传递的化学物质。12信息输入信息输入生物神经元生物神经元信息处理单元信息处理单元3.2 神经网络基础知识神经网络基础知识13信息传播与处理信息传播与处理生物神经元生物神经元信息处理单元信息处理单元3.2 神经网络基础知识神经网络基础知识14信息传播与处理（整合）信息传播与处理（

7、整合）生物神经元生物神经元信息处理单元信息处理单元3.2 神经网络基础知识神经网络基础知识15信息传播与处理结果：兴奋与抑制信息传播与处理结果：兴奋与抑制生物神经元生物神经元信息处理单元信息处理单元3.2 神经网络基础知识神经网络基础知识16信息输出信息输出生物神经元生物神经元信息处理单元信息处理单元3.2 神经网络基础知识神经网络基础知识17主要内容主要内容3.1 概述概述 3.2 神经网络基础知识神经网络基础知识 3.3 神经网络模型神经网络模型 3.4 神经网络算法神经网络算法3.5 神经网络应用神经网络应用18神经网络的基本功能神经网络的基本功能之一之一分类与识别功能分类与识别功能 传

8、传统统分分类类能能力力 ANN分分类类能能力力3.3 神经网络模型神经网络模型19神经网络的基本功能神经网络的基本功能之二之二优化计算功能优化计算功能3.3 神经网络模型神经网络模型20神经网络模型的假设：神经网络模型的假设：1）每个神经元都是一个）每个神经元都是一个多输入单输出多输入单输出的信息处理单元的信息处理单元；2）神经元之间的神经元之间的联接强度联接强度决定决定信号传递信号传递的强弱的强弱；3）神经元之间的神经元之间的联接强度联接强度是可以是可以随随训练训练改变改变的；的；4）信号输入可以起信号输入可以起刺激刺激作用作用，也可以起，也可以起抑制抑制作用作用。3.3 神经网络模型神经网

9、络模型21人工神经元信息处理单元人工神经元信息处理单元 )(ixf i 3.3 神经网络模型神经网络模型22 )(ixf i 信息输入信息输入人工神经元信息处理单元人工神经元信息处理单元3.3 神经网络模型神经网络模型23 )(ixf i 信息传播与处理：加权求和信息传播与处理：加权求和人工神经元信息处理单元人工神经元信息处理单元3.3 神经网络模型神经网络模型24 )(ixf i 信息传播信息传播人工神经元信息处理单元人工神经元信息处理单元3.3 神经网络模型神经网络模型25 )(ixf i 信息传播与处理：非线性信息传播与处理：非线性人工神经元信息处理单元人工神经元信息处理单元3.3 神经

10、网络模型神经网络模型26 )(ixf i 信息输出信息输出人工神经元信息处理单元人工神经元信息处理单元3.3 神经网络模型神经网络模型27 x1 x1 w1j o oj j wij o oj j xi xi wnj xn xn (a)多多输输入入单单输输出出 (b)输输入入加加权权 x1 w1j x1 w1j wij o oj j wij o oj j xI xI f wnj wnj xn xn (c)输输入入加加权权求求和和 (d)输输入入-输输出出函函数数3.3 神经网络模型神经网络模型28juj1jv3jv2jvnjvijv1x3x2xnxixjjp( )fjy激励函数激励函数1njij

11、iiuv xjjjpu()jjyfp1()nijijifv x3.3 神经网络模型神经网络模型 神经元神经元j的阈值；的阈值； vij 神经元神经元i到到j的的连接系数或称权重值；连接系数或称权重值； f ( )神经元激励函数神经元激励函数j29 (a)阈值型阈值型 (b)分段线性型分段线性型 (c) Sigmoid函数型函数型 (d)双曲正切型双曲正切型激励函数激励函数一般具有一般具有非线性特性非线性特性，常用的非线性激励函数如下：，常用的非线性激励函数如下：3.3 神经网络模型神经网络模型这里，这里，称为激活值称为激活值1njijijipv x30激励函数激励函数(Activation F

12、unction)(Activation Function) 执行对该神经元所获得的网络输入的变换。执行对该神经元所获得的网络输入的变换。 1、阈值函数（、阈值函数（Threshold Function） 10()00jjjpfpp()fp10p阶跃函数阶跃函数人工神经元模型人工神经元模型MP模型模型(McCulloch-Pitts)3.3 神经网络模型神经网络模型jjjpu31 1、阈值函数（、阈值函数（ Threshold Function ） ()jjjpfpp()fpp1()0jjjpfpp1()1jjjpfpp 、 和和 均为非负数均为非负数激励函数激励函数(Activation Fu

13、nction)(Activation Function) 执行对该神经元所获得的网络输入的变换。执行对该神经元所获得的网络输入的变换。3.3 神经网络模型神经网络模型jjjpu32 2、分段线性函数（、分段线性函数（Ramp Function） 11()1111jjjjjpfpppp ()fpp1-1激励函数激励函数(Activation Function)(Activation Function) 执行对该神经元所获得的网络输入的变换。执行对该神经元所获得的网络输入的变换。3.3 神经网络模型神经网络模型jjjpu33 3、Sigmoid函数（函数（S型函数、型函数、 Logistic Fu

14、nction ） ()1jjpbfpae-10-8-6-4-2024681000.10.20.30.40.50.60.70.80.91()fppabaab/2激励函数激励函数(Activation Function)(Activation Function) 执行对该神经元所获得的网络输入的变换。执行对该神经元所获得的网络输入的变换。3.3 神经网络模型神经网络模型jjjpu34-10-8-6-4-2024681000.10.20.30.40.50.60.70.80.911()1jjpfpe()fpp最常用的最常用的激励函数激励函数10 3、Sigmoid函数（函数（S型函数、型函数、 Log

15、istic Function ） 激励函数激励函数(Activation Function)(Activation Function) 执行对该神经元所获得的网络输入的变换。执行对该神经元所获得的网络输入的变换。3.3 神经网络模型神经网络模型jjjpu35简单单级网简单单级网x1x2xno1o2omwnmw11w1mw2mwn1输出层输出层输入层输入层3.3 神经网络模型神经网络模型36单单纯纯层层次次型型结结构构 u y 3.3 神经网络模型神经网络模型网络拓扑结构网络拓扑结构37单级横向反馈网单级横向反馈网输出层输出层 x1o1w11w1mx2o2w2m xnomwn1输入层输入层V3.

16、3 神经网络模型神经网络模型38多级网多级网输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn3.3 神经网络模型神经网络模型39 层次划分层次划分 输入层输入层：被记作：被记作第第0层层。该层负责。该层负责接收来自网络外部的信息接收来自网络外部的信息输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn3.3 神经网络模型神经网络模型40 第第j层层：第：第j-1层的直接后继层（层的直接后继层（j0），它），它直接接受第直接接受第j-1层的层的输出输出。 输出层输出层：它是网络的最后一层，负责输出网络的计算结果。：它是网络的最后一层，负责输出网络的计算结果。 隐藏层隐藏层：除

17、输入层和输出层以外的其它各层除输入层和输出层以外的其它各层叫隐藏层。隐藏叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号。层不直接接受外界的信号，也不直接向外界发送信号。输出层输出层隐藏层隐藏层输入层输入层 o1 o2 omx1x2xn3.3 神经网络模型神经网络模型41 约定约定 :输出层的层号为该网络的层数输出层的层号为该网络的层数：n层网络，或层网络，或n级网络。级网络。第第j-1层到第层到第j层层的联接矩阵为的联接矩阵为第第j层联接矩阵层联接矩阵，输出层对应，输出层对应的矩阵叫输出层联接矩阵。的矩阵叫输出层联接矩阵。W(1)W(2)W(3)W(h)3.3 神经网络模型神经网

18、络模型输出层输出层隐藏层隐藏层输入层输入层 o1 o2 omx1x2xn42循环网循环网x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn3.3 神经网络模型神经网络模型43输输出出层层到到输输入入层层有有连连接接3.3 神经网络模型神经网络模型网络拓扑结构网络拓扑结构 uy44层层内内有有连连接接层层次次型型结结构构3.3 神经网络模型神经网络模型uy网络拓扑结构网络拓扑结构45全互连型结构全互连型结构3.3 神经网络模型神经网络模型 uy网络拓扑结构网络拓扑结构46局局部部互互连连型型网网络络结结构构 3.3 神经网络模型神经网络模型网络拓扑结构网络拓扑结构47前前馈馈型型网网络

19、络 3.3 神经网络模型神经网络模型网络信息流向类型网络信息流向类型48反反馈馈型型网网络络 3.3 神经网络模型神经网络模型网络信息流向类型网络信息流向类型49juj1jv3jv2jvnjvijv1x3x2xnxixjjp( )fjy激励函数激励函数1njijiiuv xjjjpu()jjyfp1()nijijifv x一个神经元，一个神经元，用用 表示表示3.3 神经网络模型神经网络模型50主要内容主要内容3.1 概述概述 3.2 神经网络基础知识神经网络基础知识 3.3 神经网络模型神经网络模型 3.4 神经网络算法神经网络算法3.5 神经网络应用神经网络应用51输出层输出层隐藏层隐藏层

20、输入层输入层x1x2xnWVo1o2om3.4 神经网络算法神经网络算法52 神经网络能够神经网络能够通过对样本的学习通过对样本的学习训练训练，不断改变网络的连接权值以及不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接拓扑结构，以使网络的输出不断地接近期望的输出近期望的输出。这一过程称为神经网。这一过程称为神经网络的络的学习或训练学习或训练，其本质是，其本质是可变权值可变权值的动态调整的动态调整。3.4 神经网络算法神经网络算法53 人工神经网络最具有吸引力的特点是它的人工神经网络最具有吸引力的特点是它的学习能学习能力力。 1962年，年，Rosenblatt给出了人工神经网络著名的

21、给出了人工神经网络著名的学习定理：学习定理：人工神经网络可以学会它可以表达的人工神经网络可以学会它可以表达的任何东西任何东西。 人工神经网络的表达能力大大地限制了它的学习人工神经网络的表达能力大大地限制了它的学习能力。能力。 人工神经网络的人工神经网络的学习过程学习过程就是对它的就是对它的训练过程训练过程。3.4 神经网络算法神经网络算法54神经网络的学习类型神经网络的学习类型：有导师学习有导师学习(有监督学习有监督学习)无导师学习无导师学习(无监督学习无监督学习)死记式学习死记式学习3.4 神经网络算法神经网络算法55 无导师学习无导师学习(Unsupervised Learning)：无监

22、督学习：无监督学习或无或无导师训练导师训练(Unsupervised Training) 抽取样本集合中蕴含的统计特性抽取样本集合中蕴含的统计特性，非常适合，非常适合模式的模式的自动分类自动分类。在输入信息流中发现任何可能存在的模。在输入信息流中发现任何可能存在的模式和规律，同时能根据网络的功能和输入信息调整式和规律，同时能根据网络的功能和输入信息调整权值，并以神经元之间的联接权的形式存于网络中。权值，并以神经元之间的联接权的形式存于网络中。3.4 神经网络算法神经网络算法56 有导师学习有导师学习(Supervised Learning)：有导师训练有导师训练(Supervised Trai

23、ning) 输入向量与其对应的输出向量构成一个输入向量与其对应的输出向量构成一个“训练训练对对”。 有导师学习的训练算法的主要步骤包括：有导师学习的训练算法的主要步骤包括：1） 从样本集合中取一个样本（从样本集合中取一个样本（Ai，Bi）；）；2） 计算出网络的实际输出计算出网络的实际输出Oi； 3） 求求Di=Bi-Oi；4） 根据根据Di调整权矩阵调整权矩阵W； 5 5） 对每个样本重复上述过程，直到对整个样本集来对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。说，误差不超过规定范围。 3.4 神经网络算法神经网络算法有导师学习有导师学习57 灌输式学习的权值不是训练得到的，而是通过设计得到的，灌输式学习的权值不是训练得到的，而是通过设计得到的，以后当给定的有关该例子被输入时，例子便被回忆起来。以后当给定的有关该例子被输入时，例子便被回忆起来。3.4 神经网络算法神经网络算法灌输式学习灌输式学习581、BP算法的出现算法的出现非循环多级网络的训练算法非循环多级网络的训练算法UCSD PDP小组的小组的Rumelhart、Hinton和和Williams1986年年独立地给出了独立地