人工神经网络第一部分201504课件

1、人工神经网络 数学模型及其应用之一东北大学软件学院 郝培锋 人工神经网络基本理论神经网络概要人工神经网络通用框架简单例子感知机网络线性自适应网络Hopfield神经元网络重要的神经网络-BP神经网络一、人脑的基本结构与特征 人中枢神经的主要部分大脑皮层由约100亿到1000亿个神经元组成。每个神经元约有10至1万个突触。信息传递速度以毫秒计。联想和容错。 大脑的组织结构和功能是人体器官中最大脑的组织结构和功能是人体器官中最为复杂的，它接受外界信号、产生感觉、形为复杂的，它接受外界信号、产生感觉、形成意识、进行逻辑思维、发出指令产生行为，成意识、进行逻辑思维、发出指令产生行为，掌管着人们的语言、

2、思维、感觉、情绪、运掌管着人们的语言、思维、感觉、情绪、运动等高级活动。动等高级活动。 feelinghearingseeingtastesmell 神经细胞单元的信息：宽度和幅度都神经细胞单元的信息：宽度和幅度都相同的脉冲串相同的脉冲串 。 兴奋与抑制：轴突输出的脉冲串的频率兴奋与抑制：轴突输出的脉冲串的频率高与低，决定神经细胞是兴奋还是抑制。高与低，决定神经细胞是兴奋还是抑制。兴奋性的突触可能引起下一个神经细胞兴兴奋性的突触可能引起下一个神经细胞兴奋，抑制性的突触使下一个神经细胞抑制。奋，抑制性的突触使下一个神经细胞抑制。 生物神经元的信息传递与处理生物神经元的信息传递与处理 膜电位：神经

3、细胞的细胞膜将细胞体膜电位：神经细胞的细胞膜将细胞体内外分开，从而使细胞体内外有不同的内外分开，从而使细胞体内外有不同的电位，一般内部电位比外部低，其内外电位，一般内部电位比外部低，其内外电位差称之为膜电位。电位差称之为膜电位。 膜电位加权：突触使神经细胞的膜电位膜电位加权：突触使神经细胞的膜电位发生变化，且电位的变化是可以累加的，发生变化，且电位的变化是可以累加的，该神经细胞膜电位是它所有突触产生的电该神经细胞膜电位是它所有突触产生的电位加权，当该神经细胞的膜电位升高到超位加权，当该神经细胞的膜电位升高到超过一个阈值时，就会产生一个脉冲，从而过一个阈值时，就会产生一个脉冲，从而总和的膜电位直

4、接影响该神经细胞兴奋发总和的膜电位直接影响该神经细胞兴奋发放的脉冲数。放的脉冲数。 突触延迟：突触传递信息需要一定的突触延迟：突触传递信息需要一定的延迟，对温血动物，延迟时间为延迟，对温血动物，延迟时间为0.31.0ms。 生物神经元的信息传递与处理示意图生物神经元的信息传递与处理示意图二、人工神经网络基本结构 一个处理单元集合，单元激活的状态，输出函数，单元件连接模式，网络连接的传播规则，激活规则，根据经验的学习规则。 aj(t) =Fj(a,net)Oj(t) = fj(a) Wij Wij WijOi(t) = fi(a) ai(t) =Fi(a,net)1、单元的激活状态 单元激活的状

5、态ai(t) =Fi(ai(t-1)，neti) ，使用激活函数进行计算。不同的神经网络对于单元被激活值大小有不同的要求，有连续区间取值或离散的取值方法。如1表示元兴奋，-1表示元抑制，而0则表示对元的状态无知等。 Wij Wij ai(t) =Fi(a,net) WijOi(t) = fi(a)2、单元的输出 单元是通过向它邻近的单元传送信号来相互作用的，其强度Oi(t)由本单元的输出函数fi(ai(t)决定，a=(a1,an)。fi可以是等值函数 f(x)=x，也可以是阈值函数 If x=0 then f(x)=1 else f(x)=0。 Wij Wij ai(t) =Fi(a(t-1)

6、,net) WijOi(t) = fi(a)3、单元间的连接模式 每个连接取一个权重wij ，构成的权矩阵决定了神经网络模型描述系统的性质及其知识，网络的学习就是改变单元间连接关系的过程。 Wij Wij Wij Wij Wij Wij Wij Wij Wij4、传播规则 根据单元的输入net和本单元前个时刻的状态，a(t-1)，利用激活函数F(x)计算当前时刻的状态a(t)。 即：a(t) = F(a(t-1), net) = F(a(t-1), wijoj) 其中 F函数常取成 sigmoid函数。 Wij Wij ai(t) =Fi(a(t-1),net) Wij5、激活规则 所有与单元

7、连接的权重W与对应输入乘积的和做为本单元的输入，记成： net = WO(t) 6、网络学习，修改连接模式、网络学习，修改连接模式 Wij Wij Wij 神经元网络的核心内容主要有连接模式与训练样本，按照规则修改连接模式wij就是对网络进行样本学习。修改形式主要有： 1、扩展新连接；、扩展新连接；2、去掉某些旧连接；、去掉某些旧连接；3、修、修改原连接强度。改原连接强度。 Wij7、网络学习规则、网络学习规则 Wij Wij Wij(1) Hebb规则： wij = g(ai(t), ti(t)h(oj(t), wij) 其中 ti(t)是单元的标准值，即目标值，导师信号。(2) 没有导师的学习规则： wij =aioj (3) Delt 规则： wij =(ti(t) - ai(t