神经网络以及在数学建模上的应用

1、 人工神经网络及在数学建模上的应用 神经元与网络结构 生物神经元及生物神经网络 人脑大约由1012个神经元组成，神经元互相连接成神经网络 神经元是大脑处理信息的基本单元，以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成。 生物神经元示意图 从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质。 突触有两种：兴奋性突触和抑制性突触。前者产生正突触后电位，后

2、者产生负突触后电位。 突触传递信息的功能和特点归纳为： 信息传递有时延，一般为0.3lms。信息的综合有时间累加和空间累加。 突触有兴奋性和抑制性两种类型。 具有脉冲电位信号转换功能。 神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在1150ms之间 存在不应期。 不可逆性，脉冲只从突触前传到突触后，不逆向传递。 可塑性，突触传递信息的强度是可变的，即具有学习功能。 存在遗忘或疲劳效应。人脑神经网络系统脑神经系统的主要组成部分 人脑神经网络信息处理的特点1分布存储与冗余性 2并行处理 3信息处理与存储合一 4可塑性与自组织性 5鲁棒性 人工神经网络 神经网络直观理解 神经网络是一个并行和分布

3、式的信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其他的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。 人工神经元模型 归纳一下生物神经元传递信息的过程： 生物神经元是一个多输入、单输出单元。常用的人工神经元模型可用下图模拟。 人工神经元模型 响应函数的基本作用：1、控制输入对输出的激活作用；2、对输入、输出进行函数转换；3、将可能无限域的输入变换成指定的有限范围内的输出。 响应函数： 1、阈值函数 2、线性函数3、非线性函数：Sigmoid函数 人工神经网络的构成 神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓

4、扑结构及学习方法。 人工神经网络连接的几种基本形式：1前向网络 网络中的神经元是分层排列的，每个神经元只与前一层的神经元相连接。 2从输出到输入有反馈的前向网络 3层内互连前向网络 4互连网络 图35 神经网络的典型结构 人工神经网络的训练人工神经网络的训练 人工神经网络最具有吸引力的特点是它人工神经网络最具有吸引力的特点是它的学习能力。的学习能力。1962年，年，Rosenblatt给出了人工神经网络给出了人工神经网络著名的学习定理：人工神经网络可以学著名的学习定理：人工神经网络可以学会它可以表达的任何东西。会它可以表达的任何东西。人工神经网络的表达能力大大地限制了人工神经网络的表达能力大大

5、地限制了它的学习能力。它的学习能力。人工神经网络的学习过程就是对它的训人工神经网络的学习过程就是对它的训练过程练过程无导师学习无导师学习 无导师学习无导师学习(Unsupervised Learning)与无与无导师训练导师训练(Unsupervised Training)相对应相对应 抽取样本集合中蕴含的统计特性抽取样本集合中蕴含的统计特性，并以，并以神经元之间的联接权的形式存于网络中。神经元之间的联接权的形式存于网络中。无导师学习无导师学习Hebb学习律、竞争与协同（学习律、竞争与协同（Competitive and Cooperative）学习、随机联接系统学习、随机联接系统（Rando

6、mly Connected Learning）等。等。Hebb算法算法D. O. Hebb在在1961年年的核心：的核心：当两个神经元同时处于激发状态时被加当两个神经元同时处于激发状态时被加强，否则被减弱。强，否则被减弱。数学表达式表示：数学表达式表示： Wij（t+1）=Wij（t）+oi（t）oj（t）2.5.2 有导师学习有导师学习 有导师学习有导师学习(Supervised Learning)与有导师训与有导师训练练(Supervised Training)相对应。相对应。输入向量与其对应的输出向量构成一个输入向量与其对应的输出向量构成一个“训练训练对对”。有导师学习的训练算法的主要步

7、骤包括：有导师学习的训练算法的主要步骤包括：1） 从样本集合中取一个样本（从样本集合中取一个样本（Ai，Bi）；）；2） 计算出网络的实际输出计算出网络的实际输出O； 3） 求求D=Bi-O；4） 根据根据D调整权矩阵调整权矩阵W； 5 5） 对每个样本重复上述过程，直到对整个样本集对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。来说，误差不超过规定范围。 Delta规则规则 Widrow和和Hoff的写法的写法：Wij( (t+1) )=Wij( (t) )+( (yj- aj( (t)oi( (t) )也可以写成：也可以写成：Wij( (t+1) )=Wij( (t) )+ Wij( (t) ) Wij(t(t) )=joi(t(t) )j=yj- aj(t(t) )Grossberg的写法为：的写法为： Wij(t(t)=)=aai i(t)(o(t)(oj j(t)-W(t)-Wijij(t(t)更一般的更一般的Delta规则为：规则为： Wij( (t) )=g( (ai(t)，yj，oj( (t) )，Wij( (t)其它其它再例学习