第二章神经网络1

1、郭宁人工神经网络简介 一、引言o ann (artificial neural networks)是模仿人脑神经网络的数学模型，是一种信息处理系统。o 人脑固有特征：n 并行分布处理工作模式n 神经系统的可塑性和自组织性n 系统性二、发展史o 1943 w.mcculloch和w.pitts首次提出了人工神经网络模型。o 1957 frank rosenblatt发展了模型，并提出了感知器（perceprton)模型以及两层感知器的收敛定理（1962），提出引入隐层处理元件的三层感知器这一重要的研究方向o 1959 b.widrow和m.hoff提出了自适应线性元件（adaline)o 196

2、9 papert和minsky出版了perceptrons,对感知器的功能及其局限性从数学上作了深入的研究，提出了双层感知器的许多局限性。o 1982 john hopfieldt提出具有联想记忆和优化计算的反馈网络模型（hnn模型），使人们对人工神经网络有了新的认识。o 1986 d.e.rumelhart提出bp算法。o 1987 ieee举行首次神经网络会议，国际神经网络学会成立。三、神经网络的基本结构n 人工神经元（接受、处理、输出信号）n 连接权重（强度）n 连接模式n 学习算法1. 单个神经元的结构p1p2.prw1w2wrnb)(fa1rjjjtrrbpwfbpwfppppwww

3、w12121)()*(a.pwa2. 激活函数（核心）作用1) 控制输入对输出的激活作用；2) 对输入、输出进行函数转换3) 将可能无限于的输入变成指定的有限范围的输出常用的激活函数：o 阀值型（硬限制性 ）o 线性型00 x x1)-(or 0 x x 1 )x(fbax)x(fo s型（sigmoid) 将任意输入值压缩到（0，1）的范围内。对数s型)(exp11bnffn-b0-11f-bn-110)(2exp1)(2exp1bnbnf双曲正切s型4. 神经网络的结构三层网络的结构示意图每一层的作用 o 输入层从外部接受信息并将此信息传入人工神经网络，以进行处理。o 隐含层接受输入层的信

4、息，静静地对所有的信息进行处理，整个处理步骤用户是看不见的。o 输出层接受人工神经网络处理后的信息，将结果送到外部接受器。 o 神经网络仅仅具有拓扑结构，还不能具有任何智能特性，必须有一套完整的学习、工作规则与之配合 四、神经网络的分类1. 拓扑结构：n 前向网络n 反馈网络 反馈网络结构图反馈网络结构图chat of backfeed neural network2. 按学习方式分类按学习方式分类 教师示教学习方式教师示教学习方式chat of neural with tutor无教师示教学习方式无教师示教学习方式chat of neural network without tutor五、神

5、经网络的特点1) 高度的并行性2) 高度的非线性全局作用3) 良好的容错性与联想记忆功能4) 十分强的自适应、自学习功能六、神经网络的应用o 模式信息处理和模式识别o 最优化计算问题o 信息的智能化处理o 复杂控制o 信号处理七、bp算法 反响传播网络（back-propagation network)是非线性可微分函数进行权值训练的多层网络，主要用于：o 函数逼近o 模式识别o 分类o 数据压缩1. bp网络的学习过程网络的学习过程 o 假设bp网络中有r个输入单元 、n个隐含单元、m个输出单元，则称为rnm网络。输入节点i和隐含节点之间的连接权值为w(1)ij，作用函数f为sigmoid函

6、数，训练集包含m个样本模式对 (xk, yk, )。 o 对每个训练样本 pi，于每个隐含单元的输出为aj，则： .)1(2)1(1)1()1(jrjjjwwwwtiriiipppp.21rkikikijjbpwfbpwfa1)1()()*(o 隐含节点j和输出节点k之间的连接权重为w(2)jk, 则对于输出oj：o 若对应于pi的目标值为di, 定义误差函数：)*(1)2(bawfoniijijiiiode o 可得如下权值修正公式：o 式中为学习速率，w为ei的函数，为动量因子。 )() 1(dwtwtw)()1(twtwah2. 主要步骤1) 初始化2) 对每个样本作如下计算o 前向计算输出o 反向计算误差o 修正权值3）输入新的样本，直到达到要求3. 缺点及修正1.误差梯度下降，但易陷入极小点处误差梯度下降，但易陷入极小点处n可以增加动量项，n对权重用均匀分布的随机数进行初始化，n改进激发函