人工神经网络的模型

1、MP模型神经元人工神经网络的模型：人工神经元的模型、常用的激活转移函数、 人工神经元的主要结构单元是信号的输入、综合处理和输出 人工神经元之间通过互相联接形成网络，称为人工神经网络神经元之间相互联接的方式称为联接模式。相互之间的联接强度由联接权值体现。在人工神经网络中，改变信息处理及能力的过程，就是修改网络权值的过程。人工神经网络的构造大体上都采用如下的一些原则：由一定数量的基本神经元分层联接；每个神经元的输入、输出信号以及综合处理内容都比较简单； 网络的学习和知识存储体现在各神经元之间的联接强度上。神经网络解决问题的能力与功效除了与网络结构有关外，在很大程度上取决于网络激活函数。人工神经网络

2、是对人类神经系统的一种模拟。尽管人类神经系统规模宏大、结构复杂、功能神奇，但其最基本的处理单元却只有神经元。人工神经系统的功能实际上是通过大量神经元的广泛互连，以规模宏伟的并行运算来实现的。人工神经网络模型至少有几十种,其分类方法也有多种。例如，若按网络拓扑结构，可分为无反馈网络与有反馈网络；若按网络的学习方法，可分为有教师的学习网络和无教师的学习 网络；若按网络的性能，可分为连续型网络与离散型网络，或分为确定性网络与随机型网络； 若按突触连接的性质，可分为一阶线性关联网络与高阶非线性关联网络。人工神经网络的局限性：(1)受到脑科学研究的限制： 由于生理实验的困难性， 因此目前人类对思维和记忆

3、机制的认 识还很肤浅，还有很多问题需要解决；(2)还没有完整成熟的理论体系；(3)还带有浓厚的策略和经验色彩；(4)与传统技术的接口不成熟。如果将大量功能简单的形式神经元通过一定的拓扑结构组织起来，构成群体并行分布式处理的计算结构，那么这种结构就是人工神经网络，在不引起混淆的情况下，统称为神经网络。根据神经元之间连接的拓扑结构上的不同，可将神经网络结构分为两大类：分层网络相互连接型网络分层网络可以细分为三种互连形式:简单的前向网络；具有反馈的前向网络；层内有相互连接的前向网络。神经网络的学习分为三种类型:有导师学习、强化学习无导师学习有导师学习：必须预先知道学习的期望结果一一教师信息，并依此按

4、照某一学习规则来修正权值。强化学习：利用某一表示“奖/惩”的全局信号，衡量与强化输入相关的局部决策如何。无导师学习：不需要教师信息或强化信号，只要给定输入信息，网络通过自组织调整，自学习并给出一定意义下的输出响应。神经网络结构变化的角度，学习技术还可分为三种：权值修正、拓扑变化、权值与拓扑修正学习技术又还可分为:确定性学习、随机性学习人工神经网络人工神经网络是生物神经网络的某种模型(数学卞II型)；是对生物神经网络的模仿基本处理单元为人工神经元生物神经元(neuron)是基本的信息处理单元人工神经网络 是对生物神经系统的模拟。大量简单的计算单元（结点，神经元） 以某种形式 连接，形成一个网络.

5、其中某些因素，如：连接强度（连接权值，其大小决 定信号传递强弱）;结点计算特性（激活特性，神经元的输入 输出特性）;甚至网络结构等，可依某种规则随外部数据 进行适当调整，最终实现某种功能。神经网络的计算通过网络结构实现；不同网络结构可以体现各种不同的功能；网络结构的参数是通过学习逐渐修正的人工神经元模型的三要素组连接连接权值，突触连接强度权值 0,激活权值 0,抑制一个加法器输入信号关于神经元突触的线性加权4.神经网络三种基本模型1前馈型神经网络 feedfroward network -重点介绍多层感知器BP网络RBF网络2 反馈网络 feedback networkHopfield 网络3

6、 竞争学习 网络 competitive learning networkSOM神经网络一个激励函数将神经元的输出信号限制在有限范围内3.人工神经网络三个要素网络结构或拓扑（连接形式）神经元的计算特性（传递函数）学习规则上述要素不同组合，形成各种神经网络模型神经网络特点自学习自适应并行处理分布表达与计算神经网络应用神经网络本质上，可以理解为函数逼近 回归状态预测可应用到众多领域，如：优化计算；信号处理；智能控制；模式识别；机器视觉；等等。前馈（forward）神经网络各神经元接受来自前级的输入，并产生输出到下一级，无反馈，可用一有向无环图表示。网络中的节点分两类：输入节点；计算节点（神经元节点

7、）节点按层（layer）组织：第i层的输入只与第i-1层的输出相连。输入信号由输入层输入，由第一层节点输出，传向下层，前馈：信息由低层向高层单向流动。可见层输入层（input layer）输入节点所在层，无计算能力输出层 （output layer） 节点为神经元 隐含层（hidden layer） 中间层，节点为神经元BP神经网络训练的两个阶段(1)信号正向传递过程输入信息从输入层经隐层逐层、正向传递，直至得到各计算单元的输出(2)误差反向传播过程输出层误差从输出层开始，逐层、反向传播，可间接计算隐层各单元的误差 并用此误差修正前层的权值.BP算法训练过程描述约定：1 n维标准化输入向量Tx

8、 Xi，L ,Xn2 L层神经网络层号l 0 输入层层号l 1,.,L 2隐含层层号l L 1 输出层3各层节点 输入节点，计算节点数目nll 0,1,.,L 1输入层n0=n输出层nL1 m4相邻层连接权值； 来自第l-1层的节点i与当前第l层节点j的连接权值BP算法训练过程描述5假定：第l层为当前处理层；其前一层l 1、当前层l、后一层l 1的计算单元序号为i,j,k;位于当前层第j个计算单元的输出为Oj, j 1,.,nl前层第i个单元到本层第j个单元的连接权值为i；,i 1,.,nl 1本层第j个单元到后层第k个单元的连接权值为jk1,k 1,.,n注：采用 梯度法修正权值，输出函数应

9、连续可微，选 sigmoid函数。个j计个输入层 中间块 中间样 输土层多层感知器的例子和符号约定BP算法步骤训练样本输入向量，期望输出，如Xp,Dp吉生如施权值初始化 首先明确学习步长惯性冲量"小随机数"如：0.3之间通常固定0.10.3之间；也可动态调整项系数通常0.91之间确定神经网络结构，包括输入层节点数；隐含层数目；各隐含层节点数目;输出层节点数；各神经元节点的激活函数样本集的标准化处理；STEP1设定终止条件：最大可允许迭代次数 硬条件训练精度软条件以小随机数初始化网络权值;记训练时间时间t 0BP算法步骤续STEP2：重复如下过程直至满足算法终止条件1按随机或

10、任意顺序从训练集中抽取样本输入x1,L ,xn T RnT期望输出D d1,L ,dmRm2计算输入x时，当前网络的实际输出ynL 2nif 1 L 1L f 1 2 fsrjks 1j=1l 1ij xiTy1,L , ymr 1,., m激活函数其中f'BP算法步骤3从输出层开始调整权值，具体为： 对于第l层，修正权值j t 1 j t j ti1,.,ni 1 j 1,.,ni权值修正项输出层l中间层1l -l l 1ij t - j xil 1 j yj 1j 1,.,ml ll L 1 jxj 1yjdjyjnl 1ll 1 l 1x jk jk t1,.,nlBP算法步骤4

11、 更新全部权值，对所有训练样本重新计算输出；计算更新后网络输出与期望输出的误差；检查算法终止条件若不满足终止条件，则 t t+1,转向1若条件满足，则终止，转向STEP3STEP3：算法结束.输出各层连接权值。终止条件可以是如下之一：1网络实际输出与期望输出总误差阈值12最近1轮训练中所有权值变化 最大值 < 阈值23算法达到最大允许的总训练次数=阈值3BP网络的优点特别适合于求解内部机制复杂的问题BP网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能 具有自学习能力网络能通过学习带正确答案的实例集自动提取“合理的”求解规则 网络具有一定的推广

12、、概括能力。BP网络的问题,如：BP算法的学习速度较慢网络训练失败的可能性较大网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定。网络的预测能力(泛化能力、推广能力)与训练能力(逼近能力、学习能力)的矛盾 回归估计例：基于BP神经网络的公路运量(客运量、货运量)预测 公路运量与该地区人数、机动车数量、公路面积有关。已知某地区20年的公路运量有关数据，对于未来某两年，若明确该地区人数、机动车数量、 公路面积，要求：预测该地区的公路运量。分析：(1)明确模型输入输出关系(2)建模：原始数据读取；数据标准化处理；网络训练；(3)模型评价：对原始数据仿真，明确预测误差(4)输出预测结果：对

13、新数据预测结果 牛顿法及其收敛性牛顿法是一种线性化方法，其基本思想是将非线性方程 逐步归结为某种线性方程来求解 .设已知方程有近似根(假定f (Xk) 0),将函数 f (x)在点Xk展开，有f ( X )f ( X k )f ( X k ) ( XX k ),于是方程f (X)可近似地表示为f (Xk) f (Xk )( X Xk )0.这是个线性方程，记其根为 xk 1，则 xk 1 的计算公式为Xk 1 Xk f (Xk) (k 0,1,), f (Xk)这就是牛顿(NeEgn)法半顿法的几何解释；方程 "，)二。的根1可解释为曲线y = 灯与工轴 的交点的横坐标图7-幻.设、

14、是根尸的某个近似值， 过曲线V - f(x)上横坐标为，上 的点居引切线，并将该切线与重 越的交点.的横坐标，2作为“ 的新的近似情.注意到切线方程为y = /(tJ +/'(工上乂工-xj.二4G 口的R H"是，工吃广式 的计算结果.由于这种几何背景牛顿法亦称切线法.牛顿法(2)的收敛性，可直接由上节定理得到,对(2) 其迭代函数为3(工)=工由于尸（外77W-假定工是的一个单根.即/(f) =*0 ,则由上式知M(工*)=，于是依据可以断定， 牛顿法在根工*的邻近至少是平片收敛的，又因收 2g ? （X*）例7. 3.1用于顿均解方罩二成三(3.4)解这里牛顿公式为&#

15、177;1 +取迭代初值与=03迭代结果打十去”5中.所给方程(3.4)实际上是方程二/工的等价形式.若 用不动点迭代到同 精度要迭代器次.可见牛顿法的收敛速 度是很快的，表 75计算结果00,510.5710220.5671630.56714交叉演化算法代码实现%F0是变异率 %Gm最大迭代次数Gm = 10000;F0 = 0.5;Np = 100;CR = 0.9; %交叉概率G= 1; %©始化代数D = 10; %所求问题的维数Gmin = zeros(1,Gm); %# 代的最优值best_x = zeros(Gm,D); %# 代的最优解value = zeros(1,

16、Np);%产生初始种群xmin = -5.12;xmax = 5.12;function y = f(v)%Rastrigr 函数y = sum(v.A2 - 10.*cos(2.*pi.*v) + 10);X0 = (xmax-xmin)*rand(Np,D) + xmin;%产生 Np 个 D 维向量XG = X0;XG_next_1= zeros(Np,D);涮始化XG_next_2 = zeros(Np,D);XG_next = zeros(Np,D);while G <= Gm%变异操作for i = 1:Np%产生j,k,p三个不同的数a = 1;b = Np;dx = ra

17、ndperm(b -a+1) + a- 1;j = dx(1);k = dx(2);p = dx(3);%要保证与i不同if j = ij = dx(4);else if k = ik = dx(4);else if p = ip = dx(4);endendend%变异算子suanzi = exp(1-Gm/(Gm + 1 -G);F = F0*2.Asuanzi;%变异的个体来自三个随机父代son = XG(p,:) + F*(XG(j,:)- XG(k,:);for j = 1: Dif son(1,j) >xmin& son(1,j) < xmax % 防止变异超出

18、边界XG_next_1(i,j) = son(1,j);elseXG_next_1(i,j) = (xmax - xmin)*rand(1) + xmin;endendend%-交叉操作for i = 1: Nprandx = randperm(D);% 1,2,3,D的随机序列for j = 1: Dif rand > CR & randx(1) = j % CR = 0.9XG_next_2(i,j) = XG(i,j);elseXG_next_2(i,j) = XG_next_1(i,j);endendend%-选择操作for i = 1:Npif f(XG_next_2(i,:) < f(XG(