人工神经网络__徐伟

1、人工神经网络（ANN）人工神经网络概述人工神经网络概述 什么是什么是人工神经网络人工神经网络？ T.Koholen的定义：的定义：“人工神经网络人工神经网络是由是由 具有具有适应性的简单单元组成的广泛并行互连的网络，适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。体所作出的交互反应。” 人工神经网络提供了一种普遍而且使用的方法从样本中学习值为实数、离散值或向量的函数 例如，在反向传播算法中，使用梯度下降来调整网络参数以最佳拟合由输入-输出对组成的训练集合 一般而言, ANN与经典计算方法相比并非优越,

2、 只有当常规方法解决不了或效果不佳时ANN方法才能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统,如故障诊断、特征提取和预测等问题,ANN往往是最有利的工具。量变引起质变量变引起质变-神经网络的作用神经网络的作用（1 1）蚂蚁群）蚂蚁群 一个蚂蚁有50个神经元，单独的一个蚂蚁不能做太多的事；甚至于不能很好活下去但是一窝蚂蚁；设有 10万个体，那么这个群体相当于500万个神经元（当然不是简单相加，这里只为说明方便而言）；那么它们可以觅食、搬家、围攻敌人等等（2）网络说话）网络说话 人们把一本教科书用网络把它读出来（当然需要通过光电，电声的信号转换）；开始网络说的话像婴儿学语那

3、样发出“巴、巴、巴”的声响；但经过BP算法长时间的训练竟能正确读出英语课本中 90的词汇从此用神经网络来识别语言和图象形成一个新的热潮单层神经元网络 其中x（x1，xm）T 输入向量，y为输出，wi是权系数；输入与输出具有如下关系：miiixwfy0)( f（X）是激发函数；它可以是线性函数，也可以是非线性函数 例如，若记 取激发函数为符号函数 miiixwz0.0,0,0, 1)sgn(xxx则 S型激发函数： miiimiiixwxwzfy00,0,0,0, 1)(,11)(xexf; 1)(0 xf具有隐藏层的网络1简单网络的简单网络的BP算法算法 假设有M个训练样本，即有M个输入输出对

4、 i=1,2,.m其中 输入向量为 : TiniixxX),.,(1目标输出向量为（实际上的）: TiniiyyY),.,(1网络输出向量为 （理论上的） TiniiooO),.,(1 记 为从输入向量的第p(p=1,n) 个分量到输出向量的第j(j=1,n)个分量的权重。pjw) 1 (2211nnjjjjxwxwxwynijijoy1j2)(21min（i=1,m） （2） 通常理论值与实际值有一误差，网络学习则是指不断地把与比较，并根据极小原则修改参数wpj，使误差平方和达最小： Delta学习规则: ijijijoyipijipijijpjxxoyw)(增量（4） pjpjpjwww

5、（3） pjw表示递推一次的修改量，则有称为学习的速率 2多层前馈网络 （l）输入层不计在层数之内，它有n个神经元设网络 共有L层；输出层为第L层；第 k层有 个神经元(2) 设)( iuk表示第k层第i神经元所接收的信息 wk(i,j) 表示从第k-1层第j个元到第k层第i个元的权重， )(iak表第k层第i个元的输出 kN（3）设层与层间的神经元都有信息交换（否则，可设它们之间的权重为零）；但同一层的神经元之间无信息传输 (4) 设信息传输的方向是从输入层到输出层方向；因此称为前向网络 （5） 表示输入的第j个分量 )(0ja,1),()(),()(),()(.,1),()(),()(),

6、()(,1),()(),()(),()(1101112221212211111011LLLNjLLLLNjNjNiiufiaijajiwiuNiiufiaijajiwiuNiiufiaijajiwiuL（7） 其中 表示第k层第i个元的阈值. )(ik 对于具有多个隐层的前馈神经网络；设激发函数为S 函数；且误差函数取 mppEE1（8 8）LNipLpLpiaitE12)()()()(21（9）则每个训练循环中按梯度下降时；其权重迭代公式为),()(),(),()(1)()1()(jaijiwjiwplplplpl,.,1Ll （ 10 ）表示第 层第j个元对第 层第i个元输入的第p次迭代时

7、的权重 ),()(jiwpl其中其中 )()()()()()()()(iufiaitiplplppl（11）1ll 上面计算的是输出单位的权值训练 那么隐藏单元的权值的训练又是怎样的呢？ 对于网络中的内部单元或者说隐藏单元的情况，推导 ,必须考虑到 间接地影响网络输出，从而影响到误差 实践中发现定义网络中单元i的所有直接下游单元的集合（也就是直接输入中包含单元i的输出的所有单元）是有用的，用Downstream(i)来表示这样的单元集合ijwijwE 通过一系列的推导，我们最终可以得到这样的误差项)(1),()()()(iDownstreamklllikwiiufi),()(),(),()(1)()1()(jaijiwjiwplplplpl, 1-,.,1Ll BP算法 Step1 选定学习的数据,p=1,P, 随机确定初始权矩阵W（0）Step2 用（10）式反向修正,直到用完所