神经网络的学习方法.doc

一、绪论11 人工神经元网络的基本概念和特征一、形象思维人的思维主要可概括为逻辑（含联想）和形象思维两种。以规则为基础的知识系统可被认为是致力于模拟人的逻辑思维 （左脑）人工神经元网络则可被认为是探索人的形象思维 （右脑）二、人工神经元网络人工神经元网络是生理学上的真实人脑神经网络的结构和功能，以及若干基本特性的某种理论抽象，简化和模拟而构成的一种信息处理系统。三、神经元是信息处理系统的最小单元。大脑是由大量的神经细胞或神经元组成的。每个神经元可以看作为一个小的处理单元，这些神经元按照某种方式互相连接起来，构成了大脑内部的生理神经元网络，他们中各神经元之间连接的强弱，按照外部的激励信号作自适应变化，而每个神经元又随着接收到的多个激励信号的综合大小呈现兴奋或抑制状态。而大脑的学习过程是神经元之间连接强度随外部激励信息做自适应变化的过程，大脑处理信息的结果确由神经元的状态表现出来。四、神经元基本结构和作用1。组成：细胞体、树突、轴突和突触。2。树突：负责传入兴奋或抑制信息（多条），较短，分支多，信息的输入端3。轴突：负责传出兴奋或抑制信息（一条），较长，信息的输出端4。突触：一个神经元与另一个神经元相联系的特殊结构部位，包括：突触前、突触间隙、突触后三个部分。 突触前：是第一个神经元的轴突末梢部分 突触后：是第二个神经元的受体表面 突触前通过化学接触或电接触，将信息传往突触后受体表面，实现神经元的信息传输。5。神经元网络： 树突和轴突一一对接，从而靠突触把众多的神经元连成一个神经元网络。6。神经网络对外界的反应 兴奋：相对静止变为相对活动 抑制：相对活动变为相对静止7。传递形式 神经元之间信息的传递有正负两种连接。 正连接：相互激发 负连接：相互抑制8。各神经元之间的连接强度和极性可以有不同，并且可进行调整。 五 简化的神经元数学模型x1 uiix2 x3x4 six1,x2,.,xn：输入信号ui:神经元内部状态i：与值i：ui到 uj连接的权值si：外部输入信号，可以控制神经元uif() :激发函数yi:输出i ： = wijxj +si - iUi = g(i)yi = h(ui) = f(g(i) = f(wijxj +si - i) f = h x g 六、显示出人脑的基本特征1。分布存储和容错性 一个信息按内容而分布在整个网络上,网络某一处不是只存储一个外部信息,而是每个神经元存储多种信息的部分内容.这种分布存储方法是存储区与运算区合为一体的.在神经网络中,要获得存储的知识则采用联想的办法.当一个神经网络输入一个激励时,它要在已存的知识中寻找与该输入匹配最好的存储知识为其解. 优点: 若信息不完全,或丢失或损坏,仍能恢复出原来正确的完整的信息,系统仍能运行.2。大规模并行处理 人工神经元网络在结构上是并行的,而且网络的各个单元可以同时进行类似的处理过程,信息处理是在大量单元中平行而又有层次地进行,运算速度高，大大超过传统的序列式运算的数字机3。自学习、自组织和自适应性 学习和适应要求在时间过程中系统内部结构和联系方式有改变,神经元网络是一种变结构系统,恰好能完成对环境的适应和对外界事物的学习能力。神经元之间的连接多种多样,连接强度具有一定的可塑性,相当于突触传递信息能力的变化，这样，网络可以通过学习和训练进行自组织以适应不同信息处理的要求。4。神经元网络是大量神经元的集体行为，并不是各单元行为的简单的相加，而表现出一般复杂非线性动态系统的特性。如不可预测性，不可逆性等。5。神经元可以处理一些环境信息十分复杂、知识背景不清楚和推理规则不明确的问题， 如语音识别,医学诊断和手写体识别等七 人工神经元网络研究的发展简史1.早期 1957 感知器(Perceptron)有能力通过调整权的学习达到正确分类的结果2 过度期（70年代） 1971-到1984 , 芬兰的Tuevo Kohonen 提出 学习向量化(LVQ),自动(无指导)确定来自于n维中足够大的一组数据点中k个最好的参考向量. 这种ANS(人工神经元系统)为自组织特征映射。认为一个神经网络接受外界输入模式时，将会分为不同域，各个区域对输入具有不同的响应特征，这个过程是自动完成的。这种算法是无导师的一种学习方法，输出可以看成是输入样本特征的一种表达,应用到语音识别,模式识别和图象识别.3. 80年代的新高潮 仿人脑的神经网络模型(Hopfield). 若将约束和指标考虑到适当形式的能量函数中,则可利用Hopfield网络的神经计算能力来解约束优化问题. 1986年,提出了多层网络的误差反传算法(Back Propagation,简称BP算法) 这种算法的主要思想是把学习过程分为两个阶段: 第一阶段(正向传播过程),输入信息从输入层经过隐含层逐层处理并计算出各单元的实际输出值 第二阶段(反向过程),若在输出层不能得到期望的输出,那么逐层计算实际输出与要求输出之差值(误差),以便据此差值调整权值,从后向前修正各层次之间的联系权重,在不断的学习和小. 修正过程中,可以使网络的学习误差达到最 用于模式分类和识别以及自适应控制等.4. 80年代后期到现在的热潮 特点: 1) 应用领域比过去要广泛得多 2) 神经网络与专家系统相结合 3) IBM公司进入神经网络的市场 4) 理论上的研究进展 5) 学习和训练 6) 人工神经网络技术与当前技术相结合.12 人工神经网络构成的基本原理和功能一、MP 模型对脑模型、自动机和人工智能等领域的研究有重大影响。设有N个神经元互连，每个神经元的活性状态ai(i = 1,2,N) , 取0或1 ，分别表示抑制或兴奋。每个神经元的状态按下式所表示的规则受其他神经元制约 N ai = f(wijaj - i) i=1,2,N j=1 wij:神经元I与J之间突触连接强度i f() : 取为阶跃函数U（）。学习过程：就是调整wij的过程。U（） 定义为： 1 x= 0U（x） = 0 x =0Sgn(u) = -1 if u 0 +1 +1 -1 -1 一般f(u)函数 Sgn(u)的函数 定义：1） 如果激励函数f(u)是连续型的，那么相应的感知器为连续型感知器。如果激励函数f(u) = Sgn(u)，那么相应的感知器为离散型感知器，简称感知器。2） 感知器的输入向量xn一般可在Rn（n维实数空间）任意取值。如果xn 的每个分量xi 都在-1，+1中取值，那么这个感知器就为MP-模型。 十、 MATLAB神经网络工具箱中的BP网络1、 BP网络中的神经元模型一个基本的神经元模型，具有R个输入，每个输入都通过一个适当的权值与神经元相连，神经元的输出可表示为 a = f(* p,b)BP 网络中基本神经元的激活函数必须处处可微，所以，经常使用的是S型的对数或正切激活函数或线性函数图2、 BP网络结构BP网络通常有一个或多个隐层，隐层中的神经元均采用S型变换函数，输出层的神经元采用纯线性变换函数。3、 MATLAB中有关BP网络的重要函数包含了进行BP网络分析和设计的许多工具函数函数名功能deltalinPurelin神经元的delta函数deltalogLogsig神经元的delta函数deltatanTansig神经元的delta函数errsurf计算误差曲面initff至多三层的前向网络初始化learnbp反向传播学习规则Learnbpm利用冲量规则的改进BP算法logsig对数S型传递函数nwlog对 Logsig神经元产生Nguyen-Midrow随机数nwtan对Togsig神经元产生Nguyen-Midrow随机数purelin线性传递函数simuff前向网络仿真tansig正切S型传递函数trainbp利用BP算法训练前向网络trainbpx利用快速BP算法训练前向网络trainlm利用Levenberg-Marquardt规则训练前向网络1）神经元上的传递函数（1）Purelin:（2）Tansig （3）Logsig 2）