人工神经网络及其应用ppt课件

单击此处编辑母 版标题样式 单击此处编辑母版副标 题样式 *1 人工神经网络 及其应用 v1、概述 v2、神经网络概念 v3、感知器模型 v4、线性神经网络 v5、BP神经网络 v6、神经网络应用实 例 1、概述 v神经生理学和神经解剖学证明了人的思维是由脑完成的。神 经元是组成人脑的最基本的单元，能够接收并处理信息。人 脑大约由10111012个神经元组成，其中每个神经元约与 104105个神经元通过突触连接。因此，人脑是一个复杂的 信息并行加工处理巨系统。探索脑组织的结构、工作原理及 信息处理的机制，是整个人类面临的一项挑战，也是整个自 然界的前沿领域。 v人脑的功能，一方面受到先天因素的制约，即由遗传信息先 天确定了其结构与特性；另一方面，后天因素也起重要的作 用，即大脑可通过其自组织、自学习，不断适应外界环境的 变化。大脑的自组织、自学习性来源于神经网络结构的可塑 性，它主要反映在神经元之间连接强度的可变性上。 人工神经网络是从微观结构与功能上对人脑神经系统 的模拟而建立起来的一类模型，具有模拟人的部分形 象思维的能力。其特点主要是具有非线性、学习能力 和自适应性，是模拟人的智能的一条重要途径。 它是由简单信息处理单元（人工神经元，简称神经元 ）互联组成的网络，能接受并处理信息。网络的信息 处理由处理单元之间的相互作用来实现，它是通过把 问题表达成处理单元之间的连接权来处理的。 v多年来，学者们建立了多种神经网络模型，决定 其整体性能的三大要素为： （1）神经元（信息处理单元）的特性。 （2）神经元之间互相连接的形式拓扑结构。 （3）为适应环境而改善性能的学习规则。 神经网络是人脑的某种抽象、简化和模拟，反映 了人脑功能的若干基本特性： （1）网络的信息处理由处理单元间的相互作用来实 现，并具有并行处理的特点。 （2）知识与信息的存储，表现为处理单元之间分布 式的物理联系。 （3）网络的学习和识别，决定于处理单元连接权系 的动态演化过程。 （4）具有联想记忆的特性。 2 神经网络概念 2.1 生物神经元模型 v脑神经元由细胞体、树突和轴突构成。细胞体是神经元的中心， 它一般又由细胞核、细胞膜和细胞质组成。树突胞体上短而多分 支的突起，相当于神经元的输入端，是神经元的主要接受器，它 主要用来接受信息。轴突是胞体上最长枝的突起，也称神经纤维 。它的端部有很多神经末梢，传出神经冲动。轴突的作用主要是 传导信息，它将信息从轴突起点传到轴突末梢（精神末梢）。 v轴突末梢与另一个神经元的树突或胞体构成一种突触的机构。通 过突触实现神经元之间的信息传递。突触是神经元之间的连接接 口，每一个神经元约有104105个突触。 v一个神经元，通过其轴突的神经末梢，经突触，与另一个神经元 的树突连接，以实现信息的传递。由于突触的信息传递特性是可 变的，随着神经冲动传递方式的变化，传递作用强弱不同，形成 了神经元之间连接的柔性，称为结构的可塑性。 2. 常用的作用函数 神经元模型的作用函数，用以模拟神经细胞的兴奋、抑制以 及阈值等非线性特性。 v3. 学习规则 vMP模型在发表时并没有给出一个学习算法来调整神经元之 间的来连接权值。但是，我们可以根据需要 ，采用一些常见 的算法来调整神经元连接权，以达到学习的目的。下面介绍 的Hebb学习规则就是一个常见学习算法。 vHebb学习规则：神经网络具有学习功能。对于人工神经网 络而言，这种学习归结为：若第i个和第j个神经元同时处于兴 奋状态，则它们之间的连接应当加强，即： v这一规则与”条件反射“学说一致，并已得到神经细胞学说 的证实。是表示学习速率的比例常数。 2.4 神经网络的互联模式 根据连接方式的不同，神经网络的神经元之间的连接有如 下几种形式。 1）前向网络 前向网络结构如下图。神经元分层排列，分别组成输入层 、中间层（也称为隐含层，可以由若干层组成）和输出层 。每一层的神经元只接受来自前一层神经元的输入，后面 的层对前面的层没有信号反馈。输入模式经过各层次的顺 序传播，最后在输出层上得到输出。感知器网络和BP网络 均属于前向网络。 2）有反馈的前向网路 其结构如下图。输出层对输入层有信息反馈，这种网络可 用于存储某种模式序列。如神经认知机和回归BP网络都属 于这种类型。 3）层内有相互结合的前向网络 其结构如下图。通过层内神经元的相互结合，可以实现同 一层内神经元之间的横向抑制或兴奋抑制。这样可以限制 每层内可以同时动作的神经元素，或者把每层内的神经元 分为若干组，让每一组作为一个整体进行运作。例如，可 以利用横向抑制机理把某层内具有最大输出的神经元挑选 出来，从而抑制其他神经元，使之处于无输出的状态。 4）相互结合型网络（全互联或部分互联） 相互结合型网络结构如下图。这种网络在任意两个神经元之 间都可能有连接。在无反馈的前向网络中，信号一旦通过， 某神经元，该神经元的处理就结束了。而在相互结合的网络 中，信号要在神经元之间反复传递，网络处于一种不断改变 状态的动态之中。信号从某初始状态开始，经过若干次变化 ，才会达到某种平衡状态。根据网络的结构和神经元的特性 ，网络的运行还有可能进入周期震荡或其他如混沌等平衡状 态。 2.5 神经网络的学习方式 神经网络的学习也成为训练，指的是通过神经网络所在环境的 刺激作用调整神经网络的参数（权值和域值），使神经网络以 一种新的方式对外部环境做出反应的一个过程。能够从环境中 学习和在学习中提高自身性能是神经网络的最有意义的性质。 根据学习过程的组织方式不同，学习方式分为两类：有监督学 习和无监督学习。 1）有监督学习：对于监督学习，网络训练往往要基于一定数 量的训练样本。训练样本通常由输入矢量和目标矢量组成。在 学习和训练过程中，网络根据实际输出与期望输出的比较，进 行连接权值和域值的调节。通过将期望输出成为导师信号，它 是评价学习的标准。最典型的有监督学习算法是BP算法，即误 差反向传播算法。 2）无监督学习：对于无监督学习，则无教师信号提供给网络 ，网络能够根据其特有的结构和学习规则，进行连接权值和域 值的调整。此时，网络的学习评价标准隐含于其内部。 2.6 神经网络的特性 神经网络的全称是人工神经网络，它采用物理上可实现的器件或采用计 算机来模拟生物体中神经网络的某些结构和功能，并应用于工程领域。 神经网络的着眼点不在于利用物理器件完整地复制生物体中的神经细胞 网络，而是抽取其中可利用的部分来克服目前计算机或其他系统不能解 决的问题，如学习、控制、识别和专家系统等。随着生物和认知科学的 发展，人们对大脑的认识和了解越来越深入，神经网络必然会获得更加 广阔的发展空间和应用范围。 虽然ANN与真正的生物神经网络有差别，但由于它汲取了生物神经网络 的部分有点，因此具有一些固有的特性。 1、ANN在结构上与目前的计算机本质不同，它是由很多小得处理单元 互相连接而成的，每个处理单元的功能简单，但大量简单的处理单元集 体的、并行的活动得到预期的识别、计算的结果，具有较快的速度。 2、ANN具有非常强的容错性，即局部的或部分的神经元损坏后，不会 对全局的活动造成很大的影响。 3、ANN记忆的信息存储在神经元之间的连接权值上，从单个权值中看 不出存储信息的内容，因而是分布式的存储方式。 4、ANN的学习能力十分强大，它的连接权值和连接的结构都可以通过 学习得到。 2.7 神经网络在控制领域取得的进展 1、基于神经网络的系统辨识 基于神经网络的系统辨识，就是将神经网络作为被辨识系统P的模型 ， 逆模型 。 （1）可在已知常规模型结构的情况下，估计模型的参数。 （2）利用神经网络的线性、非线性，可建立线性、非线性系统的静态、 动态、逆动态和预测模型，重点在于非线性系统的建模与辨识。 2、神经网络控制器 神经网络作为实时控制系统的控制器，对于不确定、不确知系统及扰动 进行有效的控制，使控制系统达到所要求的动态、静态特性。 3、神经网络与其它算法相结合 神经网络与专家系统、模糊逻辑、遗传算法、小波理论等相结合由于控 制系统，可为系统提供参数和非参数模控制器模型。 4、优化计算 在常规控制系统的设计中，常遇到求解约束优化问题，神经网络为这类 问题提供了有效的途径。 5、控制系统的故障诊断 随着对控制系统安全性、可靠性、可维护性要求的提高，对系统的故障 检测与诊断问题的研究不断深入。近年来，神经网络在这方面的应用研 究取得了相应的进展。 3 感知器模型 v感知器是一种早期的神经网络模型，由美国学者 F.Rosenblatt于1957年提出。感知器中第一次引入了学 习的概念，使人脑所具备的学习功能在一定的程度上 得到了模拟，所以引起了广泛的关注。 v下面介绍一下单层感知器 v单层感知器分为：单层单神经元感知器和单层多神经 元感知器。我们在这里只介绍前者。 单神经元感知器具有一个处理单元，非线性作用函数 f（）是非对称型阶跃函数，见下式： 其结构如下图所示： 设感知器的权系W，输入向量u为 感知器的输出为（uj：感知器的第j个输入；w0=-；u0=1） f（x） xy u1 uj un w1 uj wn 它与MP模型不同之处是，权值可以进行调整，学习是采用有导师的学 习算法。 基本学习算法步骤如下： （1）设置权系的初值 ，为较小的随机非零值。 （2）给定输入/输出样本对，即导师信号， （3）求感知器的输出 （4）权值调整 式中，t：第t次调整向量。 （5）若 ，则学习结束；否则，返回（3）。 可见，学习算法结束后，将样本模式，以连接权值和阈 值的形式，分布记忆（存储）与感知器中。 单层感知器（单、多神经元）的局限性：只能解决简单 的分类问题，也就是只有在输入矢量是线性可分时，单 层感知器才对输入模式进行有效的分类有效。线性不可 分问题只能用多层感知器来解决。 4 线性神经网络 自适应线性神经元，是由美国Standford大学Widrow教授于 20世纪60年代初提出的。与感知器不同的是主要在于其神 经元有一个线性激活函数，这允许输出可以是任意值，而 不仅仅只是像感知器中那样只能取0或1。学习算法为规则 。 规则也称为最小方差法，其算法步骤如下： （1）设置初始权系W(0)。 （2）给定输入/输出样本对，即导师信号 （3）计算网络的目标函数J： 神经元在第p组样本输入下的输出yp为 （4）规则： 用于权值调 整的自适应学习算法为 将 代入上式可得 式中，为常值，0n1， （2） ，其中，m为输出神经元数，n为输入神 经元数，a为0,10之间的常数。 （3） ，其中，n为输入单元数。 还有一种途径可用于确定隐单元的数目。首先使隐单元的 数目可变，或者放入足够多的隐单元，通过学习将那些不 起作用的隐单元剔除，直到不可收缩为止。同样，也可以 在开始时放入比较少的神经元，学习到一定次数后，如果 不成功的话则增加隐单元的数目，直到达到比较合理的隐 单元数目为止。 5.6 初始值的选取 由于系统是非线性的，初始值对于学习能否达到局部最小 和是否能够收敛的结果关系很大。一个重要的要求是：初 始权值在输入累加时使每个神经元的状态值接近零，权值 一般取随机数，数值要比较小。输入样本也同样希望进行 归一化处理，使那些较大的输入仍落在传递函数梯度大的 地方。 一般取初始权值在(-1，1)之间的随机数 5.7 期望误差的选取 v在设计网络的训练过程中，期望误差值也应当通 过对比训练后确定一个合适的值。 v这个所谓的“合适”，是相对于所需要的隐含层的 节点数来确定，因为较小的期望误差值是要靠增 加隐含层的节点，以及训练时间来获得的。 v一般情况下，作为对比，可以同时对两个不同期 望误差值的网络进行训练，最后通过综合因素的 考虑来确定采用哪一个网络。 5.8 应用举例 v例1：求解函数逼近问题 有21组单输入矢量和相对应的目标矢量，试设计神经网络 来实现这对数组的函数关系。 P=-2:0.2:2； T=1.0000 1.7600 2.4400 3.0400 3.5600 4.0000 4.3600 4.6400 4.8400 4.9600 5.0000 4.9600 4.8400 4.6400 4.3600 4.0000 3.5600 3.0400 2.4400 1.7600 1.0000 ； 测试集 Ptest=-2:0.1:2； Ttest=1.3900 2.1100 2.7500 3.3100 3.7900 4.1900 4.5100 4.7500 4.9100 4.9900 4.9900 4.9100 4.7500 4.5100 4.1900 3.7900 3.3100 2.7500 2.1100 1.3900； 目标矢量相对于输入矢量的图形如下： 测试矢量与实际测试矢量的图形如下： 目标矢量与实际目标矢量的图形如下： 在上述图形中，BP网络取N1，8，1，训练目标为0.01，训练次数为4，网络 误差为0.3847 目标矢量与实际目标矢量的误差图形如下： 测试矢量与实际测试矢量的图形如下： 目标矢量与实际目标矢量的图形如下： 在上述图形中， BP网络取N1，8，1 训练目标为0.001 训练次数为6 网络误差为0.1281 目标矢量与实际目标矢量的误差图形如下： 测试矢量与实际测试矢量的图形如下： 目标矢量与实际目标矢量的图形如下： 在上述图形中， BP网络取N1，8，1 训练目标为0.0001 训练次数为9 网络误差为0.0207 目标矢量与实际目标矢量的误差图形如下： 测试矢量与实际测试矢量的图形如下： 目标矢量与实际目标矢量的图形如下： 在上述图形中， BP网络取N1，2，1 训练目标为0.001 训练次数为29 网络误差为0.1327 目标矢量与实际目标矢量的误差图形如下： 测试矢量与实际测试矢量的图形如下： 目标矢量与实际目标矢量的图形如下： 在上述图形中， BP网络取N1，5，1 训练目标为0.001 训练次数为7 网络误差为0.0396 目标矢量与实际目标矢量的误差图形如下： v上表表明：在经过2000次训练后（训练函数为trainlm） ，隐含层神经元为5个的BP网络对函数的逼近效果最好 ，因为它的网络误差也比较小，而且网络经过7次训练就 达到了目标误差。隐含层为3的网络误差也比较小，但他 们所需要的训练时间比较长（10次）。考虑网络性能的 训练速度，这里将网络隐含层的神经元数目设定为5。 v从上表还可以发现：就是并不是隐含层神经元的个数越 多，网络的性能就越好 神经元个数 2345678 网络误差 0.13270.11790.14350.03960.14020.12380.1281 网络的训练误差 在上述的几种情况中，网络的隐含层神经元的传递函数为 tansig，输出层神经元的传递函数为purelin，网络的训练函数 为trainlm。 下面我们研究一下不同训练函数对网络性能的影响，比如收 敛速度和网络推广能力等。为了比较，下面采用不同的训练 函数对网络进行训练，并观察结果。 以上都是采用函数trainlm对网络进行训练，该函数的学习算 法为Levenberg-Marquadt反传算法，该训练函数的优点在于 收敛速度很快。当隐含层神经元数目为8，训练目标为0.001 时，网络的逼近误差为0.1281，训练次数为6次。 接下来我们采用traingdx函数对网络进行训练，该函数的学习 算法是梯度下降动量法，而且学习速率是自适应的。此函数 的训练结果如下图所示： 测试矢量与实际测试矢量的图形如下： 目标矢量与实际目标矢量的图形如下： 在上述图形中， BP网络取N1，8，1 训练目标为0.001 训练次数为867 网络误差为0.1449 目标矢量与实际目标矢量的误差图形如下： 由此可以看出此训练函数traingdx相对于训练函数trainlm来说 ，在同等条件下（隐含层神经元数目为8，训练目标为0.001 时），它的网络的训练次数大大的增加了，而且网络误差也 略有增大。 最后，我们采用traingd训练函数来对网络进行训练，该函数 所用的学习算法就是普通的梯度下降法。 此函数的训练结果如下图所示： 测试矢量与实际测试矢量的图形如下： 目标矢量与实际目标矢量的图形如下： 在上述图形中， BP网络取N1，8，1 训练目标为0.001 训练次数为2000 网络误差为0.3005 目标矢量与实际目标矢量的误差图形如下： 由此可以看出此训练函数traingd相对于训练函数trainlgdx来 说，在同等条件下（隐含层神经元数目为8，训练目标为 0.001时），经过了2000次训练后，网络目标误差依然没有被 满足，而且通过观察网络的训练曲线，它的收敛过程也非常 缓慢。而且训练误差大大增加了（0.3005）。 综合分析以上3种训练过程，我们认为，函数trainlm收敛速度 最快，网路的训练误差也比较小。因此，这里采用trainlm训 练函数对网络进行训练，通过训练好的网络对其它的测试数 据进行仿真，得到网络对函数的逼近情况。 6 神经网络应用实例 地震预报的MATLAB实现 地震预报是地理问题研究领域中的一个重要课题,准确的地震 预报可以帮助人们及时采取有效措施，降低人员伤亡和经济 损失。引发地震的相关性因素很多。在实际地震预报中，前 兆与未来地震震级大小有一定关系。但是异常与地震之间有 较强的不确定性，同样一种预报方法或前兆在一些地震前可 能异常很突出，但在另一些地震前则可能表现得很不明显甚 至根本不出现。这种孕育过程的非线性和认识问题的困难性 使得人们很难建立较完善的物理理论模型，并通过某种解析 表达式进行表达。而神经网络是一种高度自适应的非线性动 力系统，通过BP神经网络学习可以得到输入与输出之间的高 度非线性映射，因此使用神经网络可以建立起输入与输出之 间的非线性关系。 本节将根据某地的地震资料，研究如何利用神经网 络工具箱，实现基于神经网络的地震预报。 以我国西南某地震常发地区的地震资料作为样本来 源，实现基于神经网络的地震预测。根据这些地震 资料，提取出7个预报因子和实际发生的震级M作为 输入和目标向量。预报因子为： （1）半年内M3的地震累计频度 （2）半年内能量释放累计值 （3）b值 （4）异常地震群个数 （5）地震条带数 （6）是否处于活动区 （7）相关地震区地震震级 一共收集了10个学习样本，如下表： 学习样本 地震累计 频度 累计释放 能量 b值异常地震群 个数 地震条带 个数 活动周期相关区 震级 实际震级 000.6200000 0.39150.47410.770.50.510.31580.5313 0.28350.54020.6800.510.31580.5938 0.62101.00000.6310.511.00000.9375 0.41850.41830.670.5010.73680.4375 0.21600.49480.710010.26320.5000 0.99900.03830.750.5110.94741.0000 0.58050.49250.710000.36840.3750 0.08100.06920.760000.05260.3125 0.39150.12300.980.5000.89740.6563 上表中的前7项为学习样本的输入因子，输出因子为实际震 级。利用上表中的学习样本对网络进行训练。在训练前，应 该对数据进行归一化处理。上表已经是对已化后的数据了。 BP网络的设计 还是采用单隐层的BP网络进行地震预测。由于输入样本为7 维的输入向量，因此，输入层一共有7个神经元，则中间层 应该有15个神经元。网络只有1个输出数据，则输出层只有1 个神经元。因此，网络结构应该为7151的结构。按照BP网 络的设计原则，中间层神经元的传递函数为S型正切函数。 由于输出已被归一化到区间0,1中，因此，输出神经元的传 递函数可以设定为S型对数函数。 中间层的神经元个数是很难确定的，而这又在很大程度上影 响着网络的预测性能。这里首先取15个，然后，观察网络的 性能；之后，再分别取10和20，并与此时的预测性能进行比 较，检验中间层神经元个数对网络性能的影响。当网网络的 预报误差最小时，网络中间层的神经元数目就是最佳值。 BP网络的训练与测试 在上述网络中，我们取训练次数为1000，训练目标为0.001， 其它参数取默认值。则可得训练结构如下图： 可见，网络经过375次训练后，网络的目标误差达到要求 网络训练结束后，还必须利用另外一组数据对其进行测试， 数据如下表所示。所谓测试，实际上是利用仿真函数来获得 网络的输出，然后检查输出和实际测量值中间的误差是否满 足要求。 地震累计 频度 累计释放 能量 b值异常地震群 个数 地震条带 个数 活动周期相关区 震级 实际震级 0.02700.07420.620000.21050.1875 0.17550.36670.7700.510.73680.4062 0.43200.37900.680.5010.36320.4375 0.49950.43470.630010.68420.5938 0.68850.58420.670.50.510.42110.6250 0.54000.80380.710.50.510.57890.7187 0.16200.25650.750010.47370.3750 将输出结果经过反归一化处理后得到预报震级，和实际震级 相比较可得到网络的预报误差。 实际 震级预报 震级预报误 差 4.44.55500.1550 5.15.03690.0631 5.24.96260.2374 5.75.53870.1613 5.85.93930.1393 6.15.97820.0218 5.04.92580.0742 由上表可见，网络的预报误差比较小。因此，性能可以满足 实际应用的要求。预报误差曲线如下所示： 训练误差为0.2792 下图即为中间层神经元数目为20的情况下的训练误差曲线。 训练误差为0.3003 接下来将网络中间层数目设置为10和20，并分别进行训练和仿真。 下图即为中间层神经元数目为10的情况下的训练误差曲线。 训练误差为0.3809 由此可见，网络的训练误差非常大，将3种情况的误差进行 对比，可见中间层神经元个数为15时，网络的预测性能最好 。 这也就证明了一个重要的结论，就是中间层神经元个数的 增加，虽然可以提高网络的映射精度，但并不意味着一定就 会提高网络的性能。因此，我们设计BP网络时，不能无限制 地增加中间层神经元的个数。 神经网络在股市预测中的应用 自有股票市场以来，对股票价格的预测一直就是学术界和广大 投资着最感兴趣的问题之一，它不仅存在着诱人的应用价值， 也具有重大的理论意义。时至今日，人们已经提出了多种股票 价格预测的方法，主要分为3类。 l传统的投资分析法。具体可划分为基本面分析法和传统的技 术分析法。 l传统的时间序列分析法。该类方法把股票价格或股价指数看 做变化的时间序列，通过建立时间序列相关模型来预测未来变 化。 l非线性系统分析法。该类方法把股票市场理解为一个随机性 和秩序性交织在一起的非线性动力系统。任何依赖于对非线性 函数进行模拟求解的预测方法都可归入此类，比如分形统计法 ，神经网络方法等。 v前面两种方法，我们可以将其归为传统的预测方法。它们或强调内在的 价值，或依赖于股票价格间的线性关系，局限性相当明显。这是因为， 我们所处的客观世界是复杂的，我们所接触的绝大多数时间序列往往是 由随机信号和由确定性非线性系统产生的信号的混合体，完全的随机信 号几乎不存在，完美的线性关系同样很少。 v近年来，大量的研究结果表明，股票市场就是一个信息量巨大的非线性 动力学系统，其功率谱具有宽带、连续等特征。因此，传统的线性预测 方法因为无法将其与噪声的功率谱加以区分，预测效果往往不太理想。 v在理论上，对于股票市场这样的非线性系统，如果知道其动力方程，基 于一定初始条件，就可以通过方程求解来进行股市预测。但是，用一组 动力方程来预测股票市场的运行规律是及其困难的，甚至是不可能的。 所以，我们只能基于现有市场行为的样本，从市场过去行为的规则性中 推断出可能存在的规律，寻找到决定系统或市场演化的法则和系统状态 变量。这样，我们无需了解市场内在的运行机制，就可对其未来变化进 行预测。 显然，对股票市场这类复杂的非线性动力系统是不能通过传统预测方法来 进行有效描绘的，需要通过适当的方法来逼近系统内复杂的非线性映射， 由此，我们引入了非线性分析工具。当前，具有非线性隐含神经元的神经