神经网络系统建模综述.doc

神经网络系统建模综述一、人工神经网络简介1.1人工神经网络的发展历史人工神经网络早期的研究工作应追溯至本世纪40年代。下面以时间顺序，以著名的人物或某一方面突出的研究成果为线索，简要介绍人工神经网络的发展历史。 1943年，心理学家WMcculloch和数理逻辑学家WPitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型。此模型沿用至今，并且直接影响着这一领域研究的进展。因而，他们两人可称为人工神经网络研究的先驱。 1945年冯诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计算机时代的开始。 50年代末，FRosenblatt设计制作了“感知机”，它是一种多层的神经网络。这项工作首次把人工神经网络的研究从理论探讨付诸工程实践。 在60年代初期，Widrow提出了自适应线性元件网络，这是一种连续取值的线性加权求和阈值网络。后来，在此基础上发展了非线性多层自适应网络。当时，这些工作虽未标出神经网络的名称，而实际上就是一种人工神经网络模型。 80年代初期，模拟与数字混合的超大规模集成电路制作技术提高到新的水平，完全付诸实用化，此外，数字计算机的发展在若干应用领域遇到困难。这一背景预示，向人工神经网络寻求出路的时机已经成熟。美国的物理学家Hopfield于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经网络研究的论文，引起了巨大的反响。人们重新认识到神经网络的威力以及付诸应用的现实性。随即，一大批学者和研究人员围绕着 Hopfield提出的方法展开了进一步的工作，形成了80年代中期以来人工神经网络的研究热潮。1.2人工神经网络的工作原理人工神经网络是由大量处理单元广泛互连而成的网络结构，是人脑的抽象、简化和模拟。人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。 人工神经网络首先要以一定的学习准则进行学习，然后才能工作。 所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。 1.3人工神经网络的特性人工神经网络具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力的系统，可以发展知识，以致超过设计者原有的知识水平。通常，它的学习训练方式可分为两种，一种是有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督学习或称无导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境 （即输入信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。 二、神经网络系统建模方法2.1 基于人工神经网络的建模技术2.1.1 正向建模正向建模是指训练一个神经网络表达系统正向动态的过程，这一过程建立的神经网络模型称为正向模型。在正向模型的结构中，神经网络与待辨识的系统并联，两者的输出误差用做网络的训练信号。显然，这是一个典型的有教师学习问题。实际系统作为教师，向神经网络提供算法所需的期望输出。当系统是被控对象或传统控制器时，神经网络一般采用多层前向网络的形式，可直接选用BP 网络或它的各种变形。而当系统为性能评价器时，则可选择再励学习算法，这时既可以采用具有全局逼近能力的网络，如多层感知器，也可选用具有局部逼近能力的网络，如小脑模型关节控制器等2。2.1.2 逆向建模建立动态系统的逆模型，在神经网络控制中起着关键作用，并且得到了非常广泛的应用。其中比较简单的是直接逆建模法。直接逆建模也称为广义逆学习。从原理上说，这是一种最简单的方法。拟辨识的系统输出作为网络的输入，网络输出与系统输入比较，相应的输入误差用于训练，因此网络将通过学习建立系统的逆模型。但是如果所辨识的非线性系统是不可逆的，利用上述方法，将得到一个不正确的逆模型。因此，在建立系统逆模型时，可逆性应该事先有所保证3。2.2利用人工神经网络求解问题的一般步骤在实际应用中，面对一个具体的问题时，首先需要分析利用神经网络求解问题的性质，然后根据问题特点，确定网络模型。最后通过对网络进行训练、仿真等，检验网络的性能是否满足要求。这一过程一般包括：（1）确定信息表达方式将领域问题及其相应的领域知识转化为网络可以接受并处理的形式，即将领域问题抽象为适合于网络求解的某种数据形式。（2）网络模型的确定根据问题的实际情况，选择模型的类型、结构等。另外，还可在典型网络模型的基础上，结合问题的具体情况，对原网络进行变形、扩充等，同时还可以采用多种网络模型的组合形式。（3）网络参数的选择确定网络输入/输出神经元的数目，如果是多层网络，还需要进一步确定隐含层神经元的个数。对于反馈神经网络，如Hopfield 网络和Elman 网络，还需要进一步地设置反馈神经元的有关属性。（4）训练模式的确定包括选择合理的训练算法，确定合适的训练步数，指定适当的训练目标误差，以获得较好的网络性能。（5）网络测试选择合理的测试样本，对网络进行测试，或者将网络应用于实际问题，检验网络性能。需要注意的是，网络测试过程需要遵循“交叉测试”的原则，保证测试的有效性、准确性和全面性。三、典型模型介绍3.1 BP神经网络1986年，Rumelhart等提出了误差反向传播神经网络，简称BP网络（Back Propagation），该网络是一种单向传播的多层前向网络。误差反向传播的BP算法简称BP算法，其基本思想是梯度下降法。它采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。 3.1.1 BP网络特点（1）是一种多层网络，包括输入层、隐含层和输出层；（2）层与层之间采用全互连方式，同一层神经元之间不连接；（3）权值通过学习算法进行调节；（4）神经元激发函数为S函数；（5）学习算法由正向传播和反向传播组成；（6）层与层的连接是单向的，信息的传播是双向的。3.1.2 BP网络结构含一个隐含层的BP网络结构如图1所示，图中i 为输入层神经元，j为隐层神经元，k 为输出层神经元。 图1 BP神经网络结构3.1.3 BP网络的逼近BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐层逐层处理，并传向输出层，每层神经元（节点）的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转至反向传播，将误差信号（理想输出与实际输出之差）按联接通路反向计算，由梯度下降法调整各层神经元的权值，使误差信号减小。3.1.4 BP网络的优缺点由于BP网络具有很好的逼近非线性映射的能力，该网络在模式识别、图像处理、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。虽然BP网络得到了广泛的应用，但自身也存在一些缺陷和不足，主要包括以下几个方面的问题。 首先，由于学习速率是固定的，因此网络的收敛速度慢，需要较长的训练时间。对于一些复杂问题，BP算法需要的训练时间可能非常长，这主要是由于学习速率太小造成的，可采用变化的学习速率或自适应的学习速率加以改进。 其次，BP算法可以使权值收敛到某个值，但并不保证其为误差平面的全局最小值，这是因为采用梯度下降法可能产生一个局部最小值。对于这个问题，可以采用附加动量法来解决。 再次，网络隐含层的层数和单元数的选择尚无理论上的指导，一般是根据经验或者通过反复实验确定。因此，网络往往存在很大的冗余性，在一定程度上也增加了网络学习的负担。 最后，网络的学习和记忆具有不稳定性。也就是说，如果增加了学习样本，训练好的网络就需要从头开始训练，对于以前的权值和阈值是没有记忆的。3.2 RBF网络RBF网络是一种三层前向网络，由于输入到输出的映射是非线性的，而隐含层空间到输出空间的映射是线性的，从而可以大大加快学习速度并避免局部极小问题。3.2.1 RBF网络结构图2 RBF网络结构3.2.2 RBF网络的逼近采用RBF网络逼近一对象的结构如图3所示。 图3 RBF神经网络逼近3.3 回归神经网络对角回归型神经网络（DRNN：Diagonal Recurrent Neural Network）是具有反馈的动态神经网络，该网络能够更直接更生动地反映系统的动态特性，它在BP网络基本结构的基础上，通过存储内部状态使其具备映射动态特征的功能，从而使系统具有适应时变特性的能力，DRNN网络代表了神经网络建模和控制的方向。3.3.1 DRNN网络结构DRNN网络是一种三层前向网络，其隐含层为回归层。正向传播是输入信号从输入层经隐层传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。反向传播就是将误差信号（理想输出与实际输出之差）按联接通路反向计算，由梯度下降法调整各层神经元的权值和阈值，使误差信号减小。DRNN网络结构如图4所示。 图4 DRNN神经网络结构3.3.2 DRNN网络的逼近DRNN网络逼近的结构如图5所示，图中k为网络的迭代步骤，u(k)和y(k)为辨识器的输入。DRNN为网络辨识器。y(k)为被控对象实际输出，ym(k)为DRNN的输出。将系统输出y(k)及输入u(k)的值作为辨识器DRNN的输入，将系统输出与网络输出的误差作为辨识器的调整信号。 图5 DRNN神经网络逼近四、神经网络的应用 4.1 图像压缩编码Ackley 和 Hinton 等人提出了利用 B P 网络实现数据编 码的基本思想 。其原理是 ,把一组输入模式通过少量的隐层 节点映射到一组输出模式 ,并使输出模式等同与输入模式 。 当中间隐层的节点数比输入模式维数少时 ,就意味着隐层能 更有效地表现输入模式 ,并把这种表现传给输出层 。在这个过程中 ,输入层和隐层的变换可以看成是压缩编码的过程 ; 而隐层和输出层的变换可以看成是解码过程 。4.2 人脸识别对人脸识别是人类最伟大的视觉功能之一 ,神经网络受 动物神经系统启发 ,利用大量简单处理单元互联而构成的复杂系统 ,以解决复杂模式识别和行为控制问题 。将人工神经网络用于人脸识别 , 建立了人脸识别模型 , 通过对输 入图像实行图像压缩 、图像抽样及输入矢量标准化等图像预 处理 ,将标准化矢量输入神经网络进行训练。神经网络用于人脸识别时 , 网络的每一个输入节点对应 样 本 的 一 个 特征,而输出节点数等于类别数 , 一 个 输 出 节 点 对 应 一 个 类 。 4.3故障诊断对于故障诊断而言 ,其核心技术是故障模式识别 。而人工神经网络由于其本身信息处理特点 ,如并行性 、自学习 、自 组织性 、联想记忆等 ,使得能够出色地解决那些传统模式识 别难以圆满解决的问题 ,所以故障诊断是人工神经网络的重 要应用领域之一 ,已有不少应用系统的报道。4.4最优预测目前 ,前景预测已经 成 为 许 多 行 业 不 可 避 免 的 一 个 难 题 。由于预测涉及的因素很多 ,往往很难建立一个合理的模型 。人工神经网络模拟人的大脑活动 ,具有极强的非线性逼 近 、大规模并行处理 、自训练学习 、容错能力以及外部环境的 适应能力 。所以利用人工神经网络进行预测已经成为许多 项目首选的方法 。4.5分类早在 20 世纪 50 年代 ,研究人员就开始模拟动物神经系统的某些功能 ,他们采用软件或硬件的办法,建立了许多以 大量处理单元为结点 ,处理单元间实现 (加权值的) 互联的拓 扑网络 ,进行模拟 。称之为人工神经网络 。这种方法可以看 作是对原始特征空间进行非线性变换 ,产生一个新的样本空 间 ,使得变换后的特征线性可分 。同传统统计方法相比 ,其 分类器是与概率分布无关的 。五展望近年来 ,人工神经网络无论在理论研究上 ,还是在实际 应用中 ,都取得了突飞猛进的发展 。但必须清醒地认识到 , 人工神经网络只是对人脑的简单模拟 ,尚有许多问题有待解 决 。为了改善人工神经网络的应用 ,解决各学科中存在的大 量不确定性和模糊性问题 ,可以采取以下 3 条途径 :1) 与专家系统相结合 ,实现符号处理与数值处理相结合 ,使知识的提取 、存储 、推理和解释更接近人脑 ;2) 把不 同 类 型 的 人 工 神 经 模 型 以 不 同 形 式 组 合 在 一 起 ,构成一个新的综合性人工神经系统 ;3) 将模糊数学 、数理逻辑 、拓扑数学等结合到人工神经 网络的学习规则中 ,使其具有求解不确定性 、模糊性和似然 性推理等问题的能力 。此外 ,研究人工神经网络硬件芯片以提高运行速度也是 有待解决的重要问题 。随着大规模集成电路 、光学与分子器 件的发展 、人工神经计算机的研制 ,人工神经网络必将会得 到越来越广泛的应用和迅猛发展 。参考文献1 周伟良,何 鲲,曹先彬,等.基于一种免疫遗传算法的BP 网络设计J.安徽大学学报(自然科学版),2007,23(1):63-66.2 李 涛.计算机免疫学M.北京:电子工业出版社,2008.3 飞思科技产品研发中心.神经网络理论与MATLAB7 实现M.北京:电子工业出版社,2009.4 范影乐,杨胜天,李 轶.MATLAB 仿真应用详解M.北京: