毕业设计（论文）-基于神经网络误差补偿的预测控制研究.docx

华北电力大学科技学院本科毕业设计（论文）基于神经网络误差补偿的预测控制摘 要非线性系统预测控制已成为一个有着广阔前景的研究热点。预测控制的多步预测和滚动优化有克服建模误差影响的能力，使控制系统具有一定的鲁棒性。但研究表明,预测控制对模型失配的鲁棒性是有限的，仍需要一个较准确的预测模型。实际系统大都是难以准确建模的非线性系统，如何提高预测的精确性以增强控制系统鲁棒性是非线性系统预测控制研究的重要问题。建立在反馈校正原理上的预测误差补偿是一种有效的方法。本文提出了一种基于对象定量和定性信息的组合预测控制方法，但其只是对一类特殊对象而言。 本文对模型失配误差用Bp 网络建模, 构成误差修正DMC 算法, 然而由于经训练的网络权值固定不变, 当工况发生较大变化时, 修正后的预测值仍有可能产生较大误差。 本文利用一种权值可以在线调整的动态Bp 网络对模型预测误差进行拟合并与预测模型一起构成动态组合预测器，在此基础上形成对模型误差具有动态补偿能力的预测控制算法。 由于该算法显著提高了预测精度，从而增强了预测控制算法的鲁棒性。关键词：预测控制 神经网络 动态矩阵 误差补偿Error compensationbased on neural networkpredictive controlAbstractPredictive control of nonlinear systems has become a promising research focus. Predictive control of multi-step prediction and rolling optimization has the ability to overcome the effects of modeling errors, the control system has a certain robustness. But studies show that mismatch the model predictive control robustness is limited, still need a more accurate prediction models. The actual system are mostly difficult to accurately model nonlinear systems, how to improve forecast accuracy to enhance the robustness of control systems predictive control of nonlinear systems is an important issue.Based on the principle of feedback on the forecast error correction is an effective method of compensation. This paper presents an object-based combination of quantitative and qualitative information predictive control, but only in terms of a special class of objects.In this paper, the model mismatch error with Bp network modeling, error correction form DMC algorithm, but because of trained network weights are fixed when the conditions changed greatly, the revised forecast is still possible to have a greatererror.This use of a weight you can adjust the dynamic online Bp network model prediction error and prediction models to be combined together constitute the dynamic combination of predictors, on the basis of the formation of the model error has the ability to predict the dynamic compensation control algorithm.Since the algorithm significantly improves the prediction accuracy, thus increasing the predictive control algorithm robustness.Keywords: Predictive Control Neural network DynamicMatrix Error compensation目录摘 要11 预测控制51.1 预测控制的产生51.2 预测控制的发展61.3 预测控制算法及应用71.3.1模型控制算法（Model Algorithmic Control，MAC）71.3.2动态矩阵控制（Dynamic Matrix Control，DMC）71.3.3广义预测控制（Generalized Predictive Control，GPC）81.3.4极点配置广义预测控制81.3.5内模控制81.3.6模糊预测控制81.4 预测控制的基本特征91.4.1预测模型91.4.2反馈校正91.4.3滚动优化91.5预测控制的现状92 神经网络102.1 人工神经网络的生理原理102.2 神经网络的特征132.3 神经网络的发展历史142.4 神经网络的内容152.5 神经网络的优越性162.6 神经网络研究方向172.7 神经网络的应用分析172.8 神经网络使用注意事项202.9 神经网络的发展趋势212.10 BP神经网络212.10.1 BP神经网络模型212.10.2 BP网络模型的缺陷分析及优化策略222.10.3 神经网络仿真233动态矩阵控制253.1 预测模型253.2 滚动优化263.3 反馈校正273.4 有约束多变量动态矩阵控制及其线性化303.5 动态矩阵控制仿真324 基于神经网络误差补偿的预测控制354.1 研究背景354.2 传统PID控制364.2.1位置式PID控制364.2.2 增量式PID控制374.3 基于神经网络的动态矩阵控制384.4 基于神经网络输出反馈的动态矩阵控制研究424.5 基于神经网络误差补偿的动态矩阵控制474.6 仿真效果验证53总结58参考文献591 预测控制1.1 预测控制的产生预测控制的产生，并不是理论发展的需要，而首先是工业实践向控制提出的挑战。众所周知，上世纪60年代初形成的现代控制理论在航空、航天等领域取得了辉煌的成果。利用状态空间法去分析和设计系统，提高了人们对被控对象的洞察能力，提供了在更高层次上设计控制系统的手段。特别是立足于最优性能指标的设计理论和方法已趋成熟，这对于在工业过程中追求更高控制质量和经济效益的控制工程师来说，无疑有着极大的吸引力。然而人们不久就发现，在完美的理论与控制之间还存在着巨大的鸿沟。主要表现在以下几个方面:1.现代控制理论的基点是对象精确的数学模型，而在工业过程中所涉及的对象往往是多输入、多输出的高维复杂系统，其数学模型很难精确建立，即使建立了模型，从工程应用的角度来说，往往需要简化，从而很难保证对象精确的模型。2.工业对象的结构、参数和环境都有很大的不确定性。由于这些不确定性的存在，按照理想模型得到的最优控制在实际上往往不能保证最优，有时甚至引起控制品质的严重下降。在工业环境中人们更关注的是控制系统在不确定性影响下保持良好性能的能力，即所谓鲁棒性，而不能只是追求理想的最优性。3.工业控制中必须考虑到控制手段的经济性，对工业计算机的要求不能太高.因此控制算法必须简易以满足实时性的要求.而现代控制理论的许多算法往往过于复杂，难以用低性能的计算机实现。这些来自实际的原因，阻碍了现代控制理论在复杂工业过程中的有效应用。也向控制理论提出了新的挑战。为了克服理论与实际应用之间的不协调，上世纪70年代以来.除了加强对系统辨识、模型简化、自适应控制、鲁棒控制等的研究外.人们开始打破传统方法的约束，试图面对工业过程的特点，寻找各种对模型要求低，控制综合质量好、在线计算方便的优化控制新算法。在此期间，数字计算机技术的飞速发展，也为新算法的产生提供了物质基础。预测控制就是在这种背景下发展起来的一类新型计算机优化控制算法。1.2 预测控制的发展最早产生于工业过程的预测控制算法，有Rechalet.Mehra等提出的建立在脉冲响应基础上的模型预测启发控制(Model Perdictive Heuristic Control,简称WHC，或模型算法控制(Model Algorithmic C ontrol，简称MAC)，以及Cutler等提出的建立在阶跃响应基础上的动态矩阵控制(Dynamic Matrix Control,简称DMC)。由于脉冲响应、阶跃响应易于从工业现场直接获得，并不要求对模型的结构有先验知识。这类预测控制算法汲取了现代控制理论中的优化思想，但采用滚动优化的策略，计算当前控制输入取代传统最优控制，并在优化控制中利用实测信息不断进行反馈校正，所以在一定程度上克服了不确定性的影响，增强了控制的鲁棒性。此外，这类算法在线计算比较容易，非常适合于工业过程控制的实际要求。上世纪70年代后期，模型控制算法(MAC)和动态矩阵控制(DMC)分别在锅炉、分馏塔和石油化工装置上获得成功的应用，从而引起了工业控制界的广泛兴趣。此后，基于对象脉冲或阶跃响应的各种预测控制算法相继出现，在石油、化工、电力等领域的过程控制中取得了明显的经济效益。上世纪80年代初，人们在自适应控制的研究中发现.为了克服最小方差控制的弱点，有必要汲取预测控制中的多步预测优化策略，这样可以大大增强算法的适用性与鲁棒性。因此出现了基于辨识模型并带有自校正的预测控制算法。如扩展预测自适应控制(ExtendedPredictive Self-Adaptive Control，简称EPSAC)；广义预测控制(Generalized Predictive Control，简称GPC)等，这类算法以长时段多步优化取代了经典最小方差控制中的一步预测控制优化，从而可应用于时滞和非最小相位对象，并改善了控制性能和对模型失配的鲁棒性。此外Morali等1982年研究一类新型控制结构 内模控制(Internal Model Control，简称IMC )，发现预测控制算法与这类控制算法有着密切联系。MAC、DMC是IMC的特例，从结构的角度对预测控制作了更深入的研究。目前GPC都是以线性系统作为被控制对象，对于弱非线性系统。一般仍能取得较好的控制效果，但对一些强的非线性系统难于奏效。对此，非线性的广义预测控制研究开始受到重视.主要有基于Hammerstein模型广义预测控制，基于LMOPDP模型广义预测控制，基于神经网络的非线性系统广义预测控制，还有基于双线性模型，多模型等多种方法。近几年来，预测控制的研究与发展己经突破前期研究的框架，摆脱了单纯的算法研究模式，它与极点配置、自适应控制和多模型切换等众多先进控制技术相结合，成为新的一类现代预测控制策略研究领域。随着智能控制技术的发展，预测控制将己取得的成果与模糊控制、神经网络以及遗传算法、专家控制系统等控制策略相结合，正朝着智能预测控制方向发展。1.3 预测控制算法及应用 由于预测控制是一类基于模型的计算机控制算法，因此它是基于离散控制系统的。预测控制不但利用当前的和过去的偏差值，而且用预测模型来预估过程未来的偏差值，以滚动确定当前的最优输入策略。 1.3.1模型控制算法（Model Algorithmic Control，MAC） 模型控制算法采用基于脉冲响应的非参考模型作为内部模型，用过去和未来的输入输出信息，预测系统未来的输出状态，经过用模型输出误差进行反馈校正后，再与参考输入轨迹进行比较，应用二次型性能指标滚动优化，再计算当前时刻加于系统的控制量，完成整个循环。该算法控制分为单步、多步、增量型、单值等多种模型算法控制。目前已在电厂锅炉、化工精镏塔等许多工业过程中获得成功应用 1.3.2动态矩阵控制（Dynamic Matrix Control，DMC） 动态矩阵控制与模型算法控制不同之处是，它采用在工程上易于测取的对象阶跃响应做模型，计算量减少，鲁棒性较强。它是由Culter等人提出的一种有约束的多变量优化控制算法，在1974年就应用于美国壳牌石油公司的生产装置上，1979年首先发表。现已在石油、石油化工、化工等领域的过程控制中应用成功，已有商品化软件出售。动态矩阵控制也适用于渐近稳定的线性过程。1.3.3广义预测控制（Generalized Predictive Control，GPC） 广义预测控制是在自适应控制的研究中发展起来的预测控制算法。它的预测模型采用CARIMA（离散受控自回归积分滑动平均模型）或CARMA（离散受控自回归滑动平均模型），克服了脉冲响应模型、阶跃响应模型不能描述不稳定过程和难以在线辨识的缺点。广义预测控制保持最小方差自校正控制器的模型预测，在优化中引入了多步预测的思想，抗负载扰动随机噪声、时延变化等能力显著提高，具有许多可以改变各种控制性能的调整参数。它不仅能用于开环稳定的最小相位系统，而且可用于非最小相位系统、不稳定系统和变时滞、变结构系统。它在模型失配情况下仍能获得良好的控制性能。 1.3.4极点配置广义预测控制 预测控制系统的闭环稳定性尚未完全解决，这是由于闭环特征多项式的零点位置与系统中的多个可调参数有关，不易导出稳定性与各参数间的显示联系，使设计者不能将闭环极点配置在所期望的位置上。若能在多步预测控制系统中引入极点配置技术，将极点配置与多步预测结合起来组成广义预测极点配置控制，则将进一步提高预测控制系统的闭环稳定性和鲁棒性。1987年Lelic提出了广义预测极点配置控制器。 1.3.5内模控制 基于参数模型和非参数模型的两类预测控制算法，均采用了多步输出预测和在线实现滚动优化的控制策略，使分析预测控制系统的动态性能，计算闭环系统的输入输出特性变得困难而复杂，于是出现了内模控制，它是由Garcia等人于1982年提出的。应用内模控制结构来分析预测控制系统有利于从结构设计的角度来理解预测控制的运行机理，可进一步利用它来分析预测控制系统的闭环动静态特性、稳定性和鲁棒性。内模控制结构为预测控制的深入研究提供了一种新方法，推动了预测控制的进一步发展。 在内模控制中，由于引入了内部模型，反馈量由原来的输出反馈变为扰动估计量的反馈，而且控制器的设计也十分容易。当(z) 不能精确描述对象时，(z) 将包含模型失配的某些信息，从而有利于系统鲁棒性的设计。 1.3.6模糊预测控制 一种模糊预测控制是基于预测模型对控制效果进行预报，并根据目标偏差和操作者的经验，应用模糊决策方法的在线修正控制策略。这种方法已用于一类复杂工艺过程的终点控制。另一种模糊预测控制是基于辨识模糊模型的多变量预测控制方法，它由模糊辨识和广义预测控制器两部分组成。采用线性系统理论来设计广义预测器，简化了设计。这种模糊预测控制的跟踪速度快、抗干扰能力强、控制效果好。 1.4 预测控制的基本特征 1.4.1预测模型 预测控制需要一个描述动态行为的基础模型，称预测模型。它有预测功能，即能根据系统现时刻和未来时刻的控制输入及历史信息，预测过程输出的未来值。如脉冲响应模型、阶跃响应模型等非参数模型，CARIMA、微分方程、差分方程等参数模型。 1.4.2反馈校正 在实际过程中，由于存在非线性时变、模型失配和干扰等不确定性因素，使基于模型的预测不可能与实际相符。因此通过输出的测量值与模型的预估值进行比较，得出模型的预测误差，再利用这个误差来校正模型的预测值，从而得到更为准确的、将来输出的预测值。正是这种模型预测加反馈校正的过程，使预测控制具有很强的抗干扰和克服系统不准确性的能力。 1.4.3滚动优化 即采用滚动式的有限时域优化策略。也就是说优化策略不是一次离线完成的，而是反复在线进行的，即在每一采样时刻，优化性能指标只涉及从该时刻起到未来的有限时间段，而到下一个采样时刻，这一优化时段会同时向前推移。因此预测控制不是用一个对全局相同的优化指标，而是在每一个时刻有一个相对于该时刻的局部优化性能指标。不同时刻优化性能指标的形式是相同的，但其包含的时间区域是不同的，这就是滚动优化的含义。 1.5预测控制的现状 预测控制具有： 对数学模型要求不高； 能直接处理具有纯滞后的过程； 具有良好的跟踪性能和较强的抗干扰能力； 对模型误差具有较强的鲁棒性等优良性质。因此，更加符合工业过程的实际要求，这是PID控制无法相比的，但应看到有关预测控制的理论研究仍落后于工业实际。有几个问题是有待于进一步解决的： 主要设计参数对稳定性、鲁棒性和其它控制性能的影响，给出参数选择的定量结果； 研究当存在建模误差及干扰时，预测控制的鲁棒性，并给出定量分析结果； 研究新的滚动优化策略； 建立有效的反馈校正方法； 进一步完善预测控制算法。 目前的预测控制算法普遍存在着模型精度不高，滚动优化策略少，反馈校正方法单调等问题。如何突破原有的模型框架，利用所有可能获取的反映过程、未来变化趋势的动态信息，建立高精度的预测模型是提高模型预测精度的有效途径。2 神经网络人工神经网络（ArtificialNeuralNetworks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（ConnectionistModel），它是一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为“训练”。2.1 人工神经网络的生理原理“人脑是如何工作的？”“人类能否制作模拟人脑的人工神经元？”多少年以来，人们从医学、生物学、生理学、哲学、信息学、计算机科学、认知学、组织协同学等各个角度企图认识并解答上述问题。在寻找上述问题答案的研究过程中，近年来逐渐形成了一个新兴的多学科交叉技术领域，称之为“神经网络”。神经网络的研究涉及众多学科领域，这些领域互相结合、相互渗透并相互推动。不同领域的科学家又从各自学科的兴趣与特色出发，提出不同的问题，从不同的角度进行研究。人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。心理学家和认知科学家研究神经网络的目的在于探索人脑加工、储存和搜索信息的机制，弄清人脑功能的机理，建立人类认知过程的微结构理论。生物学、医学、脑科学专家试图通过神经网络的研究推动脑科学向定量、精确和理论化体系发展，同时也寄希望于临床医学的新突破；信息处理和计算机科学家研究这一问题的目的在于寻求新的途径以解决目前不能解决或解决起来有极大困难的大量问题，构造更加逼近人脑功能的新一代计算机。人工神经网络是由大量的简单基本元件神经元相互联接而成的自适应非线性动态系统。每个神经元的结构和功能比较简单，但大量神经元组合产生的系统行为却非常复杂。人工神经网络反映了人脑功能的若干基本特性，但并非生物系统的逼真描述，只是某种模仿、简化和抽象。与数字计算机比较，人工神经网络在构成原理和功能特点等方面更加接近人脑，它不是按给定的程序一步一步地执行运算，而是能够自身适应环境、总结规律、完成某种运算、识别或过程控制。人工神经元的研究起源于脑神经元学说。19世纪末，在生物、生理学领域，Waldeger等人创建了神经元学说。人们认识到复杂的神经系统是由数目繁多的神经元组合而成。大脑皮层包括有100亿个以上的神经元，每立方毫米约有数万个，它们互相联结形成神经网络，通过感觉器官和神经接受来自身体内外的各种信息，传递至中枢神经系统内，经过对信息的分析和综合，再通过运动神经发出控制信息，以此来实现机体与内外环境的联系，协调全身的各种机能活动。神经元也和其他类型的细胞一样，包括有细胞膜、细胞质和细胞核。但是神经细胞的形态比较特殊，具有许多突起，因此又分为细胞体、轴突和树突三部分。细胞体内有细胞核，突起的作用是传递信息。树突是作为引入输入信号的突起，而轴突是作为输出端的突起，它只有一个。树突是细胞体的延伸部分，它由细胞体发出后逐渐变细，全长各部位都可与其他神经元的轴突末梢相互联系，形成所谓“突触”。在突触处两神经元并未连通，它只是发生信息传递功能的结合部，联系界面之间间隙约为（1550)10米。突触可分为兴奋性与抑制性两种类型，它相应于神经元之间耦合的极性。每个神经元的突触数目正常，最高可达10个。各神经元之间的连接强度和极性有所不同，并且都可调整、基于这一特性，人脑具有存储信息的功能。利用大量神经元相互联接组成人工神经网络可显示出人的大脑的某些特征。下面通过人工神经网络与通用的计算机工作特点来对比一下：若从速度的角度出发，人脑神经元之间传递信息的速度要远低于计算机，前者为毫秒量级，而后者的频率往往可达几百兆赫。但是，由于人脑是一个大规模并行与串行组合处理系统，因而，在许多问题上可以作出快速判断、决策和处理，其速度则远高于串行结构的普通计算机。人工神经网络的基本结构模仿人脑，具有并行处理特征，可以大大提高工作速度。人脑存贮信息的特点为利用突触效能的变化来调整存贮内容，也即信息存贮在神经元之间连接强度的分布上，存贮区与计算机区合为一体。虽然人脑每日有大量神经细胞死亡 （平均每小时约一千个），但不影响大脑的正常思维活动。普通计算机是具有相互独立的存贮器和运算器，知识存贮与数据运算互不相关，只有通过人编出的程序使之沟通，这种沟通不能超越程序编制者的预想。元器件的局部损坏及程序中的微小错误都可能引起严重的失常。人类大脑有很强的自适应与自组织特性，后天的学习与训练可以开发许多各具特色的活动功能。如盲人的听觉和触觉非常灵敏；聋哑人善于运用手势；训练有素的运动员可以表现出非凡的运动技巧等等。普通计算机的功能取决于程序中给出的知识和能力。显然，对于智能活动要通过总结编制程序将十分困难。人工神经网络也具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力的系统，可以发展知识，以致超过设计者原有的知识水平。通常，它的学习训练方式可分为两种，一种是有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督学习或称无为导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境 （即输入信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。2.2 神经网络的特征由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。人工神经网络具有四个基本特征：（1）非线性 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。（2）非局限性 一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子（3）非常定性 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。（4）非凸性 一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络是一种非程序化、适应性、大脑风格的信息处理，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。它是涉及神经科学、思维科学、人工智能、计算机科学等多个领域的交叉学科。人工神经网络是并行分布式系统，采用了与传统人工智能和信息处理技术完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结构化信息方面的缺陷，具有自适应、自组织和实时学习的特点。2.3 神经网络的发展历史1943年，心理学家WMcculloch和数理逻辑学家WPitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型。此模型沿用至今，并且直接影响着这一领域研究的进展。因而，他们两人可称为人工神经网络研究的先驱。1945年冯诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计算机时代的开始。1948年，他在研究工作中比较了人脑结构与存储程序式计算机的根本区别，提出了以简单神经元构成的再生自动机网络结构。但是，由于指令存储式计算机技术的发展非常迅速，迫使他放弃了神经网络研究的新途径，继续投身于指令存储式计算机技术的研究，并在此领域作出了巨大贡献。虽然，冯诺依曼的名字是与普通计算机联系在一起的，但他也是人工神经网络研究的先驱之一。50年代末，FRosenblatt设计制作了“感知机”，它是一种多层的神经网络。这项工作首次把人工神经网络的研究从理论探讨付诸工程实践。当时，世界上许多实验室仿效制作感知机，分别应用于文字识别、声音识别、声纳信号识别以及学习记忆问题的研究。然而，这次人工神经网络的研究高潮未能持续很久，许多人陆续放弃了这方面的研究工作，这是因为当时数字计算机的发展处于全盛时期，许多人误以为数字计算机可以解决人工智能、模式识别、专家系统等方面的一切问题，使感知机的工作得不到重视；其次，当时的电子技术工艺水平比较落后，主要的元件是电子管或晶体管，利用它们制作的神经网络体积庞大，价格昂贵，要制作在规模上与真实的神经网络相似是完全不可能的；另外，在1968年一本名为感知机的著作中指出线性感知机功能是有限的，它不能解决如异感这样的基本问题，而且多层网络还不能找到有效的计算方法，这些论点促使大批研究人员对于人工神经网络的前景失去信心。60年代末期，人工神经网络的研究进入了低潮。另外，在60年代初期，Widrow提出了自适应线性元件网络，这是一种连续取值的线性加权求和阈值网络。后来，在此基础上发展了非线性多层自适应网络。当时，这些工作虽未标出神经网络的名称，而实际上就是一种人工神经网络模型。随着人们对感知机兴趣的衰退，神经网络的研究沉寂了相当长的时间。80年代初期，模拟与数字混合的超大规模集成电路制作技术提高到新的水平，完全付诸实用化，此外，数字计算机的发展在若干应用领域遇到困难。这一背景预示，向人工神经网络寻求出路的时机已经成熟。美国的物理学家Hopfield于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经网络研究的论文，引起了巨大的反响。人们重新认识到神经网络的威力以及付诸应用的现实性。随即，一大批学者和研究人员围绕着 Hopfield提出的方法展开了进一步的工作，形成了80年代中期以来人工神经网络的研究热潮。2.4 神经网络的内容人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特征、学习规则等。目前，已有近40种神经网络模型，其中有反传网络、感知器、自组织映射、Hopfield网络、波耳兹曼机、适应谐振理论等。根据连接的拓扑结构，神经网络模型可以分为：（1）前向网络 网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。反传网络是一种典型的前向网络。（2）反馈网络 网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、波耳兹曼机均属于这种类型。学习是神经网络研究的一个重要内容，它的适应性是通过学习实现的。根据环境的变化，对权值进行调整，改善系统的行为。由Hebb提出的Hebb学习规则为神经网络的学习算法奠定了基础。Hebb规则认为学习过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。在此基础上，人们提出了各种学习规则和算法，以适应不同网络模型的需要。有效的学习算法，使得神经网络能够通过连接权值的调整，构造客观世界的内在表示，形成具有特色的信息处理方法，信息存储和处理体现在网络的连接中。根据学习环境不同，神经网络的学习方式可分为监督学习和非监督学习。在监督学习中，将训练样本的数据加到网络输入端，同时将相应的期望输出与网络输出相比较，得到误差信号，以此控制权值连接强度的调整，经多次训练后收敛到一个确定的权值。当样本情况发生变化时，经学习可以修改权值以适应新的环境。使用监督学习的神经网络模型有反传网络、感知器等。非监督学习时，事先不给定标准样本，直接将网络置于环境之中，学习阶段与工作阶段成为一体。此时，学习规律的变化服从连接权值的演变方程。非监督学习最简单的例子是Hebb学习规则。竞争学习规则是一个更复杂的非监督学习的例子，它是根据已建立的聚类进行权值调整。自组织映射、适应谐振理论网络等都是与竞争学习有关的典型模型。研究神经网络的非线性动力学性质，主要采用动力学系统理论、非线性规划理论和统计理论，来分析神经网络的演化过程和吸引子的性质，探索神经网络的协同行为和集体计算功能，了解神经信息处理机制。为了探讨神经网络在整体性和模糊性方面处理信息的可能，混沌理论的概念和方法将会发挥作用。混沌是一个相当难以精确定义的数学概念。一般而言，“混沌”是指由确定性方程描述的动力学系统中表现出的非确定性行为，或称之为确定的随机性。“确定性”是因为它由内在的原因而不是外来的噪声或干扰所产生，而“随机性”是指其不规则的、不能预测的行为，只可能用统计的方法描述。混沌动力学系统的主要特征是其状态对初始条件的灵敏依赖性，混沌反映其内在的随机性。混沌理论是指描述具有混沌行为的非线性动力学系统的基本理论、概念、方法，它把动力学系统的复杂行为理解为其自身与其在同外界进行物质、能量和信息交换过程中内在的有结构的行为，而不是外来的和偶然的行为，混沌状态是一种定态。混沌动力学系统的定态包括：静止、平稳量、周期性、准同期性和混沌解。混沌轨线是整体上稳定与局部不稳定相结合的结果，称之为奇异吸引子。一个奇异吸引子有如下一些特征：（1）奇异吸引子是一个吸引子，但它既不是不动点，也不是周期解；（2）奇异吸引子是不可分割的，即不能分为两个以及两个以上的吸引子；（3）它对初始值十分敏感，不同的初始值会导致极不相同的行为。2.5 神经网络的优越性人工神经网络的特点和优越性，主要表现在三个方面：第一，具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。第二，具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。第三，具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。2.6 神经网络研究方向神经网络的研究可以分为理论研究和应用研究两大方面。理论研究可分为以下两类：1、利用神经生理与认知科学研究人类思维以及智能机理。2、利用神经基础理论的研究成果，用数理方法探索功能更加完善、性能更加优越的神经网络模型，深入研究网络算法和性能，如：稳定性、收敛性、容错性、鲁棒性等；开发新的网络数理理论，如：神经网络动力学、非线性神经场等。应用研究可分为以下两类：1、神经网络的软件模拟和硬件实现的研究。2、神经网络在各个领域中应用的研究。这些领域主要包括：模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等。随着神经网络理论本身以及相关理论、相关技术的不断发展，神经网络的应用定将更加深入。2.7 神经网络的应用分析神经网络近来越来越受到人们的关注，因为它为解决大复杂度问题提供了一种相对来说比较有效的简单方法。神经网络可以很容易的解决具有上百个参数的问题（当然实际生物体中存在的神经网络要比我们这里所说的程序模拟的神经网络要复杂的多）。神经网络常用于两类问题：分类和回归。在结构上，可以把一个神经网络划分为输入层、输出层和隐含层（见图1）。输入层的每个节点对应一个个的预测变量。输出层的节点对应目标变量，可有多个。在输入层和输出层之间是隐含层（对神经网络使用者来说不可见），隐含层的层数和每层节点的个数决定了神经网络的复杂度。图1一个神经元网络除了输入层的节点，神经网络的每个节点都与很多它前面的节点（称为此节点的输入节点）连接在一起，每个连接对应一个权重Wxy，此节点的值就是通过它所有输入节点的值与对应连接权重乘积的和作为一个函数的输入而得到，我们把这个函数称为活动函数或挤压函数。如图2中节点4输出到节点6的值可通过如下计算得到：W14*节点1的值+W24*节点2的值神经网络的每个节点都可表示成预测变量（节点1，2）的值或值的组合（节点3-6）。注意节点6的值已经不再是节点1、2的线性组合，因为数据在隐含层中传递时使用了活动函数。实际上如果没有活动函数的话，神经元网络就等价于一个线性回归函数，如果此活动函数是某种特定的非线性函数，那神经网络又等价于逻辑回归。调整节点间连接的权重就是在建立（也称训练）神经网络时要做的工作。最早的也是最基本的权重调整方法是错误回馈法，现在较新的有变化坡度法、类牛顿法、Levenberg-Marquardt法、和遗传算法等。无论采用那种训练方法，都需要有一些参数来控制训练的过程，如防止训练过度和控制训练的速度。 图2带权重Wxy的神经元网络决定神经网络拓扑结构（或体系结构）的是隐含层及其所含节点的个数，以及节点之间的连接方式。要从头开始设计一个神经网络，必须要决定隐含层和节点的数目，活动函数的形式，以及对权重做那些限制等，当然如果采用成熟软件工具的话，他会帮你决定这些事情。在诸多类型的神经网络中，最常用的是前向传播式神经网络，也就是我们前面图示中所描绘的那种。人们下面详细讨论一下，为讨论方便假定只含有一层隐含节点。可以认为错误回馈式训练法是变化坡度法的简化，其过程如下：前向传播：数据从输入到输出的过程是一个从前向后的传播过程，后一节点的值通过它前面相连的节点传过来，然后把值按照各个连接权重的大小加权输入活动函数再得到新的值，进一步传播到下一个节点。回馈：当节点的输出值与我们预期的值不同，也就是发生错误时，神经网络就要“学习”（从错误中学习）。我们可以把节点间连接的权重看成后一节点对前一节点的“信任”程度（他自己向下一节点的输出更容易受他前面哪个节点输入的影响）。学习的方法是采用惩罚的方法，过程如下：如果一节点输出发生错误，那么他看他的错误是受哪个（些）输入节点的影响而造成的，是不是他最信任的节点（权重最高的节点）陷害了他（使他出错），如果是则要降低对他的信任值（降低权重），惩罚他们，同时升高那些做出正确建议节点的信任值。对那些收到惩罚的节点来说，他也需要用同样的方法来进一步惩罚它前面的节点。就这样把惩罚一步步向前传播直到输入节点为止。对训练集中的每一条记录都要重复这个步骤，用前向传播得到输出值，如果发生错误，则用回馈法进行学习。当把训练集中的每一条记录都运行过一遍之后，人们称完成一个训练周期。要完成神经网络的训练可能需要很多个训练周期，经常是几百个。训练完成之后得到的神经网络就是在通过训练集发现的模型，描述了训练集中响应变量受预测变量影响的变化规律。由于神经网络隐含层中的可变参数太多，如果训练时间足够长的话，神经网络很可能把训练集的所有细节信息都“记”下来，而不是建立一个忽略细节只具有规律性的模型，我们称这种情况为训练过度。显然这种“模型”对训练集会有很高的准确率，而一旦离开训练集应用到其他数据，很可能准确度急剧下降。为了防止这种训练过度的情况，人们必须知道在什么时候要停止训练。在有些软件实现中会在训练的同时用一个测试集来计算神经网络在此测试集上的正确率，一旦这个正确率不再升高甚至开始下降时，那么就认为现在神经网络已经达到做好的状态了可以停止训练。神经元网络和统计方法在本质上有很多差别。神经网络的参数可以比统计方法多很多。由于参数如此之多，参数通过各种各样的组合方式来影响输出结果，以至于很难对一个神经网络表示的模型做出直观的解释。实际上神经网络也正是当作“黑盒”来用的，不用去管“盒子”里面是什么，只管用就行了。在大部分情况下，这种限制条件是可以接受的。比如银行可能需要一个笔迹识别软件，但他没必要知道为什么这些线条组合在一起就是一个人的签名，而另外一个相似的则不是。在很多复杂度很高的问题如化学试验、机器人、金融市场的模拟、和语言图像的识别，等领域神经网络都取得了很好的效果。神经网络的另一个优点是很容易在并行计算机上实现，可以把他的节点分配到不同的CPU上并行计算。2.8 神经网络使用注意事项在使用神经网络时有几点需要注意：第一，神经网络很难解释，目前还没有能对神经网络做出显而易见解释的方法学。第二，神经网络会学习过度，在训练神经网络时一定要恰当的使用一些能严格衡量神经网络的方法，如前面提到的测试集方法和交叉验证法等。这主要是由于神经网络太灵活、可变参数太多，如果给足够的时间，他几乎可以“记住”任何事情。第三，除非问题非常简单，训练一个神经网络可能需要相当可观的时间才能完成。当然，一旦神经网络建立好了，在用它做预测时运行时还是很快得。第四，建立神经网络需要做的数据准备工作量很大。一个很有误导性的神话就是不管用什么数据神经网络都能很好的工作并做出准确的预测。这是不确切的，要想得到准确度高的模型必须认真的进行数据清洗、整理、转换、选择等工作，对任何数据挖掘技术都是这样，神经网络尤其注重这一点。比如神经网络要求所有的输入变量都必须是0-1（或-1-+1）之间的实数，因此像“地区”之类文本数据必须先做必要的处理之后才能用作神经网络的输入。2.9 神经网络的发展趋势人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到