人工神经网络综述精编版

1、rN/rcQia口TTN/rvaN/rcwQCQ入/rcv口1人工神经网络综述崔洋洋摘要：神经网络近几十年的飞速发展，激起了不同学科与领域的科学家的浓厚兴趣.它的产生与发展必将子科学和信息科学发生革命性的变化.从神经网络的定义、特点及发展意义等方面，对神经网络进行了综关键词：神经网络；权值；输入输出；信息Abstract：neuralnetwork；weightvalue；inputandoutput；information1前言人工神经网络是模仿生理神经网络的结构和功能而设计的一种信息处理系统。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络1。大量

2、的人工神经元以一定的规则连接成神经网络，神经元之间的连接及各连接权值的分布用来表示特定的信息。神经网络分布式存储信息，具有很高的容错性。每个神经元都可独立的运算和处理接收到的信息并输出结果，网络具有并行运算能力，实时性非常强。神经网络对信息的处理具有自组织、自学习的特点，便于联想、综合和推广。神经网络以其优越的性能应用在人工智能、计算机科学、模式识别、控制工程、信号处理、联想记忆等极其广泛的领域2。2概述定义国际着名的神经网络专家、第一个计算机公司的创始人和神经网络实现技术的研究领导人Hecht-Nielson给神经网络的定义是：“神经网络是一个以有向图为拓扑结构的动态系统，它通过对连续或断续

3、式的输入作状态响应而进行信息处理”3。神经网络系统是由大量的、同时也是很简单的处理单元(或称神经元)，通过广泛地互相连接而形成的复杂网络系统。虽然每个神经元的结构和功能十分简单，但由大量神经元构成的网络系统的行为确是丰富多彩和十分复杂的。神经网络系统是一个高度复杂的非线性动力学系统，不但具有一般非线性系统的共性，更主要的是它还具有自己的特点，比如高维性、神经元之间的广泛互连性以及自适应性或自组织性4。22基本原理人工神经元模型神经元是人工神经网络的基本处理单元，是生物神经元的抽象、简化和模拟。抽象是从数学角度而言，模拟是以神经元的结构和功能而言。神经网络结构神经网络结构和工作机理基本上是以人脑

4、的组织结构和活动律为背景的，它反映了脑的某些基本特征，但并不是要对人脑部分的真正实现，可以说它是某种抽象、简化或模仿。如果将大量功能简单的形式神经元通过一定的拓扑结构组织起来，构成群体并行分布式处理的计算结构，那么这种结构就是人工神经网络，在不引起混淆的情况下，统称为神经网络5。2.3人工神经网络的基本属性非线性：人脑的思维是非线性的，故人工神经网络模拟人的思维也应是非线性的。非局域性：非局域性是人的神经系统的一个特性，人的整体行为是非局域性的最明显体现。神经网络以大量的神经元连接模拟人脑的非局域性，它的分布存储是非局域性的一种表现。(C)非定常性：神经网络是模拟人脑思维运动的动力学系统，它应

5、按不同时刻的外界刺激对自己的功能进行修改，故而它是一个时变的系统。(d)非凸性：神经网络的非凸性即是指它有多个极值，也即系统具有不只一个的较稳定的平衡状态，这种属性会使系统的演化多样化。2.4人工神经网络的特点人工神经网络是由大量的神经元广泛互连而成的系统，它的这一结构特点决定着人工神经网络具有高速信息处理的能力。人脑有10101012个神经元】7大脑皮层中一个神经元可以和其他神经元有1万以上的联系，脑中突触的总数至少有10121014个。虽然每个神经元的运算功能十分简单，且信号传输速率也较低(大约100次/秒)，但由于各神经元之间的极度并行互连功能，最终使得一个普通人的大脑在约1秒内就能完成

6、现行计算机至少需要数10亿次处理步骤才能完成的任务。人工神经网络的知识存储容量很大。在神经网络中，知识与信息的存储表现为神经元之间分布式的物理联系。它分散地表示和存储于整个网络内的各神经元及其连线上。每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。只有通过各神经元的分布式综合效果才能表达出特定的概念和知识。由于人工神经网络中神经元个数众多以及整个网络存储信息容量的巨大，使得它具有很强的不确定性信息处理能力。即使输入信息不完全、不准确或模糊不清，神经网络仍然能够联想思维存在于记忆中的事物的完整图象。只要输入的模式接近于训练样本，系统就能给出正确的推理结论。正是因为人工神经网络的结构特

7、点和其信息存储的分布式特点，使得它相对于其它的判断识别系统，如：专家系统等，具有另一个显着的优点：鲁棒性。生物神经网络不会因为个别神经元的损失而失去对原有模式的记忆。最有力的证明是，当一个人的大脑因意外事故受轻微损伤之后，并不会失去原有事物的全部记忆。10人工神经网络也有类似的情况。因某些原因，无论是网络的硬件实现还是软件实现中的某个或某些神经元失效，整个网络仍然能继续工作。人工神经网络同现行的计算机不同，是一种非线性的处理单元。只有当神经元对所有的输入信号的综合处理结果超过某一门限值后才输出一个信号。因此神经网络是一种具有高度非线性的超大规模连续时间动力学系统。它突破了传统的以线性处理为基础

8、的数字电子计算机的局限，标志着人们智能信息处理能力和模拟人脑智能行为能力的一大飞跃。2.5神经网络主要模型BP网络的数学模型BP(BackPropagation)神经网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的之一】12。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的最小。如BP网络示意图所示，BP神经网络拓扑结构包括输入(input)、隐层(hiddenlayer)和输出(outp

9、utlayer)。BP网络是有导师学习。在学习时，需要输入一批学习样本，根据输入数据值和指定的算法，经过中间层转换函数的计算后，计算的结果与期望输出值比较，若没达到要求的精确度，则误差反向传播到各层神经元，并在反向传播过程中修正权值，再进行网络训练，直到达到要求的精确度为止。误差反向传播神经网络模型的输出仅由当前输入和权值决定，而与网络先前的输出状态无关。LALBLC图簧郎网络示意图opfield网络的数字模型f$98(年，美国加州工学院Hopfie够教授发表了一篇对神经网络研究颇具影响的论文，提出了一种后来被人们称之为Hopfield网络的神经网络模型。隐含输岀Hopfield网络是由相同的

10、神经元构成的单层，并且不具学习功能的自联想网络。级这一模型是一个由N个节点全部互联网而构成的一个反馈型动态网络，由它可以实现联想记忆，并能进行优化问题求解，因而受到人们的高度重视。随机型BM网络BM网络是一种具有对称联接权的随机神经网络。从结构上讲，BM网络可看成写Hopfield网络的推广与变形。16自适应共振神经网络模型(ART)自适应共振神经网络(AdaptiveResonanceTheory)是1976年由和提出的，它是一种能对任意序列输入模式产生的识别代码进行自动化的神经网络机构173神经网络研究意义神经网络是在许多学科的基础上发展起来的，它的研究深入必然会带动其它相关学科的发展。许

11、多现代科学理论的创导者对脑的功能和神经网络都有着强烈的兴趣，并从中得到了不少启示，创导或发展了许多新理论。冯诺伊曼曾发表多次讲演，谈到计算机和大脑在结构和功能上的异同，对它们从元件特性到系统结构进行了详尽比较。Mc-culloch和Pitts提出的形式神经元模型导致了有限自动机理论的发展，是最终促成第一台冯诺伊曼电子计算机诞生的重要因素之一O19NorbertWiener的控制论一书就是专门讨论动物和机器的控制和通信问题的。他本人对神经系统中若干问题进行过探索，例如兴奋波在可兴奋组织中的传导，神经系统中的节律现象等。晚年他专心于神经控制论研究，对感官代偿等问题抱有强烈兴趣。信息论的奠基人Cla

12、udeElwoodShannon也曾探索过人的智力放大问题。我国着名学者钱学森在他的工程控制论中，专辟章节论述生物体的调节控制和神经网络问题。因此，早在20世纪40、50年代，神经系统的功能研究已经引起这些现代科学理论开拓者的兴趣，并对他们各自理论的产生创立理论基础。21神经生物学家也正在期待着另一次理论的飞跃，这将使他们能够解释已知的各种现象，并提出可由实验室验证的假说。虽然他们已积累了大量关于大脑组成、大脑外形以及大脑运转基本要素等知识，但他们仍然解答不了有关大脑信息处理的一些实质性问题。而建立的对认知过程的一种定量描述，则为神经科学家提出了一个独一无二的机会来发展和验证大脑的工作原理。2

13、2神经网络理论的发展，推动了理论神经科学的产生和发展，为计算神经科学提供了必要的理论和模型。同时，也促进脑科学向定量、精确和理论化方向发展。以神经网络研究为开端，整个学术界对计算的概念和作用有了新的认识和提高。计算并不局限于数学中，并不仅仅采取逻辑的、离散的形式，而且大量的运算表现在对模糊的低精度的模拟量的并行计算。23对于后一类计算，传统的计算机无法施展其威力。神经网络的数学理论本质上是非线性的数学理论，因此，现代非线性科学方面的进展必将推动神经网络的研究，同时，神经网络理论也会对非线性科学提出新课题。神经网络研究的对象是神经系统，这是高度进化的复杂系统，也是系统科学中一个重要的具体领域。2

14、4神经网络研究不仅重视系统的动态特性，而且强调事件和信息在系统内部的表达和产生。25神经网络在国民经济和国防科技现代化建设中具有广阔的应用领域和应用前景。主要应用领域有：语音识别、图像识别与理解、计算机视觉、智能机器人、故障机器人、故障检测、实施语言翻译、企业管理、市场分析、决策优化、物资调运自适应控制、专家系统、智能接口、神经生理学、心理学和认知科学研究等等。随着神经网络理论研究的深入以及网络计算能力的不断拓展，神经网络的应用领域将会不断拓展，应用水平将会不断提高，最终达到神经网络系统可用来帮人做事的目的，这也是神经网络研究的最终目标。26神经网络研究在近十几年取得了引人注目的进展，从而激起

15、了不同学科与领域的科学家和企业家的巨大热情和浓厚的兴趣。我们相信，神经网络将使电子科学和信息科学产生革命性的变革。27自1982年Hopfield发表了关于自反馈神经网络的论文以及Rumelhar等人提出BP算法以来，在世界范围内再度掀起研究神经网络的热潮。二十多年过去了，人们不但找到神经网络的极其广泛的应用，而且对神经网络本身的理论研究也取得很大的进展。28人工神经网络的发展展望人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网络与其它传

16、统方法相结合，将推动人工智能和信息处理技术不断发展型。近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。结束语神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。迄今为止，在人工神经网络研究领域中，有代表性的网络模型已达数十种，而学习算法的类型更难以统计其数量。神经网络研究热潮的兴起是本世纪末人类科学技

17、术发展全面飞跃的一个组成部分。它与多种科学领域的发展密切相关，纵观当代新兴科学技术的发展历史，人类在征服宇宙空间、基本粒子、生命起源等科学领域的进程之中历经了崎岖不平之路。我们也会看到，探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异。参考文献韩立群人工神经网络M.北京:北京邮电大学出版社,2012.侯瑞.人工神经网络BP算法简介及应用J.科技信息,2011,(3):75.朱军勇,贺红燕,张春生.粗糙集-神经网络在构建企业供应链合作伙J.科技情报开发与经济，2011,?12(16)黄笑鹃，余颖.神经计算机综述J.计算机与现代化,2013(9):17-18.C.8thInternat

18、ionalConferenceonDevelop-mentandapplicationSystems,2012,(5).沈荣.人工神经网络的基本模型J.信息科技,2012,8:110.SinghalD,J.ElectricalPowerandEnergySystems,2011(3):550-555.?徐丽娜神经网络控制M.北京：电子工业出版社,2013.?韩力群.人工神经网络理论、设计及应用M.北京:化学工业出版社，2014.XIAMin,TANGYang,J.Neurocomputing,2010(73):776-783张乃尧，阎平凡.神经网络与模糊控制M.北京：清华大学出版社，2012O

19、z,C,J.EngineeringApplicationsofArtificialIntelligence,2011(4):1204-1213.SinghalD,J.ElectricalPowerandEnergy,2013(4):124-132.王永骥，神经元网络控制M.北京：机械工业出版社，2013谢承泮，神经网络发展综述J.科技情报开发与经济，2011,12(16)SundSuKim,ImplementationofRealTimeNeuralNetworkControllerwithaDSPandanFPGAC.IEEEInternationalConferenceonRoboticsandAutomation,2010,5(4):3161-3165周政.BP神经网络的发展现状综述J.山西电子技术，2010，SinghalD,SwarupKS。Electricitypriceforecastingusingartificialneuralnet-worksJ.ElectricalPowerandEnergySy