BP算法文献综述

人工神经网络的技术前沿 王媛媛1. 人工神经网络的起源自古以来，各界研究工作者对于“人脑”“生物智能”一直表现着极大的研究兴趣。采用某种工程技术的手段设计出具有生物神经网络的某些结构功能的软硬件智能设施被称为“人工神经网络技术”【1】。举例来讲，“识别人脸”是大脑的基本功能，正常成人可以正确辨别认识的人脸。但计算机要准确做到这一点却比较困难，因为计算机智能针对具体的模型机型指令编程，若没有精确的模型，程序也就无法编制。故而如何针对人脑所具有的各项智能活动做出有效的计算机或硬件模拟，就是人工神经网络的主要研究内容。人工神经网络起源于20世纪初期，主要由两方面因素催生。一方面经过生物学家数学家的不懈努力，采用数学模型来描述神经元的基本生物活动成为可能。神经元是神经活动的基础原件，了解神经元的工作机制是创建人工神经网络科学的基础。另外一方面，19世纪比较具有代表性的牛顿力学或者欧式几何都是线性科学，而生物智能活动如此纷繁复杂，不可能用简单的线性数学模型进行模拟，提出一种非线性的可有效模拟神经网络活动的模型算法迫在眉睫。人工神经网络的发展并不是偶然，而是在当时的科学背景下应运而生。2. 人工神经网络的发展人工神经网络算法真正发展于20世纪40年代初，至今发展也不超过一百年，虽然其存在的时间较短，但其发展过程可谓一波三折，经历很多挫折，也取得很多进展。1943年，心理学家W.S.Mcculloch和数学家W.Pitts总结了生物神经元的一些基本特性，共同提出M-P模型，第一次用数学语言描述了神经元的活动【2】。虽然其神经元的功能较弱，但M-P模型的提出为人工神经网络奠定了基础，自此发展开来。心理学家D.O.Hebb于1949年提出神经元之间的突触联系强度可变的假设，他认为人脑的学习活动室发生在突触上的，而其联系的强度会随着神经元的活动而变化【3】。他的假设为人工神经网络的学习活动研究提供了基础。1958年，Rosenblatt提出了著名的感知机模型，这是第一个真正意义上的神经网络，它基本上满足了神经生理学的一切先验知识，可用于模式识别、联想记忆等方面【4】。以当时来看，此类神经网络可以模拟人脑智能的活动，因此前景大好。大量实验室甚至军方都投入研究，神经网络一时声名大噪。然而好景不长，1969年，美国著名人工智能学者Minsky和Papert仔细研究Rosenblatt的研究成果后发现感知机有其应用的局限性，甚至连最简单的异或(XOR问题都无法解决【5】。此二人对于感知机的论断降低了人们对于神经网络研究学习的热情，许多研究工作者退出研究领域，自此神经网络的研究进入萧条时期。不过还是有不少学者继续从事神经网络领域的研究，也取得了一些积极的研究成果。但此领域直至十五年后才又一次恢复研究热潮。美国加州理工学院物理学家J.Hopfield教授于1982和1984年发表了两篇文章，分别提出了Hopfield神经网络模型并设计了此类神经网络的硬件电路。Hopfield在他的神经网络中引入能量函数，并用非线性动力学的方法研究此类网络，取得了很多突破性进展。在硬件实现过程中，他提出可以用运算放大器来模拟单个神经元，所有神经元的连接也可以用电子线路模拟【6】。这些成果的取得再次点燃了众多科研工作者的热情，神经网络领域第二次步入兴盛期。1986年，D.E.Rumelhart和J.LMcclelland提出了误差反向传播算法，成为至今为止影响很大的一种网络学习方法【7】。自上个世纪90年代至今，许多研究工作者提出了许多种具备不同信息处理能力的神经网络系统。神经网络模型也被越来越多的信息处理领域，如模式识别、自动控制、生物医学、人工智能、辅助决策等等。今天，神经网络的各项研究都取得了长足进展，已经进入一个比较平稳的发展阶段。3. 人工神经网络的前沿技术神经网络技术的发展已经日臻成熟，就目前而言，很多专家学者的研究工作主要集中在以下两个方面：第一方面，利用神经生理与认识科学研究大脑思维及智能的机理、 计算理论，带着问题研究理论。人工神经网络揭示了一种用工程手段来描述人脑智能的手段。但由于神经网络建设初期人们对于人脑的了解很有限，对人脑活动的认识也较为肤浅，所以很多神经网络模型往往带着人们赋予的“先验性”。举个例子来说，Boltzmann机引入随机扰动来避免局部极小【8】，有其卓越之处，然而这样子做其实缺乏必要的脑生理学基础。毫无疑问，深入研究生物质能内部的神经基础，探寻其内部联系，可能对于整个神经网络的理论研究都有重要意义。在神经科学，心理学和认识科学等方面提出的一些重大问题，是向神经网络理论研究提出的新挑战，这些问题的解决有助于完善和发展神经网络理论。因此利用神经生理和认识科学研究大脑思维及智能的机理，如有新的突破，将会改变智能和机器关系的认识。第二方面，着力于研究神经网络的软硬件实现，以及扩展神经网络在各行各业各个领域的应用。随着神经网络的数学算法基础越来越完备，其各方面实现及应用受到很多重视。许多实验室都提出了类似于下面的课题：如何使神经网络计算机与传统的计算机和人工智能技术相结合；如何使神经网络计算机的功能向智能化发展，研制与人脑功能相似的智能计算机等等。举个例子来说，今年七月，来自加州理工学院生物工程系、计算机科学系、计算与神经系统学系及电子工程系的研究人员首次在试管中用DNA构造出了人工神经网络【9】，这一人工神经网络可以像大脑一样根据不完整的信息回想起相关的记忆。加州理工学院Erik Winfree教授、Jehoshua Bruck教授表示，这种具有人工智能的生化系统，或者至少是具有某些基本的决策能力的生化系统，可以在医药，化学以及生物领域带来不可估量的应用。在将来，这样的系统也许可以在细胞内工作，帮助回答根本的生物问题或者诊断疾病。4. 人工神经网络在生物医学中的应用神经网络自诞生以来就得到很广泛的应用，在诸如农业、工业、军事、医学等方面都有很好的应用前景。在生物医学方面，它主要可以用于疾病的诊断及预防、信号及图像的处理、分类及识别等等。举个例子来说，潘香高等人2007年发表于生物医学工程学报上的文章“人工神经网络在生物医学检测中的应用生化测量数据处理方法的研究”提出了采用人工神经网络处理光谱扫描数据，可以有效的解决数据组织及观测困难等问题，使观测变得简单易行。南京航空航天大学的李婷等人在“基于并行BP神经网络的近红外光断层图像重建方法基础研究”中认为,利用BP神经网络来表征生物组织内部光学参数的空间分布和边界光强之间的非线性映射关系，可以将一个复杂的模型分解成简单的模型分别建立并行的神经网络，方便分析。此类的应用分析很多，在此不一一列举。生物医学信号具有信号微弱、不确定性强，监测困难等等特点，很难用一种特定的程式化的算法描述或观测。神经网络就是模拟人脑的行为，从“大脑”的角度出发观测数据，因此在生物医学方面表现出很大的应用前景。参考文献：【1】 胡守仁.沈清.神经网络应用技术.长沙：国防科技大学出版社，1993.【2】 McCulloch W and Pitts W. A logical calculus of the ideas immanent in nervous activity. Billetin of Mathematical Biophysics, 1943,1:115-133.1【3】 Hebb D O. The Organization of Behivour. New York: Wiley, 1949.【4】 Rosenblatt F. Two theorems of statistical separability in the Perceptron. In Mechanization of Thought Processes, Proceedings of symposium No.10 held at National Physical Laboratory, Nov. H. M. Stationery Office, London, 1958, 1:421-456.【5】 Minky M and Papert S. Perceptron: An Introduction to Computional Geometry. Cambridge, MA: MIT Press, 1969.【6】 Hopfield J J and Tank D W. Netual computation of decisions in optimization problems. Biological Cybernetics, 1985, 52:141-154.【7】 Rumelhart D E and McClelland J L. Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Cambridge, MA: MIT 1986,1.【