神经网络概述解析课件

1、神经网络理论Neural Network Theory 太原理工大学信息工程学院1适用领域：计算机技术先修课程：高等数学、离散数学、C语言（或Matlab）程序设计、 2 一、课程目的与要求 人工神经网络是目前国际上一门发展迅速的前沿交叉学科。它是模拟生物神经结构的新型计算机系统，目前已有广泛的应用。 本课程主要介绍人工神经网络的基本构成和基本的网络模型，是在分析单元的生物背景、结构的基础上，强调设计考虑、算法公式及应用。本课程的主要目的是：使学生 1、了解智能系统描述的基本模型； 2、掌握人工神经网络的基本概念、单层网、多层网、循环网等各种基本网络模型的结构、特点、典型训练算法、运行方式、典

2、型问题解决方法； 3、掌握软件实现方法； 为他们今后从事人工神经网络的研究和应用打下一定的基础。3 二、教学内容MATLAB神经网络工具箱神经网络概述感知机线性神经网络BP神经网络RBF网络竞争网络反馈神经网络(Hopfield)随机神经网络（Boltzman)遗传算法、PSO与神经网络优化4 三、主要参考书 神经网络设计 Hagan 机械工业出版社MATLAB神经网络原理与实例精解 陈明 清华大学出版社MATLAB神经网络应用设计 张德丰 机械工业出版社MATLAB神经网络应用设计 闻新 科学出版社人工神经网络导论 蒋宗礼 高等教育出版社人工神经网络与模拟进化计算 阎平凡 清华大学出版社人工

3、神经网络教程 韩力群 北京邮电大学出版社神经网络 侯媛彬 西安电子科技大学出版社5 学习要求 阅读1015篇文献（查阅适当的参考文献，将所学的知识与自己未来研究课题（包括研究生论文阶段的研究课题）相结合起来，达到既丰富学习内容，又有一定的研究和应用的目的） 思考题 计算机练习，结合Matlab应用6 考核试卷形式7第一章 神经网络概述81.1智能的概念智能是个体有目的的行为，合理的思维，以及有效的适应环境的综合能力。也可以说，智能是个体认识客观事物和运用知识解决问题的能力。1. 感知与认识客观事物、客观世界和自我的能力2. 通过学习取得经验与积累知识的能力3. 理解知识，运用知识和经验分析、解

4、决问题的能力4. 联想、推理、判断、决策的能力5. 运用语言进行抽象、概括的能力6. 发现、发明、创造、创新的能力7. 实时、迅速、合理地应付复杂环境的能力8. 预测、洞察事物发展变化的能力9Artificial Intelligence，AI，最初在1956年被引入AI是指用计算机模拟或实现的智能。它是计算机科学的一个分支，研究的是如何使机器具有智能的科学与技术。特别是如何在计算机上实现或再现人工智能。它涉及计算机科学、脑科学、神经生理学、心理学、语言学、逻辑学、认知科学、思维科学、行为科学和数学，以及信息论、控制论和系统论等众多领域。什么是人工智能？10人工智能的研究目标 长期目标：制造智

5、能机器，使其具有看、听、说、写等感知交互能力联想、推理、理解、学习等思维能力分析、解决问题和发明创造的能力近期目标：实现机器智能，即部分的或某种程度上的智能。已取得很多成果：Deep Blue，Backgammon，Expert System，Auto Drive，etc.11人工智能的研究方法对人工智能的研究必然借鉴自然智能 人脑的研究成果，根据侧重点的不同，可分为三大类：结构模拟：神经计算，生理学派，连接主义功能模拟：符号推演，心理学派，符号主义行为模拟：控制进化，控制论学派，行为主义，进化主义12结构模拟神经计算 生理学派根据人脑的生理结构和工作机理，实现计算机的智能，是一种局部和近似的

6、模拟(ANN)特点：利用NN的自学习能力获取知识，再利用知识解决问题具有高度的并行性、分布性、很强的鲁棒性和容错性擅长模拟人脑的形象思维，便于实现人脑的低级感知功能：图象、语音的识别和处理13功能模拟符号推演心理学派根据人脑的心理模型，将知识/问题表示成某种逻辑网络，采用符号推演的方法，实现搜索、推理、学习等功能。如自动机器推理、定理证明、专家系统、机器博弈等擅长模拟人脑的逻辑思维，便于实现人脑的高级认知功能（推理、决策等）14行为模拟控制进化控制论学派基于“感知行为模型”，模拟人在控制过程中的智能活动和行为特征：自优化、自适应、自学习、自组织等又成为现场AI（Situated AI），强调智

7、能系统与环境的交互认为智能取决于感知和行动，智能行为不需要知识，认为人的智能、机器的智能可以逐步进化，但必须与现实交互15搜索技术知识表示规划方法机器学习认知科学人工智能的研究内容16自然语言理解与机器翻译专家系统与知识工程定理证明博弈机器人数据挖掘与知识发现人工智能的研究领域17多Agent系统复杂系统足球机器人两个组织：RoboCup和FIRA模拟组与机器人组控制方式：FIRA采用集中控制，而RoboCup采用分布式控制清华大学获得2001年RoboCup冠军人机交互技术人工智能的研究领域18正在与深蓝下棋的卡斯帕罗夫19IBM的“深蓝”“深蓝”的技术指标：32个CPU每个CPU有16个协

8、处理器每个CPU有256M内存每个CPU的处理速度为200万步/秒20历史上的人工智能大师阿伦图灵（Alan Turing） 计算机科学理论的创始人 人工智能之父21马文明斯基（Marniv Lee Minsky）框架理论的创立者首位获得图灵奖的人工智能学者22约翰麦卡锡（John McCarthy）LISP语言的发明人首次提出AI的概念23赫伯特西蒙（Herbert A. Simon）符号主义学派的创始人爱好广泛的全能科学家中国科学院外籍院士24艾伦纽厄尔（Allen Newell）符号主义学派的创始人之一西蒙的学生与同事1975年与西蒙同获图灵奖25爱德华费根鲍姆（Edward A. Fe

9、igenbaum）知识工程的提出者大型人工智能系统的开拓者26劳伊雷迪（Raj Reddy）大型人工智能系统的开拓者27道格拉斯恩格尔巴特（Douglas Engelbart）鼠标的发明人超文本研究的先驱28人工神经网络从以下四个方面去模拟人的智能行为 1. 物理结构 人工神经元将模拟生物神经元的功能 2. 计算模拟 人脑的神经元有局部计算和存储的功能，通过连接构成一个系统。人工神经网络中也有大量有局部处理能力的神经元，也能够将信息进行大规模并行处理3.存储与操作 人脑和人工神经网络都是通过神经元的连接强度来实现记忆存储功能，同时为概括、类比、推广提供有力的支持4. 训练 同人脑一样，人工神经

10、网络将根据自己的结构特性，使用不同的训练、学习过程，自动从实践中获得相关知识29计算机与人脑相比存在某些缺陷1、计算机串行的工作方式决定了它只具有“逻辑思维”能力，而不具有“形象思维”能力。2、计算机只能“被动”的执行人为它编写好的程序，没有“主动”的“学习”能力。3、计算机“一对一”的信息存储方式使得它没有容错性。1.2 人工神经网络的基本概念30什么是神经网络？Artificial Neural Networks，ANN 目前关于人工神经网络的定义尚不统一由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。一种由许多简单的并

11、行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及其各单元的处理方式是一种旨在模仿人脑结构及其功能的信息处理系统是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。31人工神经网络简单单元广泛互连每个单元和连接具有自适应性每个单元均具有计算能力能模拟生物神经系统对客观世界的交互反应一种复杂的数学映射工具和动力学系统是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。32特点a、传统计算机的存储与计算是独立分开的，因而在存储与计算之间存在“

12、瓶颈”。 而在ANN中，信息的存储与处理(计算)是合二为一的。不论单个神经元还是整个神经网络都兼有信息处理(计算)和存储的双重功能。因此，从本质上解决了传统计算机无法解决的“瓶颈”问题。b、在ANN中，同一个信息“分布式”的存储在各个神经元之间的“连接权”上，因此ANN具有很强的容错性。任何局部的损伤不会影响整体结果。C、在ANN中，所有 “连接权”同时完成信息的存储、计算、传递的功能， 是“并行式”或者“集体式”的工作方式。因此，比串行式工作方式的传统计算机速度要快的多。D、 ANN工作时不需要编程，通过对环境的学习，将信息存在网络的“连接权”中。有很强自适应能力。33多学科性神经生理学：了

13、解结构、信息活动的生理特征认识科学：物理平面到认识平面的映像表达、编码理论、符号方法等数理科学：NN运算和状态分析的工具信息论、计算机科学以及各工程领域：工程应用34人脑信息处理的特点巨量并行性信息处理和存储单元结合在一起自组织学习能力求满意解而不是精确解有效处理各种模拟的、模糊的、随机的问题35人工神经网络的特点非线性 输入出映射适应性容错性（信息的分布表示）VLSI实现（运算的全局并行）证据响应（决策置信度）36人工神经系统（ANS）神经网络（NN）自适应系统（Adaptive Systems）、自适应网（Adaptive Networks）联接模型（Connectionism）神经计算机

14、（Neurocomputer）人工神经网络的别名37ANN与传统AI技术的比较项目传统的AI技术 ANN技术 基本实现方式 串行处理；由程序实现控制 并行处理；对样本数据进行多目标学习；通过人工神经元之间的相互作用实现控制 基本开发方法 设计规则、框架、程序；用样本数据进行调试（由人根据已知的环境去构造一个模型） 定义人工神经网络的结构原型，通过样本数据，依据基本的学习算法完成学习自动从样本数据中抽取内涵（自动适应应用环境） 适应领域 精确计算：符号处理，数值计算非精确计算：模拟处理，感觉，大规模数据并行处理模拟对象 左脑（逻辑思维）右脑（形象思维）38人工神经网络可以根据所在的环境去改变它的

15、行为不同的人工神经网络模型，有不同的学习/训练算法自相联的网络：（Auto-associative）异相联的网络：（Hetero-associative）学习(Learning)能力39信息的分布存储提供容错功能由于信息被分布存放在几乎整个网络中，所以，当其中的某一个点或者某几个点被破坏时，信息仍然可以被存取。系统在受到局部损伤时还可以正常工作。并不是说可以任意地对完成学习的网络进行修改。也正是由于信息的分布存放，对一类网来说，当它完成学习后，如果再让它学习新的东西，这时就会破坏原来已学会的东西。 信息的分布式存放40擅长两个方面：对大量的数据进行分类，并且只有较少的几种情况；必须学习一个复杂

16、的非线性映射。目前应用：人们主要将其用于语音、视觉、知识处理、辅助决策等方面。在数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的近似解（不是最佳近似解）等方面也有较好的应用。 适应性(Applicability)问题411.3 人工神经网络的研究历史 从19世纪末开始，神经网络的发展史可以分为四个时期：启蒙时期（18901969）低潮时期（19691982）复兴时期（19821986）高潮时期（1987 ） 从神经网络的发展历史可以看出它与神经生理学、数学、电子学、计算机科学以及人工智能学之间的联系。421、启蒙时期1890年，美国心理学家William James发表了第一部

17、详细论述人脑结构及功能的专著心理学原理(Principles of Psychology)，对相关学习、联想记忆的基本原理做了开创性研究。20世纪40年代，心理学家麦克洛奇(McCulloch)和数理逻辑学家皮兹(Pitts)从信息处理的角度出发，采用数理模型的方法对神经细胞的动作进行研究，提出了形似神经元的数学模型M-P神经元模型(著名的阈值加权和模型)；从原理上证明了人工神经网络可以计算任何算术和逻辑函数；这一结果发表在数学生物物理学会刊Bulletin of Mathematical Biophysics上；为人们用元器件、计算机程序实现人工神经网络打下了坚实的基础；从此开创了神经科学理

18、论的新时代。431949年，心理学家赫布（Hebb）在行为构成（Organization of Behavior）一书中提出了连接权训练算法，即Hebb算法。提出神经元之间的突触联系是可变的假说；经典的条件反射是由单个神经元的性质引起的，并提出了生物神经元的一种学习机制；从心理学的角度提出Hebb学习法则；如果两个神经元同时兴奋，则它们之间的神经键（突触）联系得以增强；是人工神经网络学习训练算法的起点，是里程碑；1957年，罗森布兰特（Rosenblatt）提出了感知器（Perception）的概念，并公开演示了它进行模式识别的能力。或许是第一个优秀的神经网络，且是第一个实际应用（用一台IBM

19、704计算机模拟实现）；这是一种学习和自组织的心理学模型，它基本符合神经生理学的原理。感知机虽然比较简单，却已具有神经网络的一些基本性质，如分布式存贮、并行处理、可学习性、连续计算等。441962年，韦德罗（Widrow）和胡佛（Hoff）提出了自适应线性单元（Adaline），这是一个连续取值的线性网络，在结构和功能上类似于Rosenblatt的感知机，又称Widrow-Hoff学习规则；1969年，人工神经网络的创始人之一明斯基（Minsky）和佩珀特（Papert）发表了感知器Perceptron 一书，由MIT出版社出版发行；对感知器的能力表示了怀疑态度，使神经网络的研究受到了影响，神

20、经网络的研究从此走向低谷。指出感知机的功能和处理能力的局限性，从理论上证明单级感知器只能运用于线性问题，XOR等非线性问题必须用隐单元层解决；而隐单元层的NN算法无法从理论上证明其收敛性；同时也指出如果在感知器中引入隐含神经元，增加神经网络的层次，可以提高神经网络的处理能力，但是却无法给出相应的网络学习算法。45 因此Minsky的结论是悲观的。另一方面，由于60年代以来集成电路和微电子技术日新月异的发展，使得电子计算机的计算速度飞速提高，加上那时以功能模拟为目标、以知识信息处理为基础的知识工程等研究成果，给人工智能从实验室走向实用带来了希望，这些技术进步给人们造成这样的认识：以为串行信息处理

21、及以它为基础的传统人工智能技术的潜力是无穷的，这就暂时掩盖了发展新型计算机和寻找新的人工智能途径的必要性和迫切性。另外，当时对大脑的计算原理、对神经网络计算的优点、缺点、可能性及其局限性等还很不清楚。总之，认识上的局限性使对神经网络的研究进入了低潮。 462、 低潮时期 在这一低潮时期，仍有一些学者扎扎实实地继续着神经网络模型和学习算法的基础理论研究，提出了许多有意义的理论和方法。其中，主要有自适应共振理论，自组织映射，认知机网络模型理论，BSB模型等等，为神经网络的发展奠定了理论基础。70年代(低潮)1969年，美国学者格诺斯博格（Grossberg）和卡普特尔（Carperter）提出了自

22、适应共振理论（ART）模型。 （基本观点是：若在全部神经节点中有一个神经节点特别兴奋，其周围的所有节点将受到抑制）1972年，芬兰学者克豪南（Kohonen）提出了自组织映射（SOM）理论。1979年，福岛邦彦（Fukushima）提出了认知机（ Cognitron ）理论。 ；日本福岛邦彦的改进型新认知机模型NcoCognitron；日本中野馨的联想记忆模型联想机Associatron在此之后，神经心理学家安德森（Anderson）提出了BSB模型，韦伯斯（Webos）提出了BP理论，为神经网络的发展奠定了基础。473、 复兴时期1982，美国生物物理学家，加州理工学院Hopfield198

23、2年，提出循环网络，并将Lyapunov函数引入人工神经网络，作为网络性能判定的能量函数，用非线性动力学的方法来研究ANN的特性，建立了人工神经网络稳定性的判别依据；指出信息被存放在网络中神经元的联接上；1984年，Hopfield设计并研制了他提出的神经网络模型的电路，并指出网络中的每一个神经元可以用运算放大器来实现。他同时进行了神经网络应用研究，成功解决了旅行商（TSP）问题，引起世人震惊。这些成果使对神经网络的研究重新进入了一个新的兴盛时期。Hopfield模型的动作原理是：只要由神经元兴奋的算法和神经元之间结合强度，所决定的神经网络的状态在适当给定的兴奋模式下尚未达到稳定，那么该状态就

24、会一直变化下去，直到预先定义的一个必定减小的能量函数达到极小值时，状态才达到稳定而不再变化。481984，Hinton、Sejnowski和Rumelhart在Hopfield网络中引入了随机机制，提出Boltzmann机模型（学习过程采用模拟退火技术，克服Hopfield网络存在的局部极小问题）；1986，并行分布处理小组的Rumelhart与McCelland提出PDP(Parallel Distributed Processing)-BP算法较好地解决了多层网络的学习算法类似算法在1974年1982年分别被Werbos和Paker独立提出过； 1988年，RBF设计神经网络 90年代早期

25、，vapnik提出SVM 49 1987年，美国电气和电子工程师学会IEEE (institute for electrical and electronic engineers）在圣地亚哥(San Dieg)召开了盛大规模的神经网络国际学术会议，国际神经网络学会(international neural networks society)也随之诞生。 1988年，学会杂志Neural Networks创刊; 1988年开始，国际神经网络学会和IEEE 每年联合召开一次国际学术年会; 1990年IEEE神经网络会刊问世，各种期刊的神经网络特刊层出不穷，神经网络的理论研究和实际应用进入了一个蓬勃

26、发展的时期。504、 新时期理论方面 支持向量机和核方法(SVM and Kernel Methods) 图模型(Graphical Models) 统计学习方法(Statistical Learning Algorithm) 高斯过程（Gaussian Process) 泛化问题和模型选择(Generalization and Model Selection) 贝叶斯学习(Bayesian Learning) 递归神经网络(Recurrent Neural Networks)等 51实际应用 图象处理(Image Processing) 人脸识别(Face Recognition) 语音信号

27、处理(Voice Processing) 时间序列分析(Time Series Analysis) 机器人控制(Robot Control)等522006年有42项研究课题2005年有40项研究课题2004年有32项研究课题2003年有26项研究课题2002年有26项研究课题2001年有18项研究课题2000年有20项研究课题1999年有22项研究课题国家自然科学基金中的神经网络研究神经网络研究的比重逐年增加，已经引起越来越多的国内学者的关注，并成为信息学科的一个研究热点和重点。 531988年，Neural Networks创刊1990年，IEEE Transactions on Neura

28、l Networks创刊 国际著名期刊54IEEE Trans. on Neural Networks55Neural Networks56著名学者Prof. Michael I. Jordan美国加州大学伯克利分校 获加州大学博士学位研究方向: 图模型、变分方法、机器学习等。曾在麻省理工学院工作11年。已发表200多篇科技论文。国际上许多神经网络和机器学习方面的专家都曾师从Jordan教授，包括香港中文大学的徐雷教授。57著名学者Prof. Bernhard Scholkopf德国Max Planck生物控制论研究院1997年获柏林科技大学博士学位研究方向: 机器学习、感知器、支持向量机和核

29、方法。Scholkopf教授是国际著名杂志Journal of Machine Learning Research、IEEE Trans. On Pattern Analysis and Machine Intelligence, 和International Journal of Computer Vision编辑委员会成员。 58著名学者Prof. Lawrence Saul加州大学圣地牙哥分校1994年获麻省理工学院博士学位研究方向：机器学习、模式识别、神经网络、语音处理等。Saul教授的高维数据的分析方法和可视化、非线性维数化简已被应用于很多实际科学和工程领域。他发表文章的引用率已经进

30、入计算机科学的前1%，另外他也是著名国际期刊Journal of Machine Learning Research编委会成员和发起人之一。 59著名学者Prof. Yoshua Bengio加拿大蒙特利尔大学1991年获加拿大麦基尔大学博士学位研究方向: 多层感知机、核方法、递归神经网络等Bengio教授是IEEE Transactions on Neural Networks、Journal of Machine Learning、Neural Computing Surveys的编委。值得一提的是Bengio教授在1994年的一篇著名文章中逆转了递归神经网络梯度学习算法的研究方向，极大地

31、影响了该网络的研究。60著名学者Prof. Frank L. Lewis美国德克萨斯大学获美国乔治亚技术学院博士学位研究方向: 反馈系统控制、神经网络和模糊智能控制等现任德克萨斯大学自动化与机器人研究院副院长、IEEE Fellow、International Journal of Control、Neural Computing and Applications等期刊的编委。他共获得超过6百万美元的资助，发表174篇杂志论文，285篇会议论文，12本专著。 61著名学者Christopher M. Bishop微软剑桥研究院研究方向: 模式识别，基于推理 的概率方法和学习Bishop教授是美

32、国电子学会关于应用神经计算中心的带头人，是剑桥大学达尔文学院的会士(Fellow)，不列颠计算机协会的会士(Fellow)和英国计算研究委员会成员。2004年当选英国皇家工程院会士(Fellow)。1995年曾出版著名专著Neural Networks for Pattern Recognition。62著名学者Prof. Lei Xu (徐雷)香港中文大学研究方向: 模式识别、神经网络、 统计学习等现任香港中文大学讲座教授、IEEE Fellow、国际模式识别学会Fellow、欧洲科学院院士。已发表的学术论文被引用总量逾1300次，最大单篇被引用量达255(SCI)次。应邀在国际主要学术大会

33、做大会报告/特邀报告/学术讲座40余次。曾任国际神经网络学会理事、亚太地区神经网络学会主席、IEEE神经网络学会计算金融学术委员会主任。 63著名学者刘德荣 教授伊利诺大学芝加哥分校1994年获美国圣母大学博士学位研究方向: 非线性动态系统、 递归神经网络等。刘教授是该校电机与计算机工程系和计算机科学系的终身正教授。2005年，他因在非线性动态系统和递归神经网络方面作出的贡献而被选为IEEE Fellow。自1992年起, 共发表40多篇国际学术杂志论文、90多篇国际会议论文，合作出版五本学术专著；担任多个国际期刊的编委。 64著名学者Prof. Jun Wang (王钧)香港中文大学1991年 凯斯西储大学 博士研究方向：递归神经网络和工程应用现任香港中文大学自动化与计算机辅助工程系计算智能实验室主任。已发表120多篇期刊论文，多本书籍的11个章节的编写，SCI引用次数超过1300次， 现在担任多个著名期刊的编委，是亚太地区神经网络联合会会长。2007年王钧教授因为在递归神经网络及其在优化和工程方面的应用的突出成绩被评为IEEE Fellow。 65神经网络在中国1988 张承福，力学进展，神经网络系统；1989 广州，第一届神经网络-信号处理会议；1990 北京，首届神经网络学术会议661.4、人工神经网络研究的主要内容 人工种经网络的研究方兴末艾，很难准确地预测其发展方向。