人工神经网络课程课件

1、Artificial Neural Networks -Lecture 1. IntroductionHongying Zheng (郑洪英)zhenghongy重庆大学计算机学院研究生课程College of Computer Science and Engineering, Chongqing University2022/10/101课程目的和要求 目的：将神经网络的理论和方法应用到生产实践要求：掌握人工神经网络的基本概念、单层网、多层网、循环网等各种基本网络模型的结构、特点、典型训练算法、运行方式、典型问题了解人工神经网络的有关研究思想，从中学习开拓者们的部分问题求解方法掌握软件实现方

2、法。2022/10/102授课计划 第一课：绪论（Introduction）第二课：matlab与神经网络第三课：人工神经网络基础第四课：单层前向感知器（Perceptron）第五课：BP神经网络第六课：hopfield神经网络第七课：SOM网络 第八课：神经网络研究展望2022/10/103ANN国际期刊ANN国际会议ANN研究团队参考书2022/10/104Neural Networks(ISSN: 0893-6080 )The Official Journal of the International Neural Network Society, European Neural Net

3、work Society & Japanese Neural Network Society ;Neural Networks is an international journal appearing ten times each year that publishes original research and review articles concerned with the modelling of brain and behavioral processes and the application of these models to computer and related te

4、chnologies. Models aimed at the explanation and prediction of biological data and models aimed at the solution of technological problems are both solicited, as are mathematical and computational analyses of both types of models. /wps/find/journaldescription.cws_home/841/description#description (1.95

5、5)2022/10/105Neural ComputationNeural Computation disseminates important, multidisciplinary research results in a field that attracts psychologists, physicists, computer scientists, neuroscientists, and artificial intelligence investigators, among others. For researchers looking at the scientific an

6、d engineering challenges of understanding the brain and building computers, neural computation highlights common problems and techniques in modeling the brain, and in the design and construction of neurally-inspired information processing systems. Timely, short communications, full-length research a

7、rticles, and reviews focus on advances in the field and also cover the broad range of inquisition into all aspects of neural computation. / (2.3)2022/10/107Neurocomputing(0925-2312) Neurocomputing publishes articles describing recent fundamental contributions in the field of neurocomputing. Neurocom

8、puting theory, practice and applications are the essential topics being covered./wps/find/journaldescription.cws_home/505628/description#description (1.429)2022/10/108ANN SocietiesInternational Neural Networks Society /IEEE Computational Intelligence Society(earlier title: IEEE Neural Networks Socie

9、ty) / 2022/10/1010ReferencesMartin T. Hagan, Howard B. Demuth, Mark H. Beale (戴葵, 等译). Neural Network Design. 机械工业出版社,2002.高隽. 人工神经网络原理及仿真实例.机械工业出版社,2003.蒋宗礼. 人工神经网络导论.高等教育出版社, 2003.阮炯,顾凡及,蔡志杰. 神经动力学模型方法和应用. 科学出版社,2002.袁曾任.人工神经元网络及其应用 清华大学出版社.1999 2022/10/1011第1章 引言1.1 人工神经网络的提出1.2 人工神经网络的特点1.3 历史回顾

10、2022/10/1012Whatyouseeinthepicture?2022/10/1014From Biological to Artificial Neuron ModelIs there any conventional computer at present with the capability of perceiving both the trees and Bakers transparent head in this picture at the same time?Most probably, the answer is no.Although such a visual

11、perception is an easy task for human being, we are faced with difficulties when sequential computers are to be programmed to perform visual operations.2022/10/1015From Biological to Artificial Neuron ModelThere is a large number of tasks for which it is proved to be virtually impossible to device an

12、 algorithm or sequence of arithmetic and/or logical operations.For example, in spite of many attempts, a machine has not yet been produced which will automatically recognize words spoken by any speaker let alone translate from one language to another, or drive a car, or walk and run as an animal or

13、human being Hecht-Nielsen 88What traditional computers cant do?2022/10/1017From Biological to Artificial Neuron ModelWhat makes such a difference between brain and conventional computers seems to be neither because of the processing speed of the computers nor because of their processing ability.Toda

14、ys processors have a speed 105 times faster than the basic processing elements of the brain called neuron.When the abilities are compared, the neurons are much simpler.The difference is mainly due to the structural and operational trend. While in a conventional computer the instructions are executed

15、 sequentially in a complicated and fast processor, the brain is a massively parallel interconnection of relatively simple and slow processing elements.Computers versus Brain2022/10/1018From Biological to Artificial Neuron Model2022/10/10191.1人工神经网络的提出为了解决这个问题，人们进行了各种尝试。人工智能和神经网络方法是从不同角度进行的尝试。2022/10

16、/1020（1）生理结构的角度模拟： 用仿生学观点，探索人脑的生理结构，把对人脑的微观结构及其智能行为的研究结合起来即人工神经网络（Artificial Neural Netwroks，简称ANN）方法。（2）宏观功能的角度模拟： 从人的思维活动和智能行为的心理学特性出发，利用计算机系统来对人脑智能进行宏观功能的模拟，即物理符号处理方法(人工智能方法)。2022/10/1021人工神经网络是从人脑的生理结构出发，探讨人类智能活动的机理，从生理结构上来模拟，探索人脑的生理结构，把对人脑的微观结构及其智能行为的研究结合起来。2022/10/1022重点研究的是机器的思维问题，解决问题的关键在于知识

17、的表示、获取、存储和使用。例如，专家系统是把各位专家的知识汇聚到计算机上，使计算机具有或超过专家的智能，但对专家的知识的物质基础人脑，则毫不重视，因此其能力的界限也是显然的。2022/10/10241.1 人工神经网络的提出两种方法的比较心理过程 逻辑思维 高级形式（思维的表象）生理过程 形象思维 低级形式（思维的根本） 仿生人工神经网络物理符号系统2022/10/10251.1 人工神经网络的提出两种方法的比较项目传统的AI技术 ANN技术 基本实现方式 串行处理；由程序实现控制 并行处理；对样本数据进行多目标学习；通过人工神经元之间的相互作用实现控制 基本开发方法 设计规则、框架、程序；用

18、样本数据进行调试（由人根据已知的环境去构造一个模型） 定义人工神经网络的结构原型，通过样本数据，依据基本的学习算法完成学习自动从样本数据中抽取内涵（自动适应应用环境） 适应领域 精确计算：符号处理，数值计算非精确计算：模拟处理，感觉，大规模数据并行处理模拟对象 左脑（逻辑思维）右脑（形象思维）2022/10/1027实际上，脑对外部世界的时空客体的描述和识别，乃是认知的基础。认知问题离不开对底层次信息处理的研究和认识。虽然符号处理在脑的思维功能模拟等方面取得了很大进展，但它对诸如视听觉、联想记忆和形象思维模拟等方面往往力不从心。2022/10/1028符号处理与神经网络是一种互补的关系。神经网

19、络的研究重点在于模拟和实现人的认知过程中的感知觉过程、形象思维、分布式记忆和自学习自组织过程。神经网络与符号处理相结合，可能会使人们对人的认知过程有一个较全面的理解，也就是说不仅对左脑（逻辑思维）的功能有所认识，而且对右脑（形象思维）的认识规律也有所研究。2022/10/1029利用机器模仿人类的智能是长期以来人们认识自然、改造自然和认识自身的理想。 研究ANN目的：（1）探索和模拟人的感觉、思维和行为的规律，设计具有人类智能的计算机系统。（2）探讨人脑的智能活动，用物化了的智能来考察和研究人脑智能的物质过程及其规律。 2022/10/1030ANN的研究内容（1）理论研究：ANN模型及其学习

20、算法，试图从数学上描述ANN的动力学过程，建立相应的ANN模型，在该模型的基础上，对于给定的学习样本，找出一种能以较快的速度和较高的精度调整神经元间互连权值，使系统达到稳定状态，满足学习要求的算法。（2）实现技术的研究：探讨利用电子、光学、生物等技术实现神经计算机的途径。（3）应用的研究：探讨如何应用ANN解决实际问题，如模式识别、故障检测、智能机器人等。 2022/10/1031人工神经网络与生物神经网络的比较1 单元上的差别 对于生物神经元而言，影响突触传递信息强度的因素很多、很复杂。如突触前微细胞的大小与多少、神经传递化学物质含量的多少、神经传递化学物质释放的速度、突触间隙的变化、树突的

21、位置与大小等诸多因素都会对突触电位产生影响，从而影响神经元的输出脉冲响应。而人工神经元则忽略了这些影响，输入、输出关系十分简单。 2022/10/1032人工神经网络与生物神经网络的比较2 信息上的差别 生物神经元传递的信息是脉冲，而人工神经元传递的信息是模拟电压。 2022/10/1033人工神经网络与生物神经网络的比较3 规模与智能上的差别 目前，人工神经网络的规模还远小于生物神经网络，网络中神经元的数量一般在104个以下，显然，其智能也无法与生物神经网络相比。网络的规模(含拓扑结构)是影响网络智能的一个因素，但是，还有另一个重要因素，那就是网络信息处理的机理和机制(学习方法)。目前，人们

22、对大脑智能信息处理(例如思维过程)的一些机理和机制性问题还不太了解，相应地这些问题也就不可能在人工神经网络中得到实质性的反映。随着这些问题的解决，人工神经网络的智能必然会得到相应提高。 2022/10/10341.2 人工神经网络的特点信息的分布表示运算的全局并行和局部操作处理的非线性 2022/10/1035联接主义观点 核心：智能的本质是联接机制。 神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统 ANN力求从四个方面去模拟人脑的智能行为物理结构 计算模拟 存储与操作 训练 2022/10/10361.2.1 人工神经网络的概念1、定义 （1）HechtNielse

23、n（1988年）人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元（PEProcessing Element）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。2022/10/10371.2.1 人工神经网络的概念（1）HechtNielsen（1988年）（续）处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理

24、单元的所有输入信号的当前值和存储在处理单元局部内存中的值。2022/10/10381.2.1 人工神经网络的概念强调： 并行、分布处理结构； 一个处理单元的输出可以被任意分枝，且大小不变； 输出信号可以是任意的数学模型； 处理单元完全的局部操作 2022/10/10391.2.1 人工神经网络的概念（2） Rumellhart，McClelland，Hinton的PDP 1） 一组处理单元（PE或AN）；2） 处理单元的激活状态（ai）；3） 每个处理单元的输出函数（fi）；4） 处理单元之间的联接模式；5） 传递规则（wijoi）；6）把处理单元的输入及当前状态结合起来产生激活值的激活规则（

25、Fi）；7） 通过经验修改联接强度的学习规则；8） 系统运行的环境（样本集合）。 2022/10/10401.2.1 人工神经网络的概念（3） Simpson（1987年）人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。 2022/10/1041T.Koholen的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。” 2022/10/10421.2.1 人工神经网络的概念2、关键点（1） 信息的分布表示（2）运算的全局并行与局部操作（3）处理的

26、非线性特征3、对大脑基本特征的模拟（1）形式上：神经元及其联接；BN对AN（2）表现特征：信息的存储与处理2022/10/10431.2.1 人工神经网络的概念4、别名人工神经系统（ANS）神经网络（NN）自适应系统（Adaptive Systems）、自适应网（Adaptive Networks）联接模型（Connectionism）神经计算机（Neurocomputer）2022/10/10441.2.2 学习（Learning）能力 人工神经网络可以根据所在的环境去改变它的行为它在接受样本集合A时，可以抽取集合A中输入数据与输出数据之间的映射关系。“抽象”功能。不同的人工神经网络模型，有

27、不同的学习/训练算法2022/10/10451.2.3 基本特征的自动提取 由于其运算的不精确性，表现成“去噪音、容残缺”的能力，利用这种不精确性，比较自然地实现模式的自动分类。普化（Generalization）能力与抽象能力 2022/10/10461.2.4 信息的分布存放信息的分布存放提供容错功能由于信息被分布存放在几乎整个网络中，所以，当其中的某一个点或者某几个点被破坏时，信息仍然可以被存取。系统在受到局部损伤时还可以正常工作。并不是说可以任意地对完成学习的网络进行修改。也正是由于信息的分布存放，对一类网来说，当它完成学习后，如果再让它学习新的东西，这时就会破坏原来已学会的东西。 2

28、022/10/10471.2.5适应性(Applicability)问题 擅长两个方面：对大量的数据进行分类；必须学习一个复杂的非线性映射。目前应用：人们主要将其用于语音、视觉、知识处理、辅助决策等方面。在数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的近似解（不是最佳近似解）等方面也有较好的应用。 2022/10/10481.2.6 存储和计算的能力传统计算机，它的计算与 存储是两个完全独立的部分（存储器与运算器）。神经网络模型则将信息的存储与处理完善地结合在一起。这是因为神经网络的运行是从输入到输出的值传递过程，在值传递的同时就完成了信息的存储和计算。2022/10/104

29、91. 萌芽期（20世纪40年代）人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到1949年止。1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊Bulletin of Methematical Biophysics。MP模型赋予形式神经元的功能较弱，但网络的计算能力巨大，这种巨大的能力在于网络中足够多的神经元以及神经元之间丰富的联系，同时神经元还具有并行计算的能力。MP模型的提出兴起了对神经网络的研究。1949年，心理学家D. O. Hebb提出神经元之间突触联系是可变的假说Hebb学习律。 他认为

30、学习过程是在突触上发生的，突触的联系强度随其前后神经元的活动而变化。1.3 History of NN2022/10/10501.3 History of NN2. 第一高潮期（19501968）50年代末，FRosenblatt基于上述原理提出了一种模式识别机，即感知机(Perceptron)模型。第一次把神经网络的研究付诸工程实践。它基本上符合神经生理学的知识。因此，当时有上百家实验室纷纷投入这项研究，美国军方也投入了巨额资金，当时神经网络在声纳信号识别等领域的应用取得了一定的成绩。 2022/10/10511.3 History of NN BWidraw在稍后于感知机一些时候提出了Ad

31、line分类学习机。它在结构上与感知机相似，但在学习法则上采用了最小二乘平均误差法。以后，他又把这一方法用于自适应实时处理滤波器，并得到了进一步的发展。 2022/10/10521.3 History of NN1972年，芬兰的TKohonen发表了一个与感知机等神经网络不同的线性神经网络模型。比较非线性模型而言，它的分析要容易得多。 2022/10/1053以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等为代表人物，代表作是单级感知器（Perceptron）。可用电子线路模拟。人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。1.3 History of NN2022/10/10543. 反思期（1969-1982） M. L. Minsky和S. Papert，Perceptron，MIT Press，1969年 感知机的处理能力有限，甚至