人工神经网络课程.ppt

2020/5/23,1,ArtificialNeuralNetworks-Lecture1.Introduction,HongyingZheng(郑洪英)zhenghongy,重庆大学计算机学院研究生课程,CollegeofComputerScienceandEngineering,ChongqingUniversity,2020/5/23,2,课程目的和要求,目的：将神经网络的理论和方法应用到生产实践要求：掌握人工神经网络的基本概念、单层网、多层网、循环网等各种基本网络模型的结构、特点、典型训练算法、运行方式、典型问题了解人工神经网络的有关研究思想，从中学习开拓者们的部分问题求解方法掌握软件实现方法。,2020/5/23,3,授课计划,第一课：绪论（Introduction）第二课：matlab与神经网络第三课：人工神经网络基础第四课：单层前向感知器（Perceptron）第五课：BP神经网络第六课：hopfield神经网络第七课：SOM网络第八课：神经网络研究展望,2020/5/23,4,ANN国际期刊ANN国际会议ANN研究团队参考书,2020/5/23,5,NeuralNetworks(ISSN:0893-6080),TheOfficialJournaloftheInternationalNeuralNetworkSociety,EuropeanNeuralNetworkSocietyNeuralNetworksisaninternationaljournalappearingtentimeseachyearthatpublishesoriginalresearchandreviewarticlesconcernedwiththemodellingofbrainandbehavioralprocessesandtheapplicationofthesemodelstocomputerandrelatedtechnologies.Modelsaimedattheexplanationandpredictionofbiologicaldataandmodelsaimedatthesolutionoftechnologicalproblemsarebothsolicited,asaremathematicalandcomputationalanalysesofbothtypesofmodels.,2020/5/23,6,IEEETransactionsonNeuralNetworksISSN:1045-9227,Devotedtothescienceandtechnologyofneuralnetworks,whichdisclosesignificanttechnicalknowledge,exploratorydevelopments,andapplicationsofneuralnetworksfrombiologytosoftwaretohardware.Emphasisisonartificialneuralnetworks.,/portal/pages/pubs/transactions/tnn.html,(2.633),2020/5/23,7,NeuralComputation,NeuralComputationdisseminatesimportant,multidisciplinaryresearchresultsinafieldthatattractspsychologists,physicists,computerscientists,neuroscientists,andartificialintelligenceinvestigators,amongothers.Forresearcherslookingatthescientificandengineeringchallengesofunderstandingthebrainandbuildingcomputers,neuralcomputationhighlightscommonproblemsandtechniquesinmodelingthebrain,andinthedesignandconstructionofneurally-inspiredinformationprocessingsystems.Timely,shortcommunications,full-lengthresearcharticles,andreviewsfocusonadvancesinthefieldandalsocoverthebroadrangeofinquisitionintoallaspectsofneuralcomputation.,/,(2.3),2020/5/23,8,Neurocomputing(0925-2312),Neurocomputingpublishesarticlesdescribingrecentfundamentalcontributionsinthefieldofneurocomputing.Neurocomputingtheory,practiceandapplicationsaretheessentialtopicsbeingcovered.,2020/5/23,9,ANNInternationalConferences,InternationalJointConferenceonNeuralNetworks/2011/index.htmInternationalSymposiumonNeuralNetworks(sixthconference,china).hk/isnn2009EuropeanSymposiumonArtificialNeuralNetworks(20th)http:/www.dice.ucl.ac.be/esann/InternationalConferenceonArtificialNeuralNetworks/,2020/5/23,10,ANNSocieties,InternationalNeuralNetworksSociety/IEEEComputationalIntelligenceSociety(earliertitle:IEEENeuralNetworksSociety)/,2020/5/23,11,References,MartinT.Hagan,HowardB.Demuth,MarkH.Beale(戴葵,等译).NeuralNetworkDesign.机械工业出版社,2002.高隽.人工神经网络原理及仿真实例.机械工业出版社,2003.蒋宗礼.人工神经网络导论.高等教育出版社,2003.阮炯,顾凡及,蔡志杰.神经动力学模型方法和应用.科学出版社,2002.袁曾任.人工神经元网络及其应用清华大学出版社.1999,2020/5/23,12,第1章引言,1.1人工神经网络的提出1.2人工神经网络的特点1.3历史回顾,2020/5/23,13,1.1人工神经网络的提出,目前使用的计算机，其计算速度之快和处理信息准确性等方面有着独特的优点，但在逻辑推理、问题思考等方面，与人脑比较，还有着明显的差距。那么，怎样才能让计算机既会“思考”，又具有“智力”呢？,2020/5/23,14,Whatyouseeinthepicture?,2020/5/23,15,FromBiologicaltoArtificialNeuronModel,IsthereanyconventionalcomputeratpresentwiththecapabilityofperceivingboththetreesandBakerstransparentheadinthispictureatthesametime?Mostprobably,theanswerisno.Althoughsuchavisualperceptionisaneasytaskforhumanbeing,wearefacedwithdifficultieswhensequentialcomputersaretobeprogrammedtoperformvisualoperations.,2020/5/23,16,FromBiologicaltoArtificialNeuronModel,Inaconventionalcomputer,usuallythereexistasingleprocessorimplementingasequenceofarithmeticandlogicaloperations,nowadaysatspeedsapproaching109operationspersecond.Howeverthistypeofdeviceshaveabilityneithertoadapttheirstructurenortolearninthewaythathumanbeingdoes.,ConventionalComputers,2020/5/23,17,FromBiologicaltoArtificialNeuronModel,Thereisalargenumberoftasksforwhichitisprovedtobevirtuallyimpossibletodeviceanalgorithmorsequenceofarithmeticand/orlogicaloperations.Forexample,inspiteofmanyattempts,amachinehasnotyetbeenproducedwhichwillautomaticallyrecognizewordsspokenbyanyspeakerletalonetranslatefromonelanguagetoanother,ordriveacar,orwalkandrunasananimalorhumanbeingHecht-Nielsen88,Whattraditionalcomputerscantdo?,2020/5/23,18,FromBiologicaltoArtificialNeuronModel,Whatmakessuchadifferencebetweenbrainandconventionalcomputersseemstobeneitherbecauseoftheprocessingspeedofthecomputersnorbecauseoftheirprocessingability.Todaysprocessorshaveaspeed105timesfasterthanthebasicprocessingelementsofthebraincalledneuron.Whentheabilitiesarecompared,theneuronsaremuchsimpler.Thedifferenceismainlyduetothestructuralandoperationaltrend.Whileinaconventionalcomputertheinstructionsareexecutedsequentiallyinacomplicatedandfastprocessor,thebrainisamassivelyparallelinterconnectionofrelativelysimpleandslowprocessingelements.,ComputersversusBrain,2020/5/23,19,FromBiologicaltoArtificialNeuronModel,2020/5/23,20,1.1人工神经网络的提出,为了解决这个问题，人们进行了各种尝试。人工智能和神经网络方法是从不同角度进行的尝试。,2020/5/23,21,（1）生理结构的角度模拟：用仿生学观点，探索人脑的生理结构，把对人脑的微观结构及其智能行为的研究结合起来即人工神经网络（ArtificialNeuralNetwroks，简称ANN）方法。（2）宏观功能的角度模拟：从人的思维活动和智能行为的心理学特性出发，利用计算机系统来对人脑智能进行宏观功能的模拟，即物理符号处理方法(人工智能方法)。,2020/5/23,22,人工神经网络是从人脑的生理结构出发，探讨人类智能活动的机理，从生理结构上来模拟，探索人脑的生理结构，把对人脑的微观结构及其智能行为的研究结合起来。,2020/5/23,23,人工智能方法是从人脑的智能活动出发，研究人脑智能的物质过程和规律。把人们所理解的人脑的逻辑思维规律加给计算机，但对人脑的构造及其物质基础却毫不关心。,2020/5/23,24,重点研究的是机器的思维问题，解决问题的关键在于知识的表示、获取、存储和使用。例如，专家系统是把各位专家的知识汇聚到计算机上，使计算机具有或超过专家的智能，但对专家的知识的物质基础人脑，则毫不重视，因此其能力的界限也是显然的。,2020/5/23,25,1.1人工神经网络的提出,两种方法的比较心理过程逻辑思维高级形式（思维的表象）生理过程形象思维低级形式（思维的根本）仿生人工神经网络,物理符号系统,2020/5/23,26,1.1人工神经网络的提出,物理符号系统和人工神经网络系统的差别,2020/5/23,27,1.1人工神经网络的提出,两种方法的比较,2020/5/23,28,实际上，脑对外部世界的时空客体的描述和识别，乃是认知的基础。认知问题离不开对底层次信息处理的研究和认识。虽然符号处理在脑的思维功能模拟等方面取得了很大进展，但它对诸如视听觉、联想记忆和形象思维模拟等方面往往力不从心。,2020/5/23,29,符号处理与神经网络是一种互补的关系。神经网络的研究重点在于模拟和实现人的认知过程中的感知觉过程、形象思维、分布式记忆和自学习自组织过程。神经网络与符号处理相结合，可能会使人们对人的认知过程有一个较全面的理解，也就是说不仅对左脑（逻辑思维）的功能有所认识，而且对右脑（形象思维）的认识规律也有所研究。,2020/5/23,30,利用机器模仿人类的智能是长期以来人们认识自然、改造自然和认识自身的理想。研究ANN目的：（1）探索和模拟人的感觉、思维和行为的规律，设计具有人类智能的计算机系统。（2）探讨人脑的智能活动，用物化了的智能来考察和研究人脑智能的物质过程及其规律。,2020/5/23,31,ANN的研究内容,（1）理论研究：ANN模型及其学习算法，试图从数学上描述ANN的动力学过程，建立相应的ANN模型，在该模型的基础上，对于给定的学习样本，找出一种能以较快的速度和较高的精度调整神经元间互连权值，使系统达到稳定状态，满足学习要求的算法。（2）实现技术的研究：探讨利用电子、光学、生物等技术实现神经计算机的途径。（3）应用的研究：探讨如何应用ANN解决实际问题，如模式识别、故障检测、智能机器人等。,2020/5/23,32,人工神经网络与生物神经网络的比较,1单元上的差别对于生物神经元而言，影响突触传递信息强度的因素很多、很复杂。如突触前微细胞的大小与多少、神经传递化学物质含量的多少、神经传递化学物质释放的速度、突触间隙的变化、树突的位置与大小等诸多因素都会对突触电位产生影响，从而影响神经元的输出脉冲响应。而人工神经元则忽略了这些影响，输入、输出关系十分简单。,2020/5/23,33,人工神经网络与生物神经网络的比较,2信息上的差别生物神经元传递的信息是脉冲，而人工神经元传递的信息是模拟电压。,2020/5/23,34,人工神经网络与生物神经网络的比较,3规模与智能上的差别目前，人工神经网络的规模还远小于生物神经网络，网络中神经元的数量一般在104个以下，显然，其智能也无法与生物神经网络相比。网络的规模(含拓扑结构)是影响网络智能的一个因素，但是，还有另一个重要因素，那就是网络信息处理的机理和机制(学习方法)。目前，人们对大脑智能信息处理(例如思维过程)的一些机理和机制性问题还不太了解，相应地这些问题也就不可能在人工神经网络中得到实质性的反映。随着这些问题的解决，人工神经网络的智能必然会得到相应提高。,2020/5/23,35,1.2人工神经网络的特点,信息的分布表示运算的全局并行和局部操作处理的非线性,2020/5/23,36,联接主义观点核心：智能的本质是联接机制。神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统ANN力求从四个方面去模拟人脑的智能行为物理结构计算模拟存储与操作训练,2020/5/23,37,1.2.1人工神经网络的概念,1、定义（1）HechtNielsen（1988年）人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元（PEProcessingElement）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。,2020/5/23,38,1.2.1人工神经网络的概念,（1）HechtNielsen（1988年）（续）处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。,2020/5/23,39,1.2.1人工神经网络的概念,强调：并行、分布处理结构；一个处理单元的输出可以被任意分枝，且大小不变；输出信号可以是任意的数学模型；处理单元完全的局部操作,2020/5/23,40,1.2.1人工神经网络的概念,（2）Rumellhart，McClelland，Hinton的PDP1）一组处理单元（PE或AN）；2）处理单元的激活状态（ai）；3）每个处理单元的输出函数（fi）；4）处理单元之间的联接模式；5）传递规则（wijoi）；6）把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）；7）通过经验修改联接强度的学习规则；8）系统运行的环境（样本集合）。,2020/5/23,41,1.2.1人工神经网络的概念,（3）Simpson（1987年）人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。,2020/5/23,42,T.Koholen的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。”,2020/5/23,43,1.2.1人工神经网络的概念,2、关键点（1）信息的分布表示（2）运算的全局并行与局部操作（3）处理的非线性特征3、对大脑基本特征的模拟（1）形式上：神经元及其联接；BN对AN（2）表现特征：信息的存储与处理,2020/5/23,44,1.2.1人工神经网络的概念,4、别名人工神经系统（ANS）神经网络（NN）自适应系统（AdaptiveSystems）、自适应网（AdaptiveNetworks）联接模型（Connectionism）神经计算机（Neurocomputer）,2020/5/23,45,1.2.2学习（Learning）能力,人工神经网络可以根据所在的环境去改变它的行为它在接受样本集合A时，可以抽取集合A中输入数据与输出数据之间的映射关系。“抽象”功能。不同的人工神经网络模型，有不同的学习/训练算法,2020/5/23,46,1.2.3基本特征的自动提取,由于其运算的不精确性，表现成“去噪音、容残缺”的能力，利用这种不精确性，比较自然地实现模式的自动分类。普化（Generalization）能力与抽象能力,2020/5/23,47,1.2.4信息的分布存放,信息的分布存放提供容错功能由于信息被分布存放在几乎整个网络中，所以，当其中的某一个点或者某几个点被破坏时，信息仍然可以被存取。系统在受到局部损伤时还可以正常工作。并不是说可以任意地对完成学习的网络进行修改。也正是由于信息的分布存放，对一类网来说，当它完成学习后，如果再让它学习新的东西，这时就会破坏原来已学会的东西。,2020/5/23,48,1.2.5适应性(Applicability)问题,擅长两个方面：对大量的数据进行分类；必须学习一个复杂的非线性映射。目前应用：人们主要将其用于语音、视觉、知识处理、辅助决策等方面。在数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的近似解（不是最佳近似解）等方面也有较好的应用。,2020/5/23,49,1.2.6存储和计算的能力,传统计算机，它的计算与存储是两个完全独立的部分（存储器与运算器）。神经网络模型则将信息的存储与处理完善地结合在一起。这是因为神经网络的运行是从输入到输出的值传递过程，在值传递的同时就完成了信息的存储和计算。,2020/5/23,50,1.萌芽期（20世纪40年代）人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到1949年止。1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊BulletinofMethematicalBiophysics。MP模型赋予形式神经元的功能较弱，但网络的计算能力巨大，这种巨大的能力在于网络中足够多的神经元以及神经元之间丰富的联系，同时神经元还具有并行计算的能力。MP模型的提出兴起了对神经网络的研究。1949年，心理学家D.O.Hebb提出神经元之间突触联系是可变的假说Hebb学习律。他认为学习过程是在突触上发生的，突触的联系强度随其前后神经元的活动而变化。,1.3HistoryofNN,2020/5/23,51,1.3HistoryofNN,2.第一高潮期（19501968）50年代末，FRosenblatt基于上述原理提出了一种模式识别机，即感知机(Perceptron)模型。第一次把神经网络的研究付诸工程实践。它基本上符合神经生理学的知识。因此，当时有上百家实验室纷纷投入这项研究，美国军方也投入了巨额资金，当时神经网络在声纳信号识别等领域的应用取得了一定的成绩。,2020/5/23,52,1.3HistoryofNN,BWidraw在稍后于感知机一些时候提出了Adline分类学习机。它在结构上与感知机相似，但在学习法则上采用了最小二乘平均误差法。以后，他又把这一方法用于自适应实时处理滤波器，并得到了进一步的发展。,2020/5/23,53,1.3HistoryofNN,1972年，芬兰的TKohonen发表了一个与感知机等神经网络不同的线性神经网络模型。比较非线性模型而言，它的分析要容易得多。,2020/5/23,54,以MarvinMinsky，FrankRosenblatt，BernardWidrow等为代表人物，代表作是单级感知器（Perceptron）。可用电子线路模拟。人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。,1.3HistoryofNN,2020/5/23,55,