人脑与人工神经网络课件

1、人工神经网络网络与应用 （Artficial Neural NetworkANN）参考书目：人工神经网络 杨行峻 郑君显 高教出版社人工神经网络及应用 袁曾任 清华大学出版社人工神经网络的模型及其应用 张立明 复旦大学出版社神经网络系统理论及其应用 沈世益神经元网络控制 王永骥 涂健 机械工业出版神经网络的综合基础 Simon Haykin 英原版神经网络理论 焦李或 西安电子科大版人工神经网络理论设计及应用 韩力群 化学工业版1绪论1.1人工神经网络概述 人类大脑分为两个半球（左半球-左脑；右半球-右脑）,左脑支配人体的右侧,右脑支配人体的左侧,大脑受伤会使它支配的那部分身体产生功能障碍。为

2、什么右脑损伤的人丧失音乐能力，但能说话？为什么左脑损伤的人难以说话，却仍能唱歌？为什么许多艺术大师（达.芬奇、米开朗琪罗、毕加索等）都习惯使用左手？ 左右脑具有不同的功能。左脑不仅是语言中枢，还能从事分析性的工作，例如逻辑推理、数学运算和写作等。右脑善于处理空间概念和模式识别(识别面孔、图案、曲调、色彩等)，还擅长创造性的活动。左半球倾向于按顺序处理信息，右半球却习惯同时处理信息。 人们常常认为，逻辑思维和分析能力比感性认识更为重要，反映在教育上就是把注奋力集中在“读、写、算”这些左脑的功能上。有一所美国的小学让学生用一半时间学习艺术，用另一半时间学习科学，结果学生的科学课程的成绩明显提高。这

3、表明，花时间发展右脑的功能将有助于改善左脑的功能。实际上，只有左右脑完美配合，才能产生最有效率的创造性活动。 语言学习中充分发挥大脑功能的一种方法是快速阅读。逐字逐句的缓慢阅读是发挥左脑的功能，而快速阅读是发挥右脑的功能，快速阅读获得的信息是从整体上被理解的，这样就能提高对文字的理解程度。换句话说，如果你发现一篇文章很难理解，你就应该读得更快一些。 近十年来，由于当代科学技术的突飞猛进，人类一年创造的财富是20世纪初的19倍。人类是否会以此速率，继续创造发明，越来越聪明呢？ 研究未来学的一个英国科研小组提出，人类大脑的进化已接近极限。也就是说，未来人类不会比现在的人聪明很多。该科研小组根据人类

4、大脑进化数学模型分析指出：人的神经元数与神经网络规模，决定人的大脑接受、处理、利用信息的能力，也就决定人的聪明程度。 但有些科学家不同意这观点，认为在知识经济的时代，人类接受信息处理能力的极大提高，会促使大脑进化出现结构性变化。认为人的不同区域的神经元与神经网络可能出现进一步分工以提高信息接受与处理效率，这很可能使未来的人类比今天的人类聪明得多。人类大脑一直在进化 一项新的研究发现，人类的大脑仍在进化之中，研究人员跟踪研究了被认为是有助于控制大脑生长的两种基因(mi- cro-cephalic 和VASPM)的变化，这种变化在20万年前现代人出现后就一直存在。 人类的大脑比其他动物发达，这是人

5、类的特征。直到5800年前，人的大脑仍在进化，而且现在可能也仍在进化之中。美国芝加哥大学的遗传学家认为:人类已经到了进化的顶峰，事实上不进化几乎是不可能的。 科学家发现，微脑磷脂基因发生变异是在大约37000年前，当时正是艺术、音乐和工具制造出现的时期。而ASPM基因发生变异的时间是在大约5800年前，基本上和书面语言的发展、农业的扩展和城市的发展处在同一时期。学者推测人类最近的基因进化在某些方面可能与文化的进化有关。 多年来,人类试图向生物学习,寻求更理想的有效发明,为人类服务.而人的大脑是自然界所造就的最高级产物，科学家们希望开发出像人脑的机器来代替人类工作,以寻求更神奇的文明和进步. 比

6、较人脑与“电脑”的信息处理能力，会发现“电脑”和人脑存在很大的差距。反映在多个方面:记忆与联想能力方面:人脑具有非凡的创造能力。良好的学习和认知能力（刚生婴儿大脑几乎空白，但是在成长中通过对外界环境的感知及意识，知识和经验与日俱增）。信息综合能力方面：人脑善于知识归纳，类比和概括，也可以是经验地、模糊地甚至是直觉地做出判断等。信息处理速度方面：人脑中的信息处理是以神经细胞为单位，而神经细胞的传递速度只能达毫秒级，比计算机电子元件纳秒级的计算速度慢得多。实际上数值处理方面确实如此。但在图形声音等类信息的处理方面则不同。如几个月婴儿从人群中一眼认出母亲，而计算机解决此类问题则需要一幅具有几百万个像

7、素的逐点处理，并提取脸谱特征进行识别，等等。 关健一点是人脑与电脑的信息处理机制不同，人脑中的神经网络是一种高度并行的非线性信息处理系统，虽然单个神经信息处理速度为毫秒级，但大规模神经细胞（人脑有约1.410个）的群体协同并行处理方式是高效的而计算机采用的是有限集中的串行信息处理机制（基于冯诺依曼工作原理Von Neumann）。即存储器与处理器相互独立，处理信息必须是形式化信息（用二进制定义）。 布满人类大脑皮层上的神经细胞亦称为神经元。每个神经元有数以千计的通道 同其他神经元互连，形成复杂的生物神经网络。生物神经网络以神经元为基本信息处理单元，对信息进行分布式存储与加工。这处信息加工与存储

8、相结合的群体协同工作方式使得人脑呈现出神奇智能。为了模拟人脑形象思维方式，人们从模拟人脑生物神经网络的信息存储加工处理机制入手，设计具有人类思维特点的智能机器，无疑是最有希望的途经之一。 人工神经网络应用系统的研究，需要硬件制作技术的新突破，以便制作出ANN设备，据报道神经网络计算机已取得令人瞩目的进展。 ANN的研究内容极具丰富，涉及的面宽而又有相当深的理论有待进一步研究（涉及多学科知识）。研究内容大体上有基本理论、模型、算法、应用和实现等五大方面，每方面都有很多问题尚未解决或完善解决，尚需用各种方法从各方面开展对ANN进行更深入研究。1.2人工神经网络发展简史发展可划分四个时期（早期、低潮

9、期、复兴时期、新时期 ）。早期（启蒙时期）1943年,美国心理学家W.S.MeCuLLoch和数学家W.H.Pitts合作,在分析总结神经元基本特性的基础上，提出神经元数学模型，简称MP模型。从脑科学研究来看，MP模型是第一个用数理语言描述人脑的信息处理过程的模型。后来此模型又有发展，至今沿用人工神经网络之先驱。 1957年,F.Rosenblatt设计制作了“感知机”（Perceptron），是一种三层神经网络。用于文字、声音识别、声纳信号识别，及学习记忆问题研究。 1962年,Widrow和Hoff等提出了自适应线性元件网络，简称Adline（Adaptive Linear elemlnt

10、），用硬件电路实现设计，用于自适应信号处理，雷达无线控制等方面。低潮期 20世纪60年代末期，人们对感知机兴趣开始衰落，即线性感知机功能有限，只能进行线性分类和求解一阶谓词问题，不能进行非线性分类和解决比较复杂的高阶谓词问题（如异或（XOR）等）。典型代表人物：Minsky和Papert（美麻省理工学院著名人工智能学者）（作了大量数学研究，在当时技术条件下，他们在多层网络的有效学习方法上遇到了极大困难），由于Minsky在学术界的地位和影响其悲观论点极大地影响了当时ANN研究，为刚燃起的ANN之火，泼了一盆冷水。不久几乎所有为神经网络提供的研究基金都枯竭了。很多领域的专家纷纷放弃了这方面课题的

11、研究，开始了神经网络发展史上长达10年的低潮期。 Hopfield的主要贡献是：根据网络的非线性微分方程，引用能量函数（Lyapunov函数李雅普诺夫函数）的概念，使ANN的平衡稳定状态有了明确的判据方法；利用模拟电路的基本元件构作了ANN的硬件原理模型，为硬件实现奠定了基础。开拓了神经网络用于联想记忆和优化计算等方面的新途径。Hopfield网络求解了最著名的经典人工智能难题（约束优化问题）： TSP问题。 TSP Travelling Salesman Problem旅行商最优路径问题 获得了令人满意的结果（近似解）。：n个城市，可能的路径总数为n!/2n，随着n的增加，路径数将按指数率急

12、剧增长指数爆炸。当n较大时，用传统数字计算机也无法在有限时间内寻得答案。如n，即使用亿次秒的巨型计算机按穷举收索法，需 年时间。48若n=20,也需年。我国直辖市、省会和自治区首府的巡回路径约有. 种。我国学者对（中国旅行商问题）进行了大量的研究，最新成果已达km。在opfield经典算法基础上，将城市分成部分，求得最短路径为 km。opfield 的网络开辟了问题求解的崭新途径，获得巨大成功。由于模拟电子线路中全部元件都是并行工作，所求解时间与n的多少无关，仅是运算放大器微秒级工作时间，显然求解速度急高。充分展示了的巨大威力。32新时期（热潮期（80年代后期到现今） 1987年国际神经网络学

13、会成立（INNS）宣告神经网络计算机学科的诞生。掀起人类向生物学习，研究和开发及应用神经网络的热潮。 每年都召开神经网络和神经计算机的国际性和地区性会议，促进神经网络的研制、开发和应用。 1991年IJCNN（国际联合神经网络会议）主席D.Rumelhart在开幕词中讲到“神经网络的发展已进入转折点，它的范围正在不断扩大，领域几乎包括各个方面”。 这一时期，理论和技术以及应用有以下特点：(1)理论上导求研究新进展(2)人工神经网络技术与当前技术相结合现在ANN技术正进入和AI（人工智能），视觉与语声识别系统，专家系统、机器人以及化学和医学等的结合。目前各国发展重点是以应用为导向，以发展高性能的

14、混合计算机为目标。(3)应用领域比过去要广泛得多 新生应用领域在不断增加，例如工业生产监控、学习、分类、预报预测和分析以及处理，邮政通信及信息服务，健康服务，在军事方面的多目标跟踪、战斗机飞行控制、汽车自动驾驶及战场管理等。其它领域有：神经网络作图、语音识别，以及财政风险分析原理价格预报，股票行情分析，支票和收据收验甚至赛马等。美国军方在海湾战争中利用了神经网络来进行决策控制。能源部利用它来预报世界原油价格，联邦航空管理局用它进行机场行李炸弹的自动检验。食品医药管理局利用它不定期进行食品添加剂分析。波音、福特等大公司以及一些银行和保险公司也都应用神经网络系统进行控制和决策。我国ANN研究现状

15、1988年，北京大学组织召开了第一次关于神经网络的讨论会，一些知名学者在会上作了专题报告。 1989年，北京和广州等地召开了神经网络及其应用讨论会和第一届全国信号处理神经网络学术会议。 1990年12月，由中国电子学会及计算机学会等八个学会联合发起并组织了中国第一次神经网络会议，参加人数400余人，搜集到会议记录中的论文358篇，内容涉及生物、人工神经网络模型、理论、分析应用及实现等各方面。 1991年12月由13个单位发起和组织召开第二次全国神经网络会议，录用论文280篇。在南京成立中国神经网络学会。 1992年中国神经网络委员会在北京承办了世界性的国际神经网络学术大会。经过10几年的发展，

16、我国人工神经网络和研究和应用正迈向新的高科技时代。 1.3人工神经网络的应用领域神经网络的智能化特征与能力使其应用领域日益扩大，潜力日趋明显。许多用传统信息处理方法无法解决的问题采用ANN后取得了良好的效果，这里不详介绍。主要介绍一下几个主要应用领域。 信息领域信号处理：自适应信号处理和非线性信号处理都可以。模式识别：可以处理静态模式如固定图象，固定能谱等，还可以处理动态模式如视频图象，连续语音等。 静态模式识别的成功例子有手写的识别，动态模式识别有语言信号识别。目前市场上，随处可见的电脑手写输入和语言输入系统进一步表明神经网络在模式识别方面的应用已商品化。数据压缩：自动化领域系统辨识：如自动控制中，被控对象的数学模型建立等问题。神经控制器：控制器在实时控制系统中起着“大脑”的作用，神经网络具有自学习和自适应等智能特点非常适合作控制器。近年神经网络控制器在工业、航空以及机器人等领域的控制系统中取得了可喜的应用成果。智能检测：检测中对干扰量的处理、传感器输入输出特性的非线性补偿零点和量程的自动校正以及自动诊断等。 工程领域（1）汽车工程：利用神经网络的非线性映射能力，通过学习优秀驾驶