第8章神经网络.ppt

1、第八章人工神经网络，8.1概述，8.1.1是什么？人工神经网络，即所谓的人工神经网络，即模仿生物大脑结构和功能的信息处理系统(电脑)。人是地球上最有智慧的动物，人的指挥都来自大脑，人由大脑进行思考、联想、记忆、推理判断等，这些功能是任何被称为“电脑”的普通电脑都无法代替的。长期以来，许多科学家一直致力于对人脑内部结构和功能的讨论和研究，并试图制造模仿人脑的计算机，但迄今为止，对大脑内部工作机制还不太了解，但对其结构已经有所了解。8.1概述，8.1.1人工神经网络概述，大脑由大量神经细胞或神经元组成。每个神经元可以看作是一个小的处理单元。牙齿神经元以某种方式连接起来，形成了大脑内部的生理神经元网

2、络。在这种神经元网络中，各神经元之间连接的强弱随外部激励信号发生适应变化，各神经元也随着多种接收信号的综合大小接收，显示出兴奋或抑制状态。(威廉莎士比亚，温斯顿，)大脑的学习过程是神经元间连接强度随着外部激励信息发生适应性变化的过程，大脑处理信息的结果由神经元状态显示出来。6.1概述，6.1.1人工神经网络是什么？我们建立的信息处理系统实际上是生理神经网络的模仿，所以被称为人工神经网络(人工神经)。人工神经网络是对大脑结构的模仿，但牙齿模仿目前处于很低的水平。人工神经网络(Nielsen)(定义为美国神经网络学者Nielsen)是由无向信号通道互连(称为处理单元和联接)组成的并行分布式处理结构

3、。这些处理单元具有本地内存，可以执行本地操作。也就是说，必须仅依赖通过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元本地内存中的值。每个处理单元都有单个输出联接，该联接可以是任何必需的数学模型输出信号。8.1概述，8.1.1人工神经网络人工神经网络和一般电脑的区别在于普通电脑可以访问普通中央处理器牙齿那个内存。牙齿处理器运行一个茄子指令和牙齿指令所需的数据，运行牙齿指令，最后将计算结果存储在指定的存储设备上。所有任务都是按照规定的操作程序串行执行的。8.1概述，8.1.1人工神经网络人工神经网络和一般电脑的区别在于，在人工神经网络中，操作既不是串行也不是预定的。它完全没有确定的内存

4、。相反，它由许多互连的简单处理单元组成。每个处理单元的处理功能只是所有输入信号的加权总和，如果牙齿值和值超过阈值，则输出表示兴奋状态(高电平)，否则，如果低于阈值，则表示抑制状态(低电平)。人工神经网络不执行指令序列，并行负载的输入信号也并行处理和响应，结果也没有存储在特定的存储设备上。当它达到某种平衡状态时，整个网络的状态就是想要的结果。硬件还没有真正实现的并行处理人工神经网络，其实现或基于普通电脑的软件模拟，显然没有充分发挥人工神经网络并行快速特征。8.1概述，8.1.1人工神经网络人工神经网络两个茄子操作课程训练学习训练，教神经网络的信息(外部输入)作为网络输入和要求的输出，网络(训练算

5、法)根据特定规则(训练)调整每个处理单元之间的连接权重，直到添加给定输入为止，网络时每个连接权已经调整，网络训练完成。在正常操作(回忆操作)训练的网络中输入信号，可以准确地记住其输出，并获得识别结果。，8.1概述，8.1.1人工神经网络文本(英语)阅读器实例输入设备是沿着文本行移动时一次向前移动一个字母，但一次输入7个相邻字符(包括空格和句号)信息的阅读窗口。英文字母发音与前后字有关，因此在人工神经网络训练中，每次只需要7个字的中间字发音(根据人工神经网络输出状态驱动语音合成器)。训练时，通过阅读窗口请求对应于每个字母的人工神经网络输出节点输出该静音的状态值。8.1概述，8.1.1人工神经网络

6、文本(英语)发音器实例可以通过10次读取(训练)输出可理解的语音。通过50次阅读(训练)，可以获得95%的准确度。在训练过程中听起来像孩子在学说话，但不清楚。训练结束后，重读从未看过的课文，朗读准确度仍达78%，完全听得懂。8.1概述，8.1.1人工神经网络人脸识别实例是什么？10人照片，各从不同角度照片5张，照片输入信息50张。人工神经网络训练，在输入每个照片信息时，表示10人的10个节点中，相应的节点输出最大，每个人的5个照片都对应于同一节点的最大输出。训练后，原10名中的一名从不同角度拍摄照片(尺寸不变)进行识别，其本人的相应节点输出远高于其他9个节点。8.1概述，8.1.1人工神经网络

7、摘要和讨论传统计算机采用串行处理方式，限制大量信息的快速传输和处理，使用多个处理器并行操作也可能浪费大量时间完成串行操作，问题的并行分解和并行节目编写也是一个难题。到目前为止，开发的超型计算机的速度和容量惊人，但不能做好面部识别、说话学习、图像识别等孩子们能做的事情。人工神经网络也是生物大脑极低水平的模仿，但是在图像识别、语音识别、内存、预测、最优化等方面显示出良好的智能特性和应用前景，能够完成现有电脑不能轻易实现的智能工作。8.1概述，8.1.2人工神经网络发展初期(发芽)期MP模型的建议和人工神经网络的出现1943年美国神经生理学家Warren Mcculloch和数学家Walter Pi

8、tts针对神经元工作方式的先驱文章A Logical Cal牙齿文章指出，脑细胞的活动等于破裂/关闭。牙齿细胞可以徐璐用多种茄子方法组合，进行各种逻辑运算。根据牙齿的想法，他们用电路来形成简单的神经网络模型，并预测大脑的所有活动最终都会被解释得很清楚。问题不是那么简单，但它给人的信念是大脑的活动是由脑细胞的组合连接而成的。当时，很多研究人员转向解剖学和生理学，找到了制造智能手机的想法。6.1概述，6.1.2人工神经网络发展初期MP模型的建议和人工神经网络的出现1949年心理学家Donala Hebb写了The Organization of Behavior一书。在牙齿书中，他强调了心理学和生

9、理学之间的联系和沟通，指出脑细胞之间的思维方式在每次参与某种活动时都会加强。这就是后来的Hebb学习规则。目前，一些神经网络模型仍然采用这种学习规则。8.1概述，8.1.2人工神经网络发展初期MP模型的提出和人工神经网络的出现延续到20世纪50年代，随着计算机的发展、硬件和软件的发展，一些神经系统功能的理论在计算机上开始模拟研究，拓宽了研究的道路。IBM的实验室软件以Hebb工作为基础模拟进行神经网络模型，最初失败了，但在将模型像人一样适应环境的实验中取得了一定的成功。在这种情况下，人们开始酿造人工智能项目。8.1概述，8.1.2人工神经网络发展初期MP模型的提出和人工神经网络的出现1956年

10、人工智能研究项目给了人工智能领域，也给了神经计算领域很大的推动力。人们提出了两个茄子研究的想法，采用先进的人工智能方法，试图构建描述智能手机功能的计算机程序。根据低级大脑处理方式构建结构模型，实现智能。这宣布了人工神经网络的诞生。8.1概述，8.1.2人工神经网络发展第一次高潮感知器模型和人工神经网络1957年电脑专家弗兰克罗森布拉特牙齿感知器研究开始制作硬件，一般认为是第一次神经网络模型。1959年，两个电机工程师Bernard Widrow和Marcian Haff开发了一个名为自适应线性单位的网络模型，并在他们的论文“自适应交换电路”中介绍了牙齿模型及其学习算法(牙齿网络是通过训练在通信

11、中的回声)，6.1概述，6.1.2人工神经网络发展第一次高潮感知器模型和人工神经网络1962年，Rosenblatt出版了The Principles of Neurodynamics一书，详细说明了感知器模型。有感知器输入、输出和中间层，并声称通过实验可以学习模仿和表达人的特定特性的所有功能。1967年，Stephen Grossberg通过对生理学的研究，开发了名为Avalanche(雪崩网)的神经网络模型，从而控制了连续语音识别和机器手臂的运动。牙齿期间，由于感知器的一些进展和对神经网络的宣战，人们几乎已经找到了实现智力的关键，因此开始大量投入很多部门牙齿牙齿研究，迅速占领制高点，形成了

12、人工神经网络研究的第一次高潮。由于当时对神经网络乐观情绪的影响，人们夸大了神经网络的潜力(有些人甚至会受到制造机器人的人牙齿即机器人的攻击)。8.1概述，8.1.2人工神经网络发展反射器神经网络低落1969年，Marvin Minsky和Seymour Papert共同撰写了一本名为Perception的书，通过当时的简单感知器分析指出存在严重的局限性。这时批评的呼声越来越高，导致了停止对人工神经网络研究的投资所需的巨额投资。很多研究人员把注意力转向人工智能方面，人工神经网络研究陷入了低谷。8.1概述，8.1.2人工神经网络发展反射器神经网络低落，但从20世纪70年代到80年代初，神经网络的人

13、仍然坚持他们的工作，为恢复人工神经网络做准备。神经生理学家James Anderson牙齿开发的盒子中脑模型(Brain-State-in-a-Box，BSB)。由日本学者Kunihik Fukushima开发的识别器模型(Neocognitron)，用于视觉图形识别。与电机工程师Teuvo Kohonen牙齿开发的BSB类似的网络型号。Grossberg、rumelhart、mcclelland、marr、amari和Cooper等业务。8.1概述，8.1.2人工神经网络发展第二个高潮期Hopfield网络模型的出现和人工神经网络的恢复于1982年，John Hopfield向美国科学院提交

14、了神经网络相关报告。主要内容是收集和重视以前的神经网络工作。特别强调了各型号的实用性。根据对神经网络的数学分析和深入理解，Hopfield引起了科举的网络牙齿如何工作，可以做什么，以及他的模型，以毽子年失真或不完整的数据图像中获得完整的数据图像，从而引起了美国县的关注。当时，对自动诱导车的人工智能研究失败，可以利用神经网络解决牙齿问题，将人们的注意力重新集中到人工神经网络上，导致了人工神经网络的第二次高潮。8.1概述，8.1.2人工神经网络发展第二个高潮期Hopfield网络模型的出现和人工神经网络的恢复1984年，Hopfield之后更好地解决了被称为Hopfield网络的电路、TCP问题，

15、找到了最好的理解近似值，引起了大轰动。(威廉莎士比亚、美国电视电视剧、美国电视电视剧)1985年，Hinton、Sejnowsky和Rumelhart等研究者进行了研究1986年，Rumelhart等研究者独立提出了多层网络学习算法BP算法等，更好地解决了多层网络学习问题。1990年十二月，国内第一次神经网络大会在北京市举行。8.1概述，8.1.2人工神经网络发展再认识和应用研究期间20世纪90年代以来，神经网络研究趋于平缓，主要问题：应用面不够宽，结果准确、不可靠的问题，8.1概述，8.1.2人工神经网络发展再认识和应用研究期间主要研究内容开发充分发挥现有模型应用各技术的优点，寻找更有效的解

16、决方案。理论上找到新的突破，希望建立新的专用或通用的模型和算法。对生物神经系统研究的进一步研究不断丰富人类对大脑的认识。8.1概述，8.1.3人工神经网络特征固有的并行结构和并行处理人工神经网络类似于人脑，不仅结构并行，处理顺序也并行并行。同一层次中的处理单元同时工作。也就是说，神经网络计算功能分布在多个处理单元上，但传统计算机通常只有一个处理单元，处理顺序是串行的。目前的神经网络功能似乎很慢，因为经常模拟到普通计算机的串行工作方式，真正的神经网络会大大提高处理速度，实现快速处理。8.1概述，8.1.3人工神经网络特征知识的分布存储在神经网络中。知识不是特定的存储单元，而是分布在整个系统中，存储多个知识需要很多连接牙齿。在计算机中，只要指定一个地址，就可以获得一个或一系列数据，在神经网络中，为了获得存储的知识，采用“联想”方法。这类似于人类和动物的记忆。8.1概述，8.1.3人工神经网络特性知识的分布在神经网络输入输入激励时，从存储的知识中寻找和存储与该输入相匹配的最佳知识。这相当于人们辨别粗制滥造的笔记。牙齿笔记可以变形，失真，亏损。人类善于根据联想正确