第2章神经网络基本理论资料.ppt

1、2.1 神经网络的概述 2.1.1 神经网络的概念 2.1.2 神经网络的发展 2.1.3 神经网络的特点 2.2 神经网络的结构与分类 2.2.1 神经元的基本结构 2.2.2 神经网络基本结构 2.2.3 神经网络的分类 2.3 神经网络的学习方法 2.3.1 BP算法的基本原理 2.3.2 BP算法的特点 2.3.3 BP算法的改进 2.4 神经网络的应用,第2章 神经网络基本理论,2.1 神经网络概述 2.1.1 神经网络的概念 人工神经网络（Artificial neural network，简称ANN）简称为神经网络，是相对于生物学中的生物神经网络而言的，是由许多被称为神经元（Ne

2、uron）的基本计算单元通过广泛联结所组成的自适应非线性动态系统。 网络的信息处理由神经元之间的相互作用来实现，网络的学习与识别决定于各神经元的动态演化过程。它是在现代生物神经科学研究成果的基础上提出来的，反映了人脑功能的基本特征。,2.1 神经网络概述,生物神经网络（Biological Neural Networks）一般指生物的大脑神经元、细胞、触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动 。 生物神经系统是由大量的神经细胞（神经元）组成的一个复杂的系统。据统计，人脑约有10101011个神经元。 每个神经元与103105个其他神经元相连，从而构成一个极为复杂庞大的网络。

3、神经元一般由胞体、树突、轴突三部分组成，如图1所示。,2.1 神经网络概述,2.1 神经网络概述, 胞体：也称为细胞体，包括细胞质、细胞核和细胞膜三部分，是细胞的营养中心。 树突：胞体的伸延部分产生的分枝称为树突，是接受从其它神经元传入的信息入口。但不一定是神经传入的唯一通道，还可以是胞体膜。 轴突：每个神经元只有一个轴突，一般自胞体发出，与一个或多个目标神经元连接，为神经元的输出通道，其作用是将细胞体发出的神经冲动传递给另一个或多个神经元。,【附】人脑的活动（来自百度百科） 如能把大脑的活动转换成电能， 相当于一只20瓦灯泡的功率； 根据神经学家的部分测量，人脑的神经细胞回路比今天全世界的电

4、话网络还要复杂1400多倍； 每一秒钟人的大脑中进行着10万种不同的化学反应； 人体5种感觉器官不断接受的信息中，仅有1%的信息经过大脑处理，其余99%均被筛去； 大脑神经细胞间最快的神经冲动传导速度为400多公里/小时； 人体内有45英里的神经；,2.1 神经网络概述, 人的大脑平均为人体总体重的2%，但它需要使用全身所用氧气的25%，相比之下肾脏只需12%，心脏只需7%。神经信号在神经或肌肉纤维中的传递速度可以高达每小时200英里； 大脑的四周包着一层含有静脉和动脉的薄膜，这层薄膜里充满了感觉神经。但是大脑本身却没有感觉，即使将脑子一切为二，人也不会感到疼痛； 人的大脑细胞数超过全世界人口

5、总数2倍多，每天可处理8600万条信息，其记忆贮存的信息超过任何一台电子计算机。,2.1 神经网络概述,【附】人脑的结构与功能 人脑分为左右脑，交叉进行支配。即左脑支配人体的右侧，右脑支配人体的左侧，大脑受伤会使他支配的那部分身体产生功能障碍。 左右脑具有不同的功能。左脑主要是语言中枢，同时从事分析性工作，如逻辑推理、数学运算和写作等。右脑主要处理空间概念和模式识别。 人工智能可看成是对人脑左脑功能的研究，主要基于逻辑思维，如计算机就是模拟人脑逻辑思维的人工智能系统。 人工神经网络是探索人的形象思维，即针对右脑的认知规律的研究产物。,2.1 神经网络概述,【附】人脑与电脑的区别 记忆与联想方面

6、：人脑具有非凡的创造能力和良好的学习认知能力，如婴儿智力的发展。 信息综合能力方面：人脑善于归纳总结、类比和概括，也可以经验、模糊甚至直觉地作出判断。 信息处理速度方面：人脑中的信息处理是以神经细胞为单位，传递速度只能达到毫秒级，计算机可达到纳秒级甚至皮秒级。但在图形声音等信息处理方面速度要快于计算机，如人的识别等。 信息处理机制方面：人脑中的神经网络是一种高度并行的非线性信息处理系统，而计算机采用的是有限集中的串行信息处理机制。,2.1 神经网络概述,2.1.2 神经网络的发展 人工神经网络的研究始于1943年，经历了从兴起到萧条，又从萧条到兴盛的发展历程。大致分为五个阶段： 初创期：标志就

7、是提出模型，建立规则。 1943年，法国心理学家W.S.McCulloch和数 理逻辑学家W.Pitts在分析、总结神经元基本特性 的基础上，提出神经元的数学模型（即M-P神经 网络模型），拉开了人工神经网络的研究序幕。 1949年，心理学家D.O.Hebb提出神经 元之间突触强度的调整规则假说，即Hebb 规则，该规则至今仍在人工神经网络模型 中起着重要作用。,2.1 神经网络的概述,唐纳德赫布 DonaldOldingHebb 1904.07.221985.08.20 加拿大心理学家，认知心理生理学的开创者, 初始兴盛期：标志就是理论研究转向实际应用。 1957年，F.Rosenblatt

8、提出感知器模型，第一次将神经网络研究从理论探讨发展到实践应用，掀起了神经网络研究的第一次高潮。 1960年，B.Widrow提出自适应线性元网络模型，在自适应系统，如自适应滤波、预测和模式识别等领域得到了很好应用。,2.1 神经网络的概述, 低潮期：标志就是专著Perceptrons（感知器）。 60年代以后，由于计算机发展迅速，单层神经网络功能有限，使得研究进入低潮。尤其是1969年麻省理工学院人工智能学者M.Minsky和S.Papert出版专著Perceptrons，论证了简单线性感知机功能的局限性，不能解决经典的异或问题，且多层网络还未找到有效的计算方法，使得研究失去信心。,2.1 神

9、经网络的概述,马文闵斯基（Marvin Lee Minsky，1927年8月9日出生），美国人工智能领域的科学家，麻省理工学院人工智能实验室的创始人之一，著有几部人工智能和哲学方面的作品。, 复兴期：标志就是两个模型、一个算法。 1982年，美国加州理工学院生物物理学家J.J.Hopfield博士提出离散神经网络模型，标志着神经网络研究开始复兴。 1984年，J.J.Hopfield博士又提出了连续神经网络模型，实现了神经网络的电子线路仿真，开拓了计算机应用神经网络的新途径，成功解决了著名的优化组合问题旅行商问题，引起了相关领域研究人员的广泛关注。 1986年，D.E.Rumelhart等提出

10、多层网络的逆推学习算法，即BP算法，否定了M.Minsky等人的错误结论，该算法一直成为应用最广、研究最多、发展最快的算法。,2.1 神经网络的概述, 高潮期：标志就是模型繁多、应用普及。 1987年6月21日至24日，首届国际神经网络学术会议在美国圣地雅哥召开，成立国际神经网络学会（International Neural Network Society，简称INNS）。1988年世界上第一份神经网络杂志 Neural Networks诞生。 1990年12月9日至13日，在北京召开首届中国神经网络学术大会。 美国国防部高级研究计划局1988年投入4亿美元进行为期8年的神经网络研究，法国的尤

11、里卡计划、德国的欧洲防御计划、前苏联的高技术发展计划均含有神经网络的研究。目前神经网络得到了广泛应用，在计算机图像处理、语音处理、优化计算、智能控制等领域取得了很大的进展。,2.1 神经网络的概述,【注】旅行商问题 旅行商问题（Traveling Salesman Problem，TSP）又译为旅行推销员问题、货郎担问题，是最基本的路线问题，该问题是在寻求单一旅行者由起点出发，通过所有给定的需求点之后，最后再回到原点的最小路径成本。 TSP的历史很久，最早的描述是 1759年欧拉研究的骑士周游问题，即 对于国际象棋棋盘中的64个方格，走 访64个方格一次且仅一次，并且最终 返回到起始点。,2.

12、1 神经网络的概述,2.1.3 神经网络的特点 由于人工神经网络是模拟人的大脑所设计，故它具有以下特征： 分布式联想存储 人工神经网络的存储是联想式的，神经元之间的联结值就是存储单元，权值代表了网络所存知识的当前状态。如果给网络输入一个不完备的信息，则它会自动在网络的权值中进行搜索，直至找到与输入信息最匹配的联结单元为止。 联想式存储的最大优点是能存储许多模式的信息，而且能够很快地将这些信息归类到已有的存储模式中去。,2.1 神经网络的概述, 较好的容错性 在传统计算机单元中，如果一部分存储单元遭到破坏，则整个系统都将瘫痪。由于神经网络的信息不是存储在一个固定的地方，所以当某些神经元损坏时，只

13、是使神经网络的功效降低一点，并不会使整个系统崩溃。 自适应能力强 自适应能力是指神经网络具有自我调整的能力。当网络中有联结权值发生变化时，网络便可通过学习（算法）自动恢复。另一方面，神经网络有向外界环境学习的能力，并且通过学习改进自身的功能。其学习的目的是从一组数据中提取出相关特征或内在规律。,2.1 神经网络的概述,2.2 神经网络的结构及分类 2.2.1 神经元的基本结构 人工神经网络是由若干个神经元按一定规律组合而成，每个神经元在输入信号作用下，能够从当前状态转变为另一种状态，产生相应的输出信号。神经元决定整个神经网络的特性和功能，其基本结构如图2-1所示。,2.2 神经网络的结构及分类

14、,2.2 神经网络的结构及分类,2.2.2 神经网络的基本结构 神经网络一般输入层、隐层（隐含层）和输出层组成。如图2-2给出了一个三层结构的神经网络。,2.2 神经网络的结构及分类,2.2.3 神经网络的分类 根据神经网络的结构分类 层次型结构：按输入层、隐层、输出层结构组成。 互连型结构：任意两个节点之间都可能存在连接路径。根据节点的连接程度又可分为全互连型、局部互连型和稀疏连接型三类。 根据神经网络信息流向分类 前馈神经网络：各神经元只接收前一层的输出作为自己的输入，并且输出给下一层，整个网络没有反馈。每一个神经元都可以有任意多个输入，但只有一个输出。从作用效果来看，前馈神经网络主要是函

15、数映射，可用于函数的逼近。,2.2 神经网络的结构及分类,反馈（递归）神经网络：神经元之间的信息传递关系不再是从一层到另一层，而是各神经元之间均存在着联系，每个神经元都是处理单元，同时可接收输入并向外界输出。由于引入了反馈机制，所以它是一个非线性的动力系统。从作用效果看，反馈神经网络是利用能量函数的极小点来求解最优化问题。,2.2 神经网络的结构及分类, 根据神经网络的层数分类 三层神经网络：仅含有一个隐层的神经网络。 多层神经网络：含有两个或两个以上隐层的神经网络。 【注】1987年，Robert Hecht Nielsen证明，对于任何在闭区间的一个连续函数都可以用一个隐层的BP神经网络来

16、逼近。即说明三层网络即可。增加隐层可增加处理能力，减少误差和提高精度，但训练复杂化。,2.3 神经网络的学习方法 2.3.1 BP算法的基本原理 神经网络一般采用误差反向传播BP算法。早在1969年，Bryson就提出了BP算法理论，1974年和1985年Werbos和Paker各自独立提出这一算法，但未引起重视。1986年，由Bumelhart和McCleland等在对并行分布处理的微观结构进行深入研究后，系统提出了BP算法神经网络理论，受到人们的普遍认可和关注。 BP算法是一种监督式学习算法，属于学习算法的推广。其目的是使网络输出层的误差平方和达到最小，由信息的正向传播与误差的反向传播两部

17、分组成。,2.3 神经网络的学习方法,在正向传播过程中，输入信息从输入层经隐含层逐层计算传向输出层，每一层神经元的输出作用于下一层神经元的输入。如2.2.2神经网络的状态方程所述。 如果在输出层没有得到期望的输出，则计算输出层的误差变化值，然后转向反向传播，通过网络将误差信号沿原来的连接通路反传回来，修改各层神经元的权值，直至达到期望目标。 以三层前馈神经网络（如图2-2所示）为例，说明BP算法。BP算法的误差函数一般定义为实际输出与期望输出的均方误差和。 设K个输出层的期望输出分别为 ，则单路输出的均方误差为,2.3 神经网络的学习方法,2.3.2 BP算法的特点 BP算法的核心是最速下降法

18、，这是一种以梯度为基础的误差下降算法，具有原理简单、实现方便等特点，但也有许多不足之处： 收敛速度较慢 导致BP算法收敛速度慢的原因主要是固定的学习速率。为了保证算法收敛，学习速率必须小于某一上限值，一般要求学习速率不超过输入向量自相关矩阵的最大特征值，这就决定了算法的收敛速度不会太快。 学习速率通常是由经验确定的，且在训练过程中保持不变，这样网络权值每次调整的幅度都由误差函数对权值导数大小来决定。,2.3 神经网络的学习方法,在误差曲面较平坦处，由于偏导数较小，使得权值的调整幅度较小，以致于需要经过多次调整才能将误差函数曲面降低。在误差曲面曲率较大处，偏导数较大，权值调整幅度也较大，有可能在

19、误差函数最小点附近发生过冲现象，使权值调节路径变为锯齿形，难以收敛到最小点，导致算法收敛速度慢。 易陷入局部极小点 BP算法的训练是从某一起始点沿误差函数的曲面逐渐到达误差的最小点。由于误差曲面是一个复杂的多维曲面，有可能存在多个局部极小点，这就难免使得训练陷入局部极小。 从数学角度看，BP算法是一个非线性优化问题，这就不可避免地存在局部极小值问题。,2.3 神经网络的学习方法,采用梯度下降法，训练是从某一起始点沿误差函数的斜面逐渐到达误差的最小值，对于复杂的网络，其误差函数为多维空间的曲面，就象一个碗，其碗底是最小值点，但是这个碗的表面是凹凸不平的，因而在训练过程中，极有可能陷入某一小谷区，

20、而这一小谷区产生的是一个局部极小值，由此点向各方向变化均使误差增加，以至于使训练无法逃出这一局部极小值。因此，学习模式的初始位置对网络的收敛是非常重要的。,2.3 神经网络的学习方法,2.3.2 BP算法的改进 针对BP算法的上述缺陷，近年来学者们提出了多种改进算法。主要有采用启发式信息技术的BP算法，加入数值优化技术的BP算法和基于现代优化理论的BP算法三大类。 采用启发式信息技术的BP算法 采用启发式信息技术的BP算法的实质就是在误差梯度变化缓慢时加大学习速率，而在变化剧烈时减小学习速率。主要有可变学习速率法，加入动量项法等。 加入数值优化技术的BP算法 BP学习过程实质上是一个数值优化问

21、题，可以利用数值优化技术来进行改进，如牛顿法、共轭梯度法等等。,2.3 神经网络的学习方法, 基于现代优化理论的BP算法 基于现代优化理论的BP算法是将遗传算法（简称GA）、蚁群算法（简称CA）、模拟退火算法（简称SA算法）等与神经网络相结合，改善BP算法的缺陷，提高算法的全局收敛能力。,2.3 神经网络的学习方法,2.4 神经网络的应用 模式识别 神经网络经过训练可有效地提取信号、语音、图像、雷达、声纳等感知模式的特征，主要用于特征提取、聚类分析、边缘检测、信号增强、噪声抑制、数据压缩以及各种变换、分类判决等。 模式识别是人工神经网络特别适宜求解的一类问题，神经网络模式识别技术在各领域中的广泛应用是神经网络技术发展的一个重要侧面。,2.4 神经网络的应用,2.4 神经网络的应用, 人工智能 专家系统是人工智能领域研究时间最长、应用最成功的技术之一。但人们在应用专家系统解决语音识别、图像处理和机器人控制等类似人脑形象思维的问题时却遇到很大的困难。 神经网络的问世为人工智能开辟了一条崭新的途