人工智能通识导论 课件 第4章 连接主义：人工神经网络（通识导论）

第4章连接主义：人工神经网络教材：

王万良《人工智能通识导论》高等教育出版社，20252第4章连接主义：人工神经网络人工神经网络是对人脑或生物神经网络若干基本特性的抽象和模拟。神经网络理论为许多问题的研究提供了一条新的思路，目前已经在模式识别、机器视觉、语音识别、机器翻译、图像处理、联想记忆、自动控制、信号处理、软测量、决策分析、智能计算、组合优化、数据挖掘等方面获得成功应用。本章着重介绍人工神经元数学模型、应用广泛的BP神经网络、Hopfield神经网络、随机神经网络及其应用，也为下一章介绍深度学习奠定基础。3第4章连接主义：人工神经网络●

19世纪末20世纪初，西班牙神经解破学家卡哈尔，在意大利医学家高尔基发现神经细胞的基础上，描绘了神经元的组织结构和它们之间的联系。人类大脑的活动是由这种联系产生的。为此，1906年他们共同获得了诺贝尔生理学或医学奖。●

生物神经网络(naturalneuralnetwork,NNN):由中枢神经系统（脑和脊髓）及周围神经系统（感觉神经、运动神经等）所构成的错综复杂的神经网络，其中最重要的是脑神经系统。●人工神经网络(artificialneuralnetworks,ANN):模拟人脑神经系统的结构和功能，运用大量简单处理单元经广泛连接而组成的人工网络系统。神经网络方法：隐式的知识表示方法4第4章连接主义：人工神经网络4.1人工神经元与人工神经网络4.2机器学习的先驱——Hebb学习规则4.3掀起人工神经网络第一次高潮的感知器4.4掀起人工神经网络第二次高潮的BP学习算法4.5BP学习算法的应用4.6Hopfield神经网络与玻尔兹曼机4.7Hopfield神经网络联想记忆4.8Hopfield神经网络优化方法54.1人工神经元与人工神经网络4.1.1生物神经元的结构4.1.2生物神经元数学模型4.1.3人工神经网络结构与学习64.1.1生物神经元的结构●人脑由一千多亿（1011亿－1014亿）个神经细胞（神经元）交织在一起的网状结构组成，其中大脑皮层约140亿个神经元，小脑皮层约1000亿个神经元。●神经元约有1000种类型，每个神经元大约与103－104个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。●人脑构造:

皮层（cortex）中脑（midbrain）脑干（brainstem）小脑（cerebellum）74.1.1生物神经元的结构（输入）（输出）轴突树突细胞体突触神经细胞利用电-化学过程交换信号84.1.1生物神经元的结构

●工作状态：

兴奋状态：细胞膜电位>

动作电位的阈值→神经冲动

抑制状态：细胞膜电位<动作电位的阈值

●学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强和减弱

。94.1人工神经元与人工神经网络4.1.1生物神经元的结构4.1.2生物神经元的数学模型4.1.3人工神经网络结构与学习10人工神经元模型1943年，麦克洛奇和皮兹提出M－P模型。…-1（权重/突触）（细胞体）（阈值）（神经冲动）人工神经元i的模型图激励函数4.1.2生物神经元的数学模型114.1.2生物神经元的数学模型一般模型：124.1.2生物神经元数学模型非线性激励函数（传输函数、输出变换函数）

（硬极限函数或阶跃函数）（对称硬极限函数）134.1.2生物神经元数学模型●非线性激励函数（传输函数、输出变换函数）

（对数-S形函数或S型函数）（双曲正切S形函数）144.1.2生物神经元数学模型Sigmoid函数的缺点：在输入的绝对值大于某个阈值后，过快进入饱和状态（即函数值趣于1或者-1，而不再有显著的变化），出现梯度消失情况,即梯度会趋于0，在实际模型训练中会导致模型收敛缓慢，性能不够理想。（3）ReLU函数154.1人工神经元与人工神经网络4.1.1生物神经元的结构4.1.2生物神经元的数学模型4.1.3人工神经网络结构与学习161.人工神经网络的结构（1）前馈型（前向型）

4.1.3人工神经网络的结构与学习17

1.人工神经网络的结构（2）反馈型（Hopfield神经网络）4.1.3人工神经网络的结构与学习182.人工神经网络的工作方式●同步（并行）方式：任一时刻神经网络中所有神经元同时调整状态。●异步（串行）方式：任一时刻只有一个神经元调整状态，而其它神经元的状态保持不变。3.人工神经网络的学习●神经网络方法是一种知识表示方法和推理方法。●神经网络的学习是指调整神经网络的连接权值或者结构，使输入输出具有需要的特性。4.1.3人工神经网络的结构与学习19第4章连接主义：人工神经网络4.1人工神经元与人工神经网络4.2机器学习的先驱——Hebb学习规则4.3掀起人工神经网络第一次高潮的感知器4.4掀起人工神经网络第二次高潮的BP学习算法4.5BP学习算法的应用4.6Hopfield神经网络与玻尔兹曼机4.7Hopfield神经网络联想记忆4.8Hopfield神经网络优化方法204.2机器学习的先驱——赫布学习规则●1944年赫布（Hebb）提出了改变神经元连接强度的Hebb学习规则。●Hebb学习规则：当某一突触两端的神经元同时处于兴奋状态，那么该连接的权值应该增强。●Hebb学习规则与“条件反射”机理一致，并且已经得到了神经细胞学说的证实。●Hebb学习规则是一个无监督学习规则。21第4章连接主义：人工神经网络4.1人工神经元与人工神经网络4.2机器学习的先驱——Hebb学习规则4.3掀起人工神经网络第一次高潮的感知器4.4掀起人工神经网络第二次高潮的BP学习算法4.5BP学习算法的应用4.6Hopfield神经网络与玻尔兹曼机4.7Hopfield神经网络联想记忆4.8Hopfield神经网络优化方法22●1957年，美国康奈尔大学的实验心理学家、计算科学家弗兰克·罗森布拉特，受Hebb学习规则的启发，提出了感知器（Perceptron），并在一台IBM-704计算机上模拟实现了感知器神经网络模型。4.3掀起人工神经网络第一次高潮的感知器保罗·沃波斯23感知器是线性分类器：4.3掀起人工神经网络第一次高潮的感知器保罗·沃波斯24感知器的不足：不能解决非线性分类问题。单层神经网络无法解决不可线性分割的问题。例如，无法实现简单的异或门电路（XORCircuit）。4.3掀起人工神经网络第一次高潮的感知器保罗·沃波斯25解决的思路：增加感知器的隐层，形成多层感知器，能够分类非线性分类问题。例如异或问题。当时的困难：（1）缺少相应的学习算法；（2）利用当时最先进的计算机也没有足够计算力，完成多层感知器训练所需的超大计算量。4.3掀起人工神经网络第一次高潮的感知器保罗·沃波斯26人工智能冬天：●图灵奖获得者明斯基在1969年的论断，直接使人工智能的研究进入长达近二十年的低潮，史称“人工智能冬天”。●休伯尔和威泽尔等人对大脑的深入认识，启迪了计算机科学家，为科研人员从“观察大脑”到“重现大脑”搭起了桥梁，提出了深度学习。●美国电气电子工程师协会（IEEE）于2004年设立了罗森布拉特奖，以奖励在神经网络领域的杰出研究。4.3掀起人工神经网络第一次高潮的感知器保罗·沃波斯27第4章连接主义：人工神经网络4.1人工神经元与人工神经网络4.2机器学习的先驱——Hebb学习规则4.3掀起人工神经网络第一次高潮的感知器4.4掀起人工神经网络第二次高潮的BP学习算法4.5BP学习算法的应用4.6Hopfield神经网络与玻尔兹曼机4.7Hopfield神经网络联想记忆4.8Hopfield神经网络优化方法281974年，哈佛大学博士生保罗·沃波斯(PaulWerbos)在其博士论文《ParallelDistributedProcessing》中证明，在感知器神经网络中再多加一层，并利用误差反向传播（BackPropagation，简称BP）来训练人工神经网络，可以解决XOR问题。4.4.1BP学习算法的提出保罗·沃波斯保罗·沃波斯：Werbos获得神经网络先驱奖，曾任ISSN主席、IEEEtnn主编和美国自然科学基金委员会信息学部主任。291985年，加拿大多伦多大学教授辛顿和鲁梅尔哈特等重新设计了BP学习算法，在多层感知器中使用Sigmoid激活函数代替原来的阶跃函数。1986年，发表了具有里程碑意义的经典论文：通过误差反向传播学习表示，实现了Minsky多层感知器的设想。4.4.1BP学习算法的提出保罗·沃波斯BP学习算法唤醒了沉睡多年的人工智能研究，又一次掀起了神经网络高潮。304.4.2BP神经网络结构与学习

BP神经网络的结构

314.4.2BP神经网络结构与学习●学习与工作过程

第一阶段或网络训练阶段：

N组输入输出样本：xi=[xi1,xi2,…,xip1]Tdi=[di1,di2,…,dipm]T

i=1,2,…,N

对网络的连接权进行学习和调整，以使该网络实现给定样本的输入输出映射关系。

第二阶段或称工作阶段：把实验数据或实际数据输入到网络，网络在误差范围内预测计算出结果。

32（1）是否存在一个BP神经网络能够逼近给定的样本或者函数。BP定理：给定任意

，对于任意的连续函数，存在一个3层前向神经网络，它可以在任意

平方误差精度内逼近连续函数。4.4.2BP神经网络结构与学习●两个问题：（2）如何调整BP神经网络的连接权，使网络的输入与输出与给定的样本相同。

1986年，鲁梅尔哈特（D.Rumelhart）等提出BP学习算法。334.4.3BP算法的设计

●训练数据预处理：将所有的特征变换到[0，1]或者[-1，1]区间内，使得在每个训练集上，每个特征的均值为0，并且具有相同的方差。

●后处理过程：将输出值编码成所谓的名义变量，具体的值对应类别标号。

●初始权值的影响及设置：一般以一个均值为0的随机分布设置BP神经网络的初始权值。34第4章连接主义：人工神经网络4.1人工神经元与人工神经网络4.2机器学习的先驱——Hebb学习规则4.3掀起人工神经网络第一次高潮的感知器4.4掀起人工神经网络第二次高潮的BP学习算法4.5BP学习算法的应用4.6Hopfield神经网络与玻尔兹曼机4.7Hopfield神经网络联想记忆4.8Hopfield神经网络优化方法35●主要模式识别研究用计算机模拟生物、人的感知，对模式信息，如图像、文字、语音等，进行识别和分类。●传统人工智能的研究部分地显示了人脑的归纳、推理等智能。但对人类底层的智能，如视觉、听觉、触觉等，现代计算机系统信息处理能力还不如一个幼儿。●人工神经网络模拟人脑神经系统的特点：处理单元的广泛连接；并行分布式信息储存、处理；自适应学习能力等。●人工神经网络模式识别方法具有较强的容错能力、自适应学习能力、并行信息处理能力。4.5BP学习算法的应用36例4.1

设计一个3层BP网络对数字0至9进行分类。

●每个数字用9

7的网格表示，灰色像素代表0，黑色像素代表1。将每个网格表示为0，1的长位串。位映射由左上角开始向下直到网格的整个一列，然后重复其他列。●选择BP网络结构为63-6-9。97个输入结点，对应上述网格的映射。9个输出结点对应10种分类。●使用的学习步长为0.3。训练600个周期，如果输出结点的值大于0.9，则取为1，如果输出结点的值小于0.1，则取为0。4.5BP学习算法的应用37●测试结果表明：除了8以外，所有被测的数字都能够被正确地识别。●对于数字8，神经网络的第6个结点的输出值为0.53，第8个结点的输出值为0.41，表明第8个样本是模糊的，可能是数字6，也可能是数字8，但也不完全确信是两者之一。

●当训练成功后，对如图所示测试数据进行测试。●测试数据都有一个或者多个位丢失。4.5BP学习算法的应用38第4章连接主义：人工神经网络4.1人工神经元与人工神经网络4.2机器学习的先驱——Hebb学习规则4.3掀起人工神经网络第一次高潮的感知器4.4掀起人工神经网络第二次高潮的BP学习算法4.5BP学习算法的应用4.6Hopfield神经网络与玻尔兹曼机4.7Hopfield神经网络联想记忆4.8Hopfield神经网络优化方法394.6Hopfield神经网络与玻尔兹曼机●瑞典皇家科学院2024年10月8日宣布，将2024年诺贝尔物理学奖授予霍普菲尔德和欣顿，表彰他们在使用人工神经网络进行机器学习的基础性发现和发明。●两位获奖者从20世纪80年代起就开展了与物理学相关的人工神经网络的重要工作。●霍普菲尔德创造了一种关联记忆，它能够存储和重构图像以及其他模式类型。●欣顿将霍普菲尔德网络的想法应用于一种新网络：玻尔兹曼机。玻尔兹曼机可以学习给定数据类型的特征元素，可以用来分类图像或创建新材料。●上述工作推动了当今机器学习的快速发展。40●1982年，霍普菲尔德提出以他名字命名的Hopfield神经网络。●Hopfield神经网络是全互联反馈神经网络：每一个神经元和其它神经元都相连接，也就是说其中的每一个神经元的输出都反馈到其它神经元的输入端作为输入信号。4.6.1离散Hopfield神经网络模型41离散Hopfield神经网络结构图……12(状态）(阈值）（连接权值）4.6.1离散Hopfield神经网络模型42

●稳定性定义：若从某一时刻开始，网络中所有神经元的状态不再改变，则称该网络是稳定的。

Hopfield神经网络是高维非线性系统，可能有许多个稳定优态。从任何初始状态开始运动，可以到达某个稳定状态。通过改变网络参数可以得到不同的稳定状态。4.6.1离散Hopfield神经网络神经网络的稳定性43

●稳定性定理证明：1983年，科恩（Cohen）、葛劳斯伯格（S.Grossberg）。

●稳定性定理（Hopfield）4.6.1离散Hopfield神经网络W：对称阵神经网络的稳定性444.6.2连续型Hopfield神经网络及其VLSI实现1.连续Hopfield神经网络模型●1984年，霍普菲尔德提出连续Hopfield神经网络。在这种网络中，神经元的状态可以取0至1之间的任一实数值。●连续型Hopfield神经网络准确地保留了生物神经网络的动态和非线性特征。454.6.3玻尔兹曼机随机神经网络Hopfield神经网络中，神经元状态为1是根据其输入是否大于阈值确定的，是确定性的。随机神经网络中，神经元状态为1是随机的，服从一定的概率分布。例如，服从玻尔兹曼(Boltzmann)、高斯(Gaussian)、柯西(Cauchy)分布等，从而构成玻尔兹曼机、高斯机、柯西机等随机机。46Boltzmann机

1985年，加拿大多伦多大学教授欣顿(Hinton)等人借助统计物理学的概念和方法，提出了Boltzmann机神经网络模型。

Boltzmann机是离散Hopfield神经网络的一种变型，通过对离散Hopfield神经网络加以扰动，使其以概率的形式表达，而网络的模型方程不变，只是输出值类似于Boltzmann分布以概率分布取值。

Boltzmann机是按Boltzmann概率分布动作的神经网络。4.6.3玻尔兹曼机随机神经网络47Boltzmann机（续）离散Hopfield神经网络的输出：

Boltzman机的内部状态：神经元输出值为0和1时的概率：4.6.3玻尔兹曼机随机神经网络48如何实现HNN的联想记忆功能?

网络能够通过联想来输出和输入模式最为相似的样本模式。4.7Hopfield神经网络在联想记忆中的应用49（异步或同步方式）初态：稳态：4.7.1联想记忆中的概念50（异步或同步方式）初态记忆样本的部分信息稳态记忆样本

联想记忆4.7.2基于Hopfield神经网络的联想记忆51

传感器输出：[外形，质地，重量]T

4.7.3基于Hopfield神经网络的分类器52

样本:

步骤：

（1）设计DHNN结构（2）设计连接权矩阵（3）测试具体怎样实现联想记忆？4.7.3基于Hopfield神经网络的分类器53

样本:

（1）设计DHNN结构3神经元的DHNN结构图注：4.7.3基于Hopfield神经网络的分类器54

（2）设计连接权矩阵4.7.3基于Hopfield神经网络的分类器55

输入：[1，1，1]T

输出?

（3）测试4.7.3基于Hopfield神经网络的分类器56

输入：[1，1，1]T

输出：[1，0，1]T

4.7.3基于Hopfield神经网络