人工神经网络算法(基础精讲).ppt

1、人工神经网络，2005年12月，摘要，2，1，人工神经网络的基本概念，3，1，人工神经网络的基本概念，4，人工神经网络(ANN)是一种广泛的并行互连网络(模拟生物神经系统与实际物体的相互作用的重要方法)，自适应处理因素(。人工神经网络和人类大脑的相似性主要如下。从神经网络学到的知识是从外部环境学学到的。每个神经细胞的连接权，即突触权重，用于存储掌握的知识。神经元是神经网络的基本处理单元，是神经网络的设计基础。神经元是基于生物神经系统神经细胞的生物模型。为了探索人工智能的机制，在研究生物神经系统的时候，对神经元进行了数学运算，建立了神经元的数学模型。因此，要理解人工神经模型，首先要了解生物神经元

2、模型。1.1人工神经网络开发的简要历史，5，最早的研究可追溯到20世纪40年代。1943年，心理学家McCulloch与数学家Pitts合作，提出了形式神经元的数学模型。这个模型一般称为M-P神经网络模型，现在还在应用，人工神经网络的研究时代开始了。1949年，心理学家Hebb提出了神经系统的学习规则，为神经网络学习算法奠定了基础。现在，此规则称为Hebb规则，许多人工神经网络的学习也遵循此规则。1957年，F.Rosenblatt提出了“感知器”模型，首次将神经网络研究从顺里论转移到工程实践中，引领了人工神经网络研究的第一个高潮。1.1人工神经网络发展的简要历史，6、60年代以后，数字计算机

3、的发展达到了鼎盛时期，错误地认为数字计算机可以解决人工智能、专家系统、模式识别问题，放宽了对“传感器”的研究。因此，从20世纪60年代末开始，人工神经网络研究进入了停滞状态。1982年，美国加州理工大学物理学家霍布斯菲尔德提出了离散神经网络模型，神经网络研究又迎来了新的高潮。1984年，霍布斯菲尔德还提出了连续的神经网络模型，开发了计算机应用神经网络的新方法。1986年，Rumelhart和Meclelland提出了BP算法，这是多层网络的错误反向传播学习算法。BP算法是目前最重要、应用最广泛的人工神经网络算法之一。1.2生物神经元结构，7，生物神经元结构，(1)细胞：核，细胞质和细胞膜。(2

4、)树突：细胞体短、分枝多的突起。相当于神经元的输入端。(3)轴突：细胞体中最长分支的突起，也称为神经纤维。末端有很多神经冲动。1.2生物神经元结构，(4)突触：神经元之间的连接接口，每个神经元大约有1万到10万个突触。神经元通过轴突神经末梢，通过突触和其他神经元的树突连接来传递信息。突触的信息传递特性是可变的，因此形成了神经细胞间连接的灵活性，即结构可塑性。突触结构图，1.3生物神经元的信息处理机制，9，传递神经元的兴奋和抑制神经源冲动，增加整体和细胞膜电位，超过动作电位的极限时产生兴奋状态的神经冲动。在轴索神经末梢发生一些。传递到神经元素的冲动相加，减少细胞膜电位，降低到阈值以下，就不会对抑

5、制状态产生神经冲动。，生物神经元的特征，生物神经元的特征：1.4生物神经元的特征，1.5人工神经元模型，11，神经元模型可以从神经元的特征和功能中知道。神经元对应于多输入单输出信息处理单元，信息处理是非线性的。人工神经元的模型如下：神经元的n个输入，对应的连接权重，net=，阈值，输出，激活函数，12，以上神经元模型用数学表达式抽象和总结，神经元的数学模型：1.5人工神经元模型，神经元的网络输入为net，即net=，X0=1，14，神经元的模型具有以下特征：神经元是多输入、单输出单位。具有非线性输入输出特性。反应新突触的生成和现有突触的调节的可塑性变化主要是权重w的变化。这与生物神经元突起分的

6、变化相对应，w代表发生状态，w代表抑制状态，w代表负值。神经元的输出和反应是输入值的复合作用。兴奋和抑制状态，细胞膜电位超过阈值，细胞进入兴奋状态，产生神经冲动。膜电位下降到阈值以下，细胞进入抑制状态。1.5人工神经元模型，1.6激活函数，15，对神经元的不同解释是不同的激活函数，不同的激活函数决定神经元的不同输出特性，一般激活函数有以下几种：16，1。阈值激活函数基于阈值的激活函数最简单，前面提到的M-P模型属于此。输出状态取2值(1，0或1，-1)，表示神经元的兴奋和抑制。1.6激活函数，其中f(x)导入0或1，17，f(x)导入1或-1，f(x)导入SGN(符号)函数sgn(x)=，如下

7、图所示s型激活函数神经元的状态和输入水平之间的关系是在(0，1)内连续获取值的单调可函数，称为s型函数。双极s型函数：单极s型函数：19，3。分段线性激活函数分段线性激活函数定义如下：1.6激活函数，20，4。概率类型激活函数概率类型激活函数的神经元模型输入和输出的关系不确定，需要描述输出状态为1或0的概率的随机函数，神经元输出(状态)为1的概率为：1.6激活函数，(其中，T是温度函数)，21，激活函数的基本作用是3360，1.6激活函数，输入输出用数学方法对神经元之间的相互作用建模，可以得到人工神经网络模型。神经元和神经网络的关系是元素和整体的关系。人工神经网络中的神经元通常称为节点或处理单

8、元，每个节点都有相同的结构，其动作在时间和空间上保持同步。1.7人工神经网络模型，人工神经网络模型，23，人工神经网络的基本属性，1.7人工神经网络模型，24，神经网络模型神经元的连接方式不同，网络的拓扑结构也不同，人工神经网络的拓扑结构是决定人工神经网络特征的第二个因素，根据神经元之间连接的拓扑结构，人工神经网络可以分为两类：分层网络和互连网络，1.7人工神经网络模型，25，分层网络分层网络在一个神经网络中按功能分类所有神经元，通常有输入层、中间层(隐藏层)和输出层。分层网络可以根据信息传递方向分为正向网络(图a)和反馈网络(图b、c)。，1.7人工神经网络模型，26，互连网络互连网络意味着

9、网络中的任何单元之间可以相互连接。1.7人工神经网络模型，上述分类方法是当前普通神经网络结构的推广和抽象，实际使用的神经网络可以同时具有其中的一个或多个。27，2，人工神经网络的学习方法，28，2.1的学习机制，学习机制人工神经网络信息处理可以用数学过程来说明，该过程可以分为执行阶段和学习阶段两个阶段。学习是智能的基本特性之一，人工神经网络最吸引人的特点是在环境中学习的能力，可以改变权重，达到预期的目的。神经网络通过其权重和阈值调节的相互作用过程来学习其环境，人工神经网络具有与人相似的学习能力是其核心方面之一。29，2.2学习方法，学习方法取决于广泛使用的分类方法，神经网络学习方法可以分为三类

10、：没有指导者学习，灌输式学习，指导者学习，30，2.2学习方法，指导者学习，监督学习，学习时指导者信号或期望输出。神经网络对外部环境未知，但是可以将导师看作是外部环境的知识，并显示为输入-输出样本的集合。导师信号或期望响应指示网络输出接近导师信号或预期输出的神经网络执行对网络输入调整权重的最佳效果。31，2.2学习方法，没有老师的学习老师的学习也是没有监督的学习。在学习过程中，必须持续向网络提供动态输入信息(学习样本)，而没有理想的输出，网络可以根据独特的学习规则发现输入信息流中可能的模式和规律，同时根据网络的功能和输入调整权重。灌输式学习灌输式学习有一个把网络设计成特殊记忆的例子，以后给出那

11、个例子的输入信息时，就会记住这个例子。在灌输式学习中，网络的权重不是通过训练逐步形成的，而是通过一种设计方式获得的。如果权重设计，就会被注入一次“神经网络”，不再变化，因此网络对权重的“学习”是“背诵”方式，不是“训练式”。2.3学习规则，学习规则神经网络学习中，每个神经元的连接权重必须根据特定规则进行调整，这些权重调整规则称为学习规则。以下是一些一般学习规则：33，2.3学习规则，1 .Hebb学习规则神经元I和神经元j同时兴奋的时候，神经网络会显示出连接权限的增加。基于此假设定义权重调整的方法称为Hebb学习规则。Hebb学习规则的数学解释：黄瓜和oj(n)是时间n到神经元I和j的状态反应

12、，Wij(n)是时间n到神经元I和神经元j的连接权重，Wij(n)表示时间n到时间n 1的连接神经元I和神经元j的权重值的变化量。其中是正常数，决定了学习过程中从一个阶段到另一个阶段的学习速度。学习效率，称为34，2.3学习规则2。delta学习规则delta学习规则是最常见的学习规则，通过更改神经元之间的连接权限，减少系统实际输出和理想输出的错误。n时间输出错误基准函数假设如下：其中Ok=f(netk)是实际输出。Yk表示理想的输出。w表示网络的所有权值配置权重矩阵w=(wij)；k是输出数。使用渐变降级方法调整权重w，以最小化基于错误的函数，w的已修改delta规则如下：附注：delta学

13、习规则仅适用于线性可分隔功能，不适用于多层网路。35，2.3学习规则，3 .LMS学习规则LMS学习规则也称为最小平均分配规则，学习规则包括：附注：LMS学习规则可以视为差异学习规则的特殊情况。学习规则具有良好的学习速度和准确度，权重可以初始化为任何值。，36，2.3学习规则，4 .胜者为王学习规则“胜者为王”学习规则是无教员学习的竞争学习规则。通常，网络的一个层是根据对特定输入x的竞争层的k个神经元的输出响应确定的。其中反应值最大的神经元j*是在竞争中获胜的神经元。也就是说，只有获胜的神经元有权调整相应的加权向量Wj。其中是学习参数(0 ；1)，37，2.3学习规则，5 .Kohonen学习

14、规则，5 .仅用于没有导师的训练网络。在学习过程中，当过程单元竞争学习时，输出高的单元是胜者，具有阻止竞争者和激活相邻单元的能力，只有胜者可以有输出，只有胜者和相应的相邻单元可以调整权重。在培训周期中，相邻单位的大小是可变的。一般的方法是从定义较大的相邻单元开始，在培训过程中不断减少相邻范围。胜利单位可以定义为最接近输入模式的单位。kohone n网络可以模拟输入的分布，38，2.3学习规则，5 .基于概率的学习在统计、分子热力学和概率论中，从系统稳态能量的标准出发，学习神经网络的方式的概率称为学习。神经网络处于某种状态的概率主要取决于该状态的能量，能量越低，其概率就越高。随机学习的典型代表是

15、玻尔兹曼机器学习规则。这是一种基于模拟退火的统计优化算法。39，3，正向神经网络和算法，3.1感知器和算法，感知器是具有由线性组件和临界组件组成的单层计算单元的神经网络。传感器的结构如下图所示。其中X=(x1，x2，xn)是n个输入，有m个输出。即O=(O1，O2，om)，W=(wij)nm是连接权重矩阵。(wij)nm是连接权重矩阵、传感器结构、3.1传感器和算法、传感器的数学模型、3.1传感器和算法、传感器学习是导师学习。传感器培训算法来自Hebb学习规则，该规则将样本集中的样本逐步输入网络，并根据输出结果和理想输出之间的差异调整网络的权重矩阵。网络的输入矢量为X=(x1，x2，xn)，W

16、=(wji)是网络的连接权限矩阵，网络的培训示例集是从(x，y) x对应输入向量，y对应x的输出)到多输出传感器学习算法，3.1传感器和算法，多输出传感器学习算法步骤如下：设定step 1连接权限w的初始值。为权重系数W=(wji)的每个元素放置较小的随机值。Step2输入样例X=(x1，x2，xn)和预期输出Y=(y1，y2，yn)。Step3计算传感器的实际输出值，Step4根据实际输出查找错误。3.1传感器和算法，Step5使用错误EJ调整权重。其中Wji(n)是第n个调整连接权重。称为学习效率，是调整权重调整速度的0 1。一般来说，的醉值不能太大，的醉值太大会影响Wji(n)的稳定，的醉值太小会使Wji(n)的收敛速度太慢。如果实际输出与预期的y相同，则存在Wji(n 1)=Wji(n)。从Step6移动到step2，直到所有示例都稳定。45，3.1传感器和算法，注1:上述算法处理循环控制问题，采用了(1)多种循环水控制方法。对抽样集执行指定次数的迭代。(2)分步迭代控制方法。设置默认迭代数n，每次培训完成n次迭代时