人工智能PPT chapter5_2

第五章知识学习,内容提要：知识学习概念、原理及分类神经网络学习神经网络模型知识发现与Agent技术,人工智能及其应用,1,神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元人工神经元(节点)。从三个方面进行模拟：节点本身的信息处理能力(数学模型)节点与节点之间连接(拓扑结构)相互连接的强度(通过学习来调整),5.2.2人工神经元,决定人工神经网络整体性能的三大要素,对于某个处理单元（神经元）来说，假设来自其他处理单元（神经元）i的信息为Xi，它们与本处理单元的互相作用强度即连接权值为Wi,i=0,1,n-1,处理单元的内部阈值为。,人工智能及其应用,3,5.2.2人工神经元,神经元的输入为：输出为：激发函数可以看成是神经元的数学模型,神经元各种不同数学模型的主要区别在于采用了不同的激发函数，从而使神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有4种形式。,5.2.2人工神经元,常用的激发函数：(1)阈值型（MP模型）(2)分段线性型(3)Sigmoid函数型(简称S型)(4)双曲正切型,人工智能及其应用,5,5.2.2人工神经元,阈值型函数又称阶跃函数，它表示激活值和其输出f()之间的关系。阈值型函数为激发函数的神经元是一种最简单的人工神经元，也就是我们前面提到的M-P模型。线性分段函数可以看作是一种最简单的非线性函数，它的特点是将函数的值域限制在一定的范围内，其输入、输出之间在一定范围内满足线性关系，一直延续到输出为最大域值为止。但当达到最大值后，输出就不再增大。,人工智能及其应用,6,5.2.2人工神经元,S型函数是一个有最大输出值的非线性函数，其输出值是在某个范围内连续取值的。以它为激发函数的神经元也具有饱和特性。双曲正切型函数实际只是一种特殊的S型函数，其饱和值是1和1。,人工智能及其应用,7,5.2.2人工神经元,5.2.3人工神经网络,人工神经网络（简称ANN）是由大量处理单元经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和功能。而这些处理单元我们把它称作人工神经元。人工神经网络（ANN）可看成是以人工神经元为节点，用有向加权弧连接起来的有向图。在此有向图中，人工神经元就是对生物神经元的模拟，而有向弧则是轴突突触树突对的模拟。有向弧的权值表示相互连接的两个人工神经元间相互作用的强弱。下图为人工神经网络的组成框架。,人工智能及其应用,8,人工智能及其应用,9,5.2.3人工神经网络,按网络连接的拓扑结构分类层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连。互连型网络结构：网络中任意两个节点之间都可能存在连接路径.按网络内部的信息流向分类前馈型网络：网络信息处理的方向是从输入层到各隐层再到输出层逐层进行。反馈型网络：在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出。,5.2.3人工神经网络,层次型结构,5.2.3人工神经网络,输出层到输入层有连接,5.2.3人工神经网络,层内有连接层次型结构,5.2.3人工神经网络,全互连型结构,5.2.3人工神经网络,局部互连型网络结构,5.2.3人工神经网络,前馈型网络,5.2.3人工神经网络,反馈型网络,5.2.3人工神经网络,人工神经网络具有以下主要特征：（1）能较好的模拟人的形象思维。（2）具有大规模并行协同处理能力。（3）具有较强的学习能力。（4）具有较强的容错能力和联想能力。（5）是一个大规模自组织、自适应的非线性动力系统。,人工智能及其应用,18,5.2.3人工神经网络,5.2.4代表性模型,自适应谐振理论双向联想存储器Hopfield网反向传播网络对流传播网络,人工智能及其应用,19,博尔茨曼机M-Adalin算法认知机感知器自组织映射网,人工智能及其应用,20,神经网络学习BP神经网络及算法Hopfield神经网络及算法,5.3神经网络学习,人工智能及其应用,21,学习（亦称训练）是神经网络的最重要特征之一。神经网络能够通过学习，改变其内部状态，使输入输出呈现出某种规律性。网络学习一般是利用一组称为样本的数据，作为网络的输入（和输出），网络按照一定的训练规则(又称学习规则或学习算法)自动调节神经元之间的连接强度或拓扑结构，当网络的实际输出满足期望的要求，或者趋于稳定时，则认为学习成功。学习方式学习算法学习特点,神经网络学习,学习方式,人工智能及其应用,22,监督学习无监督学习再励学习,学习方式,人工智能及其应用,23,监督学习:需要外界输入一个“教师”信号，它可对一组给定输入提供应有的输出，这组已知的输入输出数据称为训练样本集，神经网络可根据已知输出与实际输出之间的误差值来调节系统参数。,学习方式,人工智能及其应用,24,无监督学习:它不存在外部教师信号，网络系统完全按照环境提供数据的某些统计规律来调节自身参数或结构，以表示出外部输入的某种固有特性，如聚类或统计上的分布特征。,学习方式,人工智能及其应用,25,再励学习:这种学习介于上述两种情况之间，外部环境对系统输出只给出评价信息而不是正确答案。网络系统通过强化那些被肯定的动作来改善自身的性能。,学习算法,人工智能及其应用,26,误差纠正学习（delta学习）Hebb学习竞争学习,误差纠正学习,人工智能及其应用,27,误差纠正学习的目的：使训练样本输出与实际输出间误差的目标函数最小。学习规则：,Hebb学习,人工智能及其应用,28,学习规则：当某一突触两端的神经元同步激活(或抑制)时，该连接的强度应增强，反之应减弱。,竞争学习,人工智能及其应用,29,学习规则：各输出单元互相竞争，最后只有一个最强者被激活。具有侧向抑制性连接的竞争学习网络：,BP神经网络,人工智能及其应用,30,BP网络结构图：,B-P模型，是一种用于前向多层的反向传播学习算法。之所以称它是一种学习方法，是因为用它可以对组成前向多层网络的各人工神经元之间的连接权值进行不断的修改，从而使该前向多层网络能够将输入它的信息变换成所期望的输出信息。之所以将其称作为反向学习算法，是因为在修改各人工神经元的连接权值时，所依据的是该网络的实际输出与其期望的输出之差，将这一差值反向一层一层的向回传播，来决定连接权值的修改。,BP神经网络,人工智能及其应用,31,BP网络的学习算法BP算法的学习目的是对网络的连接权值进行调整，使得调整后的网络对任一输入都能得到所期望的输出。学习过程由正向传播和反向传播组成。正向传播用于对前向网络进行计算，即对某一输入信息，经过网络计算后求出它的输出结果。反向传播用于逐层传递误差，修改神经元间的连接权值，以使网络对输入信息经过计算后所得到的输出能达到期望的误差要求。,BP神经网络,人工智能及其应用,32,BP网络的学习过程：(1)选择一组训练样例，样例由输入和期望输出组成;