模式识别第11章人工神经网络以及在模式识别中的应用

第11章人工神经网络以及在模式识别中的应用Chapter11:Artificialneuralnetworksanditsapplicationinpatternrecognition,本章主要内容,11.1人工神经网络的发展历程,11.3人工神经元的基本概念及学习算法,11.2生物神经元的机理,11.4前馈神经网络的类型与拓扑结构,11.6径向基函数网络,11.7神经网络在模式识别中的应用,11.5前馈神经网络的反向传播算法,11.1人工神经网络的发展历程,11.1.1人类大脑的优势,人类大脑具有智能，即具有感知、学习、理解、联想、决策等能力。,人脑是由极大量的的“生物神经元”经过复杂的相互连接而成的一种非线性并行信息处理系统。,尽管单个生物神经元的反应速度比构成计算机的基本单元逻辑门慢五六个数量级，但人脑中神经元数目巨大且连接复杂，因此对有些问题的处理速度比计算机还快。,感知：获取外界信息，是智能的基础；,学习：取得经验与积累知识，是人类不断发展的基本能力；,理解：分析与解决问题，是智能的高级形式；,11.1.2人工神经网络研究的必要性,计算机尽管有很高的计算速度与超大的存储容量，但它却缺乏感知、识别、联想、决策和适应环境等人脑具备的能力。,计算机能否象人脑那样工作？人工神经网络做了一个有益的尝试。,人工神经网络是对人类大脑功能的一种模拟；,这种模拟粗略而简单，无论是在规模上还是功能上都与人脑差得太远，但这并不妨碍它在一些实际工程应用领域显示出威力。,11.1.2人工神经网络研究的必要性（续）,人工神经网络与传统的人工智能技术思路迥然不同：,11.1.3人工神经网络的研究历史,第一阶段：萌芽期（20世纪40年代）,1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权模型，简称M-P模型，成为人工神经网络研究的开端。,1949年，心理学家D.O.Hebb提出神经元之间突触联系是可变的假说Hebb学习律，为神经网络奠定了基础。,第二阶段：第一高潮期（19501968年）,1957年Rosenblatt提出了感知器，首次把神经网络的理论研究付诸工程实践，引起了人们的极大关注。,人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。,第三阶段：反思期（19691982年）,11.1.3人工神经网络的研究历史（续）,第四阶段：第二高潮期（19831990年）,1990年12月在北京举行了国内首届神经网络大会；,1969年Minsky出版感知器一书，对感知器提出了严厉的批评，认为它连最简单的线性不可分问题异或问题都解决不了；,早期的人工智能研究取得了很大成就，掩盖了神经网络研究的重要性；,1982年，J.Hopfield提出了循环网络的概念；,1986年提出了多层感知器的反向传播算法，较好地解决了多层网络的学习问题。,第五阶段：再认识与应用研究期（1991年）,11.1.3人工神经网络的研究历史（续）,（1）局部极小问题；,（1）希望在理论上寻找新突破，建立新的专用/通用网络和算法；（2）开发现有网络应用，并在应用中根据实际运行情况对网络加以改造，以提高网络的训练速度和运行的准确度。（3）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。,当前人工神经网络的研究任务：,当前人工神经网络存在的主要问题：,（2）模型选择问题；,（3）计算速度和准确度问题；,11.1.4人工神经网络的研究范围,有监督学习（有教师学习）：预先已知训练样本集合中每个样本的类别标号无监督学习（无教师学习）：预先不知道训练样本集合中每个样本的类别标号,11.2生物神经元的机理,11.2.1生物神经元的构成,胞体：是神经细胞的本体，用于普通细胞的生存；,枝蔓(树突)：含有大量分支，用于接受其它神经元的信号；,轴突：用于输出信号，可与多个神经元联结；,突触：神经元联结的特殊部位，用于控制下一神经元的兴奋。,11.2.2生物神经元的工作机制,一个神经元有“兴奋”和“抑制”两种状态；,平时处于“抑制”状态的神经元，其树突和胞体接收其它神经元传来的兴奋电位；,如果输入兴奋总量超过某个阈值，神经元就会被激发进入兴奋状态，并发出输出脉冲；,神经元之间的联接强度取决于“兴奋”程度的强弱；,神经元A,神经元B,神经元A,神经元B,（抑制状态）,（兴奋状态）,11.3人工神经元的基本概念及学习算法,是构成人工神经网络的最基本单元,是对生物神经元的模拟，它具备生物神经元的部分特征。,11.3.1人工神经元的基本概念,生物神经元,人工神经元,轴突,胞体,枝蔓,人工神经元:,11.3.1人工神经元的基本概念（续）,输入：,输出：,连接权值：,激活函数：,激活阈值：,输出：,11.3.1人工神经元的基本概念（续）,激活函数：对神经元输入的一种变换；,连接权值：,激活函数：,激活阈值：,（1）线性函数,y=k*net+c,y,11.3.1人工神经元的基本概念（续）,连接权值：,激活函数：,激活阈值：,（2）阶梯函数,y,net,当,当,11.3.1人工神经元的基本概念（续）,连接权值：,激活函数：,激活阈值：,（3）Sigmoid函数,y,net,（1）非线性，单调增函数；,（2）无限次可微函数；,（3）当net很小时近似于线性函数；,（4）当net很大时近似于阶梯函数；,优点：,例题：,11.3.2人工神经元的学习规则,学习规则是为了求取连接权值；,Hebb规则：,如果神经网络中某一神经元与另一直接与其相连的神经元同时处于兴奋状态，那么这两个神经元间的连接强度（权值）应增强。,神经元i,神经元j,Hebb规则的定量描述：,假设第i和第j个神经元的状态分别为和，则两个神经元间的权值修正量为,为学习因子.,11.3.2人工神经元的学习规则(续),误差修正规则：,使网络中某一神经元的实际输出在均方意义上最逼近于期望输出。,误差修正规则的定量描述：,神经元i,神经元j,令第个神经元的期望输出为，实际输出为，则第个输入结点与第个神经元间的权值修正量为：,11.3.3用人工神经元进行两类样本分类,测试：,在第二次实验时会涉及；,类,类,训练：,根据前面所讲的规则，对神经元进行训练，得到最佳的权值。,测试样本,11.4前馈神经网络的类型与拓扑结构,11.4.1前馈神经网络的拓扑结构,前馈神经网络,（感知器）,（多层感知器，MLP）,双层前馈网,多层前馈网,（误差反传网，BP）,（输入层）,（隐层）,（输入层）,（隐层）,（输出层）,双层前馈网（感知器）不能解决异或问题。,异或问题,(经典的线性不可分问题),（1）在第4章已经讲过感知器；,11.4.2前馈神经网络的类型,多层前馈网能解决异或问题。,（2）1969年Minsky出版感知器一书，对感知器提出了严厉的批评；,感知器的学习算法,感知器采用感知器学习规则进行训练,用t表示学习步的序号,权值看作t的函数.t=0对应学习开始前的初始状态(此时权值为初始值),训练过程如下:,(1)对各初始权值w0j(0),w1j(0),wnj(0),j=1,2m(m为计算层的节点数)赋予较小的非零随机数;,(2)输入样本对Xp,dp,其中Xp=-1x1px2pxnpT,dp为期望输出向量(教师信号),下标p代表样本对的模式序号,设样本集中的样本总数为P,则p=1,2,P;,(3)计算各节点的实际输出yjp(t)=sgnWjT(t)Xp,j=1,2,m.,(4)调整各节点对应的权值Wj(t+1)=Wj(t)+djp-yjp(t)Xpj=1,2,m,学习率,一般取01,用于调整控制速度,太大影响训练稳定性,太小使训练的收敛性变慢.,(5)返回到步骤(2),输入下一对样本,周而复始直到所有样本使感知器的实际输出与期望输出相等(dp-yp=0,p=1,2,P).,已经得到证明,如果输入样本线性可分,无论感知器的初始权向量如何取值,经过有限次调整后,总能稳定到一个权向量,该权向量确定的超平面能将两类样本正确分开.,能够将样本正确分类的权向量并不唯一,一般初始权向量不同,训练过程和所得到的结果也不同,但都可满足误差为零的要求.,例.单计算节点感知器有3个输入,现给定3对训练样本:,X1=-11-20Td1=-1;X2=-101.5-0.5Td2=-1;X3=-1-110.5Td3=1.,设初始权向量W(0)=0.51-10T=0.1,解:第一步,输入X1,WT(0)X1=0.51-10-11-20T=2.5,Y1(0)=sgn(2.5)=1,W(1)=W(0)+d1-y1X1=0.51-10T+0.1(-1-1)-11-20T=0.70.8-0.60T,第二步,输入X2,WT(1)X2=0.70.8-0.60-101.5-0.5T=-1.6,Y2(1)=sgn(-1.6)=-1,W(2)=W(1)+d2-y2(1)X2=0.70.8-0.60T+0.1-1-(-1)-101.5-0.5T=0.70.8-0.60T,第三步,输入X3,WT(2)X3=0.70.8-0.60-1-110.5T=-2.1,Y3(2)=sgn(-2.1)=-1,W(3)=W(2)+d3-y3(2)X3=0.50.6-0.40.1T,第四步,返回到第一步,继续训练,直到dp-yp=0p=1,2,3,11.5前馈神经网络的反向传播算法,Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(BackPropagation)学习算法BP算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。,J.McClelland,DavidRumelhart,BP网络的标准学习算法,学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。学习的本质：对各连接权值的动态调整学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。,BP网络的标准学习算法-算法思想,学习的类型：有导师学习核心思想：将输出误差以某种形式通过隐层向输入层逐层反传学习的过程：信号的正向传播误差的反向传播,将误差分摊给各层的所有单元各层单元的误差信号,修正各单元权值,BP网络的标准学习算法-学习过程,正向传播：输入样本输入层各隐层输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符误差反传误差以某种形式在各层表示修正各层单元的权值网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止,11.5.1反向传播算法的难点与基本思路,多层前馈网的中间隐层不直接与外界连接，其误差无法估计。,算法难点：,（1）从输入层经隐层逐层“前向”计算各单元的输出；,算法的两个阶段：,（2）由输出误差逐层“反向”计算隐层各单元的误差，并用此误差修正前层的权值。,（输入层）,（隐层）,（输出层）,前向,反向,11.5.2反向传播算法的计算步骤,（输入层）,（隐层）,（输出层）,（1）网络参数的初始值选择；,（2）前向计算：求出所有神经元的输出,（3）反向计算：求出各隐层的局部梯度,（4）利用迭代公式更新网络权值：,前向,反向,11.5.3反向传播算法的推导过程,实际输出,期望输出,误差,推导采用的模型,11.5.3反向传播算法的推导过程（续）,第j个神经元的输出：,11.5.3反向传播算法的推导过程（续）,BP神经网络的特点,非线性映射能力能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。泛化能力当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。容错能力输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。,（1）多层前馈网的权值初值选择会影响收敛速度；,（2）当多层前馈网的层数大于三层时，反向传播算法陷入局部极小点的可能性很大。由于不能保证算法收敛到全局最优点，需利用先验知识缩小搜索范围。,11.5.4反向传播算法的缺陷,（输入层）,（隐层）,（输出层）,（3）多层前馈网要解决的问题越复杂，需要的隐层结点数越多；但过多的结点会导致“过学习”或者说“过拟合”，从而使网络的泛化能力变差。,“过拟合”实例,11.5.4反向传播算法的缺陷（续）,过拟合：为了得到一致假设而使假设变得过度复杂称为过拟合。想像某种学习算法产生了一个过拟合的分类器，这个分类器能够百分之百的正确分类样本数据（即再拿样本中的文档来给它，它绝对不会分错），但也就为了能够对样本完全正确的分类，使得它的构造如此精细复杂，规则如此严格，以至于任何与样本数据稍有不同的文档它全都认为不属于这个类别！,泛化能力的定义概括地说，所谓泛化能力（generalizationability）是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据对背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。泛化能力的性质通常期望经训练样本训练的网络具有较强的泛化能力，也就是对新输入给出合理响应的能力。应当指出并非训练的次数越多越能得到正确的输入输出映射关系。网络的性能主要用它的泛化能力来衡量。,反向传播算法（BP）小结,基本思想：是从后向前（反向）逐层传播输出层的误差，以间接算出隐层误差。算法分为两个阶段：第一阶段：正向过程，输入信息从输入层到隐层逐层计算各单元的输出值。第二阶段：反向传播过程，输出误差逐层向前算出隐层各单元的误